Dissertação

{en_GB=Advantage Actor-Critic Algorithm Application to Pairs Trading Strategy} {} EVALUATED

{pt=Pairs trading é uma estratégia bem conhecida de mercado neutro. Na compra de um título financeiro com um preço relativamente mais baixo em comparação com a sua contraparte no par, e, consequentemente, a venda a descoberto do outro constituinte do par, o investidor pode lucrar quando o preço do par converge. Nos primórdios, pairs trading era bastante popular devido às oportunidades de obtenção de lucro por arbitragem. No entanto, com tantos investidores, incluindo fundos de investimento, a procurar estas oportunidades de arbitragem, a rentabilidade desta estratégia começou a deteriorar-se. Neste estudo propomos um método alternativo de extração do sinal de negociação, TLS, superior ao método tradicional, OLS, em todas as condições. Além disso, demonstramos as implicações que a escolha do tamanho da janela de negociação pode ter na rentabilidade da estratégia. Com estas duas caraterísticas em consideração, investigamos uma nova abordagem à estratégia tradicional utilizando aprendizagem por reforço profundo - particularmente com o algoritmo advantage actor-critic. Desenvolvemos o sistema de negociação, dando recompensas positivas ao agente por decisões adequadas e recompensas negativas por decisões erradas. Dado o sinal de negociação, o agente é treinado para selecionar as melhores decisões que maximizam a soma dos lucros futuros esperados. Os pares são selecionados entre 208 ETFs relacionados com commodities. As simulações consideram custos de transação e são realizadas ao longo de vários períodos entre janeiro de 2011 e dezembro de 2019. Os nossos resultados demonstram sucesso na aprendizagem do modelo proposto e apresentam possibilidades de extensão a outras aplicações financeiras computacionais., en=Pairs trading is a well known market-neutral strategy. By buying a stock with a relatively low price compared to its counterpart in the pair, and accordingly short sells the other one, a profit can be expected when the pair's price converges. In the early days, pairs trading strategy was quite popular due to the opportunities to obtain arbitrage profit. However, with so many investors, including hedge funds, sought these arbitrage opportunities, its profitability began to deteriorate. In this study, we propose an alternative method of extracting the trading signal, TLS, superior to the traditional method, OLS, under all conditions. Also, we demonstrate the implications that the trading window size choice may have on the strategy's profitability. With these two features in consideration, we research a novel approach to traditional pairs trading strategy using deep reinforcement learning - particularly with the advantage actor-critic algorithm. We develop the trading system by giving positive rewards to the agent for appropriate decisions and negative rewards for wrong decisions. Given the trading signal, the agent is trained to select the optimal trading decisions to maximise the expected sum of discounted future profits. Pairs are selected from 208 commodity-linked ETFs. The simulations take into account transaction costs and are conducted over several periods between January 2011 and December 2019. Our results demonstrate success in learning the proposed model and present possibilities for an extension to other computational finance applications.}
{pt=Pairs Trading, Mercado Neutro, Total Least Squares, Aprendizagem por Reforço, Aprendizagem Profunda, Actor-Critic, en=Pairs Trading, Market Neutral, Total Least Squares, Reinforcement Learning, Deep Learning, Actor-Critic}

Janeiro 27, 2021, 9:0

Orientação

ORIENTADOR

Nuno Cavaco Gomes Horta

Departamento de Engenharia Electrotécnica e de Computadores (DEEC)

Professor Associado