FenixEdu™

Dissertação

{en_GB=Deep Q-learning with PCA and Prioritized Experience Replay for Trading in the Forex Market} {} EVALUATED

Detalhes: {pt=Esta tese apresenta uma abordagem que combina Análise Técnica e Análise de Componentes Principais (ACP) com uma Rede Q-profunda (RQP) usando Dupla Q-aprendizagem e Repetição de Experiência Priorizada para gerar decisões de investimento capazes de alcançar ganhos financeiros a longo prazo com baixo risco financeiro. A Análise Técnica extrai características dos dados financeiros. O PCA transforma as características extraídas que têm uma dimensão muito alta em características com baixa dimensão mantendo a essência das características originais. O DQN usa as características de baixa dimensão para aprender padrões de mercado abstratos e robustos e aprende a prever as melhores decisões de investimento para os estados do mercado. A abordagem proposta foi testada com dados financeiros reais de cinco mercados Forex usando custos de transação. Dois diferentes tipos de funções de estado e três de recompensa foram propostas para o algoritmo DQN. Os resultados mais robustos são produzidos por uma combinação de uma função de estado usando características de baixa dimensão produzidas pelo PCA e de recompensa que mede a percentagem de lucro obtida pelo sinal de transação gerado num período de investimento. O sistema usa em todos os testes a mesma topologia da rede neuronal e os mesmos valores dos hiperparâmetros do sistema. Os resultados alcançados mostram que esta abordagem supera a estratégia de Buy and Hold (BnH) em quatro dos cinco mercados testados. Concluiu-se que a técnica de PCA, a Repetição de Experiência Priorizada e a Dupla Q-aprendizagem são essenciais para o desempenho da abordagem proposta. , en=This thesis presents an approach combining Technical Analysis and Principal Component Analysis (PCA) with a Deep Q-network (DQN) using Double Q-learning and Prioritized Experience Replay to generate trading decisions capable of achieving long-term financial gains with low financial risk. The approach uses Technical Analysis to extract features from raw financial data. PCA transforms the extracted high dimensional features into a low dimensional features while maintaining the essence of the original features. DQN uses the low dimensional features to learn abstract and robust market patterns and learn to predict the best trading actions for the market status. The proposed approach is tested with real data from five Forex markets with different characteristics from each other, using transaction costs. Two different state and three different reward functions are considered in the DQN algorithm. The most robust results are produced by a combination of a state representation using features produced by PCA and a reward function measuring the profit percentage obtained by the generated trading signal in a trading period. The system uses on every test the same network topology and system's hyperparameters values. The results achieved show that this approach outperforms the Buy and Hold (BnH) strategy in four of the five tested markets. In the EUR-USD market, this system achieves a rate of return of 19.21% while the BnH strategy only achieves 3.92%. Furthermore, it is concluded that the PCA technique, Prioritized Experience Replay and Double Q-learning are essential to the performance of the proposed approach. }
Keywords: {pt=Análise Técnica, Análise de Componentes Principais (PCA), Aprendizagem Profunda, Rede Q-profunda (DQN), Dupla Q-aprendizagem, Repetição de Experiência Priorizada., en=Technical Analysis, Principal Component Analysis (PCA), Deep Learning, Deep Q-network (DQN), Double Q-learning, Prioritized Experience Replay}

Discussão: abril 10, 2018, 0:0