RL

  人工智慧的發展對演算法交易產生了重大影響。深度學習技術,尤其是強化學習,被廣泛應用於增強決策程序及優化演算法交易系統的表現。然而,股票市場交易與其他使用強化學習的任務不同。首先,股票市場具有波動性使得其走勢難以被歸納出一套通用的規則以準確預測。其次,個別投資者對市場狀態的影響甚微,這意味著在學習過程中,當下的交易動作與隨後的市場狀態兩者為獨立事件。這種獨立性會造成Q值不準確的問題,潛在地使模型偏離最優的學習方向。

  上述差異使得將傳統的強化學習應用於演算法交易具有挑戰性。為了應對這些問題,我們提出了趨勢感知與風險可調式強化學習Trend-aware and Risk-adjustable Reinforcement Learning (TRARL),其中引入了趨勢感知強化學習Trend-aware Reinforcement Learning (TARL)和風險可調式夏普比率Risk-adjustable Sharpe Ratio (RASR)。趨勢感知強化學習使模型專注於市場趨勢,不僅能減輕價格數據中的噪聲影響,還解決了獨立性對Q值準確性的問題。通過將強化學習的目標函數設置為風險可調式夏普比率,在高波動期間的經驗對模型的影響被降低了。這提升了在學習可獲利的市場規律時的效率。為了驗證我們方法的有效性,我們在驗證時使用了四個股票市場指數ETF:SPY和QQQ代表美國市場、DE和ISF則分別代表德國跟英國市場。這些ETF代表不同地區的總體股市。我們實驗的結果表明,我們的方法在各種市場中展現了適應性並具有優異的表現。

Back