Reinforcement Learning in Portfolio Management
- Titulación
- Grado en Ciencia e Ingeniería de Datos
- Universidad
- Universidad Carlos III de Madrid
- Tutor
- Francisco Javier Nogales Martín
Casi todo el machine learning aplicado a finanzas acaba siendo una herramienta de apoyo para un experto humano: predice un retorno, puntúa una señal, marca un riesgo, y la decisión sigue tomándola una persona. Esta tesis se pregunta qué hace falta para cerrar ese círculo: diseñar un sistema de aprendizaje por refuerzo profundo que gestione una cartera como decisor autónomo, optimizando la asignación en lugar de limitarse a informarla.
El agente se construye sobre una Temporal Convolutional Network preentrenada en una tarea supervisada de predicción de retornos y transferida después como codificador de estado congelado, de modo que la representación del histórico de mercado se aprende por separado de la política de asignación. Encima se sitúa un agente Soft Actor-Critic (SACv2), con variantes de actor que colocan una distribución Normal o de Dirichlet sobre el simplex de la cartera, y variantes de crítico basadas en mecanismos bilineales y de atención de una cabeza.
Hay dos decisiones de diseño que pesan más que el resto. Una puntuación de confianza permite al agente decidir si el rebalanceo tiene sentido, y no solo cómo reasignar, lo que lo vuelve indiferente a la granularidad del intervalo de decisión. Y permutar los activos al azar durante el entrenamiento empuja a la política a ser agnóstica a la empresa: aprende de la estructura del mercado en lugar de memorizar tickers. La receta de entrenamiento se completa con aumentación mixup entre canales de precio.
qué contiene
- Backbone TCN preentrenado en predicción supervisada de retornos, congelado después y transferido como codificador de estado, separando el aprendizaje de la representación del de la política.
- Soft Actor-Critic (SACv2) con variantes de actor Normal y Dirichlet sobre el simplex de la cartera, de forma que las asignaciones son pesos válidos por construcción.
- Variantes de crítico construidas sobre mecanismos bilineales y de atención de una cabeza.
- Una puntuación de confianza que permite al agente no rebalancear, lo que lo hace agnóstico a la granularidad en lugar de atado a una cadencia fija de operación.
- Permutación aleatoria de activos durante el entrenamiento para favorecer políticas agnósticas a la empresa, más aumentación mixup entre canales de precio.
- Comparado con carteras de pesos iguales (con y sin rebalanceo), de mínima volatilidad y de máximo Sharpe en la frontera eficiente, y con un agente aleatorio.
evaluación
- Universo
- S&P 500, particiones cronológicas
- Entrenamiento
- 1986 – 2008
- Validación
- 2009 – 2016
- Test
- 2017 – 2023, empresas no vistas
- Referencias
- Pesos iguales, mínima volatilidad, máximo Sharpe, aleatorio
- Limitaciones declaradas
- Entorno simulado; sesgo de supervivencia en los datos
Licencia CC BY-NC-ND 4.0. Cómo citarlo: Christopher Manzano Vimos. (2023). Reinforcement Learning in Portfolio Management [Trabajo de Fin de Grado]. Universidad Carlos III de Madrid. Zenodo. https://doi.org/10.5281/zenodo.21541556