Ver el código de «El Problema de Merton»

Álex Heredero Santamaría

=. Introducción=
El problema de Merton constituye uno de los modelos fundamentales de la teoría de control óptimo aplicada a las finanzas. Fue formulado y resuelto por Robert C. Merton en 1969, y estudia cómo un agente racional debe distribuir dinámicamente su riqueza entre distintos activos financieros con el objetivo de maximizar la utilidad esperada de su riqueza y/o consumo a lo largo del tiempo.

En este documento presentaremos el problema desde sus fundamentos, introduciendo las hipótesis del modelo y deduciendo la solución general del problema de optimización. Asimismo, realizaremos un análisis de sensibilidad de las soluciones obtenidas, interpretando económicamente los resultados derivados del modelo. Finalmente, plantearemos una variante del problema bajo hipótesis alternativas, que podrá servir como punto de partida para trabajos futuros.

=. Planteamiento del problema=

Consideremos un agente que dispone de una cierta cantidad de riqueza inicial y puede invertirla en distintos activos a lo largo del tiempo. En nuestro caso, consideraremos dos tipos de activos distintos: por una parte, un activo sin riesgo que nos devuelve una rentabilidad segura y conocida, pero pequeña; y, por otra parte, un activo con riesgo que ofrece mayores beneficios esperados a cambio de una evolución incierta.

El objetivo de dicho agente será determinar una estrategia de inversión que maximice su bienestar económico. Es decir, en cada instante de tiempo, debe elegir cuánto capital invertir en activos riesgosos y cúanto en activos sin riesgo, de manera que se maximice la utilidad esperada de su riqueza a lo largo del tiempo. 

==. Hipótesis consideradas==

Para poder formular y resolver el problema de Merton, asumiremos que estamos trabajando con un mercado financiero idealizado en el que un agente puede invertir continuamente su riqueza a lo largo del tiempo. El objetivo será estudiar cuál es la estrategia de inversión óptima bajo una serie de hipótesis que permiten modelizar dicho mercado para poder trabajar matemáticamente. Estas hipótesis son las siguientes:

En primer lugar, consideraremos que únicamente hay dos activos financieros posibles. El primero será una cuenta de banco y se trata de un activo sin riesgo que proporciona una rentabilidad conocida y constante a lo largo del tiempo. El segundo serán las acciones de una empresa, cuyo valor evoluciona de manera incierta y está sujeto a fluctuaciones aleatorias del mercado.

Supondremos además que el agente puede comprar y vender activos en cualquier instante de tiempo y que puede redistribuir continuamente su riqueza entre ambos activos.

También asumiremos que no existen costes de transacción, impuestos ni restricciones a la inversión. Asimismo, consideramos que el activo riesgoso es perfectamente divisible y se nos permite comprar acciones fraccionadas, y que no existen oportunidades de arbitraje; es decir, estrategias que generan un beneficio seguro sin asumir riesgo.

La incertidumbre del mercado será modelizada mediante procesos aleatorios, de forma que la evolución del activo con riesgo no pueda predecirse exactamente. Además, asumiremos que la varianza de la evolución del valor del mercado se mantendrá constante a lo largo del tiempo.

Finalmente, asumiremos que el agente es racional y que sus decisiones están determinadas por una función de utilidad que representa sus preferencias frente al riesgo. De esta forma, el problema no consistirá simplemente en maximizar la riqueza final, sino en maximizar la utilidad esperada.

=. Modelización y ecuaciones =

Una vez que hemos planteado el problema y establecido las hipótesis con las que vamos a trabajar, podemos describir nuestro modelo matemáticamente para buscar una solución. 

En cada instante de tiempo <math>t</math>, el agente dispone de una riqueza total <math>X_t</math>, de la cual invierte <math>\pi_t</math> dólares en el activo riesgoso <math>S</math>, mientras que el resto se mantiene invertido en el banco. Denotaremos por <math>X_t^\pi</math> a la riqueza del agente en tiempo <math>t</math> si sigue la estrategia <math>\pi</math>, descontando los ingresos de la acción <math>S</math>, y <math>S_t</math> al valor de la acción en tiempo <math>t</math>, descontando las ganancias libres de riesgo del banco. El objetivo del agente es maximizar la utilidad esperada de su riqueza final en un horizonte temporal <math>T</math>. Matemáticamente, esto se traduce en hallar la función de valor:

<center><math>
    H(S,x)=\sup_{\pi\in A}\mathbb{E}[U(X_T^\pi)\;|\;X_t^\pi=x,S_t=S]:=\sup_{\pi\in A}\mathbb{E}_{S,x}[U(X_T^\pi)], 
</math></center>

donde <math>x</math> y <math>S</math> representan la riqueza inicial del agente en tiempo <math>t</math> y el valor de la acción en tiempo <math>t</math>, respectivamente, <math>A</math> es el conjunto de estrategias admisibles, definido habitualmente como el espacio de funciones medibles adaptadas a la filtración del proceso, y <math>U</math> es una función de utilidad que modeliza las preferencias del agente frente al riesgo. La función <math>U</math> deberá ser creciente, puesto que siempre es preferible tener el máximo de riqueza posible.

Para modelizar matemáticamente la evolución del mercado, utilizaremos procesos de difusión. Recordemos que un proceso de difusión viene descrito por una ecuación diferencial estocástica de la forma:
<center><math>
    dX_t=b(X_t,t)dt+\sigma(X_t,t)dW_t,
</math></center>
donde el término que acompaña a <math>dt</math> representa la parte determinista del movimiento (drift), mientras que el término que acompaña a <math>dW_t</math> representa la parte aleatoria o de difusión, gobernada por un movimiento Browniano <math>W=\{W_t\}</math>.



En el problema de Merton, los valores de <math>X_t</math> y <math>S_t</math> siguen las siguientes dinámicas:

<center><math>
    dS_t=(\mu-r)S_tdt+\sigma S_tdW_t,\; S_o=S,
</math></center>
<center><math>
    dX_t^\pi=(\pi_t(\mu-r)+rX_t^\pi)dt+\pi_t\sigma dW_t,\; X_0^\pi=x.
</math></center>

Donde <math>\mu</math> es el retorno medio esperado de la acción <math>S</math>, <math>r</math> es la tasa de interés compuesta que nos ofrece el banco y <math>\sigma</math> es la volatilidad de la acción <math>S</math>, que suponemos constante como hipótesis.

=. Solución del problema =

Una vez planteado el problema, buscamos determinar la estrategia óptima <math>\pi^*</math> que maximice la utilidad esperada de la riqueza final. Para ello, definimos la función de valor relativa <math>H^\pi(t, x, S)</math> como la utilidad esperada utilizando la estrategia <math>\pi</math> partiendo del tiempo <math>t</math>:

<center><math>
    H^\pi(t,x,S)=\mathbb{E}[U(X_T^\pi)\mid X_t^\pi=x,\;S_t=S]=(\text{notación}):=\mathbb{E}_{t,x,S}[U(X_T^\pi)],
</math></center>

y definimos la función de valor, <math>H(t,x,s)</math>, como el supremo de estas funciones de valor relativas, variando las estrategias <math>\pi\in A</math>:

<center><math>
    H(t,x,S)=\sup_{\pi\in A}H^\pi(t,x,S)=\sup_{\pi\in A}\mathbb{E}_{t,x,S}[U(X_T^\pi)].
</math></center>

Es conocido que la función de valor <math>H(t,x,s)</math> en el problema de Merton no depende del precio de la acción <math>s</math>, luego denotamos <math>H(t,x,s)=h(t,x)</math> y sabemos que esta función cumple la ecuación de Hamilton-Jacobi-Bellman:

<center><math>
0=(\partial_th+rx\partial_xh)-\frac{\lambda}{2\sigma}\frac{(\partial_xh)^2}{\partial_{xx}h},
</math></center>

con condición terminal <math> h(T,x)=U(x) </math>. Además, la cantidad de dinero óptima invertida en el activo riesgoso <math>\pi^*</math> viene dada por:

<center><math>
\pi^*=-\frac{(\mu-r)\partial_x h}{\sigma^2 \partial_{xx}h}.
</math></center>

==. Función de utilidad exponencial ==
En el caso en el que tenemos función de utilidad exponencial <math>U(x)=-e^{-\gamma x}</math>, con <math>\gamma>0</math>, se obtiene una solución cerrada para <math> h(t,x) </math> y para <math> \pi^* </math>:

<center><math>
    h(t,x)=-\alpha(t)e^{-\gamma x\beta(t)},  \alpha(t)=e^{-\frac{\lambda}{2\sigma}(T-t)},\;\beta(t)=e^{r(T-t)}, \pi^*(t)=\frac{\lambda}{\gamma \sigma}e^{-r(T-t)}.
</math></center>



==. Análisis de sensibilidad ==

Una vez hemos resuelto el problema, vamos a realizar un análisis de sensibilidad de la solución obtenida. Esto consiste en estudiar cómo se modifica la solución cuando introducimos una pequeña perturbación. Es decir, partiendo de una solución exacta al problema original <math>h^*</math>, consideramos una solución perturbada <math>h</math>. La clave esta en descomponer <math>h</math> como:

<center><math>
    h=h^*+\varepsilon \delta h
</math></center>

para un <math>\varepsilon>0</math> pequeño. Para ello, escribimos la EDP que satisface <math>h</math> como <math>F(h)=0</math>, y realizamos el desarrollo en serie de Taylor para <math>F(h^*+\varepsilon \delta h)=0</math> hasta orden <math>\varepsilon</math>. Nos queda entonces la ecuación lineal para <math>\delta h</math>:

    
<center><math>
0
=
\partial_t \delta h
+
\left(
rx
-
\frac{\lambda}{\sigma}
\frac{\partial_x h^*}{\partial_{xx} h^*}
\right)
\partial_x \delta h
+
\frac{\lambda}{2\sigma}
\frac{(\partial_x h^*)^2}{(\partial_{xx} h^*)^2}
\partial_{xx} \delta h,
</math></center>


donde establecemos condiciones de frontera <math>\delta h(0,t)=0=\delta h(x_{max},t)</math> y condición terminal <math>\delta h(x,T)=\delta U(x)</math>. Es decir, estamos tomando el problema original con condición terminal <math>U(x)</math> y añadiéndole una ligera variación <math>\delta U(x)</math> a la condición terminal. En nuestro caso, consideraremos como variación a la función de utilidad exponencial una función bump <math>e^{-x^2}</math>, y tomaremos distintos valores de <math>\varepsilon</math>, desde <math>10^{-1}</math> hasta <math>10^{-3}</math>.

Para resolver la ecuación de <math>\delta h</math> numéricamente, utilizaremos diferencias finitas fijando las constantes <math>r</math>=0.05, <math>\sigma </math>=0.5, <math>\lambda </math>=1, <math>T</math>=1, <math>x_{max}</math>=10 y tomando una partición de <math>x</math> de longitud <math>h_x=</math>0.05 y de <math>t</math> de longitud <math>h_t=</math>0.002.

Lo primero que hacemos es comprobar que <math>F(h)=F(h^*+\varepsilon \delta h)\xrightarrow{\varepsilon\rightarrow 0}  0</math> con orden de convergencia <math>O(\varepsilon)</math>. Para ello, sumamos la solución exacta <math>h^*</math> y la solución aproximada <math>\delta h</math> y sustituimos <math>h=h^*+\delta h</math> en la ecuación mediante diferencias finitas. Si llamamos residuo al resultado de <math>F(h)=F(h^*+\varepsilon\delta h)</math>, para <math>\varepsilon=10^{-3}</math> tenemos como resultado:

<center>
[[Archivo:ResiduosEcuacionHJBAproximada.png|500px]]
</center>
y si variamos <math>\varepsilon</math> obtenemos como órdenes de convergencia:
<center>
[[Archivo:ResiduoEcuacionHJBAproximadaLOG.png|500px]]
</center>

donde vemos que los residuos convergen más o menos con orden <math>O(\varepsilon)</math>, salvo para valores de <math>\varepsilon<10^{-3}</math>. La causa de esto es la inestabilidad numérica de la ecuación original para diferencias finitas. Finalmente, podemos ver cómo afecta la variación <math>\delta h</math> a la cantidad de dinero invertida en acciones <math>\pi</math>, calculando  el valor <math>\pi^\varepsilon</math> asociado a <math>h=h^*+\varepsilon\delta h</math> y comparándolo con <math>\pi^*</math> (asociado a <math>h^*</math>), obteniendo <math>\Delta \pi =\pi ^\varepsilon-\pi^*</math>. Obtenemos los siguientes resultados para distintos valores de tiempo y distintos valores de <math>\varepsilon</math> (recordatorio: <math>\pi^*</math> era constante respecto a <math>x</math>):
<center>
[[Archivo:PerturbacionEcuacionHJBAproximada.png|500px]]
</center>
=.Líneas futuras=

En el modelo anterior del problema de Merton se hace la suposición de que la varianza <math>\sigma</math> se mantenía constante a lo largo del tiempo. A continuación, vamos a estudiar que pasa si tenemos una varianza que no es constante.



Vamos a suponer que la varianza es un proceso de Ornstein-Uhlenbeck, es decir, que sigue la siguiente EDE:

<center><math>
    d\sqrt\sigma_t=-\beta\sqrt{\sigma_t}dt+\delta  dW_t.
</math></center>

Este proceso se suele escoger en finanzas para modelizar la volatilidad debido a que tiene la propiedad de `reversión a la media'; es decir, cuanto más se aleja de la media, más posibilidades tiene de volver. Se puede pensar como un caminante aleatorio que, cuanto más dista del origen, más atraído está a volver. Esto tiene interés financiero, ya que la volatilidad en economía suele subir durante las crisis o en tiempos de incertidumbre, pero siempre acaba estabilizándose o volviendo a valores más moderados. En la EDE anterior, <math>\beta</math> representa la velocidad de reversión a la media y <math>\delta</math> representa la varianza del proceso.



A continuación, podemos aplicar la fórmula de Itô para <math>Y_t=f(\sigma_t)=\sigma^2_t</math> y obtenemos la siguiente EDE en términos de <math>\sigma_t</math>:

<center><math>
    d\sigma_t=\kappa(\theta-\sigma_t)dt+\xi \sqrt{\sigma_t}dW_t,\;\kappa=2\beta,\;\theta=\frac{\delta^2}{2\beta},\;\xi=2\delta,\;\sigma_0=\sigma.
</math></center>

Entonces, nuestro problema completo consiste en maximizar:

<center><math>
    H^\pi(t,x,s,\sigma)=\mathbb{E}_{t,x,S,\sigma}[U(X_T^\pi)]
</math></center>

sujeto a:

<center><math>
    dS_t=(\mu-r)S_tdt+\sqrt{\sigma_t} S_tdW_t^1,\; S_o=S,
</math></center>
<center><math>
    dX_t^\pi=(\pi_t(\mu-r)+rX_t^\pi)dt+\pi_t\sqrt{\sigma_t} dW_t^1,\; X_0^\pi=x,
</math></center>
<center><math>
    d\sigma_t=\kappa(\theta-\sigma_t)dt+\xi \sqrt{\sigma_t}dW^2_t,\;\sigma_0=\sigma.
</math></center>

Una vez tenemos este problema de control óptimo, vamos a proceder exactamente igual que lo hicimos para el problema de Merton clásico, intentando llegar a la ecuación de HJB para encontrar la estrategia <math>\pi</math> óptima. Para ello, calculamos el generador infinitesimal de la terna <math>(X^\pi_t,S_t,\sigma_t)_{0\leq t\leq T}</math> aplicando la fórmula usual al par:

<center><math>
\mu(t,x,S) = \left[ \begin{array}{c} \pi_t(\mu-r)+rx \\ (\mu-r)S \\ \kappa(\theta-\sigma) \end{array} \right],\; \bar{\sigma}(t,x,S)= \left[ \begin{array}{cc} \sqrt{\sigma} \pi_t & 0 \\ \sqrt{\sigma} S & 0 \\ 0 & \xi\sqrt{\sigma} \end{array} \right],
</math></center>

donde aquí tenemos que la matriz <math>\bar{\sigma}</math> es <math>3\times2</math> puesto que los movimientos Brownianos <math>W_t^1</math> y <math>W_t^2</math> son independientes. Luego, tenemos:

<center><math>
    \mu^t D=(\pi_t(\mu-r)+rx)\partial_x+(\mu-r)S\partial_S+\kappa(\theta-\sigma)\partial_\sigma,
</math></center>


<center><math>
    \frac{1}{2}\text{tr}(\hat{\sigma}\hat{\sigma}^tD^2)=\frac{\sigma}{2}(\pi^2_t\partial_{xx}+\pi_tS\partial_{xS}+S\pi_t\partial_{xS}+S^2\partial_{SS}+\xi^2\partial_{\sigma\sigma})
</math></center>,

así que el generador infinitesimal es:

<center><math>
    \mathcal{L}_t^\pi=(\pi_t(\mu-r)+rx)\partial_x+(\mu-r)S\partial_S+\kappa(\theta-\sigma)\partial_\sigma+\frac{\sigma}{2}\pi_t^2\partial_{xx}+\sigma\pi_tS\partial_{xS}+\frac{\sigma}{2}S^2\partial_{SS}+\frac{\sigma}{2}\xi^2\partial_{\sigma\sigma}
</math></center>

y como <math>H</math> satisface la ecuación de HJB, tenemos la igualdad:

<center><math>
    0=\partial_tH+rx\partial_xH+(\mu-r)S\partial_SH+\kappa(\theta-\sigma)\partial_\sigma H
    +\frac{\sigma}{2}S^2\partial_{SS}H+\frac{\sigma}{2}\xi^2\partial_{\sigma\sigma}H+
</math></center>

    <center><math>
        +\sup_\pi\{\pi_t(\mu-r)\partial_xH+\frac{\sigma}{2}\pi_t^2\partial_{xxH}+\sigma\pi_tS\partial_{xS}H\}.
    </math></center>
Podemos ver que en el supremo nos quedan los mismos términos que en la variante con varianza constante; luego, la estrategia <math>\pi</math> es la misma:

<center><math>
    \pi=-\frac{(\mu-r)\partial_xH+\sigma S \partial_{xS}H}{\sigma \partial_{xx}H}
</math></center>

y si sustituimos en la ecuación de HJB, y utilizamos de nuevo que <math>H(t,\sigma,S,x)=h(\sigma,t,x)</math> no depende del valor de la acción <math>S</math>, nos queda:

<center><math>
    0=\partial_th+rx\partial_xh+\kappa(\theta-\sigma)\partial_\sigma h+\frac{\sigma}{2}\xi^2\partial_{\sigma\sigma}h-\frac{\lambda}{2\sqrt{\sigma}}\frac{(\partial_xh)^2}{\partial_{xx}h},\;h(T,\sigma,x)=U(\sigma,x).
</math></center>

Esta ecuación es difícil de resolver mediante diferencias/elementos finitos debido a la no linealidad y a la complejidad añadida por un variable extra, sería interesante intentar encontrar otros métodos para resolverla numéricamente y compararla con la solución obtenida para varianza constante.

=. Referencias =

* Á. Cartea, S. Jaimungal y J. Penalva. Algorithmic and High-Frequency Trading. Cambridge University Press, 2015.



[[Categoría:Trabajos fin de Grado, Máster y PAE del GeM y MUMAv]]