Escuela Profesional de Ingenieria Económica

Métodos Matemáticos para Economía

Apuntes de Programación dinámica-Parte 3

Carlos Varga Trujillo cvargast@uni.edu.pe

Programación dinámica con factor de descuento en horizonte temporal finito

En estas clase vamos a considerar problemas de programación dinámica que consideran

un factor de descuento en la suma a optimizar. Nos referimos, en el caso de horizonte
infinito, a problemas de la forma
T
maximizar   t f ( yt ; ut )
u0 ; ;uT
t =0 (1)
sujeto a yt +1 = g ( yt ; ut ) , y0 , yT +1 dados

Como ya sabemos este problema consiste en encontrar los valores u0* ; ; uT* óptimos de
la senda de la variable de control (la cual determina a las variables de estado vía la
T
ecuación de transición) que hacen que la suma   f ( y ; u ) sea máxima.
t =0
t
t t Nótese que

estando dado yT +1 , y estando ya determinado yT , el control uT se determina

*

directamente de la ecuacion de transición. Esto quiere decir que en este caso el control
optimo uT no es determinado resolviendo un problema de optimización, pero todos los
*

controles anteriores si deben ser determinados resolviendo un problema de

optimización. En el caso en que yT +1 no esté dado si debe determinarse uT para
*

determinar yT +1 .

La “función valor optimo” o “función valor” en el instante t del problema (1) mediante

 f ( y ;u )
T
Vt ( yt ) = maximizar j
j j
ut ; ;uT
j =t

que representa el máximo del problema (1) a partir del periodo t, t 0;1; ;T 
La llamada ecuación de Bellman es:

Vt ( yt ) = maximizar  t f (ut ; yt ) + Vt +1 ( yt +1 ) (2)

ut

Al igual que en control óptimo, realizaremos un artificio de forma que eliminemos del
componente 𝛽 𝑡 que acompaña a la función de beneficios.
Particularmente, multiplicaremos a toda la expresión por el recíproco del factor de
descuento.
 − tVt ( yt ) =  − t maximizar  t f (ut ; yt ) + Vt +1 ( yt +1 )
ut
Wt

= maximizar  f (ut ; yt ) +  − tVt +1 ( yt +1 )

ut

 
 
= maximizar  f (ut ; yt ) +   Vt +1 ( yt +1 ) 
− t −1

 
ut
 Wt +1 
Es decir,

Wt ( yt ) = maximizar  f (ut ; yt ) + Wt +1 ( yt +1 )

ut

Aquí Wt se le conoce como función de valor de Bellman a valor corriente.

Teorema (Condición necesaria en tiempo corriente) Si u0* ; ; uT* es solución

interior de
T
maximizar 
t =0
t
f (ut ; yt )
(1)
sujeto a yt +1 = g (ut ; yt ), y0 , yT +1 dados,

e y0* ; ; yT* es la senda de estados óptimos correspondiente; entonces

 f g * *
 0=
ut
( yt* , ut* ) + W 't +1 ( yt*+1 )
ut
( yt , ut )

 f g * *
W 't ( yt ) = ( yt* , ut* ) + W 't +1 ( yt*+1 ) ( yt , ut )
*

 yt yt
( t t)
 y * = g y * , u*
 t +1

■

Este sistema se suele escribir de manera más breve como

 f g
 0= + W 't +1 
ut ut

 f g
W 't = + W 't +1   (BS)
 y t  y t
 y = g ( y ,u )
 t +1 t t


Esta condición con la ecuación de transición nos permite (al menos teóricamente)
resolver algunos problemas de optimización dinámica con factor de descuento. La
ventaja de esta forma de la ecuacion de Bellman es que no involucra potencias de 

f g * *
( )
La ecuacion W 't yt =
*

yt
( yt* , ut* ) + W 't +1 ( yt*+1 )
yt
( yt , ut ) se le conoce como ecuación
de Benveniste-Scheinkman (B-S).

Ejemplo
Un individuo cuenta con un stock de ahorro st . Cada periodo el agente retira de sus
ahorros un monto igual a ct para destinarlo al consumo. El stock de ahorro que queda,
st − ct , se deposita en un banco que paga una tasa de interés constante r, 0  r  1. De
este modo en el siguiente periodo el nuevo stock de ahorros será igual a (1 + r )( st − ct )
Esta operación se repite periodo a periodo hasta el momento T . El comportamiento de
los ahorros se expresa a través de la ecuación de movimiento

st +1 = (1 + r )( st − ct ) , t = 0;1; ; T , s0 = A, sT +1 = 0

Aquí, s0 = A es el stock inicial de ahorros. El objetivo del individuo es maximizar su

bienestar intertemporal hasta el periodo T , empleando una tasa de descuento
 , 0    1 y sus preferencias son modeladas por la función de utilidad
T
U =   t ln ( ct )
t =0

El problema es entonces
T
maximizar U =   t ln ( ct )
t =0

sujeto a st +1 = (1 + r )( st − ct ) , t = 0;1; ; T , s0 = A, sT +1 = 0

La ecuación de Bellman es
𝑊𝑡 (𝑠𝑡 ) = max{ln(𝑐𝑡 ) + 𝛽𝑊𝑡+1 (𝑠𝑡+1 )}
{𝑐𝑡 }

𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 𝑠𝑡+1 = (1 + 𝑟)(𝑠𝑡 − 𝑐𝑡 )

A partir de este planteamiento, procedemos de nuevo con la condición de primer orden

y la ecuación B-S:

1 ′
( 1) − 𝛽(1 + 𝑟)𝑊𝑡+1 =0
𝑐𝑡
 ′
(2) 𝑊𝑡′ = 𝛽(1 + 𝑟)𝑊𝑡+1

De (1) tenemos

1 1 1  1 
W 't +1 =    W 't = .
 (1 + r )  ct   (1 + r )  ct −1 

Ahora reemplazamos en (2)

1  1  1 1
W 't =  (1 + r ) W 't +1    =  (1 + r )
 (1 + r )  ct −1   (1 + r )  ct 
1
=
ct

Entonces,

1  1  1 1  (1 + r ) 1  (1 + r )
 =  =  =  ct +1 =  (1 + r ) ct
 (1 + r )  ct −1  ct ct −1 ct ct ct +1

Ahora solo debemos resolver el sistema de ecuaciones dado por

(1) 𝑐𝑡+1 = 𝛽(1 + 𝑟)𝑐𝑡 y (2) 𝑠𝑡+1 = (1 + 𝑟)(𝑠𝑡 − 𝑐𝑡 ).

Empecemos resolviendo la ecuación en diferencias (1), que depende de una única

variable:

ct +1 =  (1 + r ) ct

cuya solución es
𝑡
𝑐𝑡 = 𝐻1 (𝛽(1 + 𝑟))

Ahora podemos reemplazar en la ecuación (𝑏):

𝑡
𝑠𝑡+1 = (1 + 𝑟)𝑠𝑡 − (1 + 𝑟)𝑐𝑡 = (1 + 𝑟)𝑠𝑡 − (1 + 𝑟)𝐻1 (𝛽(1 + 𝑟))

Es decir,
𝑡
𝑠𝑡+1 = (1 + 𝑟)𝑠𝑡 − (1 + 𝑟)𝐻1 (𝛽(1 + 𝑟))

Así, la trayectoria total para 𝑠𝑡 toma la siguiente forma:

𝐻1 𝑡
𝑠𝑡 = 𝐻2 (1 + 𝑟)𝑡 + (𝛽(1 + 𝑟))
1−𝛽

Finalmente, solo nos queda evaluar en la condición de inicio (𝑠0 = 𝐴) y la condición de

termino (𝑠𝑇+1 = 0). Con esto concluye la solución del problema.
Ejemplo
Suponga que se busca optimizar la utilidad descontada de una economía, de la forma
T
U =   t ln ( ct ) La economía produce un bien yt mediante la función de producción
t =0

f ( kt ) = Akt , y puede asignar dichos recursos a consumir o a invertir en más capital.

Asimismo, la ley de movimiento del capital tiene la forma kt +1 = Akt − ct + (1 −  ) kt .
Encuentre la ecuación de Euler del consumo

Nota: La llamada “ecuación de Euler” para problemas de programación dinámica se

refiere a aquella que vincula la variable de control en dos instantes consecutivos. Esta
ecuacion puede también incluir a la variable de estado. Esta se obtiene a partir de la
condición necesaria de primer orden (la cual involucra la ecuacion BS). Esta relación es,
en general, una ecuacion en diferencias no lineal

Solucion
La ley de movimiento, unida con la restricción de recursos, toma la siguiente forma
kt +1 = Akt − ct + (1 −  ) kt
Así, la ecuacion de Bellman a valor corriente toma la forma

Wt ( kt ) = maximizar ln ( ct ) + Wt +1 ( kt +1 )

ct

sujeto a kt +1 = Akt − ct + (1 −  ) kt

De la condición de primer orden se tiene lo siguiente:

1 k 1 1 1
(1) + W 't +1  t +1 = − W 't +1  W 't +1 =  W 't =
ct ct ct  ct  ct −1

Asimismo, de la ecuación de Benveniste-Scheinkman se tiene que:

kt +1
( 2) W 't = W 't +1  =  ( Akt −1 + 1 −  )W 't +1
kt

Finalmente, de (1) y (2) es posible obtener la ecuación de Euler para el consumo:


1
=
 ct −1  ct
(  Akt −1 + 1 −  )  t =  ( Akt −1 + 1 −  )
c
ct −1
Si bien hemos encontrado una ecuación que describe el movimiento del consumo, esta n
también depende de kt y no solo ello, sino que además es no lineal. En ese sentido, no es
posible tener una solución que permita obtener el consumo óptimo en cada periodo del
tiempo, ni mucho menos tener una función de política. Por ello, se hace necesario indagar
en nuevos métodos que permitan conocer un poco más la trayectoria óptima. En
particular, se requerirán algunas herramientas de linealización que serán analizadas más
adelante.
Programación dinámica con factor de descuento en horizonte temporal infinito

En economía es frecuente considerar modelos de optimización donde no hay un tiempo

final T especificado. En este caso evidentemente no existe una condición terminal solo
un condición inicial. El problema por considerar es

maximizar 
t =0
t
f (ut ; yt )

sujeto a yt +1 = g (ut ; yt ), y0 dado

Una cuestión importante aquí tiene que ver con que siendo esta serie infinita es posible
que sea divergente. La presencia del factor de descuento  , 0    1 es importante
para la convergencia de la serie bajo el supuesto de que f (ut ; yt ) sea acotada, es decir,
f (ut ; yt )  M para algún M  0 . En este caso, se tendría
f (ut ; yt )  M   t f (ut ; yt )  M  t

La convergencia de la serie M
t =0
t
implicaría la convergencia(absoluta) de la serie


t =0
t
f (ut ; yt )

La ecuacion de Bellman y la condición necesaria de optimo son iguales al caso de

problemas con horizonte finito y factor de descuento
Es decir,

Wt ( yt ) = maximizar  f (ut ; yt ) + Wt +1 ( yt +1 ),

ut

y
 f g ( yt , ut )
 0= ( yt , ut ) + W 't +1 
 ut ut

 f g ( yt , ut )
W 't = ( yt , ut ) + W 't +1   (BS)
 yt yt
 y = g ( y ,u )
 t +1 t t



Ejemplo
Consideremos el problema clásico

maximizar U =   t ln ( ct )
t =0

sujeto a kt +1 = (1 + r ) kt − ct , k0 dado


Ecuacion de Bellman Wt ( yt ) = maximizar ln ( ct ) + Wt +1 ( kt +1 ) ,
ct

Las condiciones de primer orden son:
1
0 = − W 't +1 ( kt +1 )
ct
W 't ( kt ) =  (1 + r ) W 't +1 ( kt +1 )

despejando W 't +1 de la primera ecuacion y sustituyéndola en la segunda

1+ r
W 't ( kt ) =
ct
Adelantando un periodo
1+ r
W 't +1 ( kt +1 ) =
ct +1
Si sustituimos en la primera ecuacion del sistema
1  (1 + r )
=
ct ct +1
La ecuacion de Euler (es decir, la ecuacion que vincula la variable de control en dos
instantes consecutivos) es
ct +1 =  (1 + r ) ct
Esta es la misma ecuacion en el modelo con horizonte finito. La solucion de esta ecuacion
en diferencias es
ct = A (  (1 + r ) )
t

Reemplazando en la ley de acumulación o de movimiento de la variable de estado

kt +1 = (1 + r ) kt − ct , k0 dado
se obtiene
kt +1 = (1 + r ) kt − A (  (1 + r ) ) , k0 dado
t
(1)

Para resolver esta ecuacion primero resolvemos la ecuacion homogénea asociada

kth+1 = (1 + r ) kth
la cual tiene solución kth = B (1 + r ) . Proponemos la solucion particular en la forma
t

ktp = C (  (1 + r ) )
t

reemplazando en (1) tenemos

ktp+1 = (1 + r ) ktp − A (  (1 + r ) )  C (  (1 + r ) ) = (1 + r ) C (  (1 + r ) ) − A (  (1 + r ) )
t t +1 t t

Simplificando obtenemos
C (  (1 + r ) ) = (1 + r ) C − A
de donde
A
C=
(1 + r )(1 −  )
Luego,

(  (1 + r ) )
A t
ktp =
(1 + r )(1 −  )
En consecuencia

(  (1 + r ) )
A
kt = B (1 + r ) +
t t

(1 + r )(1 −  )
Hacemos la hipótesis de que el valor del capital es acotado en todo instante de tiempo,
esto implica que B = 0 y además pedimos que  (1 + r )  1 por lo tanto

(  (1 + r ) )
A t
kt =
(1 + r )(1 −  )
A
Evaluando en t = 0 se obtiene k0 =
(1 + r )(1 −  )

En consecuencia,
kt = k0 (  (1 + r ) )
t

el consumo es
ct = A (  (1 + r ) )
t

En consecuencia,
ct = k0 (1 + r )(1 −  ) (  (1 + r ) )
t