Ejer
Ejer
Ejer
OPTIMIZACIÓN NO LINEAL
Y DINÁMICA
Héctor Manuel Mora Escobar
Departamento de Matemáticas
Universidad Nacional de Colombia
Bogotá
i
ISBN
ii
A Hélène, Nicolás y Sylvie
iv
ÍNDICE GENERAL
PRÓLOGO ix
NOTACIÓN xiii
1 INTRODUCCIÓN 1
1.1 GENERALIDADES . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 MÍNIMOS CUADRADOS: UNA RECTA . . . . . . . . . . . 5
1.3 MÍNIMOS CUADRADOS: CASO GENERAL . . . . . . . . . 6
1.4 SOLUCIÓN POR MÍNIMOS CUADRADOS DE UN SIS-
TEMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 COLUMNA TUBULAR DE PESO MÍNIMO . . . . . . . . . 8
1.6 CONSTRUCCIÓN DE UNA CAJA DE COSTO MÍNIMO . 10
1.7 LOCALIZACIÓN DE UNA CENTRAL . . . . . . . . . . . . 11
1.8 CONVERGENCIA Y ORDEN DE CONVERGENCIA . . . . 11
2 CONJUNTOS CONVEXOS 17
v
ÍNDICE GENERAL
6 CONDICIONES DE KARUSH-KUHN-TUCKER 93
6.1 GENERALIDADES . . . . . . . . . . . . . . . . . . . . . . . 93
6.2 PROBLEMAS CON DESIGUALDADES . . . . . . . . . . . 101
6.3 PROBLEMAS CON DESIGUALDADES E IGUALDADES . 110
6.4 CONDICIONES DE SEGUNDO ORDEN . . . . . . . . . . . 119
vi
ÍNDICE GENERAL
vii
ÍNDICE GENERAL
BIBLIOGRAFÍA 329
viii
PRÓLOGO
ix
“necesita” la definición de conjunto convexo.
También por “razones de tiempo”, este libro no contiene nada sobre
dualidad, no hay resultados sobre calificación de restricciones, ni están “to-
dos” los métodos importantes. Faltarı́an algunos métodos espécificos, por
ejemplo, para programación cuadrática, complementariedad lineal y algo-
ritmo de Lemke, métodos de programación cuadrática secuencial, método
de conjunto activo como tal. Obviamente hay otros métodos importantes
que definitivamente quedan por fuera del alcance de este libro, por ejemplo,
métodos para mı́nimos cuadrados (sin o con restricciones), métodos para
optimización global, métodos para optimización no suave (no diferenciable),
métodos para problemas grandes de PNL (large-scale) y métodos paralelos.
Este libro tiene un enfoque utilitario en el sentido de que lo importante
de cada resultado es su aplicación e interpretación y no su justificación. Por
esta razón casi todas las proposiciones están presentadas sin demostración,
éstas se pueden encontrar en los libros citados en la bibliografı́a. En cambio
hay bastantes ejemplos que permiten, eso espero, comprender el alcance, las
condiciones de aplicación y las implicaciones de cada resultado.
Mis primeros conocimientos de PNL los tuve del profesor Jean Legras
en la Universidad de Nancy en Francia. Posteriormente seguı́ aprendiendo
al dictar el curso de PNL, para lo cual usé bastante el libro de Bazaraa y
Shetty (Bazaraa, Sherali y Shetty en la segunda edición). El lector notará
la gran influencia del libro de Bazaraa en la redacción de estas notas.
Quiero agradecer especialmente a los profesores Lucimar Nova, Jaime
Malpica, Luis G. Moreno, Argemiro Echeverry, Felix Soriano y Jorge Mauri-
cio Ruiz, quienes tuvieron la amabilidad y la paciencia de leer la versión
inicial de este libro. También quiero agradecer a los estudiantes del curso
Programación No Lineal y Dinámica de las carreras de Ingenierı́a de Sis-
temas y de Matemáticas, en especial a Sandra Toro, Héctor López y David
Báez. Las sugerencias, comentarios y correcciones de todos ellos, fueron
muy útiles.
Deseo agradecer a la Universidad Nacional por haberme permitido des-
tinar parte de mi tiempo de trabajo para dedicarlo a esta obra, este tiempo
fue una parte importante del necesario para la realización del libro.
El texto fue escrito en Latex. Quiero también agradecer al profesor
Rodrigo De Castro quien amablemente me ayudó a resolver las inquietudes
y los problemas presentados.
Finalmente, y de manera muy especial, agradezco a Hélène, Nicolás y Syl-
x
vie. Sin su apoyo, comprensión y paciencia no hubiera sido posible escribir
este libro.
xi
xii
NOTACIÓN
Rn = {(x1 , x2 , . . . , xn ) : xj ∈ R, ∀j}
Rn := conjunto universal
x es un vector o punto ⇔ x ∈ Rn
S es un conjunto ⇔ S ⊆ Rn
M(m, n) = Rm×n = conjunto de matrices reales de tamaño m × n
si A ∈ M(m, n), entonces A es de la forma:
a11 a12 ... a1n
a21 a22 ... a2n
A= .
.. .. ..
.. . . .
am1 am2 . . . amn
xiii
n
X 1/2
kxk2 = x2i
i=1
kxk∞ = max |xi |
1≤i≤n
dp (x, y) = kx − ykp , p = 1, 2, ∞
B(c, r) = {x : ||x − c|| < r}
Bp (c, r) = {x : ||x − c||p < r}
B[c, r] = {x : ||x − c|| ≤ r}
Bp [c, r] = {x : ||x − c||p ≤ r}
xk = x(k) =vector x en la iteracioón k, k = 0, 1, 2 . . .
Qk = Q(k) =matriz Q en la iteracioón k ,k = 0, 1, 2 . . .
(Q)k = k veces el producto de la matriz Q por sı́ misma.
Q-1 = inversa de la matriz Q
R(x̄, d) = {x̄ + µd : µ ∈ R} recta que pasa por x̄ y es paralela a d 6= 0
S(x̄, d) = {x̄ + µd : µ ≥ 0} semirrecta que empieza en x̄ y va en la dirección
de d 6= 0
f, g1 , g2 , . . . , gm , h1 , h2 , . . . , hl son funciones de variable vectorial y valor real,
es decir:
f, g1 , g2 , . . . , gm , h1 , h2 , . . . , hl : Rn −→ R
∂f
(x̄)
∂x1
∂f
(x̄)
0
f (x̄) =
∂x2
..
.
∂f
(x̄)
∂xn
xiv
∂2f ∂2f ∂2f
∂x2 (x̄) ∂x2 ∂x1
(x̄) . . .
∂xn ∂x1
(x̄)
1
∂2f ∂2f ∂2f
(x̄) (x̄) ... (x̄)
∂x22
f (x̄) = ∂x1 ∂x2
00 ∂xn ∂x2
.. .. .. ..
. . . .
∂2f ∂2f 2
∂ f
(x̄) (x̄) . . . (x̄)
∂x1 ∂xn ∂x2 ∂xn ∂x2n
xv
bxc = parte entera de x = parte entera inferior de x = max{n ∈ Z : n ≤ x}.
dxe = parte entera superior de x = min{n ∈ Z : n ≥ x}.
c = mejor{a, b} ⇔ c ∈ {a, b}, ϕ(c) = min{ϕ(a), ϕ(b)}para una función ϕ
dada.
En la escritura de numeros decimales, los enteros están separados de los
decimales por medio de un punto. No se usa la notación española (los
enteros están separados de los decimales por una coma). No se utiliza un
sı́mbolo para separar las unidades de mil de las centenas.
xvi
Capı́tulo 1
INTRODUCCIÓN
1.1 GENERALIDADES
Se puede decir que un problema de programación matemática (optimización),
consiste en encontrar un punto que minimice (o que maximice) el valor de
una función f (x), con la condición de que x esté en un conjunto A. Este
problema se puede denotar ası́:
min f (x)
sujeto a x ∈ A,
min f (x)
x ∈ A.
min f (x)
g1 (x) ≤ 0
g2 (x) ≤ 0
1
CAPÍTULO 1. INTRODUCCIÓN
...
gm (x) ≤ 0
h1 (x) = 0
h2 (x) = 0
...
hl (x) = 0,
c1 x1 + c2 x2 + · · · + cn xn ,
donde c1 , c2 , ... , cn son constantes. Si gi es una función afı́n, se puede
expresar de la forma
2
1.1. GENERALIDADES
es equivalente a
es equivalente a
p(x) ≥ 0,
es equivalente a
3
CAPÍTULO 1. INTRODUCCIÓN
−p(x) ≤ 0.
min x1 + x2
x1 > 0
x2 > 0.
q(x) < 0,
q(x) ≤ −ε.
4
1.2. MÍNIMOS CUADRADOS: UNA RECTA
a∗ = 2.8476 ,
b∗ = −0.8502 ,
f ∗ = f (a∗ , b∗ ) = 3.4581 ,
y = 2.8476 x − 0.8502 .
5
CAPÍTULO 1. INTRODUCCIÓN
m
X
f (α1 , ..., αn ) = (ϕ(xi ) − yi )2
i=1
2
m
X Xn
f (α) = αj ϕj (xi ) − yi .
i=1 j=1
α1
n
X α2
αj ϕj (xi ) = ϕ1 (xi ) ϕ2 (xi ) . . . ϕn (xi )
..
j=1
.
αn
6
1.4. SOLUCIÓN POR MÍNIMOS CUADRADOS DE UN SISTEMA
= Φi· α,
m
X
min f (α) = (Φi· α − yi )2
i=1
m
X 2
= (Φ α)i − yi
i=1
m
X 2
= Φα − y i
i=1
min f (α) = || Φ α − y ||22 .
Ax =b
Ax − b =0
|| A x − b || =0
|| A x − b ||2 =0
|| A x − b ||22 = 0.
7
CAPÍTULO 1. INTRODUCCIÓN
AT A x = AT b.
A = 2πRe , I ≈ πR3 e.
π 3 R3 Ee
P ≤
4h2
8
1.5. COLUMNA TUBULAR DE PESO MÍNIMO
P
≤ σa
2πRe
Rmin ≤ R ≤ Rmax
emin ≤ e ≤ emax
0 ≤ 20e ≤ R.
A = π(R22 − R12 ),
π 4
I = (R − R14 ).
4 2
Entonces el problema quedarı́a de la siguiente forma:
π 3 E(R24 − R14 )
P ≤
16h2
Rmin ≤ R1
R2 ≤ Rmax
emin ≤ R2 − R1 ≤ emax
R1 + R2
≥ 20.
2(R2 − R1 )
9
CAPÍTULO 1. INTRODUCCIÓN
x1 = ancho de la caja,
x2 = largo de la caja,
x3 = alto de la caja.
1000
min z = 800000d e + 200000(2x1 x2 )
x1 x2 x3
+100000(2x1 x3 + 2x2 x3 )
x1 ≤ 2
x2 ≤ 5
x3 ≤ 3
2x1 x3 + 2x2 x3 ≤ 50
x ≥ 0,
donde dte indica la parte entera superior de t, es decir, el mı́nimo entero
mayor o igual a t, ası́, por ejemplo, d2.1e = 3, d2e = 2, d−1.9e = −1. La
expresión x ≥ 0 indica que todas las variables deben ser no negativas, o sea,
para este caso, x1 , x2 , x3 ≥ 0.
10
1.7. LOCALIZACIÓN DE UNA CENTRAL
Como c̄ es constante,
m
X p
min f (x1 , x2 ) = ni g (x1 − ui )2 + (x2 − vi )2 .
i=1
11
CAPÍTULO 1. INTRODUCCIÓN
lim xk = x∗ ,
k→∞
o también,
xk −→ x∗ ,
k→∞
xk → x∗ .
Ejemplo 1.1.
1 1
xk = (2 − , 3 + 2 ) → (2, 3) = x∗ ,
k
r k
1 1
ya que ||xk − x∗ ||2 = + → 0,
k2 k4
1
o también ||xk − x∗ ||∞ = → 0. 3
k
Definición 1.1. Una sucesión de vectores {xk } que converge a x∗ se dice
que tiene orden de convergencia p > 0, si p es el mayor valor tal que
||xk+1 − x∗ ||
lim = β < ∞.
k→∞ ||xk − x∗ ||p
||xk+1 − x∗ ||
lim = 0,
k→∞ ||xk − x∗ ||
12
1.8. CONVERGENCIA Y ORDEN DE CONVERGENCIA
||xk+1 − x∗ ||
≤ β < ∞,
||xk − x∗ ||p
o también ||xk+1 − x∗ || = O( ||xk − x∗ ||p ).
Ejemplo 1.2.
1 1
xk = ( 2 + , 3 − )
k k
tiene orden de convergencia uno, pero no es lineal ya que xk → (2, 3) y
1
√
||xk+1 − x∗ || k+1 2
lim = lim √ = 1. 3
k→∞ ||xk − x∗ || 1
k 2
k→∞
Ejemplo 1.3.
1
xk =
k2
Aparentemente, al ver un cuadrado en el denominador, se podrı́a pensar que
el orden de convergencia es 2. Sin embargo, tiene orden de convergencia uno
con β = 1. O sea, tiene el mismo orden de convergencia y el mismo valor β
del ejemplo anterior. 3
Ejemplo 1.4.
Ejemplo 1.5.
1
xk = 3 +
22k
tiene orden de convergencia 2, con β = 1. 3
Ejemplo 1.6.
1 1
xk = , yk =
3kk2 3k
1
tienen convergencia lineal con tasa . 3
3
13
CAPÍTULO 1. INTRODUCCIÓN
Ejemplo 1.7.
1
xk =
k!
tiene convergencia lineal con tasa 0, o sea, es superlineal. 3
Ejemplo 1.8. √
xk+1 = xk xk , 0 < x1 < 1.
tiene convergencia de orden 1.5 . 3
EJERCICIOS
1.1. Se desea encontrar una recta que pase lo más cerca posible, en el sen-
tido de mı́nimos cuadrados, de los puntos (1, 7), (2, 11), (3, 18), (4, 28).
Plantee explı́citamente el problema de optimización correspondiente.
1.3. Se desea encontrar una parábola que pase lo más cerca posible, en
el sentido de mı́nimos cuadrados, de los puntos (1, 7), (2, 11), (3, 18),
(4, 28). Plantee explı́citamente el problema de optimización correspon-
diente.
1.4. Se desea encontrar una parábola convexa que pase lo más cerca posi-
ble, en el sentido de mı́nimos cuadrados, de los puntos (1, 7), (2, 11),
(3, 18), (4, 28). Plantee explı́citamente el problema de optimización
correspondiente.
14
1.8. CONVERGENCIA Y ORDEN DE CONVERGENCIA
15
CAPÍTULO 1. INTRODUCCIÓN
16
Capı́tulo 2
CONJUNTOS CONVEXOS
Figura 2.1
17
CAPÍTULO 2. CONJUNTOS CONVEXOS
H = Hc,α = {x ∈ Rn : cT x = α}.
Este hiperplano genera dos semiespacios cerrados:
H + = {x ∈ Rn : cT x ≥ α},
H − = {x ∈ Rn : cT x ≤ α},
◦
H + = {x ∈ Rn : cT x > α},
◦
H − = {x ∈ Rn : cT x < α}.
18
◦ ◦
Los conjuntos H, H + , H − , H + , H − son convexos. Veamos que H es
convexo. Sean: x, y ∈ H, λ ∈ [0, 1], z = (1-λ)x + λy. El punto z está en H
si y solamente si cT z = α ; efectuando el cálculo:
19
CAPÍTULO 2. CONJUNTOS CONVEXOS
{x ∈ Rn : Ax = b},
{x ∈ Rn : Ax ≥ b},
{x ∈ Rn : Ax = b, x ≥ 0},
{x ∈ Rn : Ax ≥ b, x ≥ 0}. 3
Ejemplo 2.8.
\
{(x1 , x2 ) : x1 cos θ + x2 sen θ ≤ 1},
0≤θ≤2π
−x1 + x2 ≥ 2
20
x2 ≥ 3
x2 ≤ 5
x ≥ 0. 3
\
Ejemplo 2.11. B2 [0, 1] = {(x1 , x2 ) : x1 cos θ + x2 sen θ ≤ 1} no es
0≤θ≤2π
un polı́topo. 3
αC = {αx : x ∈ C}
es un conjunto convexo.
C + D = {x + y : x ∈ C, y ∈ D}
es un conjunto convexo.
αC + βD = {αx + βy : x ∈ C, y ∈ D}
21
CAPÍTULO 2. CONJUNTOS CONVEXOS
m
X
1 2 m
x = λ1 x + λ2 x + . . . + λm x , λi ≥ 0 ∀i, λi = 1.
i=1
Ejemplo 2.14. Dados (1, 0), (0, 0) y (0, 1), son ejemplos de combinaciones
convexas:
1 1 1 1 1
( , ) = (1, 0) + (0, 0) + (0, 1)
2 4 2 4 4
(0, 1) = 0(1, 0) + 0(0, 0) + 1(0, 1). 3
22
........................... ...........................
........ . . . . ......... ........ . . . . .........
..................... ....... ..................... .......
..... . . . . . . . . . ..... ..... . . . . . . . . . .....
............................................. .............................................
................................ ................................
.... . . . . . . . . . . . . ... .... . . . . . . . . . . . . ...
................................. .................................
.................................... ....................................
................................. .................................
... ............................ ... ............................
..... . . . . . . . . . . ...... ..... . . . . . . . . . . ......
....... . . . . . . . . ....... ....... . . . . . . . . .......
..................... ......... ..................... .........
............................. .............................
A co(A)
... ...
........ ........
.......... ..........
.............
. .............
.
............... ..............
... . . . . .. ... . . . . ...
................ ................
...................
. .
...................
. . . . . . . . .. . . . . . . . . ..
....................... ......................
.................... .. .......................
... . . . . . . . . .... ... . . . . . . . . ....
........................................
. ............................
. . . . .... ................ . . . . . . . . . . . . ..
................... ........ . ....
........ .. ..............................
................ ........... ................................
......... ..... .........................................................................................
B co(B)
· ........
.............
..... . . ......
..... . . . ......
...
.................................
.. . . . . . . . ...
..... . . . . . . . . .......
..... . . . . . . . . . ......
..... ............................
· · ........................................
...............................
.............................
... . . . . . . . . . . ....
...........................
... ......................
.... . . . . . . . . ..
.....................
... . . . . . . ....
· · ....................................
D co(D)
Figura 2.2
Proposición 2.7. El convexo generado por A se puede caracterizar “cons-
tructivamente” como la intersección de todos los convexos que contienen a
A,
\
co (A) = C.
C convexo,
A⊆C
Esta intersección está bien definida ya que por lo menos existe un con-
junto convexo que contiene a A: el espacio completo Rn .
Proposición 2.8. co (A) = cc(A) .
Ejemplo 2.15. co ({(1, 0), (0, 1), (0, 0)}) = {(x1 , x2 ) : x1 + x2 ≤ 1, x ≥ 0},
co ({(1, 0), (0, 1), (0, 0), (0.1, 0.2)}) = {(x1 , x2 ) : x1 + x2 ≤ 1, x ≥ 0},
co ({(x1 , x2 ) : x1 x2 = 0, x21 + x22 ≤ 1, x ≥ 0}) = {(x1 , x2 ) : x1 + x2 ≤ 1, x ≥
0},
co ({(x1 , x2 ) : x2 = x21 }) = {(x1 , x2 ) : x2 ≥ x21 }. 3
23
CAPÍTULO 2. CONJUNTOS CONVEXOS
m
X
1 2 m
x = λ1 x + λ2 x + · · · + λm x , λi ≥ 0 ∀i, λi = 1, m ≤ n + 1.
i=1
Serı́a erróneo pensar que toda envolvente convexa se puede expresar como
la envolvente de a lo más n + 1 puntos, puesto que la existencia de n + 1
puntos está garantizada para un punto, pero a medida que éste varı́a también
varı́an los n + 1 puntos.
Proposición 2.10. Un conjunto C es un poliedro si y solamente si se puede
expresar como la envolvente convexa de un número finito de puntos.
Definición 2.7. Sea C convexo, x en C. Se dice que x es punto extremo
de C, si no es posible expresar x como combinación convexa estricta de dos
puntos distintos de C, es decir:
x = (1-λ)u + λv
u, v ∈ C =⇒ u = v = x.
λ ∈]0, 1[
El conjunto de puntos extremos de C se denota pe(C).
punto
....................... ...
.......
punto
.......... . . . ............
............................
..... . . . . . . . . . ....... extremo .........
... . ....
extremo
............................................
. .................
.
................................. ...............
... . . . . . . . . . . . . . .. .................
................................. ..................
.................................... .........................
................................
... ....................... ......... punto no .
......................
. puntos no
..... . . . . . . . . .. . ...... .... . . . . . . . . ...
....... . . . . . . . . ......
..................... ......... extremo
............................. ..
.............................
...........................
.. . . . . . . . . . . . ..
extremos
.............................
... . . . . . . . . . . . . ...
..........................................................................................
Figura 2.3
Ejemplo 2.16. Dado el conjunto convexo
24
Ejemplo 2.18. (1, 0), (0, 1), (0, 0) son puntos extremos de {(x1 , x2 ) : x1 +
x2 ≤ 1, x ≥ 0}. 3
Proposición 2.11. Sean: C convexo, x en C. x es punto extremo de C si
y solamente si al quitar x de C se tiene un convexo, es decir, si y solamente
si
C \ {x} = {y ∈ C : y 6= x} es convexo.
Proposición 2.12. Todo conjunto convexo, cerrado y acotado se puede ex-
presar como la envolvente convexa de sus puntos extremos, o sea
C = co pe(C) .
Ejemplo 2.19. B[0, 1] = co {x : kxk = 1} . 3
d = µ1 d1 + µ2 d2
d1 , d2direcciones de C =⇒ d, d1 , d2 son equivalentes.
µ1 , µ2 > 0
25
CAPÍTULO 2. CONJUNTOS CONVEXOS
−x1 + x2 ≥ 2
x2 ≥ 3
x ≥ 0
. ..
................................................ ...........................................
................................ ..........................................
.......................... .... ........................................
............................. ......................................................
............................ .. . . . . . . . . . . . . . .....
...................... .... ...................................
......................... .................................
........................ ............................................
.................. .... ... . . . . . . . . . ......
..................... ............................
.................... ... .......................
.............. .... ...................................
................. .. . . . . . . .....
................ ......................
.......... .... .........
.............. ....................
............. ........... . . . ........................
............ ........... . . . . . .. . . . .....
.......... ..
...
..
..
.................................... ...............
......... .......... . . . . . . . . . . . .............
........... . . . . . . . . . . . .
........ ..................................................................... ..............
v .. ....
....................................................................................................................................... v . ..
......
Figura 2.4
Ejemplo 2.23. {(x1 , x2 ) : x1 x2 = 0}, es decir, el conjunto formado por los
puntos sobre los ejes, es un cono no convexo. 3
26
Ejemplo 2.24. {(x1 , x2 ) : x ≥ 0}, es decir, el primer cuadrante, es un cono
convexo. 3
−x1 + x2 ≥ 2
x2 ≥ 3
x ≥ 0. 3
d(x, A) = → inf kx − yk
y∈A
27
CAPÍTULO 2. CONJUNTOS CONVEXOS
...............
............. .. ..........
x ..... ...............................................................................
....... . . . . ........ ............................
...... .... .. .. .. .. ...... .... . . . . . . . . . . ...
....... .... .. .. .. .. ........
. .. ............................
.
. . . . . . . . . .. ............
.... .. .... .. .. .. .. .. ..... ...............................
..... .. .... .. .. .. .. .. .....
.... . . . . . . . . . ..
xC .................................
.................................
....
y
...... .. .... .. .. .. .. .. .....
..... .. .... .. .. .. .. .. .....
... . .. .... .. .. .. .. .. ....
.......................................
.................................... D y
.... .. .... .. .. .. .. .. ... ................................ ..
... . . . . . . . . ... ......................................
.... . .... .. .. .. .. ...... ......................................
..... . . . . . . .....
......... .. .. .. ...... .........................................
......... . . .........
................... ... . . . . . . . . . . . . . . . . .. u
................................................................................................................. D
C D ..... u
Figura 2.5
Ejemplo 2.26. Sea A = B(0, 1) = {x : kxk < 1}. El punto x = (−1, 0) no
está en A, sin embargo d(x, A) = 0. 3
Ejemplo 2.27. Sea A = {x : x21 + x22 ≤ 4, x21 + x22 ≥ 1, x2 ≥ 0} cerrado. El
punto x = (0, 0) no está en A, d2 (x, A) = 1, sin embargo, d2 (x, (1, 0)) = 1,
d2 (x, (0, 1)) = 1 y los puntos (1, 0), (0, 1) están en A. 3
Ejemplo 2.28. Sean: C = {x : x1 + x2 ≥ 2}, x = (0, 0) ∈
/ C.
d1 (x, C) = 2,
√
d2 (x, C) = 2,
d∞ (x, C) = 1,
d1 (x, (1, 1)) = 2,
d1 (x, (2, 0)) = 2,
√
d2 (x, (1, 1)) = 2 , xC = (1, 1). 3
d2 (x, C) = 2,
d∞ (x, C) = 2,
d∞ (x, (0, 2)) = 2,
d∞ (x, (1, 2)) = 2,
d2 (x, (0, 2)) = 2 , xC = (0, 2). 3
28
A y B están separados fuertemente si existe ε > 0, c ∈ Rn , α ∈ R tales
que cT x ≤ α para todo x en A y cT x ≥ α+ε para todo x en B. Dicho de otra
forma, un hiperplano H los separa fuertemente si los separa estrictamente
y además la distancia de H a por lo menos uno de los conjuntos es positiva.
En general, puede haber varios hiperplanos, pero uno que siempre sirve
es el perpendicular al vector x − xC y que pasa por x, es decir:
v = x − xC ,
α = v T x,
entonces x ∈ H = {y : v T y = α},
◦
C ⊆H − = {y : v T y < α},
o sea, vTy < α para todo y ∈ C.
29
CAPÍTULO 2. CONJUNTOS CONVEXOS
.......
............ ...........
C
...... . . . ....... ............................
........ . .. .. ..........
.................. ....... . . . . . .....
.... . . . . . . ..... ..... .... .. .. .. .. .........
.................................. ..
.. . . . . . . . .
.... . . . . . . . . . ... ...... .... .. .... .. .. .. .. .. ...
... ...................... ...... .... .. .... .. .. .. .. .. .....
............................ ...... ..... .. .... .. .. .. .. .. .....
...............................................
. ....
. ..... ....... .. .... .. .. .. .. .. ......
. . . . ..
...................
................. ..... ..... .. .... .. .. .. .. .. ....
..... . ... .....
............... .... . .. ...... ..... .. .... .. .. .. .. .. ...
... ......
.......
..... ...... .... .. .... .. .. .. .. .. ....
........... . ....... ... . . . . . . . . ...
.
.....
. .
. ...... .... .. .. .. .. .... .....
A .......
......
.... ......
..... ..... . . . . . . .......
....... .. .. .. .. ....... xC .....
.....
.....
.... ...... ......... . . ......... . .
..
......
. .... ................... .
.
.
.....
...
.. ........ . .........
...... ... . .... . .....
...... ........ ... ..
. . .
....... ................... ..
..... .
.
H ......
.....
...... .. . . . . ...
..................
.... . . . . . . ... B H .....
....
.....
.
.
.
...... ....................... ..... .
........
. ............................. ..
......
. x ..
...... .. . . . . . . . . . . .. .....
..... ............................. .
...
.
...... .... . . . . . . . . . . . .... ..
..
.
...... ........................................................................................ .....
Figura 2.6
30
Ejemplo 2.35. Sean: A = {x : x21 + x22 ≤ 4, x21 + x22 ≥ 1, x2 ≥ 0}, x = (0, 1).
x ∈ ∂A, sin embargo no existe un hiperplano de apoyo de A que pase por
x. 3
EJERCICIOS
31
CAPÍTULO 2. CONJUNTOS CONVEXOS
2.5. Sea C = {(x1 , x2 ) : |x1 | ≤ x2 }. Halle los puntos extremos, las direc-
ciones y las direcciones extremas de C.
2.6. Sea C = {(x1 , x2 ) : x21 ≤ x2 }. Halle los puntos extremos, las direc-
ciones y las direcciones extremas de C.
32
Capı́tulo 3
MATRICES DEFINIDAS Y
SEMIDEFINIDAS
POSITIVAS
33
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
k
X X
akk = u2ik + u2ik
i=1 i>k
k
X
= u2ik
i=1
k-1
X
= u2ik + u2kk .
i=1
Para que tenga sentido la raı́z cuadrada se necesita que la cantidad bajo el
radical sea no negativa. Como además, U es invertible (y su determinante
es igual al producto de los elementos diagonales), entonces ukk 6= 0. Luego
para poder obtener U de manera adecuada se necesita que
k-1
X
akk − u2ik > 0 , k = 1, ..., n. (3.2)
i=1
k
X n
X
= uik uij + uik uij
i=1 i=k+1
k
X X
= uik uij + uik uij
i=1 i>k
34
3.1. FACTORIZACIÓN DE CHOLESKY
k
X
= uik uij
i=1
k-1
X
akj = uik uij + ukk ukj .
i=1
k-1
X 1
ukj = akj − uik uij , k = 1, ..., n-1 (3.3)
ukk
i=1
j = k + 1, ..., n.
Ejemplo 3.1.
16 -12 8 -16
-12 18 -6 9
A=
8 -6
5 -10
-16 9 -10 46
√
u11 = 16 = 4
-12
u12 = = -3
4
8
u13 = =2
4
-16
u14 = = -4
4
p
u22 = 18 − (-3)2 = 3
-6 − (-3)(2)
u23 = =0
3
9 − (-3)(-4)
u24 = = -1
3
p
u33 = 5 − (2)2 − (0)2 = 1
35
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
p
u44 = 46 − (-4)2 − (-1)2 − (-2)2 = 5,
entonces,
4 -3 2 -4
0 3 0 -1
0 0 1 -2 3
U =
0 0 0 5
Ejemplo 3.2.
16 -12 8
A = -12 7 -6
8 -6 5
u11 = 4
u12 = -3
u13 = 2
p √
u22 = 7 − (-3)2 = −2,
luego no existe la factorización de Cholesky para esta matriz A.3
Ejemplo 3.3.
16 -12 8
A = -12 18 -6
8 -6 4
u11 = 4
u12 = -3
u13 = 2
u22 = 3
u23 = 0
√
u33 = 0 = 0,
36
3.2. ALGORITMO DE LA FACTORIZACIÓN DE CHOLESKY
4 -3 2
U = 0 3 0 ,
0 0 0
37
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
datos: A, n, ε
resultados: A, error
error = 0
para k = 1, ..., n mientras error= 0
s = akk
para i = 1, ..., k − 1
s = s − a2ik
fin-para i
si s < ent
error= 1
parar
fin-ent
sino
√
akk = s
para j = k + 1, ..., n
t = akj
para i = 1, ..., k-1
t = t − aik aij
fin-para i
akj = t/akk
fin-para j
fin-sino
fin-para k
xT Ix = xT x
= kxk22
≥ 0 para todo x
> 0 para todo x 6= 0.
38
3.3. MATRICES DEFINIDAS POSITIVAS
xT 0x = 0.
n
X n-1 X
X n
xT Ax = aii x2i + 2 aij xi xj .
i=1 i=1 j=i+1
Ejemplo 3.6.
1 2
A=
2 5
Ejemplo 3.7.
1 2
B=
2 4
39
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
Ejemplo 3.8.
1 2
C=
2 3
a11 a12
A1 = a11 , A2 =
a21 a22
a11 a12 a13
A3 = a21 a22 a23 ..., An = A.
a31 a32 a33
a11 a12
δ1 = det a11 = a11 , δ2 = det , . . . , δn = det(A).
a21 a22
40
3.3. MATRICES DEFINIDAS POSITIVAS
(2) todos los λi , valores propios de A (reales por ser simétrica), son posi-
tivos;
(4) todos los pivotes akkk , en el método de eliminación de Gauss sin per-
mutación, son positivos;
√ √
1 0 0 3/2 0 1/2 3/2 0 -1/2
0 1 0 = 0 1 √ 0 0 1 √ 0
0 0 1 -1/2 0 3/2 1/2 0 3/2
41
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
Ejemplo 3.11.
1 2
A= , det(A − λI) = (1 − λ)(5 − λ) − 4 = λ2 − 6λ + 1,
2 5
√ √
sus raı́ces (los valores propios) son: λ1 = 3 + 8, λ2 = 3 − 8 ; δ1 = 1,
δ2 = 1 ; en la eliminación de Gauss sin permutaciones
(1) 1 2 (2) 1 2
A = , A = ,
2 5 0 1
(1) (2)
luego a11 = 1, a22 = 1.
1 0 1 2
A= .
2 1 0 1
Luego, por cualquiera de los criterios, la matriz A es definida positiva. 3
Ejemplo 3.12.
1 2
B= , det(B − λI) = (1 − λ)(4 − λ) − 4 = λ2 − 5λ,
2 4
Ejemplo 3.13.
1 2
C= , det(C − λI) = (1 − λ)(3 − λ) − 4 = λ2 − 4λ − 1,
2 3
√ √
sus raı́ces (los valores propios) son: λ1 = 2 + 5, λ2 = 2 − 5 ; δ1 = 1,
δ2 = −1 ; en la eliminación de Gauss sin permutaciones
42
3.3. MATRICES DEFINIDAS POSITIVAS
1 2 1 2
C (1) = , C (2) = ,
2 3 0 −1
(1) (2)
luego c11 = 1, c22 = −1. Al tratar de encontrar la factorización de
Cholesky ésta no se puede realizar, ya que aparece la raı́z de un número
2
negativo. Si C = W T W entonces det(C) = det(W T ) det(W ) = det(W ) ,
pero como det(C) = −1, entonces no existe tal matriz W . Luego, por
cualquiera de los criterios, la matriz C no es definida positiva. 3
(3) max aii = max |aij |, es decir, max |aij | es un elemento diagonal;
i i,j i,j
5 6 2 4 2 3
A= , B = D= , ,
6 -3 4 7 3 3
10 -3 5
C = -3 1 −1 .
5 -1 3
43
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
n
X
|aij | < |aii | , para todo i.
j=1
j6=i
n
X
|aij | < |ajj | , para todo j.
j=1
j6=i
Es obvio que para matrices simétricas las tres definiciones anteriores coinci-
den.
Ejemplo 3.15.
4 1 -2
A= 1 5 3
-2 3 6
Ejemplo 3.16.
1 2
A=
2 5
44
3.4. MATRICES SEMIDEFINIDAS POSITIVAS
xT Ax ≥ 0 para todo x.
Ejemplo 3.19.
1 2
B= ,
2 4
Ejemplo 3.20.
1 2
C= ,
2 3
45
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
Ejemplo 3.21.
0 0
E= ,
0 −1
xT Ex = −x22
= −1 por ejemplo para x1 = 0, x2 = 1,
46
3.4. MATRICES SEMIDEFINIDAS POSITIVAS
Ejemplo 3.23.
1 2
B= , det(B − λI) = (1 − λ)(4 − λ) − 4 = λ2 − 5λ,
2 4
sus raı́ces (los valores propios) son: λ1 = 5, λ2 = 0 ; sin reordenamientos
δ1 = 1, δ2 = 0 ; únicamente hay un solo reordenamiento de B:
4 2
2 1
δ1 = 4, δ2 = 0 ; en la eliminación de Gauss
(1) 1 2 (2) 1 2
B = , B = ,
2 4 0 0
(1) (2)
luego b11 = 1, b22 = 0. Al tratar de encontrar la factorización de Cholesky:
1 0 1 2
B= ;
2 0 0 0
los subdeterminantes principales son 0 (sin quitar filas ni columnas), 1 (qui-
tando la segunda fila y la segunda columna) y 4 (quitando la primera fila y
la primera columna). Luego, por cualquiera de los criterios, la matriz B es
semidefinida positiva. 3
Ejemplo 3.24.
1 2
C= , det(C − λI) = (1 − λ)(3 − λ) − 4 = λ2 − 4λ − 1,
2 3
√ √
sus raı́ces (los valores propios) son: λ1 = 2 + 5, λ2 = 2 − 5 ; sin reorde-
namientos δ1 = 1, δ2 = −1 ; en la eliminación de Gauss
1 2 1 2
C (1) = , C (2) = ,
2 3 0 −1
(1) (2)
luego c11 = 1, c22 = −1 ; al tratar de encontrar la factorización de
Cholesky ésta no se puede realizar, ya que aparece la raı́z de un número
2
negativo. Si C = W T W entonces det(C) = det(W T ) det(W ) = det(W ) ,
pero como det(C) = −1, entonces no existe tal matriz W . Los subde-
terminantes principales son −1 (sin quitar filas ni columnas), 1 (quitando
la segunda fila y la segunda columna) y 3 (quitando la primera fila y la
primera columna). Luego, por cualquiera de los criterios, la matriz C no es
semidefinida positiva. 3
47
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
Ejemplo 3.25.
0 0
E= , det(E − λI) = (0 − λ)(−1 − λ) = λ2 + λ,
0 −1
sus raı́ces (los valores propios) son: λ1 = 0, λ2 = −1 ; sin reordenamientos
δ1 = 0, δ2 = 0 ; el único reordenamiento simétrico (de filas y de columnas)
da como resultado:
−1 0
,
0 0
δ1 = −1, δ2 = 0 ; al tratar de encontrar la factorización de Cholesky ésta
no se puede realizar, ya que aparece la raı́z de un número negativo. Tampoco
se puede encontrar W tal que E = W T W . Los subdeterminantes principales
son 0 (sin quitar filas ni columnas), 0 (quitando la segunda fila y la segunda
columna) y −1 (quitando la primera fila y la primera columna). Luego la
matriz E no es semidefinida positiva. 3
Proposición 3.5. (Condiciones necesarias.) Si A es una matriz simétrica
semidefinida positiva entonces:
Ejemplo 3.26.
0 0 1 2 1 3
A = , B= , C= ,
0 -1 2 3 3 2
8 5 8
0 1
D = , E = 5 4 6 .
1 1
8 6 9
Para cada criterio se presenta un ejemplo de una matriz que no lo cumple,
luego no es semidefinida positiva y un segundo ejemplo de una matriz que
cumple el criterio y, sin embargo, no es semidefinida positiva.
48
3.4. MATRICES SEMIDEFINIDAS POSITIVAS
Ejemplo 3.27.
−1 −2
es definida negativa. 3
−2 −5
Ejemplo 3.28.
1 2
A = no es semidefinida positiva,
2 3
-1 -2
−A = tampoco es semidefinida positiva,
-2 -3
luego A es indefinida. Sean: x = (2, −1), y = (1, 0). Entonces (xT Ax)
(y T Ay) = (−1)(1) = −1, lo que comprueba que A es indefinida. 3
49
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
xT Ax > 0, ∀x ∈ E, x 6= 0.
A es semidefinida positiva en E si
xT Ax ≥ 0 , ∀x ∈ E.
T
0 1 x1
x Ax = x1 x2
1 0 x2
= 2x1 x2
= 2x1 (3x1 )
= 6x21
> 0 si x1 6= 0.
50
3.5. MATRICES DEFINIDAS POSITIVAS EN UN SUBESPACIO
0 1
A = ,
1 0
E = {(x1 , x2 ) : 3x1 − x2 = 0}.
E T AE = [6] = 6 > 0,
luego A es definida positiva en E. 3
1 2 3
A = 2 4 5 ,
3 5 6
E = {(x1 , x2 , x3 ) : x1 + x2 + x3 = 0}.
51
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
1 0
E = 0 1 ,
-1 -1
T 1 0
E AE = .
0 0
1 1
E = 0 -2 ,
-1 1
T 1 1
E AE = ,
1 1
N (M ) = {x ∈ Rn : M x = 0}.
N (M ) = N (M̄ ).
En lo que sigue se supone que las filas de M son linealmente inde-
pendientes. Esto implica que 1 ≤ p ≤ n y que el rango de M es p. Si
p = n, entonces N (M ) = {0}. Como generalización se puede decir que si
M no tiene filas (p = 0), entonces N (M ) = Rn .
52
3.5. MATRICES DEFINIDAS POSITIVAS EN UN SUBESPACIO
M x = 0,
es equivalente a
B −1 M x = M 0 x = 0.
xB
Ip L = 0,
xL
luego xB = −LxL .
53
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
I = 1
L = 1 1
xB = x1
x2
xL = ,
x3
entonces
−1 −1
E= 1 0 . 3
0 1
54
3.5. MATRICES DEFINIDAS POSITIVAS EN UN SUBESPACIO
1 0 −1 −2
.
0 1 2 3
Las dos primeras columnas de M constituyen I y las dos últimas forman L
−1 −2
L =
2 3
x1
xB =
x2
x3
xL = ,
x4
entonces
1 2
−2 −3
E= . 3
1 0
0 1
−2 1 1 1 1
1 1 1 1 1
A =
1 1 1 1 1
1 1 1 1 1
1 1 1 1 1
1 2 3 4 5
M = 2 4 6 7 8 .
3 6 9 10 12
55
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
2 3
L = 0 0
0 0
x1
xB = x4
x5
x2
xL = ,
x3
entonces
−2 −3 x1
0 0 x4
−L
= 0 0
x5
Iq
1 0 x2
0 1 x3
En este caso es indispensable reordenar las filas para obtener la matriz
−2 −3
1 0
E =
0 1
.
0 0
0 0
T −11 −16
E AE = .
−16 −23
EJERCICIOS
3.1 - 3.12 Diga si las siguientes matrices son definidas positivas, semidefinidas
positivas, definidas negativas, semidefinidas negativas, o indefinidas.
56
3.5. MATRICES DEFINIDAS POSITIVAS EN UN SUBESPACIO
1 2 3 1 2 3
1 2 3 -4 5
A = 2 4 5 , A = 2 4 5 , A =
,
5 -7
3 6 6 3 5 6
1 0 0 9 -18 -15
-9 6
A4 = 0 4 0 , A5 = -18 40 22 , A6 = ,
6 -4
0 0 6 -15 22 42
10 1 -1 2 10 1 1 2
1 11 -2 3 1 20 -2 3
A7 = 8
-1 -2 12 -3 , A = 1 -2 30 25
,
2 3 -3 13 2 3 25 20
10 1 -1 2 10 1 1 2
1 11 -2 3 1 20 -2 3
A9 = 10
-1 -2 12 -14 , A = 1 -2 30
,
2
2 3 -14 13 2 3 2 -20
10 1 1 2 10 1 1 2
1 11 2 3
A11 12 1 11 2 3
=
1 2 12 13 , A = 1 2 12 13
.
2 3 13 11 2 3 13 14
2 0 0
A13 = 0 −2 0 , M 13 = 0 0 −1 .
0 0 −2
2 0 0
A14 = 0 −2 0 , M 14 = 0 1 0 .
0 0 2
2 2 1
A15 = 2 1 0 , M 15 = 3 2 1 .
1 0 2
57
CAPÍTULO 3. MATRICES DEFINIDAS Y SEMIDEF. POSITIVAS
2 2 1
16 16 2 4 6
A = 2 1 0 , M = .
3 6 10
1 0 2
2 2 1 2 4 6
A17 = 2 1 0 , M 17 = 3 6 10 .
1 0 2 10 10 10
58
Capı́tulo 4
FUNCIONES CONVEXAS
Y GENERALIZACIONES
59
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
..
f (t) ............. ...
...
... .
....
.
... ...
... ...
..
f (y) ...... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ............
... ..
...
...... .
.
... ....... ..
... ..... ... .
... ..... ... ...
... ..
...... .....
. ..
.. .
... ..... .... ..
... ..... .....
... ..
...... .......
.
..
..
... .
..... ......
. ..
... ... ......
.
(1-λ)f (x) + λf (y) ...... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ............ .........
... ...
. .
.
.
...
.
..
.
. ..
..
..
. ..
..... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .............. ... ........... ..
f (z) ...
...
. ..
..
.
..
... ......... ..
..
...
... ........ .. ..
..
... ..
.
... ........... ..
... ....
. ... .
. ..
......... ... ... ... ... ... ... ... ... ... ... ... ...................................
f (x) ... ............... ..
.
.
..
..
..
... .. .. ..
... .. .. ..
.
. .
. .
.............................................................................................................................................................................................................................................................
.
..
...
...
x z y t
.
Figura 4.1
2
fxyλ − f (zxyλ ) = (1 − λ)x2 + λy 2 − (1 − λ)x + λy
= λx2 − λ2 x2 + λy 2 − λ2 y 2 − 2λxy + 2λ2 xy
= x2 λ(1 − λ) + y 2 λ(1 − λ) − 2xyλ(1 − λ)
= (x − y)2 λ(1 − λ)
≥ 0.
Luego f (zxyλ ) ≤ fxyλ , es decir, f es convexa. Además si x 6= y, entonces
(x−y)2 > 0, y si λ está en el intervalo abierto ]0, 1[ se tiene que λ(1−λ) > 0,
luego fxyλ − f (zxyλ ) > 0, o sea, f es estrictamente convexa. 3
60
4.1. FUNCIONES CONVEXAS
Figura 4.2
f (zxyλ ) = f (1 − λ)x + λy = k(1 − λ)x + λyk
≤ k(1 − λ)xk + kλyk
= |1 − λ|kxk + |λ|kyk
= (1 − λ)f (x) + λf (y).
Ejemplo 4.4. Sean: x = (0, 0), y = (0, 1), λ = 1/2, z = zxyλ = (0, 1/2).
Entonces kzk = k0.5yk = 0.5kyk. Por otro lado (1-λ)kxk + λkyk = 0.5kyk.
Luego ninguna norma kk es una función estrictamente convexa. Esto no con-
tradice el resultado de Análisis Funcional, según el cual la norma euclidiana
es una norma estrictamente convexa. 3
3 1 3 1 3
fxyλ − f (zxyλ ) = (−1) + (1) − (−1) + (1)
4 4 4 4
1 −1
= − −
2 8
61
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
3
= − .
8
Luego f no es convexa. Tampoco es cóncava. Sin embargo, para esta
función, al cambiar el conjunto de definición, se puede tener convexidad. 3
Ejemplo 4.6. f : [0, 3] −→ R, f (x) = x3 es convexa, más aún, es estricta-
mente convexa. 3
Definición 4.3. Sean: f : A −→ R una función, α un número real. Se
llama un conjunto de nivel al subconjunto de A:
Γα = {x ∈ A : f (x) ≤ α}.
Proposición 4.1. Sea C un convexo. Si f : C −→ R es convexa, entonces
todos los conjuntos de nivel son convexos. En particular {x : f (x) ≤ 0} es
un convexo.
Proposición 4.2. Sea C un conjunto convexo. Si f : C −→ R, g : C −→ R
son funciones convexas y α y β son números no negativos, entonces
αf + βg : C −→ R es convexa.
En particular, αf , f + g son convexas.
α1 f1 + ... + αm fm : C −→ R es convexa.
f1 : Rm × C × Rp −→ R, f1 (u, x, v) = f (x)
f2 : Rm × C −→ R, f2 (u, x) = f (x)
f3 : C × Rp −→ R, f3 (x, v) = f (x).
Ejemplo 4.7. Como la función f (x) = x2 es convexa, entonces f1 (x1 , x2 ) =
x21 , f2 (x1 , x2 ) = x22 son convexas, luego g(x1 , x2 ) = x21 + x22 es una función
convexa. 3
62
4.1. FUNCIONES CONVEXAS
x = (0, 0, 0) ∈ epi(f ),
y = (0, -1, -1) ∈ epi(f ),
λ = 1/2,
1 1
z = x + y = (0, -1/2, -1/2) ∈ / epi(f ),
2 2
ya que f (0, -1/2) = -1/8 -1/2.
63
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
... ..
... ...
...
.. ...
...... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ......
f (x) ...
...
...
.
... . .....
....
... .. .. ......
... . ....
f (x̄) + f 0 (x̄)T (x − x̄) ......... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...........................
... . ...
... ..... ..
... .... .... ..
... .... ......
... ............... ..
..
..
... ......... ..
... ..
.
............. ..
......
.
... .
...
.
. ..
... .
...
. ..
....... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ............
f (x̄) ...
... ...
.. ..
..
... ...
..
..
..
... ...
.
..
........ .
. ..
... .
.. .............. .
. ..
... ...
...
............. .
. ..
.. . .
... ............................. ......... .
.
. ..
... .
..
.. . ..
... ...
.... .
. ..
.
. ....... .
.
.............................................................................................................................................................................................................................................................
.. .
...
...
....
.
.....
.....
..
..
x̄ x t
.
Figura 4.3
64
4.1. FUNCIONES CONVEXAS
Entonces f es convexa. 3
Proposición 4.8. Sean: C ⊆ Rn un convexo abierto y no vacı́o, f : C −→
R diferenciable. Entonces f es convexa si y solamente si
f 0 (y) − f 0 (x) (y − x) ≥ 0
T
para todo x, y ∈ C.
Si n = 1 el gradiente es simplemente la derivada, y ası́ la anterior de-
sigualdad está indicando que f 0 (x) es creciente.
Ejemplo 4.15. Sea f (x1 , x2 ) = x21 + x22 definida en todo R2 . Como f es
diferenciable y además
Entonces f es convexa.
Ejemplo 4.16. Sea f (x1 , x2 ) = x31 + x22 definida en todo R2 . Como f es
diferenciable y además
0 0
T y1 -x1
[3y12 [3x21
f (y) − f (x) (y − x) = 2y2 ] − 2x2 ]
y2 -x2
65
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
y1 -x1
= [3(y12 − x21 ) 2(y2 − x2 )]
y2 -x2
= 3(y1 + x1 )(y1 − x1 )2 + 2(y2 − x2 )2
= −3, si x = (−1, 0), y = (0, 0).
Entonces f no es convexa. 3
≥ 0,
66
4.1. FUNCIONES CONVEXAS
00 2 0
f (x) =
0 2
12x21 0
00
f (x) =
0 2
Ejemplo 4.21. Sea f : B[(3, 2), 1] → R definida por f (x1 , x2 ) = x31 + x22 .
La función f es doblemente diferenciable, además
00 6x1 0
f (x) =
0 2
67
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
2x22 4x1 x2
00
f (x) =
4x1 x2 2x21
Ejemplo 4.23. Sea f (x1 , x2 ) = 5(3x1 − 4x2 − 2)2 + 6(x1 − 2x2 )2 definida
en todo R2 . Como f es doblemente diferenciable y además
00 102 -144
f (x) = , δ1 = 102, δ2 = 480.
-144 208
Entonces la matriz hessiana es definida positiva y la función f es estricta-
mente convexa. 3
...
.. ... ..
f (t) ............... ...
... f (t) ............... ..................
.........
. ... . .......
.... ... .... ......
... ... ... ...
.......
... ....
.. ... .. ....
... ... ... .....
... ... ... .....
... ... ... ......
.
... ... ... ...
....
... ... ... ....
... ... ... ....
... ...
..... ... ..
.....
... ... ..
......................................
....... . ...
... ..... ... ... ...
... .... ... ... ..
..
... ...
... ... ... .
..
.
... ... .... ... ...
... ... .. ... ...
... ... ... ... ...
... ...
... ... ... .
....
.
... ... .... ... ...
... ... .. ... ...
... ...
... ... ... ...
... .... ..... ... ...
... .......... ...
... ...
. .
.......................................................................................................................................................... ..........................................................................................................................................................
.. ..
t t
a) b)
Figura 4.4
68
4.2. GENERALIZACIONES DE FUNCIONES CONVEXAS
69
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
max{f (x), f (y)}-f (zxyλ ) = max{f (x), f (y)}-f ((1 − λ)x + λy)
= max{-2, -3} − f (-1)
= −2 − −1
= −1.
Luego f no es cuasiconvexa. 3
Proposición 4.14. Sean: C un convexo abierto y no vacı́o, f : C −→ R
una función diferenciable. Entonces f es cuasiconvexa si y solamente si
para todo x, y ∈ C:
70
4.2. GENERALIZACIONES DE FUNCIONES CONVEXAS
71
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
6x1 0 3x21
B(x) = 0 2 2x2 ,
2
3x1 2x2 0
6x1 3x21
det(B1 (x)) = det = −9x41 ,
3x21 0
det(B2 (x)) = det(B(x)) = −18x41 − 24x1 x22 .
72
4.2. GENERALIZACIONES DE FUNCIONES CONVEXAS
6x 3x2
B(x) = ,
3x2 0
det(B1 (x)) = det(B(x)) = −9x4 .
2 0 2x1
B(x) = 0 -2 -2x2 ,
2x1 -2x2 0
det(B2 (x)) = 8(x21 − x22 )
= 8 para x = (1, 0).
Ejemplo 4.44. Sea f (x) = log x con x ∈ C =]0, ∞[. En este libro log
indica el logaritmo en base e.
73
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
− x12 1
B(x) = x
1
x 0
1
det(B1 (x)) = − < 0 ∀x ∈ C.
x2
Luego f (x) = log x es cuasiconvexa. 3
2 2x
B(x) = ,
2x 0
det(B1 (x)) = −4x2 .
.. ..
f (t) ............... ......
.....
...
...
.....
....
f (t) ............... ...
.. ... ... .. ...
... ... ... ... ...
.. ... ... .. ...
...
...
... ... ... .
....
... ... ... ..
...
.. ...
... ... . ... ....
... ... ... ... ....
... ... ... ... ..
.....
.
... ...
... ... .....
...
... .. ... .....
. . .....
... ...
... ... ......
...
...
... ... ... ..
...
...
........
.
... ... ... ........
...
...
.. ... ......
... . .....
... ... ... ... .....
... ... ... ... .
.....
.
... .
... .. ... ....
...
... .. ... ....
... .. ....
... ... ... ... ...
... ... ... ... ..
.
... ... .. ... ...
... ... ..... ... ...
.........
... ... ...
... ... ...
.
... ... ..
...
........................................................................................................................................................... ............................................................................................................................................................
.. .. ...
t t
a) b)
Figura 4.5
74
4.2. GENERALIZACIONES DE FUNCIONES CONVEXAS
f 0 (x)T (y − x) ≥ 0 ⇔ 3x2 (y − x) ≥ 0
⇔ (y − x) ≥ 0
⇔ y≥x
⇔ y 3 ≥ x3
⇔ y 3 − x3 ≥ 0
⇔ f (y) − f (x) ≥ 0.
Luego f es seudoconvexa. 3
Ejemplo 4.48. f : R −→ R, f (x) = x3 no es convexa, pero sı́ es cuasicon-
vexa. Veámos que no es seudoconvexa. Sean: x = 0, y = -1.
f 0 (x)T (y − x) = 0(−1 − 0)
= 0
≥ 0,
sin embargo,
75
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
2
Ejemplo 4.49. Sea f (x) = 1 − e−x definida en toda la recta real. ¿Es
convexa? ¿Es cuasiconvexa? ¿Es seudoconvexa?
2
f 0 (x) = 2xe−x ,
2
f 00 (x) = e−x (2 − 4x2 ),
f 00 (1) = −2e−1 < 0.
2
1 − e−x ≤ α
−x2
e ≥ 1−α
2
−x ≥ log(1 − α)
2
x ≤ − log(1 − α)
p
|x| ≤ − log(1-α) = t.
Entonces
∅ si α < 0,
Γα = [ − t, t] si 0 ≤ α < 1,
si α ≥ 1.
R
Luego f es cuasiconvexa. Para averiguar si f es seudoconvexa, estudiemos
tres casos diferentes: x nulo, x positivo, x negativo.
i) Sea x = 0.
f 0 (x)T (y − x) ≥ 0
f 0 (0)(y − 0) ≥ 0
0 ≥ 0.
f (y) − f (x) ≥ 0
76
4.2. GENERALIZACIONES DE FUNCIONES CONVEXAS
f (y) − f (0) ≥ 0
f (y) ≥ 0,
y siempre se cumple ya que cero es el valor mı́nimo de la función.
ii) Sea x > 0. Entonces f 0 (x) > 0.
f 0 (x)T (y − x) ≥ 0
f 0 (x)(y − x) ≥ 0
(y − x) ≥ 0
y ≥ x>0
f (y) ≥ f (x) ( por ser f creciente en ]0, ∞[)
f (y) − f (x) ≥ 0.
f 0 (x)T (y − x) ≥ 0
f 0 (x)(y − x) ≥ 0
(y − x) ≤ 0
y ≤ x<0
f (y) ≥ f (x) ( por ser f decreciente en ] − ∞, 0 [ )
f (y) − f (x) ≥ 0.
Luego en los tres casos se cumple la implicación, entonces la función f es
seudoconvexa. 3
Proposición 4.20. Sean: C un convexo abierto, f : C −→ R doblemente
diferenciable. Si
det Bk (x) < 0, ∀k = 1, . . . , n, ∀x ∈ C,
entonces f es seudoconvexa.
77
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
Este ejemplo muestra que las dos definiciones no son equivalentes ya que
x∗ = 0 es el único minimizador local, pero ϕ no es estrictamente creciente
en [0, 1]. 3
Proposición 4.22. Toda función de una variable, estrictamente convexa es
unimodal.
78
4.3. CONVEXIDAD Y GENERALIZACIONES EN UN PUNTO
Ejemplo 4.51.
x2
si x 6= 0
f (x) =
1 si x = 0,
no es convexa (no es continua), sin embargo, f sı́ es convexa en x̄ = 0. 3
Ejemplo 4.52. (
cos x si x 6= 1
f (x) =
2 si x = 1
no es cuasiconvexa (basta con tomar x = -π, y = π, λ = 1/2, z = 0), sin
embargo, f sı́ es cuasiconvexa en x̄ = 1. 3
79
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
EJERCICIOS
4.1. Determine si f (x1 , x2 ) = x21 +2x1 x2 −10x1 +5x2 es convexa, o cóncava,
o ninguna de las dos. Determine en qué conjunto f es convexa.
4.2. Determine si f (x1 , x2 ) = x1 e-x1 -x2 es convexa, o cóncava, o ninguna de
las dos. Determine en qué conjunto f es convexa.
4.3. Determine si f (x1 , x2 ) = −x21 − 5x22 + 2x1 x2 + 10x1 − 10x2 es convexa,
o cóncava, o ninguna de las dos. Determine en qué conjunto f es
convexa.
4.4. Sea C = {(x1 , x2 ) : |xi | ≤ 1, ∀i}. Determine si f (x1 , x2 ) = 2(x2 − x21 )2
es convexa en C, o cóncava, o ninguna de las dos. Determine en qué
conjunto f es convexa.
4.5. Sea f (x1 , x2 ) = x21 + x32 . ¿Es f convexa? ¿Es f convexa en (0, 0)? ¿Es
f seudoconvexa? ¿Es f seudoconvexa en (0, 0)? Determine en qué
conjunto f es convexa.
4.6. Sea f (x1 , x2 ) = x41 + x32 . ¿Es f convexa? ¿Es f convexa en (0, 0)? ¿Es
f seudoconvexa? ¿Es f seudoconvexa en (0, 0)? Determine en qué
conjunto f es convexa.
4.7. Sean: C un convexo, g : C −→ R convexa. Muestre que {x ∈
C : g(x) ≤ 0} es un convexo.
4.8. Sea
(
x2 si x < 0,
f (x) =
x3 si x ≥ 0.
80
4.3. CONVEXIDAD Y GENERALIZACIONES EN UN PUNTO
1 1 1 1
f ( x + y) ≤ f (x) + f (y) ∀x, y ∈ C
2 2 2 2
4.14. Sean: f1 , ..., fm funciones convexas definidas en un convexo C; α1 , ...,
αm ≥ 0. Muestre que f (x) = yα1 f1 (x) + ... + αm fm (x) es convexa.
cT x + α
f (x) = .
dT x + β
¿Es f seudoconvexa en C? ¿Es f seudocóncava en C?
81
CAPÍTULO 4. FUNCIONES CONVEXAS Y GENERALIZACIONES
82
Capı́tulo 5
CONDICIONES DE
OPTIMALIDAD EN
PUNTOS INTERIORES
min f (x),
sobreentendiendo que el conjunto A es todo Rn .
Definición 5.1. Un punto x∗ ∈ A se llama minimizador global o abso-
luto (o también punto de mı́nimo global) y f ∗ = f (x∗ ) se llama mı́nimo
global o absoluto (o valor mı́nimo global) de PM, si
83
CAPÍTULO 5. OPTIMALIDAD EN PUNTOS INTERIORES
f ∗ = f (x∗ ) ≤ f (x) ∀x ∈ A.
Un punto x∗ ∈ A se llama minimizador global estricto y f ∗ = f (x∗ )
se llama mı́nimo global estricto de PM, si
Ejemplo 5.4. Sea f (x) = bxc (parte entera, también llamada parte entera
inferior). El conjunto de minimizadores locales es R\Z (el conjunto de todos
los reales no enteros). 3
84
Ejemplo 5.5. Sea f (x) = dxe (parte entera superior). Todos los puntos
son minimizadores locales. 3
Ejemplo 5.6. Sea f (x) = x2 en el intervalo ]3, 9]. Para este problema no
hay minimizadores locales ni globales. 3
Ejemplo 5.7. Sea f (x) = x3 en toda la recta real. Para este problema no
hay minimizadores locales ni globales. 3
Sean:
Entonces
∗
A∗ = A,
85
CAPÍTULO 5. OPTIMALIDAD EN PUNTOS INTERIORES
f ∗ = −g ∗ .
Esto quiere decir que dado cualquier M > 0 existe R > 0 tal que si x ∈ S y
||x|| > R, entonces f (x) > M .
86
Ejemplo 5.13. S = Rn , f (x) = ||x|| es coercitiva.
S = Rn , f (x) = ||x||2 es coercitiva.
S = Rn , f (x) = ||x − x̄||2 (para un x̄ fijo) es coercitiva.
S = Rn+ , f (x) = ||x − x̄||2 (para un x̄ fijo) es coercitiva.
2 2
S = R2 , f (x) = ex1 + ex2 − x1001 − x2
100 es coercitiva.
S = R2 , f (x) = a1 x1 + a2 x2 + a3 no es coercitiva. 3
Ejemplo 5.14. Sean: S = R2 , f (x) = (x1 −x2 )2 . f no es coercitiva, aunque
es coercitiva con respecto a x1 y con respecto a x2 . 3
Proposición 5.3. Sea A cerrado y no acotado. Si f : A −→ R es continua
y coercitiva, entonces existe x∗ minimizador global de f en A.
Ejemplo 5.15. Sean: A = R2+ , f (x1 , x2 ) = (x1 − 4)3 + (x2 − 5)2 . Como
A es cerrado y f es continua y coercitiva, entonces existe por lo menos un
minimizador global. 3
Ejemplo 5.16. Sean: A el interior de R2+ , f (x1 , x2 ) = (x1 − 4)2 + (x2 − 5)2 .
Como A no es cerrado no se puede aplicar la proposición anterior. Sin
embargo, sı́ existe un minimizador global (el punto x = (4, 5)). 3
87
CAPÍTULO 5. OPTIMALIDAD EN PUNTOS INTERIORES
88
Proposición 5.6. Sean: x̄ un punto interior de A, f doblemente diferen-
ciable en x̄. Si f 0 (x̄) = 0 y además f 00 (x̄) es definida positiva, entonces x̄ es
un minimizador local del PM.
4x31 12x21 0
f 0 (x) = , f 00 (x) = .
2x2 0 2
Se observa que en x = (0, 0) se anula el gradiente y la matriz hessiana
es semidefinida positiva, luego es candidato a minimizador local. Como la
matriz hessiana no es definida positiva en x = (0, 0), entonces la proposición
anterior no permite garantizar que sea un minimizador local. Sin embargo,
sı́ lo es, ya que es el único punto donde la función vale cero. Más aún, es
minimizador global. 3
4x31 12x21 0
0 00
f (x) = , f (x) = .
2x2 0 2
Se observa que en x = (0, 0) se anula el gradiente y para cualquier r > 0 la
matriz hessiana es semidefinida positiva en B((0, 0), r), luego x = (0, 0) es
minimizador local del PM. 3
89
CAPÍTULO 5. OPTIMALIDAD EN PUNTOS INTERIORES
2x̄1 0
f 0 (x̄) = = .
2x̄2 0
Luego el único minimizador global es x̄ = (0, 0). 3
90
Como la unimodalidad implica la cuasiconvexidad estricta, entonces en
la proposición anterior se puede quitar la hipótesis alterna de unimodalidad.
Ejemplo 5.30. Sea f (x) = x2 definida en [−1, 5]. Como f (1) < f (3),
entonces el minimizador de f en [−1, 5] está en [−1, 3]. 3
EJERCICIOS
91
CAPÍTULO 5. OPTIMALIDAD EN PUNTOS INTERIORES
92
Capı́tulo 6
CONDICIONES DE
KARUSH-KUHN-TUCKER
6.1 GENERALIDADES
Definición 6.1. Sean: d ∈ Rn , d 6= 0, x̄ ∈ A. d es dirección (local) de
descenso de f en el punto x̄, si existe ε > 0 tal que
93
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
F− ⊆ Dd ⊆ F̄− ,
F+ ⊆ Da ⊆ F̄+ .
94
6.1. GENERALIDADES
F− = Dd ,
F+ = Da .
En este caso
Dd = F− ,
Da = F̄+ . 3
95
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
Dr ∩ Dd = ∅.
Proposición 6.4. Sean: x̄ ∈ A, f diferenciable en x̄. Si x̄ es un mini-
mizador local del PM, entonces
Dr ∩ F− = ∅.
96
6.1. GENERALIDADES
Dr = {(d1 , d2 ) : d2 ≥ 0, d1 + d2 ≥ 0, d 6= 0}.
Las direcciones de descenso son simplemente aquellas que van, por lo menos
parcialmente, hacia la izquierda,
Dr = Rn \ {0}.
Además F− = {(d1 , d2 ) : d1 + d2 < 0}.
Dr = {(d1 , d2 ) : d1 + d2 ≥ 0, d 6= 0}.
Dd = F− = {(d1 , d2 ) : d1 + d2 < 0}.
Como los dos conjuntos son disyuntos, entonces x̄ = (1, 1) es buen candidato
a minimizador local. Por otro lado, es “claro” que es el punto de A más
cercano al origen. 3
97
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
98
6.1. GENERALIDADES
I = {i : gi (x̄) = 0}.
Obsérvese que una desigualdad se cumple o no se cumple en un punto
x̄. Si se cumple puede estar activa o inactiva.
Si para todo i ∈ I las funciones gi son diferenciables, sea
G− ⊆ Dr ⊆ Ḡ− .
Como corolario de la proposición anterior:
Proposición 6.7. Sea x̄ tal que:
x̄ es un punto admisible del PMD,
f es diferenciable en x̄,
gi es diferenciable en x̄ para i ∈ I,
gi es continua en x̄ para i ∈/ I.
Si x̄ es un minimizador local del PMD, entonces:
Dd ∩ G− = ∅,
F− ∩ Dr = ∅,
F− ∩ G− = ∅.
99
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
x2 ≥ 5/2.
El punto x̄ no es admisible. 3
100
6.2. PROBLEMAS CON DESIGUALDADES
−x2 + 5/2 ≤ 0.
101
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
X
f 0 (x̄) + ui gi0 (x̄) = 0, (6.1)
i∈I
ui ≥ 0 , i ∈ I.
102
6.2. PROBLEMAS CON DESIGUALDADES
X -4 2 0
f 0 (x̄) + ui gi0 (x̄) = + u1 = ,
2 -1 0
i∈I
entonces
u1 = 2 ≥ 0.
Luego x̄ = (1, 3) es un buen candidato a minimizador local. 3
0
X -6 -1 0 0
f (x̄) + ui gi0 (x̄) = + u2 + u3 = ,
1 0 -1 0
i∈I
entonces
u2 = −6 0 , u3 = 1.
Luego x̄ = (0, 5/2) no es minimizador local. 3
103
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
1 − x2 ≤ 0.
2 -1 0 0
+ u1 + u2 = ,
2 0 -1 0
entonces,
u1 = 2 ≥ 0 , u2 = 2 ≥ 0.
Luego x̄ = (1, 1) es candidato a minimizador local. 3
Ejemplo 6.16. Considere x̄ = (0, 1) para el siguiente problema:
104
6.2. PROBLEMAS CON DESIGUALDADES
Ay = b
y ≥ 0,
min z = 0T y
Ay = b
y ≥ 0.
105
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
I c
y= ,
0 d
o sea,
Iy = c
0y = d.
g20 (x̄) = [ 0 -1 0 0 ]T ,
g30 (x̄) = [ -1 -2 -3 -4 ]T ,
g40 (x̄) = [ -1 -1 -1 -1 ]T
es linealmente independiente. El gradiente de f es f 0 (x̄) = [2 6 2 2]T . El
problema que hay que resolver es el siguiente:
0 -1 -1 -2
-1 y1
-2 -1
-6
0 y2 =
-3 -1 -2
y3
0 -4 -1 -2
106
6.2. PROBLEMAS CON DESIGUALDADES
y ≥ 0,
donde y1 = u2 , y2 = u3 , y3 = u4 . Si se resuelve por PL,
0 -1 -1 -2
-1 y1
-2 -1
-6
0 y2 =
-3 -1 -2
y3
0 -4 -1 -2
y ≥ 0.
Cambiando signos para obtener términos independientes no negativos, intro-
duciendo 4 variables artificiales (podrı́a bastar con 3 ya que y1 sirve como
segunda variable básica) y planteando la función objetivo artificial de la
primera fase, se tiene
y
0 1 1 1 0 0 0 1 2
1 y2
2 1 0 1 0 0
6
=
0 ...
0 3 1 0 0 1
2
0 4 1 0 0 0 1 y7 2
y ≥ 0.
Al final de la primera fase u2 = y1 = 4, u3 = y2 = 0, u4 = y3 = 2,
y4 = y5 = y6 = y7 = 0, za∗ = 0, luego hay puntos factibles. Entonces x̄ es
punto de KKT.
Si se resuelve de la segunda manera, se construye la matriz ampliada
0 -1 -1 -2
-1 -2 -1 -6
0 -3 -1 -2 ,
0 -4 -1 -2
y por medio de operaciones elementales sobre las filas se llega a
1 0 0 4
0 1 0 0
0 0 1 2 ,
0 0 0 0
107
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
lo cual indica, primero, que el sistema sı́ tiene solución, y, segundo, que
la solución tiene todas sus componentes no negativas, luego x̄ es punto de
KKT. 3
Si las funciones gi , i ∈
/ I son diferenciables en x̄, y si se considera que los
ui correspondientes son nulos, la admisibilidad y las condiciones necesarias
de KKT se pueden escribir ası́:
g(x̄) ≤ 0
0 0
f (x̄) + g (x̄)u = 0
u ≥ 0
T
u g(x̄) = 0.
108
6.2. PROBLEMAS CON DESIGUALDADES
m
X
L(x, u) = f (x) + ui gi (x) = f (x) + uT g(x),
i=1
L0u (x̄, u) ≤ 0
L0x (x̄, u) = 0
u ≥ 0
uT
L0u (x̄, u) = 0.
El punto x̄, como se vio en el ejemplo 6.8, cumple las condiciones necesarias
de KKT. Falta por ver si f es seudoconvexa en x̄ y si g1 es diferenciable y
cuasiconvexa en x̄. La matriz hessiana de f ,
00 2 0
f (x) = ,
0 2
109
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
110
6.3. PROBLEMAS CON DESIGUALDADES E IGUALDADES
x̄ es regular.
Si x̄ es un minimizador local del PMDI, entonces existen escalares ui , i ∈ I,
vj ∀j tales que:
X l
X
f 0 (x̄) + ui gi0 (x̄) + vj h0j (x̄) = 0, (6.5)
i∈I j=1
ui ≥ 0 , i∈I
l
0
X X -4 -2 0
f (x̄) + ui gi0 (x̄) + vj h0j (x̄) = + v1 = ,
2 1 0
i∈I j=1
entonces
v1 = −2.
Luego x̄ = (1, 3) es buen candidato a minimizador local. 3
√
Ejemplo 6.21. Considere x̄ = ( 2/2, 5/2) para el siguiente problema:
111
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
√ √
2-6 0 - 2 0
+ u2 + v1 = ,
1 -1 1 0
entonces
√ √
u2 = 2 − 3 2 0 , v1 = 1 − 3 2.
√
Luego x̄ = ( 2/2, 5/2) no es minimizador local. 3
y
A = b
v
y ≥ 0.
min z = 0T y + 0T v
y
A = b
v
y ≥ 0
v ∈ Rl .
112
6.3. PROBLEMAS CON DESIGUALDADES E IGUALDADES
fase del método de las dos fases para saber si hay puntos admisibles de este
problema de PL (x̄ es punto de KKT) o no hay puntos admisibles (x̄ no es
minimizador).
La segunda forma de encontrar la solución consiste en resolver el sistema
y
A =b
v
y ver si hay solución tal que y ≥ 0. Más precisamente:
1) Construir la matriz ampliada  = [A b] de tamaño n × (p + 1).
2) Convertirla, mediante operaciones elementales por filas, en una matriz
Im̄ 0 c
Â0 = 0 Il e ,
0 0 d
donde c es un vector columna m̄ × 1, e es un vector columna l × 1, d es
un vector columna (n − m̄ − l) × 1, es decir, se obtiene el siguiente sistema
equivalente
Im̄ 0 c
0 Il y
= e ,
v
0 0 d
o sea,
Im̄ y = c
Il v = e
0y + 0v = d.
113
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
g20 (x̄) = [ 0 -1 0 0 ]T ,
h01 (x̄) = [ 1 2 3 4 ]T ,
h02 (x̄) = [ 1 1 1 1 ]T
0 1 1 -2
-1 y1
2 1
-6
0 v1 =
3 1 -2
v2
0 4 1 -2
y ≥ 0,
y1
0 1 1 -1 -1 -2
-1 v1+
2 1 -2 -1 -6
v2+
=
0 3 1 -3 -1
-2
v1-
0 4 1 -4 -1 -2
v2-
y, v1+ , v2+ , v1- , v2- ≥ 0.
114
6.3. PROBLEMAS CON DESIGUALDADES E IGUALDADES
Si las funciones gi , i ∈
/ I son diferenciables en x̄, y si se considera que los
ui correspondientes son nulos, la admisibilidad y las condiciones necesarias
de KKT se pueden escribir ası́:
gi (x̄) ≤ 0 , i = 1, ..., m
hj (x̄) = 0 , j = 1, ..., l
m
X l
X
f 0 (x̄) + ui gi0 (x̄) + vj h0j (x̄) = 0
i=1 j=1
ui ≥ 0 , i = 1, ..., m
ui gi (x̄) = 0 , i = 1, ..., m.
Si g(x̄) denota el vector columna [g1 (x̄) g2 (x̄) ... gm (x̄)]T , g 0 (x̄) denota
la matriz n×m cuyas columnas son los gradientes g10 (x̄), g20 (x̄),..., gm 0 (x̄), h(x̄)
T 0
denota el vector columna [h1 (x̄) h2 (x̄) ... hl (x̄)] , h (x̄) denota la matriz
n × l cuyas columnas son los gradientes h01 (x̄), h02 (x̄),..., h0l (x̄), entonces la
admisibilidad y las condiciones necesarias de KKT se pueden escribir
115
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
g(x̄) ≤ 0
h(x̄) = 0
0 0 0
f (x̄) + g (x̄)u + h (x̄)v = 0
u ≥ 0
T
u g(x̄) = 0.
m
X l
X
L(x, u, v) = f (x) + ui gi (x) + vj hj (x)
i=1 j=1
= f (x) + uT g(x) + v T h(x).
Denotemos por L0x (x̄, u, v) las componentes del gradiente del lagrangiano
L0 (x̄, u, v) correspondientes a las derivadas parciales de L con respecto a
las variables xj , y de manera análoga L0u (x̄, u, v) y L0v (x̄, u, v). Entonces la
admisibilidad y las condiciones de KKT se expresan ası́ :
L0u (x̄, u, v) ≤ 0
L0v (x̄, u, v) = 0
L0x (x̄, u, v) = 0
u ≥ 0
u T
L0u (x̄, u, v) = 0.
116
6.3. PROBLEMAS CON DESIGUALDADES E IGUALDADES
−x2 + 5/2 ≤ 0
−x21 + x2 − 2 = 0.
l
0
X X 2(x̄1 -3) −2x̄1 0
f (x̄) + ui gi0 (x̄) + vj h0j (x̄) = + v1 = .
2(x̄2 -2) 1 0
i∈I j=1
2(x̄1 − 3) -2x̄1 0
2 + v1 = .
2(x̄1 + 2 − 2) 1 0
De donde
Reemplazando v1 = −2x̄21 ,
2(x̄1 − 3) + 4x̄31 = 0
2(2x̄31 + x̄1 − 3) = 0
(x̄1 − 1)(2x̄21 + 2x̄1 + 3) = 0.
x̄1 = 1
117
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
x̄2 = 3
v1 = −2.
−x̄1 = 0
−x̄21 + x̄2 − 2 = 0.
−x̄2 + 5/2 = 0
−x̄21 + x̄2 − 2 = 0.
√
Luego x̄2 = 5/2, x̄1 = ±√ 2/2, es decir, la suposición I = {2} conduce,
o bien√ al punto x̄ = (− 2/2, 5/2) que no es admisible, o bien al punto
x̄ = ( 2/2, 5/2) que no cumple condiciones necesarias de KKT.
iv) I = {1, 2}: como están activas la primera y la segunda desigualdad y
se cumple la igualdad, entonces:
−x̄1 = 0
−x̄2 + 5/2 = 0
−x̄21 + x̄2 − 2 = 0.
Pero no existe ningún punto que cumpla las tres igualdades. En resumen,
hay un solo punto que cumple condiciones necesarias de KKT, y como existe
por lo menos un minimizador, entonces este punto x̄ = (1, 3) debe ser el
minimizador global. 3
118
6.4. CONDICIONES DE SEGUNDO ORDEN
f es seudoconvexa en x̄,
gi es cuasiconvexa en x̄ para i ∈ I,
hj es cuasiconvexa en x̄ para vj > 0,
hj es cuasicóncava en x̄ para vj < 0,
entonces x̄ es un minimizador global del PMDI.
Ejemplo 6.24. Considere x̄ = (1, 3) para el siguiente problema:
119
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
puntos de Rn ortogonales a los gradientes activos {gi0 (x̄), i ∈ I, h0j (x̄), ∀j} ,
es decir
T = Rn .
Si p = n
T = {0}.
T = {y ∈ Rn : M y = 0}.
Dicho de otra forma, T es simplemente el espacio nulo de la matriz M ,
y claro está, es un subespacio vectorial de Rn . El significado de T puede
tener la siguiente interpretación geométrica en R3 (o en R2 ): Si x̄ está en la
frontera de A, y si se puede construir un plano tangente a la superficie en
x̄ o una única recta tangente, el espacio tangente es un plano (o una recta)
que pasa por el origen y es paralelo al plano tangente (o a la recta tangente).
Ejemplo 6.25. Sean: A en R2 definido por dos desigualdades
120
6.4. CONDICIONES DE SEGUNDO ORDEN
X l
X
L00x = L00x (x̄, ū, v̄) 00
= f (x̄) + ūi gi00 (x̄) + v̄j h00j (x̄).
i∈I j=1
121
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
0 −1 0
+ u1 = ,
0 −1 0
u1 = 0,
122
6.4. CONDICIONES DE SEGUNDO ORDEN
2 0 0 0
L00x = +0
0 −2 0 0
2 0
=
0 −2
T = {(y1 , y2 ) : − y1 − y2 = 0}.
Una base de este subespacio puede ser el conjunto formado por el vector
[1 − 1]T , luego
1
E =
−1
2 0 1
L00x E
T
E = 1 −1
0 −2 −1
= 0, matriz semidefinida positiva.
1
min f (x1 , x2 , x3 ) = x21 − x22 + (x3 − 1)3
3
−6 − x1 − x2 − x3 ≤ 0
−x3 ≤ 0.
0 0 0
0 + u2 0 = 0 ,
1 −1 0
123
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
u2 = 1,
2 0 0 0 0 0
L00x = 0 −2 0 + 1 0 0 0
0 0 −2 0 0 0
2 0 0
= 0 −2 0
0 0 −2
T = {(y1 , y2 , y3 ) : − y3 = 0}.
Una base de este subespacio puede ser el conjunto formado por los vectores
[1 0 0]T , [0 1 0]T , luego
1 0
E = 0 1 ,
0 0
2 0 0 1 0
1 0 0
E T L00x E = 0 −2 0 0 1
0 1 0
0 0 −2 0 0
2 0
= no es semidefinida positiva,
0 −2
124
6.4. CONDICIONES DE SEGUNDO ORDEN
0 0 0
−6 + u2 1 = 0 ,
0 0 0
u2 = 6.
Luego x̄ = (0, 3, 0) es un punto de KKT.
2 0 0 0 0 0
L00x = 0 −2 0 + 6 0 0 0
0 0 2 0 0 0
2 0 0
= 0 −2 0 ,
0 0 2
T = {(y1 , y2 , y3 ) : y2 = 0}.
Una base de este subespacio puede ser el conjunto formado por los vectores
[1 0 0]T , [0 0 1]T , luego
1 0
E = 0 0 ,
0 1
2 0 0 1 0
T 00 1 0 0
E Lx E = 0 −2 0 0 0
0 0 1
0 0 2 0 1
2 0
= es definida positiva.
0 2
Entonces x̄ cumple condiciones necesarias de segundo orden. Más aún, no
hay desigualdades débilmente activas, entonces M̃ = M , T̃ = T . En conse-
cuencia, L00x es definida positiva en T̃ , es decir, x̄ = (0, 3, 0) cumple condi-
ciones suficientes y es minimizador local estricto. 3
EJERCICIOS
125
CAPÍTULO 6. CONDICIONES DE KARUSH-KUHN-TUCKER
126
Capı́tulo 7
MÉTODOS DE
MINIMIZACIÓN EN UNA
VARIABLE
Λ = R,
Λ = [0, ∞[,
Λ = [0, λmax ].
Λ = R,
Λ = [a, ∞[,
Λ = [a, b].
127
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
|λk+1 − λk | ≤ ελ dado,
o también,
λk+1 − λk
≤ ε0 dado,
λk λ
|λk+1 − λk |
≤ ε0λ dado.
1 + |λk |
Este hecho indica que λk+1 está suficientemente cerca de λ∗ , o bien, que el
proceso está avanzando muy lentamente.
Otro criterio usado para detener el proceso (puede ser usado simultá-
neamente) consiste en parar cuando el valor de ϕ varı́a muy poco, o sea,
si
o también,
128
ϕ(λk+1 ) − ϕ(λk )
≤ ε0ϕ dado ,
ϕ(λk )
|ϕ(λk+1 ) − ϕ(λk )|
≤ ε0ϕ dado .
1 + |ϕ(λk )|
bk − ak < ε dado.
En los métodos llamados de descenso, además de buscar convergencia,
se busca que siempre la función disminuya de valor, o sea, una condición
indispensable es que
129
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
ε=1
s=1+ε
mientras s 6= 1
ε = ε/2
s=1+ε
fin-mientras
ε0maq = 2ε
130
7.1. CÁLCULO DE LAS DERIVADAS
ϕ(λ + η) − ϕ(λ)
ϕ0 (λ) = lim
η→0 η
f (x + λd + ηd) − f (x + λd)
= lim
η→0 η
f (x + λd + ηδd0 ) − f (x + λd)
= lim ,
η→0 η
donde
d
δ = kdk =
6 0 , d0 = , kd0 k = 1.
δ
Ası́:
131
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
f (x + λd + ηδd0 ) − f (x + λd)
ϕ0 (λ) = lim δ
η→0 ηδ
0 0
= δf (x + λd; d ),
ϕ0 (λ) = δf 0 (x + λd)T d0
ϕ0 (λ) = f 0 (x + λd)T d, (7.1)
en particular,
ϕ0 (0) = f 0 (x)T d.
en particular,
132
7.2. MÉTODO DE NEWTON
(7.1) y (7.2) para calcular ϕ0 y ϕ00 . En este caso es mucho mejor aproximar
directa y numéricamente ϕ0 y ϕ00 . Para tal efecto algunas de las fórmulas
más utilizadas son:
ϕ(λ + η) − ϕ(λ)
ϕ0 (λ) ≈ , (7.3)
η
η
|error| ≤ max |ϕ00 |.
2 [λ,λ+η]
ϕ(λ + η) − ϕ(λ − η)
ϕ0 (λ) ≈ , (7.4)
2η
η2
|error| ≤ max |ϕ000 |.
6 [λ−η,λ+η]
g(λk )
λk+1 = λk − ,
g 0 (λk )
133
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
ϕ(λ) = λ4 , λ = 2, ϕ0 (2) = 32
η e0
ϕ
1.0E+00 4.00000000E+01
1.0E-01 3.20800000E+01
1.0E-02 3.20008000E+01
1.0E-03 3.20000080E+01
1.0E-04 3.20000001E+01
1.0E-05 3.20000000E+01
1.0E-06 3.20000000E+01
1.0E-07 3.20000000E+01
1.0E-08 3.19999999E+01
1.0E-09 3.20000026E+01
1.0E-10 3.20000026E+01
1.0E-11 3.20000026E+01
1.0E-12 3.20028448E+01
1.0E-13 3.19744231E+01
1.0E-14 3.23296945E+01
1.0E-15 3.19744231E+01
1.0E-16 0.00000000E+00
.. ..
. .
1.0E-20 0.00000000E+00
Tabla 7.1
ϕ0 (λk )
λk+1 = λk − . (7.6)
ϕ00 (λk )
La aproximación cuadrática de ϕ alrededor de λk es
1
ϕ(λ) ≈ p2 (λ) = ϕ(λk ) + ϕ0 (λk )(λ − λk ) + ϕ00 (λk )(λ − λk )2 .
2
Al buscar un punto λ = λk+1 donde se anule la derivada de p2 se obtiene
exactamente la fórmula (7.6).
Proposición 7.1. [Lue89] Sean: ϕ con tercera derivada continua, ϕ0 (λ̄) =
0, ϕ00 (λ̄) 6= 0. Si λ0 está suficientemente cerca de λ̄, entonces el método de
Newton para hallar una raı́z de ϕ0 converge a λ̄ con orden de convergencia
superior o igual a dos.
134
7.2. MÉTODO DE NEWTON
puede no converger,
135
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
136
7.3. MÉTODO DE LA SECANTE
ϕ0 (λk ) − ϕ0 (λk-1 )
ϕ00 (λk ) ≈ .
λk − λk-1
ϕ0 (λk )
λk+1 = λk − (7.7)
ϕ0 (λk ) − ϕ0 (λk-1 )
λk − λk-1
λk-1 ϕ (λk ) − λk ϕ0 (λk-1 )
0
= .
ϕ0 (λk ) − ϕ0 (λk-1 )
puede no converger,
137
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
k λk ϕ0 (λk ) λk+1
0 0.0000 38.0000
1 0.1000 44.8440 -0.5552
2 -0.5552 8.0688 -0.6990
3 -0.6990 2.2265 -0.7538
4 -0.7538 0.1737 -0.7584
5 -0.7584 0.0042 -0.7585
6 -0.7585 0.0000 -0.7585
7 -0.7585 0.0000 -0.7585 3
ϕ(λk + η) − ϕ(λk − η)
2η
λk+1 = λk −
ϕ(λk + η) − 2ϕ(λk ) + ϕ(λk − η)
η2
η ϕ(λk + η) − ϕ(λk − η)
λk+1 = λk − ·
2 ϕ(λk + η) − 2ϕ(λk ) + ϕ(λk − η)
puede no converger,
138
7.4. MÉTODO DE NEWTON CON DERIVACIÓN NUMÉRICA
139
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
bk − ak
δ = ,
m+1
140
7.6. BÚSQUEDA SECUENCIAL
µj = ak + jδ, j = 1, ..., m,
∗
µ = mejor {µ1 , ..., µm },
ak+1 = µ∗ − δ,
bk+1 = µ∗ + δ.
datos: a, b, ε, m
l =b−a
mientras l ≥ ε
δ = l/(m + 1)
µj = a + j, j = 1, ..., m
µ∗ = mejor{µ1 , ..., µm }
a = µ∗ − δ
b = µ∗ + δ
l =b−a
fin-mientras
λ∗ = mejor{a, µ∗ , b}
Ejemplo 7.5. Aplicar el método de búsqueda secuencial para minimizar
f (x1 , x2 ) = x41 + (x1 + x2 )2 , a partir de x = (−2, 3), en la dirección d =
(−1, 4), con [a, b] = [−1, 0], m = 2, ε = 0.1.
k ak bk µ1 ϕ(µ1 ) µ2 ϕ(µ2 ) µ∗
0 -1.000 0.000 -0.667 4.160 -0.333 7.716 -0.667
1 -1.000 -0.333 -0.778 4.009 -0.556 4.798 -0.778
2 -1.000 -0.556 -0.852 4.158 -0.704 4.058 -0.704
3 -0.852 -0.556 -0.753 4.003 -0.654 4.206 -0.753
4 -0.852 -0.654 -0.786 4.016 -0.720 4.030 -0.786
5 -0.852 -0.720 -0.808 4.047 -0.764 4.003 -0.764
6 -0.808 -0.720
λ∗ ≈ 0.764
Ejemplo 7.5
141
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
2
bk − ak = (bk-1 − ak-1 )
m+1
k
2
= (b0 − a0 ).
m+1
Como se desea que bk − ak ≤ ε,
k
2 ε
≤
m+1 b0 − a0
2 ε
k log ≤ log .
m+1 b0 − a0
Como log(2/(m + 1)) < 0,
ε
log
b0 − a0
k ≥
2
log
m+1
b0 − a0
log
= ε .
m+1
log
2
Sea
b0 − a0
L0 = ,
ε
entonces
L0
k = d e. (7.8)
m+1
log
2
142
7.6. BÚSQUEDA SECUENCIAL
m
núm. total evaluaciones ≈ L = c(m) L0 . (7.9)
m+1 0
log
2
m c(m)
2 4.93
3 4.33
4 4.37
5 4.55
6 4.79
7 5.05
m c(m)
2 4.93
3 2.89
4 4.37
5 3.64
6 4.79
7 4.33
143
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
Es necesario definir que tan cerca o que tan lejos están los puntos inter-
medios de los extremos.
1
σk = ak + α(bk − ak ) , con 0<α< ,
2
τk = bk − α(bk − ak ),
= ak + (1 − α)(bk − ak ).
ϕ(σk ) ≤ ϕ(τk ),
entonces el nuevo intervalo es
144
7.7. SECCIÓN DORADA O ÁUREA
ak + α(τk − ak ) = ak + α(bk − ak )
ak + α(1 − α)(bk − ak ) = ak + α(bk − ak ),
entonces
α(1 − α) = α
α = 0 valor inadecuado.
Si τk+1 = σk
entonces
(1 − α)2 = α
√
3 + 5
valor inadecuado
α = 2√
3 − 5 ≈ 0.381966011. √
2
De manera análoga, si
el nuevo intervalo es
145
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
datos: a, b, ε
l = b − a, δ = αl
σ = a + δ, τ = b − δ
fs = ϕ(σ), ft = ϕ(τ )
mientras l ≥ ε
l = (1 − α)l, δ = αl
si fs ≤ ft ent
b = τ, τ = σ, σ = a + δ
ft = fs, fs = ϕ(σ)
fin-ent
sino
a = σ, σ = τ, τ = b − δ
fs = ft, ft = ϕ(τ )
fin-sino
fin-mientras
λ∗ = mejor{a, σ, τ, b}
k ak bk σk ϕ(σk ) τk ϕ(τk )
0 -1.000 0.000 -0.618 4.377 -0.382 6.875
1 -1.000 -0.382 -0.764 4.003 -0.618 4.377
2 -1.000 -0.618 -0.854 4.165 -0.764 4.003
3 -0.854 -0.618 -0.764 4.003 -0.708 4.049
4 -0.854 -0.708 -0.798 4.031 -0.764 4.003
5 -0.798 -0.708 -0.764 4.003 -0.743 4.073
El número total de evaluaciones de la función en el método de la sección
dorada se calcula de manera semejante al método de búsqueda secuencial.
bk − ak = (1 − α)(bk-1 − ak-1 )
= (1 − α)k (b0 − a0 ).
ε
(1 − α)k ≤ ·
b0 − a0
Tomando logaritmo en ambos lados de la desigualdad
146
7.8. MINIMIZACIÓN POR INTERPOLACIÓN CUADRÁTICA
ε
k log(1 − α) ≤ log ,
b0 − a0
ε
log
b0 − a0
k≥
log(1 − α)
b0 − a0
log L0
k≥ ε = ,
− log(1 − α) − log(1 − α)
k = d2.0781L0 e,
núm. total evaluaciones ≈ 2.0871 L0 .
147
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
ϕi = ϕ(ti ), i = 1, 2, 3.
El polinomio de grado no superior a dos (muy posiblemente una pará-
bola) que pasa por los puntos (ti , ϕi ) es el siguiente:
148
7.8. MINIMIZACIÓN POR INTERPOLACIÓN CUADRÁTICA
Es claro que:
tij = ti − tj ,
sij = t2i − t2j .
η ϕ3 − ϕ1
t∗p = t2 − . (7.12)
2 ϕ1 − 2ϕ2 + ϕ3
149
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
η 4ϕ1 − 3ϕ2 − ϕ3
t∗p = t2 − . (7.13)
2 -2ϕ1 + 3ϕ2 − ϕ3
150
7.9. MÉTODO DE LOS TRES PUNTOS PARA λ ∈ R
Ejemplo 7.7. Aplicar el método de los tres puntos para minimizar f (x1 , x2 )
= x41 + (x1 + x2 )2 , a partir de x = (−2, 3), en la dirección d = (−1, 4), con
λ0 = 0.
151
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
k λk t mejor t1 t2 t3 t∗p
ϕ(λk ) ϕ(t) ϕ(t1 ) ϕ(t2 ) ϕ(t3 ) ϕ(t∗p )
152
7.10. MÉTODO DE LOS TRES PUNTOS PARA λ ≥ 0
Ejemplo 7.8. Aplicar el método de los tres puntos para minimizar f (x1 , x2 )
= x41 + (x1 + x2 )2 , a partir de x = (−2, 3), en la dirección d = (1, −4), con
λ ≥ 0, λ0 = 0.
k λk t mejor t1 t2 t3 t∗p
ϕ(λk ) ϕ(t) ϕ(t1 ) ϕ(t2 ) ϕ(t3 ) ϕ(t∗p )
0 0.0000 0.1000 0.3000 0.7000 1.5000 0.8062
17.0000 13.5221 8.3621 4.0661 12.3125 4.0434
1 0.8062 0.7255 0.8062 0.7255 0.5643 0.7592
4.0434 4.0226 4.0434 4.0226 4.7287 4.0026
2 0.7592 0.7585 0.7591 0.7585 0.7574 0.7585
4.0026 4.0026 4.0026 4.0026 4.0026 4.0026
3 0.7585
4.0026 3
Ejemplo 7.9. Aplicar el método de los tres puntos para minimizar f (x1 , x2 )
= x41 + (x1 + x2 )2 , a partir de x = (−2, 3), en la dirección d = (−1, 4), con
λ ≥ 0, λ0 = 0.
153
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
λ∗ = 0.0000. 3
ak µk mk bk
Figura 7.1
154
7.11. INTERPOLACIÓN CUADRÁTICA EN UN INTERVALO
.............
........
.......
......
......
.....
.....
.....
.....
.....
.....
.....
.....
...
...
.... ..
.... ....
.... ....
....
.... ......
.... ...
.... ...
.... ....
.... ....
.....
..
.....
.
.....
..... .....
....
.....
...... .....
...... ......
....... ...
.......
.
....... ...
......... ........
............... .........
...................... ............
.. .....................................
.. ..
.. ..
..
.. ...
..
.. ε .
.........................
..
..
t0
...
t1 ...
t2...
..
..
t3 t4 t5 ... ... ...
t6 ...
..
ak mk µk bk
Figura 7.2
será [ti−1 , ti+1 ]. Con buena suerte el mejor punto es µk y ası́ el nuevo in-
tervalo tiene longitud ε. En el peor de los casos, por ejemplo, µk está muy
cerca de ak , ti = t5 y bk+1 − ak+1 = t6 − t4 = 2(bk − t3 )/3 < 2(bk − ak )/3.
Si mk no es mejor que los extremos y si ak es mejor que bk , se supone
cierta tendencia de que el minimizador esté cerca de ak . Se escogen dos
puntos muy cercanos a ak : t1 = ak + ε/2, t2 = ak + ε. Los puntos t3 , t4 y
t5 son puntos igualmente espaciados de [ak , bk ]. Con buena suerte el mejor
punto es t1 y ası́ el nuevo intervalo tiene longitud ε. En el peor de los casos
bk+1 − ak+1 = (bk − ak )/2. Ver Figura 7.3 .
De manera análoga, si mk no es mejor que los extremos y si bk es mejor
que ak se supone cierta tendencia de que el minimizador esté cerca de bk .
Se escogen dos puntos muy cercanos a bk : t5 = bk − ε/2, t4 = bk − ε. Los
puntos t1 , t2 y t3 son puntos igualmente espaciados de [ak , bk ]. Con buena
suerte el mejor punto es t5 y ası́ el nuevo intervalo tiene longitud ε. En el
peor de los casos bk+1 − ak+1 = (bk − ak )/2. Ver Figura 7.4 .
Ver esquema general del algoritmo al final del capı́tulo.
155
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
...
.....
......
......
...
.......
.....
.....
......
......
..
..
.......
......
......
......
......
..
...
.......
.
.......
......
.......
.......
.
...
.........
........
........
.........
..........
.
...
...
.......... ...
..
.......... ...
...........
........... ..
............
...
...
...
...
...
............... ..
..
..........
..........
...
...
.............. ..
...
..
..
..
..
ε
......................
..
..
ak mk bk
Figura 7.3
ε = 0.01.
Ver tabla de resultados al final del capı́tulo.
|λ̄ − λ∗ | ≤ c|λ∗ |.
156
7.12. MINIMIZACIÓN IMPRECISA
.....
.....
......
......
......
......
......
......
......
......
......
......
......
......
......
......
.......
.......
.......
.......
.......
.......
.......
........
........
........
.........
.. ................
.. ..........
.. ..........
...........
.. ............
.............
.. ...............
.. ..................
..........................
.. ..........
..
..
..
..
..
..
ε......................
ak mk bk
Figura 7.4
ϕ1 es una recta que pasa por el punto (0, ϕ(0)) con pendiente negativa
ϕ0 (0) y es tangente a ϕ. Sea ϕ̂ un recta que pasa por el mismo punto
(0, ϕ(0)), pero con una pendiente menor (menos negativa).
157
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
ϕ(λ̄) ≤ ϕ̂(λ̄).
..... ...
........ ...
...
.... ...
... .
....
.
..
... ....
... ....
.......... ....
...
............................
... ............ ...........
...........
ϕ .
...
....
.
.
... ............ ........... ....
... ......... ........... ....
.......... ........... .....
.
... ............ ..
...
..... ..... ........... .....
..... ..... ........... .....
... ..... ..... ........... .....
... ..... ...... ........... .....
...
..... ....... ........... .
..
.......
..... .. ........... .
... ..... ............ ........... ......
........... ......
... ..... ....... .......................
...
...
.....
.....
.....
........
.........
..........
.............. .... . . . .. .. .. ϕ̂ ..
.......... .....................
.. ..........
... .....
..... ......................................................................... ..
... ..... ...
... .....
...
... ϕ1 ..... .
..
..
... ..
... ..
...
.... δ ..
.......................................................................................................................................................................................... δ ..
.
.
... ..
.............................................................................................................................................................................................................................................................................................................................................................................................
λ̄
Figura 7.5
158
7.12. MINIMIZACIÓN IMPRECISA
159
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
Ejemplo 7.12. Sean: f (x1 , x2 ) = x41 + (x1 + x2 )2 , x = (−2, 3), d = (1, −4).
Hallar un λ̄ ≥ 0 adecuado que “minimice” ϕ(λ) = f (x + λd) utilizando la
regla de Armijo con β = 0.2, α = 2.
En este caso ϕ(0) = 17, ϕ0 (0) = −38. Para λ = 0.1 se tiene que ϕ(λ) =
13.5221 y ϕ̂(λ) = 17 + (0.1)(0.2)(−38) = 16.24, luego 0.1 es un valor inicial
aceptable. Para obtener un valor que no sea demasiado pequeño
λ ϕ(λ) ϕ̂(λ)
λ ϕ(λ)
0.0000 17.0000
0.1000 13.5221
0.3000 8.3621
0.7000 4.0661
1.5000 12.3125
160
7.12. MINIMIZACIÓN IMPRECISA
Si se hubiera empezado con λ000 = 5, valor para el cual ϕ(5) = 277, hubiera
sido necesario multiplicar varias veces por 0.5 hasta obtener λ00 = 1.25,
ϕ(1.25) = 7.8789. Como ϕ̂(1.25) = 7.5, entonces es necesario dividir por 2
hasta obtener λ0 = 0.625 que también cumple la regla de Armijo. 3
λ̄
Figura 7.6
Una manera de obtener un λ que cumpla la regla de Goldstein es la
siguiente:
161
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
Ejemplo 7.13. Sean: f (x1 , x2 ) = x41 + (x1 + x2 )2 , x = (−2, 3), d = (1, −4).
Hallar un λ̄ ≥ 0 adecuado que “minimice” ϕ(λ) = f (x + λd) utilizando la
regla de Goldstein con ε = 0.2.
Recuérdese que ϕ(0) = 17, ϕ0 (0) = −38.
162
7.13. MINIMIZACIÓN DE UNA FUNCIÓN CUADRÁTICA
f 0 (x) = Hx + c,
f 00 (x) = H.
1
ϕ(λ) = (x + λd)T H(x + λd) + cT (x + λd)
2
163
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
λ2 T
= d Hd + λdT (Hx + c) + f (x).
2
Para obtener un punto crı́tico λ0 ,
dT (Hx + c) dT f 0 (x)
λ0 = − =− T , si dT Hd 6= 0.
d Hd
T
d Hd
Este punto crı́tico λ0 es el minimizador si dT Hd > 0. Si H es definida
positiva el punto crı́tico siempre es el minimizador. Si dT f 0 (x) < 0 (entonces
d es dirección de descenso), el minimizador es positivo.
30
−2 −1
∗ 14 74
λ = − = = 2.1765. 3
6 2 −2 34
−2 −1
2 2 −1
EJERCICIOS
En los ejercicios 7.1 a 7.11 estudie el problema propuesto, averigüe cuáles
métodos puede usar, use algunos de ellos, verifique si el valor obtenido
cumple algunos criterios (regla de Armijo, Goldstein, ...), utilice valores
iniciales diferentes.
7.1. Minimizar f (x̄ + λd), con λ ∈ R, donde f (x1 , x2 ) = x21 − 2x1 + x22 +
2x2 + 10, x̄ = (−3, 4), d = (1, −2).
7.2. Minimizar f (x̄ + λd), con λ ∈ R, donde f (x1 , x2 ) = x41 − 2x1 + x22 +
2x2 + 10, x̄ = (−3, 4), d = (1, −2).
7.3. Minimizar f (x̄ + λd), con λ ∈ [0, ∞], donde f (x1 , x2 ) = x21 − 2x1 +
x22 + 2x2 + 10, x̄ = (−3, 4), d = (1, −2).
7.4. Minimizar f (x̄ + λd), con λ ∈ [0, 6], donde f (x1 , x2 ) = x21 − 2x1 + x22 +
2x2 + 10, x̄ = (−3, 4), d = (1, −2).
7.5. Minimizar f (x̄ + λd), con λ ∈ [0, 2], donde f (x1 , x2 ) = x21 − 2x1 + x22 +
2x2 + 10, x̄ = (−3, 4), d = (1, −2).
164
7.13. MINIMIZACIÓN DE UNA FUNCIÓN CUADRÁTICA
7.6. Minimizar f (x̄ + λd), con λ ∈ R, donde f (x1 , x2 ) = x21 − 2x1 + x22 +
2x2 + 10, x̄ = (−3, 4), d = (−1, 2).
7.7. Minimizar f (x̄ + λd), con λ ∈ [0, ∞], donde f (x1 , x2 ) = x21 − 2x1 +
x22 + 2x2 + 10, x̄ = (−3, 4), d = (−1, 2).
7.8. Minimizar f (x̄ + λd), con λ ∈ R, donde f (x1 , x2 ) = x31 − 2x1 + x22 +
2x2 + 10, x̄ = (−3, 4), d = (−1, 2).
7.9. Minimizar f (x̄ + λd), con λ ∈ [0, ∞], donde f (x1 , x2 ) = x31 − 2x1 +
x22 + 2x2 + 10, x̄ = (−3, 4), d = (−1, 2).
7.10. Minimizar f (x̄ + λd), con λ ∈ [0, 10], donde f (x1 , x2 ) = x31 − 2x1 +
x22 + 2x2 + 10, x̄ = (−3, 4), d = (−1, 2).
7.11. Minimizar f (x̄+λd), con λ ∈ [0, 20], donde f (x1 , x2 ) = x1 sen (x1 )+x22 ,
x̄ = (3, 4), d = (2, −1).
165
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
datos: a, b, ε
l =b−a
mientras l > ε
m = (b + a)/2, t0 = a, t6 = b
si ϕ(m) < ϕ(a), ϕ(b) ent
p = minimiz. parábola: (a, ϕ(a)), (m, ϕ(m)), (b, ϕ(b))
µ = mejor{m, p}, δ = min{ε/2, l/8}
si µ ≤ m ent
t2 = µ, t1 = t2 − δ, t3 = t2 + δ
t4 = (2t3 + b)/3, t5 = (t3 + 2b)/3
fin-ent
sino
t4 = µ, t3 = t4 − δ, t5 = t4 + δ
t1 = (2a + t3 )/3, t2 = (a + 2t3 )/3
fin-sino
fin-ent
sino
δ = min{ε/2, l/12}
si ϕ(a) ≤ ϕ(b) ent
t1 = a + δ, t2 = a + 2δ
t3 = a + l/4, t4 = m, t5 = b − l/4
fin-ent
sino
t1 = a + l/4, t2 = m, t3 = b − l/4
t4 = b − 2δ, t5 = b − δ
fin-sino
fin-sino
ti = mejor{t1 , ..., t5 }, a = ti−1 , b = ti+1 , l = b − a
fin-mientras
λ∗ = mejor{a, ti , b}
166
7.13. MINIMIZACIÓN DE UNA FUNCIÓN CUADRÁTICA
k a b m p µ t1 t2 t3 t4
ϕ(a) ϕ(b) ϕ(m) ϕ(p) ϕ(µ) ϕ(t1 ) ϕ(t2 ) ϕ(t3 ) ϕ(t4 ) ϕ
λ∗ ≈ 1.7500
Ejemplo 7.10
k ak bk m p µ t1 t2 t3 t4 t5
ϕ(ak ) ϕ(bk ) ϕ(m) ϕ(p) ϕ(µ) ϕ(t1 ) ϕ(t2 ) ϕ(t3 ) ϕ(t4 ) ϕ(t
λ∗ ≈ 1.7500
Ejemplo 7.11
167
CAPÍTULO 7. MINIMIZACIÓN EN UNA VARIABLE
168
Capı́tulo 8
MÉTODOS DE
MINIMIZACIÓN EN
VARIAS VARIABLES SIN
RESTRICCIONES
169
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
xk −→ x∗ minimizador global, o
k
x −→ x∗ minimizador local, o
k
x −→ xc punto crı́tico.
Hallar λ∗k minimizador exacto o casi exacto, puede ser muy costoso en
tiempo. En muchos métodos no se necesita indispensablemente encontrar el
minimizador en cada iteración, sino que basta con encontrar λk que mejora
suficientemente el valor de la función. Esto se denotará
170
λk = argmej f (xk + λdk ),
xk+1 = xk + λk dk ,
||xk+1 − xk ||
< ε0x dado,
||xk ||
o para evitar denominadores muy pequeños,
||xk+1 − xk ||
≤ ε0x dado.
1 + ||xk ||
También se puede detener el proceso iterativo cuando el cambio, absoluto
o relativo, en el valor de la función es muy pequeño
171
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
|f (xk+1 ) − f (xk )|
< ε0f dado ,
|f (xk )|
o para evitar denominadores muy pequeños,
|f (xk+1 ) − f (xk )|
≤ ε0f dado.
|1 + f (xk )|
Por ejemplo, si se utiliza εg = 10−6 y εx = 10 muy posiblemente el
proceso se detendrá únicamente teniendo en cuenta el criterio del gradiente.
Si se utiliza εg = 10 y εx = 10-6 muy posiblemente el proceso se detendrá
únicamente teniendo en cuenta el criterio del cambio en x.
Si se utiliza εg = 10-6 o εx = 10-100 muy posiblemente el proceso
se detendrá únicamente teniendo en cuenta el criterio del gradiente. Si se
utiliza εg = 10−100 o εx = 10-6 muy posiblemente el proceso se detendrá
únicamente teniendo en cuenta el criterio del cambio en x.
No sobra notar que el proceso iterativo se debe detener cuando aparente-
mente ϕ(λ) = f (xk + λdk ) no es acotada inferiormente y no posee mini-
mizador, pues ésto también indica que f no es acotada inferiormente y no
tiene minimizador global.
Es importantı́simo evitar, antes de que el computador pare por un error,
las operaciones no permitidas o no deseadas, por ejemplo, solución de un
sistema singular o casi singular (con matriz no invertible), división por cero
o por un número casi nulo, raı́z cuadrada de un número negativo, etc.
172
8.1. CÁLCULO DEL GRADIENTE Y DEL HESSIANO
∂f f (x̄ + ηi ei ) − f (x̄)
(x̄) ≈ , (8.1)
∂xi ηi
∂f f (x̄ + ηi ei ) − f (x̄ − ηi ei )
(x̄) ≈ (8.2)
∂xi 2ηi
∂2f ∂ ∂f
(x̄) = (x̄)
∂xi ∂xj ∂xi ∂xj
1 ∂f ∂f
≈ (x̄ + ηi ei ) − (x̄)
ηi ∂xj ∂xj
1 f (x̄ + ηi e + ηj e ) − f (x̄ + ηi ei )
i j
≈
ηi ηj
f (x̄ + ηj ej ) − f (x̄)
− ,
ηj
∂2f 1
(x̄) ≈ f (x̄ + ηi ei + ηj ej ) − f (x̄ + ηi ei ) (8.4)
∂xi ∂xj ηi ηj
−f (x̄ + ηj ej ) + f (x̄) ,
o también,
∂2f
∂ ∂f
(x̄) = (x̄)
∂xi ∂xj ∂xi ∂xj
173
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
1 ∂f ∂f
≈ (x̄ + ηi ei ) − (x̄ − ηi ei )
2ηi ∂xj ∂xj
1f (x̄ + ηi ei + ηj ej ) − f (x̄ + ηi ei − ηj ej )
≈
2ηi 2ηj
!
f (x̄ − ηi ei + ηj ej ) − f (x̄ − ηi ei − ηj ej )
− ,
2ηj
∂2f 1
(x̄) ≈ f (x̄ + ηi ei + ηj ej ) + f (x̄ − ηi ei − ηj ej ) (8.5)
∂xi ∂xj 4ηi ηj
−f (x̄ + ηi ei − ηj ej ) − f (x̄ − ηi ei + ηj ej ) .
f 0 (x̄ + ηj ej ) − f 0 (x̄)
H·j ≈ ,
ηj
f 0 (x̄ + ηj ej ) − f 0 (x̄ − ηj ej )
H·j ≈ .
2ηj
La segunda expresión necesita el doble de operaciones que la primera,
pero es más precisa. Por otro lado, ninguna de las dos expresiones tiene
174
8.2. MÉTODO DE NEWTON
g(xk )
xk+1 = xk − .
g 0 (xk )
Esta fórmula se puede reescribir como
175
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
puede no converger,
176
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
1
min qk (x) = f (xk ) + f 0 (xk )T (x − xk ) + (x − xk )T f 00 (xk )(x − xk ). (8.8)
2
En el método de la región de confianza se restringe la minimización de
la aproximación cuadrática a una vecindad de xk , o sea,
1
min qk (x) = f (xk ) + f 0 (xk )T (x − xk ) + (x − xk )T f 00 (xk )(x − xk ) (8.9)
2
||x − xk ||2 ≤ ∆k .
1 T 00 k
min qk (xk + d) = f (xk ) + f 0 (xk )T d + d f (x )d (8.10)
2
177
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
||d||2 ≤ ∆k .
1 T
min qk (xk + d) = f (xk ) + f 0 (xk )T d + d Md (8.11)
2
||d||2 ≤ ∆k .
1 T 00 k
min qk (xk + d) = f (xk ) + f 0 (xk )T d + d f (x )d
2
||d||22 − ∆2k ≤ 0.
178
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
f 0 (xk ) + f 00 (xk )d + u1 d = 0,
u1 ≥ 0,
u1 ||d||22 − ∆2k = 0.
Haciendo λ = u1 ,
f 00 (xk )d + λI d = −f 0 (xk ).
f 00 (xk )d = −f 0 (xk ),
o sea, simplemente se tiene el método de Newton. Si las suposiciones no se
cumplen, entonces el método garantiza que
−1
∆k ≥ ||d||2 = || f 00 (xk )d + λI f 0 (xk )||2 .
También se puede mostrar, que en estas condiciones si ∆k → 0, entonces
λ→∞y
1
d ≈ − f 0 (xk ).
λ
Lo anterior es (aproximadamente) equivalente al método del descenso más
pendiente.
Cuando λ varı́a entre 0 e ∞, entonces d = d(λ) varı́a continuamente
entre la dirección del método de Newton (si f 00 (xk ) es definida positiva) y
un múltiplo de la dirección del descenso más pendiente.
179
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
por ejemplo,
1 3
η= , µ= ·
4 4
Si ρk > η se considera que la iteración fue exitosa y se construye xk+1 =
xk + dk . En caso contrario xk+1 = xk . Además, si ρk ≤ η, entonces el
parámetro ∆ se disminuye: ∆k+1 = 12 ∆k . Si η < ρk < µ, entonces el
parámetro ∆ no cambia: ∆k+1 = ∆k . Si µ ≤ ρk , entonces el parámetro ∆
se incrementa: ∆k+1 = 2∆k .
Si ρk ≤ η : xk+1 = xk , ∆k+1 = 12 ∆k
Si η < ρk < µ, : éxito, xk+1 = xk + dk , ∆k+1 = ∆k (8.16)
Si µ ≤ ρk , : éxito, xk+1 = xk + dk , ∆k+1 = 2∆k
180
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
Algunas veces se utiliza como radio inicial ∆0 = min(10, ||f 0 (x0 )||).
El paso difı́cil de este algoritmo es la solución del problema (8.10). En
la práctica se obtiene la solución exacta cuando es fácil hacerlo; en caso
contrario se usa una solución aproximada.
En (8.10) se tiene una función continua en un compacto (cerrado y aco-
tado), luego necesariamente hay minimizador. Éste está en el interior de la
bola o en la frontera. Desde el punto de vista de condiciones de KKT hay
dos posibilidades:
f 00 (xk )d = −f 0 (xk ),
λ = 0, (8.17)
||d||2 < ∆k .
f 00 (xk ) + λI d = −f 0 (xk ),
λ ≥ 0, (8.18)
||d||2 = ∆k .
f 00 (xk ) + λI d = −f 0 (xk ),
(8.20)
||d||2 = ∆k .
181
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
Para evitar este proceso iterativo, dentro del proceso iterativo general,
en algunas estrategias para la región de confianza, simplemente se halla una
solución aproximada de (8.18).
El esquema completo del algoritmo, incluyendo la solución de (8.10) es:
0 0 0 604 00 0 922 −120
f (x ) = 254, f (x ) = , f (x ) = .
−100 −120 20
182
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
−0.5318
λ = 22.7308, d0 = , ||d0 || = 1.
0.8469
Cálculo de ρ0 :
1 0 125.8844
1
f (x ) = 17.6635, f (x ) = ,
−24.9060
539.1876 −98.7295
f 00 (x1 ) = .
−98.7295 20.0000
La dirección de Newton:
−0.0567
dN = , ||dN || = 0.9672 < 2.
0.9655
Luego, esta dirección es la solución del subproblema.
2 03.1330
2
f (x ) = 1.9926, f (x ) = ,
−0.0642
00 2 467.3788 −96.4625
f (x ) = .
−96.4625 20.0000
183
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
La dirección de Newton:
−1.3264
dN = , ||dN || = 6.5301 ≮ 4.
−6.3940
La dirección de Newton no sirve, es necesario encontrar d, λ tales que
En 5 iteraciones se obtiene,
−0.8149
λ = 0.0553, d2 = .
−3.9161
entonces
3 2 2.4116 1
x =x = , ∆3 = ∆2 = 2.
5.8124 2
3 0 3.13303
f (x ) = 1.9926, f (x ) = ,
−0.0642
00 3 467.3788 −96.4625
f (x ) = .
−96.4625 20.0000
La dirección de Newton:
−1.3264
dN = , ||dN || = 6.5301 ≮ 4.
−6.3940
La dirección de Newton no sirve, es necesario encontrar d, λ tales que
En 6 iteraciones se obtiene,
3 −0.4105
λ = 0.1979, d = .
−1.9574
184
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
entonces
4 3 3 2.0010
x =x +d = , ∆4 = 2∆3 = 4.
3.8550
1.0000 0.0001
x11 = , f 0 (x11 ) = . 3
1.0000 0.0000
lim f 0 (xk ) = 0.
k→∞
185
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
Su solución es:
∆k
d¯ = − 0
f 0 (xk ). (8.23)
||f (xk )||
186
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
¯ solución de
La dirección de Cauchy será simplemente τ d,
¯ = f (xk ) + f 0 (xk )T (τ d)
¯ + 1 ¯ T 00 k ¯
min qk (xk + τ d) (τ d) f (x )(τ d)
2
¯ 2 ≤ ∆k .
||(τ d)||
Este problema depende únicamente de τ ,
1 2 ¯T 00 k ¯
min f (xk ) + τ f 0 (xk )T d¯ + τ d f (x )d
2
∆k
|τ | ≤ ¯ 2 = 1.
||d||
Se puede reescribir ası́:
1 2
min aτ + bτ + f (xk )
2
|τ | ≤ 1,
donde
187
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
0 0 0 604 00 0 922 −120
f (x ) = 254, f (x ) = , f (x ) = .
−100 −120 20
−0.0198
dN = , ||dN || = 4.8812 ≮ ∆0 = 1.
4.8812
¯
Entonces es necesario calcular d,
−0.9866
d¯ = .
0.1633
Cálculo de dC :
−0.6449
a = 936.6098, b = −612.2222, τ ∗ = 0.653658, dC = .
0.1068
2.3551
xC = , f (xC ) = 22.5674 . 3
4.1068
Este término viene de una palabra usada en el golf, cuya traducción literal
serı́a pata de perro. Indica una curva aguda o un ángulo.
En la siguiente figura hay un ejemplo de la bola B[xk , ∆k ], la dirección
de Newton dN , la dirección del descenso más pendiente (la opuesta al gra-
diente), lo que serı́a la trayectoria óptima de la solución de (8.10) para
diferentes valores de ∆ y el punto xk+1 dado por la solución exacta.
188
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
.....
.............
dN ........ ..........
..............•
.
... ....
.....
xk+1
..... . .. .......
...... .. .....
.
. ...
. ... .
.
.
... ...
.. .. ... .. ..............
..
.. .. ... .. ....... ..
..
. .
. . ........
. .
. ... .. ........
. .
. ... .. ........
.
−f 0 (xk )
. .
. . . .
...
.
.. ...
... .. .........
.........
.. ...
...
.. ... ........
.. .. ........ ...
. ..
.
. .
. .. ..
...
......... ..
.. .
... .. ........ ..
.. ... .. .........
... ... ........ ..
.... .................. ..
..
..
.•
xk
..........
..
..
..
..
..
.. . .. ...
.. ..
.. ..
..
..
..
..
..
..
..
∆k ..
..
.. .
.. ..
.. ..
.. .. ..
.. .. ..
..
.. .. ...
.. . . .
.. ..
... ...
... ...
....
..... ... ...
................
....
...........
dN .... ...........
.....
................•
...
. .....
..
...... .......
xk+1
.. . ...
...
.. . . ... ...
.. .. ... ....
. ...
. .. .... .........
.. . ..
......
... ..
. .. ... ..
.. .. .... ..
. .....
.
.. .. .. ... .. .....
..
..
.. ...
..
.. ....
.. ...
.. ....
.. ....... ..
... ...
.
....... −f 0 (xk )
.
. .
. ..
..
. ... . ..
.. .. ...... ...... ..
.. .. .. .........
.. ... ............
..
..
... .. ..............
xk
....... ..
.. .• .
.. ..
.. ..
.. ...
.. .
.. ..
.. ..
.. ..
.. ...
.. .
.. ..
.. ..
.. ..
.. ...
... .
... ...
... ...
.... ...
.....................
189
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
f 0 (xk )T f 0 (xk )
dD = − f 0 (xk ). (8.27)
f 0 (xk )T f 00 (xk )f 0 (xk )
ˆ )|| = ∆k .
||d(τ
Si ||dD || ≥ ∆k , la solución es inmediata:
∆k
τ∗ = , dP = τ ∗ dD . (8.29)
||dD ||
En caso contrario, es necesario encontrar la solución de una ecuación
cuadrática en τ :
190
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
0 0 0 604 00 0 922 −120
f (x ) = 254, f (x ) = , f (x ) = .
−100 −120 20
191
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
−0.6449 2.3551
dC = , x + dC = , f (x + dC ) = 22.5674 .
0.1068 4.1068
1 117.5450
0 1
f (x ) = 15.7833, f (x ) = ,
−23.3917
00 1 529.1911 −98.0212
f (x ) = .
−98.0212 20.0000
La dirección de Newton:
−0.0595
dN = , ||dN || = 0.8801 < 2.
0.8781
Luego, esta dirección es la solución del subproblema.
2 0 2 3.1204 00 2 459.5155 −95.6425
f (x ) = 1.9352, f (x ) = , f (x ) = .
−0.0707 −95.6425 20.0000
192
8.3. MÉTODOS DE LA REGIÓN DE CONFIANZA
−1.2992
dN = , ||dN || = 6.3437 ≮ ∆2 = 2.
−6.2093
Para el primer tramo de la trayectoria,
−0.0067
dD = , ||dD || = 0.0067 < ∆2 = 2.
0.0002
Entonces la solución está en el segundo tramo,
−0.0067 2.3843
dC = , x + dC = , f (x + dC ) = 1.9246 .
0.0002 5.7138
1.9352 − 1.1847
ρ2 = = 0.7780 .
1.9352 − 0.9706
entonces
1.9770
x3 = x2 + dP = , ∆3 = 4.
3.7570
Después de otras 8 iteraciones se obtiene x = (1, 1). 3
193
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
λ2 T 00 k k
f (xk + λd) = f (xk ) + λf 0 (xk )T d +
d f (x )d + · · · .
2
La expresión anterior depende únicamente de d y como λ es pequeño se
puede aproximar por
λf 0 (xk ) + 2v1 d = 0.
Si se escogen
f 0 (xk )
d = − ,
||f 0 (xk )||2
λ||f 0 (xk )||2
v1 = > 0,
2
se cumplen las condiciones necesarias y suficientes de KKT. Como las di-
recciones −f 0 (xk )/||f 0 (xk )||2 y −f 0 (xk ) son equivalentes se puede tomar la
segunda como la dirección dk , lo que garantiza que sea una dirección de
descenso. El algoritmo se puede esquematizar ası́:
194
8.4. MÉTODO DEL DESCENSO MÁS PENDIENTE
datos: x0 , εg , MAXIT, . . .
para k = 0, ..., , MAXIT
si ||f 0 (xk )|| ≤ εg ent parar
dk = −f 0 (xk )
λ∗k = argmin f (xk + λdk ), λ ≥ 0
xk+1 = xk + λ∗k dk
fin-para k
Ejemplo 8.6. Utilizar el método del descenso más pendiente para mini-
mizar f (x) = (x1 + x2 − 3)2 + (x1 − x2 + 1)2 partiendo de x0 = (3, 5),
k x f (x) f 0 (x) d λ∗
0 3.0000 26.0000 8.0000 -8.0000 0.2500
5.0000 12.0000 -12.0000
1 1.0000 0.0000 0.0000
2.0000 0.0000
No siempre este método funciona tan bien, ni siquiera para funciones
cuadráticas. 3
Ejemplo 8.7. Utilizar el método del descenso más pendiente para mini-
mizar f (x) = 10x21 + x22 partiendo de x0 = (2, 3).
k x f (x) f 0 (x) d λ∗
0 2.0000 49.0000 40.0000 -40.0000 0.0510
3.0000 6.0000 -6.0000
1 -0.0404 7.2736 -0.8082 0.8082 0.4173
2.6939 5.3879 -5.3879
2 0.2969 1.0797 5.9377 -5.9377 0.0510
0.4453 0.8906 -0.8906
3 -0.0060 0.1603 -0.1200 0.1200 0.4173
0.3999 0.7998 -0.7998
4 0.0441 0.0238 0.8814 -0.8814 0.0510
0.0661 0.1322 -0.1322
7 -0.0001 0.0001 -0.0026 0.0026 0.4173
0.0088 0.0176 -0.0176 3
195
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
00 4 0 λ1 = 4 00 20 0 λ1 = 20
f (x) = , , f (x) = ,
0 4 λ2 = 4 0 2 λ2 = 2.
(λ1 − λn )2
f (xk+1 ) − f (x∗ ) ≤ f (x k+1
) − f (x ∗
) ,
(λ1 + λn )2
(κ − 1)2
f (xk+1 ) − f (x∗ ) ≤ f (x k+1
) − f (x ∗
) ,
(κ + 1)2
xk → x∗ ,
(xk+1 − xk )T (xk − xk−1 ) = 0,
0 k T 0 k−1
f (x ) f (x ) = 0.
196
8.5. MÉTODOS DE DIRECCIONES CONJUGADAS
Ejemplo 8.8. Utilizar el método del descenso más pendiente para mini-
mizar f (x) = 10(x2 − x21 )2 + (1 − x1 )2 , partiendo de x0 = (3, 4).
k x f (x) f 0 (x) d λ∗
0 3.0000 254.0000 604.0000 -604.0000 0.0016
4.0000 -100.0000 100.0000
1 2.0335 1.0743 0.0419 -0.0419 0.1161
4.1600 0.4979 -0.4979
2 2.0286 1.0598 3.1241 -3.1241 0.0029
4.1022 -0.2629 0.2629
3 2.0195 1.0454 0.0389 -0.0389 0.1076
4.1030 0.4952 -0.4952
10 1.9796 0.9603 2.6522 -2.6522 0.0031
3.9099 -0.1751 0.1751
20 1.9286 0.8625 2.2930 -2.2930 0.0033
3.7137 -0.1130 0.1130
30 1.8851 0.7835 2.0918 -2.0918 0.0034
3.5492 -0.0853 0.0853
..
. 3
T
v i H v j = 0, ∀i 6= j.
197
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
T
f 0 (xk+1 ) dj = 0 para j = 1, 2, ..., k ,
T
f 0 (x1 ) dk = f 0 (xk ) dk ,
T
xn+1 = x∗ minimizador de f en Rn .
198
8.6. MÉTODO DEL GRADIENTE CONJUGADO: GC
Este método fue propuesto en 1952 por Hestenes y Stiefel para resolver
sistemas de ecuaciones Ax = b con matriz definida positiva. En 1964
Fletcher y Reeves lo adaptan para minimización de funciones cuadráticas
y no cuadráticas (resolver Ax = b es equivalente a minimizar f (x) =
1 T
2 x Ax − b x si A es definida positiva). Aunque no es tan bueno como
T
199
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
K k x f (x) f 0 (x) α d λ∗
1 1 3.0000 254.0000 604.0000 -604.0000 0.0016
4.0000 -100.0000 100.0000
2 2.0336 1.0743 0.0798 6.5E-7 -0.0802 0.4355
4.1600 0.4887 -0.4886
2 1 1.9987 1.0201 5.8024 -5.8024 0.0030
3.9472 -0.9519 0.9519
2 1.9815 0.9690 0.0780 0.0067 -0.1170 2.7545
3.9501 0.4756 -0.4692
3 1 1.6592 0.5253 7.6424 -7.6424 0.0042
2.6575 -1.9058 1.9058
2 1.6271 0.3965 0.0893 0.0022 -0.1060 2.3540
2.6655 0.3580 -0.3538
..
.
8 1 1.0000 0.0000 0.0000
1.0000 0.0000 3
T
dk f 0 (xk )
λ∗k = − T
dk Hdk
(−f 0 (xk ) + αk dk−1 )T f 0 (xk )
= − T
dk Hdk
T
||f 0 (xk )||22 − αk dk−1 f 0 (xk )
= T
dk Hdk
0 k
||f (x )||2 2
λ∗k = T · (8.31)
dk Hdk
Si la función es cuadrática y estrictamente convexa, pero no se conoce
explı́citamente la matriz H, entonces de todas formas con una sola interpo-
lación cuadrática se obtiene λ∗k .
200
8.7. MÉTODO DE DAVIDON, FLETCHER Y POWELL: DFP
K k x f (x) f 0 (x) α d λ∗
1 1 3.0000 1497.0000 240.0000 -240.0000 0.0161
4.0000 256.0000 -256.0000
5.0000 250.0000 -250.0000
2 -0.8683 0.9795 -0.4773 1.8E-5 0.4730 0.4097
-0.1262 -0.9820 0.9774
0.9706 1.4638 -1.4683
3 -0.6745 0.2963 -0.6238 0.1878 0.7126 0.9464
0.2743 0.4734 -0.2898
0.3690 0.1141 -0.3899
2 1 0.0000 0.0000 0.0000
0.0000 0.0000
0.0000 0.0000
201
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
Dk = Dk−1 + C k ,
1 k kT 1 T
Ck = T p p − T sk sk .
pk q k sk q k
Esta matriz de corrección es igual a una suma de dos matrices simétricas
de rango uno, por eso el método de DFP hace parte de los métodos con
nombre corrección de rango dos.
202
8.7. MÉTODO DE DAVIDON, FLETCHER Y POWELL: DFP
203
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
0.0238 0.1197 0.2029 0.7789 0.2467 0.7819
, , ,
0.1197 0.6262 0.7789 3.0124 0.7819 2.5024
0.5002 1.0008
··· ,
1.0008 2.0526
204
8.7. MÉTODO DE DAVIDON, FLETCHER Y POWELL: DFP
D1 = I,
dk = −Dk f 0 (xk ),
Dk = Dk−1 + C k ,
Dn+1 ≈ (f 00 (x∗ ))-1 .
B 1 = I,
resolver B k dk = −f 0 (xk ),
B k = B k−1 + E k ,
B n+1 ≈ f 00 (x∗ ).
Las fórmulas precisas que definen esta otra presentación del método DFP
son:
B1 = I
resolver B k dk = −f 0 (xk )
p = xk − xk−1
q = f 0 (xk ) − f 0 (xk−1 )
u = Bkp
γ = pT u
ρ = pT q
1 1
w= q− u
ρ γ
1 1
B k = B k−1 − uuT + qq T + γwwT .
γ ρ
205
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
T
!
1 q k sk T 1 T T
Ck = T 1 + kT k pk pk − T pk sk + sk pk ,
pk q k p q pk q k (8.32)
Dk = Dk−1 + C k .
0.0265 0.1303 0.2350 0.8806 0.2793 0.8653
, ,
0.1303 0.6684 0.8806 3.3349 0.8653 2.7158
206
8.8. MÉTODO BFGS
MÉTODO BFGS
datos: x1 , εg , MAXIT, ...
para K = 1, ..., MAXIT
para k = 1, ..., n
si ||f 0 (xk )|| < εg ent parar
si k = 1 ent D1 = I o una matriz def. pos.
sino
p = xk − xk−1 , q = f 0 (xk ) − f 0 (xk−1 ), s = Dk q, γ = pT q
1 qTs 1
Dk = Dk−1 + (1 + )ppT − (spT + psT )
γ γ γ
fin-sino
dk = −Dk f 0 (xk )
λ∗k = argmin f (xk + λdk ), λ ≥ 0
xk+1 = xk + λ∗k dk
fin-para k
x1 = xn+1
fin-para K
0.5002 1.0008
... .
1.0008 2.0526
Los puntos xk obtenidos son los mismos del método DFP, algunas matrices
Dk cambian ligeramente. Como se verá en el ejemplo siguiente las matrices
Dk no son siempre iguales en los dos métodos. 3
Ejemplo 8.15. Utilizar el método BFGS para minimizar la función
f (x1 , x2 , x3 ) = 10(x1 + x2 + x3 )2 + 2x22 + x23 , a partir de x1 = (3, 4, 5).
Ver la tabla de resultados al final del capı́tulo.
Si se hubiera calculado la matriz Dn+1 se hubiera obtenido
0.8000 −0.2500 −0.5000
−0.2500 0.2500 0.0000 ,
−0.5000 0.0000 0.5000
que es exactamente la inversa de la matriz hessiana. 3
Para el método BFGS también existe una presentación con matrices B
B1 = I
207
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
resolver B k dk = −f 0 (xk )
p = xk − xk−1
q = f 0 (xk ) − f 0 (xk−1 )
1 1
B k = B k−1 + T qq T − T k B k ppT B k
q p p B p
1 1
Dk+1 = Dk + ppT − T k Dk qq T Dk , (DFP)
pT q q D q
pT B k p
1 1 T k
B k+1 = Bk + 1 + T qq T
− qp B + B k T
pq , (DFP)
q p qTp qTp
qT Dk q
1 1 T k
Dk+1 k
=D + 1+ T pp T
− pq D + D k T
qp , (BFGS)
p q pT q pT q
1 1
B k+1 = B k + T qq T − T k B k ppT B k . (BFGS)
q p p B p
208
8.9. MÉTODO CÍCLICO COORDENADO CONTINUO
datos: x0 , εx , M AXIT, . . .
para para k = 0, ..., MAXIT
y 1 = xk
para j = 1, ..., n
λ∗j = argmin f (y j + λej )
y j+1 = y j + λ∗j ej
fin-para j
xk+1 = y n+1
si ||xk+1 − xk || < εx ent parar
fin-para k
209
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
f (y j + λj ej ) < f (y j ),
entonces
y j+1 = y j + λj ej .
y j+1 = y j .
210
8.10. MÉTODO CÍCLICO COORDENADO DISCRETO
211
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
EJERCICIOS
En los ejercicios 8.1 a 8.15 estudie el problema propuesto, averigüe cuáles
métodos puede usar, use algunos de ellos, compare los resultados y la rapi-
dez, verifique si el punto obtenido es punto crı́tico, minimizador, mini-
mizador global. Use también puntos iniciales diferentes al propuesto.
212
8.11. MÉTODO DE HOOKE Y JEEVES CONTINUO: HJC
8.2 Minimizar f (x1 , x2 ) = (x1 + x2 − 3)2 + (x1 − x2 + 1)2 , con x0 = (1, 2).
8.4 Minimizar f (x1 , x2 ) = (x1 + x2 − 3)2 + (x1 − x2 + 1)2 , con x0 = (3, 5).
8.5 Minimizar f (x1 , x2 ) = 10(x1 +x2 −3)2 +(x1 −x2 +1)2 , con x0 = (3, 5).
8.6 Minimizar f (x1 , x2 , x3 ) = 10(x1 +x2 +x3 )2 +2x22 +x23 , con x0 = (3, 4, 5).
8.13 Minimizar f (x1 , x2 ) = (x1 − 1)2 + ex1 + x22 − 2x2 + 1, con x0 = (2, 3).
8.14 Minimizar f (x1 , x2 ) = (x1 + x2 )/(x21 + x22 + 1), con x0 = (2, −2).
213
K k x f (x) f 0 (x) D·1 D·2 D·3 d λ∗
Ejemplo 8.12
Ejemplo 8.13
214
8.11. MÉTODO DE HOOKE Y JEEVES CONTINUO: HJC
Ejemplo 8.15
Ejemplo 8.19
215
CAPÍTULO 8. MINIMIZACIÓN SIN RESTRICCIONES
216
Capı́tulo 9
MÉTODOS DE
PENALIZACIÓN Y DE
BARRERA
217
CAPÍTULO 9. MÉTODOS DE PENALIZACIÓN Y DE BARRERA
medida en que x incumple cada vez más las restricciones. Una manera de
construir P es la siguiente:
m
X l
X
P (x) = Φi (gi (x)) + Ψj (hj (x)) (9.1)
i=1 j=1
Φ es continua en R,
Φ(t) = 0 si t ≤ 0,
Ψ es continua en R,
Ψ (t) > 0 si t 6= 0,
Ψ (t) = 0 si t = 0,
Ψ (t) = |t|,
218
9.1. MÉTODO DE PENALIZACIÓN
Ψ (t) = t2 ,
Ψ (t) = |t|p , p ≥ 1.
Obviamente estas caracterı́sticas también se conservan si se multiplica por
una constante positiva.
Es claro que la función P definida según 9.1, usando funciones Φi , Ψj
adecuadas, puede “medir” la inadmisibilidad de un punto: si P (x) = 0,
entonces x es admisible, y a mayor valor de P (x) mayor inadmisibilidad.
La función F que va a ser minimizada, y que tiene en cuenta f y las
restricciones es
h
F (x1 , x2 ) = x21 -x22 + µ (max{0, -x1 + 2})2 + (max{0, -x2 + 3})2
i
+(x1 + x2 -10)2
219
CAPÍTULO 9. MÉTODOS DE PENALIZACIÓN Y DE BARRERA
k µk xk+1
1 xk+1
2 f (xk+1 ) P (xk+1 ) µk P (xk+1 )
Proposición 9.1. Sea {xk } una sucesión de vectores generada por el método
de penalización. Entonces cualquier punto lı́mite de la sucesión es solución
del PMDI.
min f (x)
gi (x) ≤ 0, i = 1, ..., m
o simplemente
min f (x)
g(x) ≤ 0,
donde g : Rn → Rm , g(x) = (g1 (x), g2 (x), ..., gm (x)), las funciones f , gi son
continuas y, además, el conjunto admisible A tiene interior no vacı́o
◦
A = {x : g(x) < 0} =
6 ∅.
◦
El método de barrera trabaja en puntos de A y “castiga” a los puntos
que se acercan a la frontera, es decir, a los puntos que se acercan a saturar
220
9.2. MÉTODO DE BARRERA
una desigualdad. Por esta razón hace parte de los métodos de punto interior.
Actualmente, los métodos de punto interior son un tema importante de in-
vestigación. En particular, son muy útiles para problemas de programación
lineal muy grandes.
Para trabajar con puntos interiores se define una función de barrera B
que aumenta su valor cuando los puntos están cerca de la frontera
m
X
B(x) = χi (gi (x)).
i=1
χ(t) −→ +∞ cuando t −→ 0− .
1
χ(t) = − ,
t
χ(t) = − log(−t).
221
CAPÍTULO 9. MÉTODOS DE PENALIZACIÓN Y DE BARRERA
−1 −1 −1
F (x1 , x2 ) = x21 − x22 +µ + + .
−x1 + 2 −x2 + 3 x1 + x2 − 10
k µk xk+1
1 xk+1
2 f (xk+1 ) B(xk+1 ) µk B(xk+1 )
EJERCICIOS
En los ejercicios 9.1 a 9.5 estudie el problema propuesto, averigüe cuáles
métodos puede usar, use algunos de ellos. Obtenga un punto inicial.
222
9.2. MÉTODO DE BARRERA
9.5 Minimizar f (x1 , x2 ) = x21 +2x22 +x1 x2 −5x1 −6x2 sujeto a x1 +2x2 ≤ 4,
3x1 + 2x2 ≤ 8, x ≥ 0.
223
CAPÍTULO 9. MÉTODOS DE PENALIZACIÓN Y DE BARRERA
224
Capı́tulo 10
MÉTODOS DE
MINIMIZACIÓN CON
RESTRICCIONES
225
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
tener un xk admisible,
xk+1 = xk + λ∗k dk .
min θ(ξ)
ξ ≥ 0,
equivalente a
min θ(ξ)
−ξi ≤ 0, i = 1, ..., p.
∂θ ¯
θi0 (ξ)
¯ = (ξ) = ui ≥ 0 para i ∈ I
∂ξi
226
10.1. MÉTODO DEL GRADIENTE REDUCIDO DE WOLFE
¯ = ∂θ (ξ)
θi0 (ξ) ¯ = 0 para i ∈
/ I,
∂ξi
θi0 (ξ)
¯ ≥0 si ξ¯i = 0,
θ0 (ξ)
i
¯ =0 si ξ¯i > 0.
227
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
Ax = b
x ≥ 0,
BxB + LxL = b.
Para facilitar las fórmulas, sean:
Bζ + Lξ = b
ζ = −B −1 Lξ + B −1 b
ζ = Qξ + q.
m
∂θ ∂f X ∂f ∂ζi
ρj = = + , j = 1, ..., n − m
∂ξj ∂ξj ∂ζi ∂ξj
i=1
m
∂f X ∂f
= + qij
∂xm+j ∂xi
i=1
m
X
0
= fm+j + fi0 qij
i=1
228
10.1. MÉTODO DEL GRADIENTE REDUCIDO DE WOLFE
f10
0
= fm+j + [q1j ... qmj ] ...
fm0
0
= fm+j + (QT )j· fB0 .
ρ = fL0 + QT fB0
T
ρ = fL0 − LT B −1 fB0 , (10.4)
donde fL0 es el vector columna formado por las componentes del gradiente
f 0 (x) correspondientes a las variables libres, y fB0 es el vector columna for-
mado por las componentes del gradiente f 0 (x) correspondientes a las vari-
ables básicas.
Entonces la dirección dL = δ para las n − m variables libres se define
como en (10.1)
(
0 si ρi > 0 y ξi = 0,
dm+i = δi = (10.5)
−ρi en los demás casos.
dB = −B −1 LdL .
229
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
La fórmula (10.4) para el cálculo del gradiente ρ para las variables libres
se puede reescribir utilizando r gradiente reducido, definido para las n
variables, pero nulo para las variables básicas.
T
r = f 0 (xk ) − AT (B −1 ) fB0 (xk ),
rB = 0,
T
rL = fL0 (xk ) − LT (B −1 ) fB0 (xk ).
230
10.1. MÉTODO DEL GRADIENTE REDUCIDO DE WOLFE
Adk = 0,
f 0 (xk )T dk < 0,
λmax > 0,
xk+1 es admisible,
2x 1
1 1 1 0 2 2x2
A= , b= , f 0 (x) =
0 .
1 5 0 1 5
0
231
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
−5
d2 2 d1 −5 2
dL = = , dB = = 3 ,
, d=
d3 3 d4 −5
−5
0.5 1.0
0.9 0 1
1.8
x1 = 1
0.6 , f (x ) = 1.06, f (x ) = 0 ,
0 0
1 1 r1 0.64
I1 = {2, 3}, B = , rL = = ,
5 0 r4 −0.36
−0.320
d1 −0.32 d2 −0.008 −0.008
dL = = , dB = = , d=
0.328 ,
d4 0.36 d3 0.328
0.360
0 0
0.8875 1.775
x2 = , f (x2 ) = 0.787656, f 0 (x2 ) =
,
1.1125 0
0.5625 0
232
10.1. MÉTODO DEL GRADIENTE REDUCIDO DE WOLFE
1 1 r1 −0.355
I2 = {2, 3}, B = , rL = = ,
5 0 r4 −0.355
0.355
d1 0.355 d2 −0.142 −0.142
dL = = , dB = = , d=
−0.213 ,
d4 0.355 d3 −0.213
0.355
0.306034 0.612069
0.765086 0 3 1.530172
x3 = 3
0.928879 , f (x ) = 0.679013, f (x ) =
,
0
0.868534 0
1 0 r1 0.612069
I3 = {3, 4}, B = , rL = = ,
0 1 r2 1.530172
d1 −0.187314 d3 1.358028
dL = = , dB = = ,
d2 −1.170714 d4 6.040883
−0.187314
−1.170714
d= 1.358028 ,
6.040883
0.183621 0.367241
0 , f (x4 ) = 0.033717, f 0 (x4 ) = 0
x4 =
,
1.816379 0
4.816379 0
233
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
1 0 r1 0.367241
I4 = {3, 4}, B = , rL = = ,
0 1 r2 0
d1 −0.067433 d3 0.067433
dL = = , dB = = ,
d2 0 d4 0.067433
−0.067433
0
d= 0.067433 ,
0.067433
0 0
0 0 5 0
x5 = 5
2 , f (x ) = 0, f (x ) = 0 ,
5 0
1 0 r1 0
I5 = {3, 4}, B = , rL = = ,
0 1 r2 0
0
d1 0 d3 0 0
dL = = , dB = = , d=
0 .
d2 0 d4 0
0
234
10.1. MÉTODO DEL GRADIENTE REDUCIDO DE WOLFE
xTB xTL
x:
f 0 (x) : fB0 (xk )T fL0 (xk )T
0
k
xB
fB I L b
r:
rL
d:
dB dL
xi xi
−xj /dj − −
di di
Para construir esta tabla, algunos valores simplemente se transcriben,
otros provienen de cálculos sencillos dentro de la misma tabla. Para la
construcción de la tabla el orden podrı́a ser el siguiente:
235
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
7. Efectuar los cocientes −xkj /dkj cuando dkj < 0 y escoger el valor λmax
como el mı́nimo de estos cocientes.
Calcular el λ∗k .
236
10.1. MÉTODO DEL GRADIENTE REDUCIDO DE WOLFE
2x1
1 1 1 0 2 2x2
 = , f 0 (x) =
0 .
1 5 0 1 5
0
1 1 1 0 2
 = .
0 4 −1 1 3
x0 :
1.5 0.5 0 1
f 0 (x0 ) :
3 1 0 0
1 1 1 0 2
0 4 −1 1 3
r:
d:
−x0i /d0i
Las variables básicas son x1 , x4 y las componentes del gradiente para las
variables básicas son 3 y 0 .
x0 :
1.5 0.5 0 1
f 0 (x0 ) :
3 1 0 0
x1 3 1 1 1 0 2
x4 0 0 4 −1 1 3
r:
d:
−x0i /d0i
237
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
x0 :
1.5 0.5 0 1
f 0 (x0 ) :
3 1 0 0
x1 3 1 1 1 0 2
x4 0 0 4 −1 1 3
r: −2 −3
d:
−x0i /d0i
x0 :
1.5 0.5 0 1
f 0 (x0 ) :
3 1 0 0
x1 3 1 1 1 0 2
x4 0 0 4 −1 1 3
r: −2 −3
d: 2 3
−x0i /d0i
x0 :
1.5 0.5 0 1
f 0 (x0 ) :
3 1 0 0
x1 3 1 1 1 0 2
x4 0 0 4 −1 1 3
r: −2 −3
d: −5 2 3 −5
−x0i /d0i
238
10.1. MÉTODO DEL GRADIENTE REDUCIDO DE WOLFE
x0 :
1.5 0.5 0 1
f 0 (x0 ) :
3 1 0 0
x1 3 1 1 1 0 2
x4 0 0 4 −1 1 3
r: −2 −3
d: −5 2 3 −5
−x0i /d0i 0.3 0.2
Entonces λmax = 0.2 y al minimizar f (x0 + λd0 ) se obtiene λ∗0 = 0.2.
x1 :
0.5 0.9 0.6 0
f 0 (x1 ) :
1 1.8 0 0
x2 1.8 0.2 1 0 0.2 1
x3 0 0.8 0 1 −0.2 1
r: 0.64 −0.36
d: −0.32 −0.008 0.328 0.36
−x1i /d1i 1.5625 112.5
x2 :
0 0.8875 1.1125 0.5625
f 0 (x2 ) :
0 1.7750 0 0
x2 1.775 0.2 1 0 0.2 1
x3 0 0.8 0 1 −0.2 1
r: −0.355 −0.355
d: 0.355 −0.142 −0.213 0.355
−x2i /d2i 6.25 5.223
239
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
x3 :
0.3060 0.7651 0.9289 0.8685
f 0 (x3 ) :
0.6121 1.5302 0 0
x4 0 1 5 0 1 5
x3 0 1 1 1 0 2
r: 0.6121 1.5302
d: −0.1873 −1.1707 1.3580 6.0409
−x3i /d3i 1.6337 0.6535
x4 :
0.1836 0 1.8164 4.8164
f 0 (x4 ) :
0.3672 0 0 0
x4 0 1 5 0 1 5
x3 0 1 1 1 0 2
r: 0.3672 0
d: −0.0674 0 0.0674 0.0674
−x4i /d4i 2.7230
x5 :
0 0 2 5
f 0 (x5 ) :
0 0 0 0
x4 0 1 5 0 1 5
x3 0 1 1 1 0 2
r: 0 0
d: 0 0 0 0
−x5i /d5i
Entonces x5 = (0, 0, 2, 5) es punto de KKT. 3
240
10.2. MÉTODO DEL GRADIENTE PROYECTADO DE ROSEN
min f (x)
Ax ≤ b
Ex = e,
P x ∈ T para todo x ∈ Rn ,
P es simétrica,
241
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
A=
M = ,k (10.10)
E
P : definida según 10.9,
dk = −P f 0 (xk ). (10.11)
242
10.2. MÉTODO DEL GRADIENTE PROYECTADO DE ROSEN
donde,
dˆ = A< dk ,
(10.12)
b̂ = b< − A< xk .
Entonces
+∞ si nf(A< ) = 0,
+∞ si nf(A< ) > 0 y dˆ ≤ 0,
λmax = (10.13)
b̂i
min{ : dˆi > 0} si nf(A< ) > 0 y dˆ 0.
dˆi
La utilización adecuada del algoritmo GP hace que se cumplan las siguientes
propiedades:
M dk = 0,
A= dk = 0,
243
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
Edk = 0,
f 0 (xk )T dk < 0,
b̂ > 0,
λmax > 0,
xk+1 es admisible,
f (xk+1 ) < f (xk ).
244
10.2. MÉTODO DEL GRADIENTE PROYECTADO DE ROSEN
M M T no es invertible,
1 5 5 1.0
I0 = {1}, A< = −1 0 , b< = 0 , bb = 1.5 ,
0 −1 0 0.5
245
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
0.5 −0.5 −1
M= 1 1 , P = , d= ,
−0.5 0.5 1
4
db = 1 , λmax = 0.25, λ∗0 = 0.25.
−1
1 1.25 1 0 1 2.5
x = , f (x ) = 2.125, f (x ) = , I1 = {1, 2},
0.75 1.5
< −1 0 < 0 1.25
A = , b = , bb = ,
0 −1 0 0.75
1 1 0 0 0
M= , P = , d= ,
1 5 0 0 0
u1 −2.75
w= = , M= 1 5 ,
u2 0.25
0.961538 −0.192308 −2.115385
P = , d= ,
−0.192308 0.038462 0.423077
2.115385
d=
b , λmax = 0.590909, λ∗1 = 0.5.
−0.423077
2 0.192308 2 0 2 0.384615
x = , f (x ) = 0.961538, f (x ) = , I2 = {2},
0.961538 1.923077
1 1 2 0.846154
A< = −1 0 , b< = 0 , bb = 0.192308 ,
0 −1 0 0.961538
0.961538 −0.192308 0
M= 1 5 , P = , d= ,
−0.192308 0.038462 0
w= u2 = −0.384615 , M =[ ],
246
10.2. MÉTODO DEL GRADIENTE PROYECTADO DE ROSEN
−2.307692
rr1 0 −0.384615
P = , d= , db = 0.384615 ,
0 1 −1.923077
1.923077
0 0
x3 = , f (x3 ) = 0, f 0 (x2 ) = , I3 = {3, 4},
0 0
< 1 1 < 2 2
A = , b = , bb = ,
1 5 5 5
−1 0 0 0 0
M= , P = , d= ,
0 −1 0 0 0
u3 0
w= = .
u4 0
Luego el punto x3 = (0, 0) es un punto de KKT. 3
min f (x)
gi (x) ≤ 0, i = 1, ..., m
hj (x) = 0, j = 1, ..., l,
gi0 (xk )T , i ∈ I
M= .
h0j (xk )T , ∀j
247
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
Es muy posible que x̃k+1 no sea admisible, entonces a partir de x̃k+1 se ob-
tiene un punto admisible xk+1 . Una manera de hacerlo consiste en minimizar
una función de penalización P (x), semejante a la utilizada en el capı́tulo 9,
sin embargo, no siempre funciona bien pues este minimizador puede resultar
peor que xk .
La parte de regresar a la región admisible es la más delicada de la
adaptación del método GP a restricciones no lineales.
EJERCICIOS
En los ejercicios 10.1 a 10.11 estudie el problema propuesto, averigüe
cuáles métodos puede usar, use algunos de ellos. Si es necesario obtenga
un problema equivalente al propuesto. Compare los resultados y la rapidez,
verifique si el punto obtenido es punto de KKT, minimizador, minimizador
global. Use también puntos iniciales diferentes al sugerido.
10.1 Minimizar f (x1 , x2 ) = x21 +2x22 −2x1 x2 −2x1 −6x2 sujeto a x1 +x2 ≤ 2,
−x1 + 2x2 ≤ 2, x ≥ 0, con x0 = (0, 0).
10.2 Minimizar f (x1 , x2 ) = (x1 − 3)2 + (x2 − 2)2 sujeto a x21 − x2 + 2 ≤ 0,
x1 ≥ 0, −x1 + 2 ≤ 0, con x0 = (0, 5/2).
10.3 Minimizar f (x1 , x2 ) = (x1 + x2 − 6)2 + (2x1 − x2 )2 sujeto a x1 + x2 = 1,
x ≥ 0, con x0 = (1, 0).
10.4 Minimizar f (x1 , x2 ) = 3x1 + 4x2 sujeto a x1 + 2x2 ≥ 2, x ≥ 0. a)
x0 = (2, 0); b) x0 = (0, 1).
10.5 Minimizar f (x1 , x2 ) = x1 + x2 sujeto a 2x1 + 3x2 ≥ 5, 2x1 + x2 ≥ 3,
x ≥ 0, con x0 = (2.5, 0).
10.6 Minimizar f (x1 , x2 ) = x1 + 2x2 sujeto a −x1 + x2 = 4, x2 ≥ 3, x ≥ 0,
con x0 = (0, 4).
10.7 Minimizar f (x1 , x2 ) = x21 + x22 sujeto a x1 + x2 ≥ 4, 2x1 + x2 ≥ 5,
x ≥ 0, con x0 = (4, 0).
248
10.2. MÉTODO DEL GRADIENTE PROYECTADO DE ROSEN
249
CAPÍTULO 10. MÉT. MINIMIZACIÓN CON RESTRICCIONES
250
Capı́tulo 11
MÉTODOS DE PUNTO
INTERIOR
251
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
11.0.1 Notación
En la literatura sobre MPI es usual utilizar la siguiente notación. Si x, s
son vectores en Rn ,
x1
x2
x = (x1 , x2 , . . . , xn ) = . ,
..
xn
s1
s2
s = (s1 , s2 , . . . , sn ) = . ,
..
sn
252
11.1. SOLUCIÓN DE UN SISTEMA FRECUENTE
AT v + w = f, (11.1)
Au = g, (11.2)
Su + Xw = h. (11.3)
De (11.1) y (11.3)
w = f − AT v, (11.4)
−1
u = S (h − Xw). (11.5)
De (11.2) y (11.5)
Au − g = AS −1 (h − Xw) − g = 0,
AS −1 (h − X(f − AT v)) − g = 0,
AS −1 (h − Xf ) + AS −1 XAT v − g = 0,
AS −1 XAT v = g + AS −1 (Xf − h) (11.6)
253
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
min cT x
Ax = b (11.13)
x ≥ 0,
254
11.2. MÉTODOS DE PUNTO INTERIOR PARA P.L.
min cT x
−x ≤ 0
Ax − b = 0,
se obtiene
AT y + s − c = 0,
s ≥ 0,
T
s x = 0.
XSe = 0.
En resumen, las condiciones de factibilidad primal y las condiciones de KKT
dan:
Ax − b = 0, x ≥ 0 (11.14a)
T
A y + s − c = 0, s ≥ 0 (11.14b)
XSe = 0. (11.14c)
255
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
AT y + s − c = 0,
Ax − b = 0,
(11.15)
XSe = 0,
(x, s) > 0.
resolver Φ0 (ξ k ) ∆ξ = −Φ(ξ k ),
ξ k+1 = ξ k + ∆ξ,
256
11.3. MÉTODO PRIMAL-DUAL AFÍN FACTIBLE
(xk , sk ) > 0.
La aplicación directa del método de Newton ξ k+1 = ξ k + ∆ξ harı́a, muy
posiblemente, que no se cumpla la condición de positividad. Este inconve-
niente se obvia haciendo
ξ k+1 = ξ k + tk ∆ξ,
tk = η tmax ,
tmax = tmax ((x , s ), (∆x, ∆s)) = max{t : ξ k + t∆ξ ≥ 0},
k k
0 < η < 1.
∞ si d ≥ 0,
tmax = tmax (u, d) = ui (11.16)
min{ : di < 0} si d 0.
−di
rdk = AT y k + sk − c. (11.18)
Residuo de complementariedad:
rck = Xk Sk e. (11.19)
Aquı́, Xk indica la matriz diagonal obtenida a partir de xk .
Conjunto factible para las condiciones de factibilidad primal y dual:
257
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
Su interior relativo:
krp k
ρp = ,
1 + kbk
krd k
ρd = , (11.20)
1 + kck
krc k
ρc = .
1 + kxk
Una tripla (x, y, s) tal que (x, s) ≥ 0 es factible si y solamente si rp = 0
y rd = 0, o lo que es lo mismo, si y solamente si ρp = 0 y ρd = 0.
Una tripla (x, y, s) factible es óptima si y solamente si rc = 0. Una tripla
en FP◦ D es aproximadamente óptima si ρc ≤ εc para un εc positivo y pequeño
dado.
Sea (xk , y k , sk ) tal que (xk , sk ) > 0. El sistema Φ0 (ξ k ) ∆ξ = −Φ(ξ k )
expresado en x, y, s da:
k
0 AT I ∆x −rd
A 0 0 ∆y = −rpk .
(11.21)
Sk 0 Xk ∆s −rck
Si (xk , y k , sk ) ∈ FP◦ D , el sistema se simplifica a
0 AT I ∆x 0
A 0 0 ∆y = 0 . (11.22)
Sk 0 Xk ∆s −rck
Según lo visto en la primera sección de este capı́tulo, el sistema se resuelve
aprovechando su estructura por bloques. Las ecuaciones (11.10), (11.11) y
(11.12) se convierten en:
258
11.3. MÉTODO PRIMAL-DUAL AFÍN FACTIBLE
259
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
||rc || = 1.8954,
ρc = 0.3628.
21.6667 25.0000 5.0000 4.0000
AS −1 XAT = 25.0000 49.6667 5.0000 , AS −1 rc = 5.8000 .
5.0000 5.0000 11.6667 3.0000
Entonces
tmax = 0.5197,
tk = 0.5145.
260
11.3. MÉTODO PRIMAL-DUAL AFÍN FACTIBLE
Las direcciones:
tmax = 0.5473,
tk = 0.5419.
k ρc x1 x2 x3 x4 x5
2 0.1181 2.4410 1.5541 0.0049 0.2508 0.5590
3 0.0373 2.3579 1.6421 0.0000 0.1580 0.6421
4 0.0187 2.2437 1.7563 0.0000 0.0437 0.7563
5 0.0044 2.2028 1.7972 0.0000 0.0028 0.7972
6 0.0003 2.2000 1.8000 0.0000 0.0000 0.8000
7 0.0000
261
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
AT y + s − c = 0, (11.26a)
Ax − b = 0, (11.26b)
XSe − τ e = 0, (11.26c)
(x, s) > 0. (11.26d)
Se puede demostrar que (x(τ ), y(τ ), s(τ )) está definido de manera única
para τ > 0 si y solamente si FP◦ D 6= ∅. Bajo esta condición se define la
trayectoria central como el conjunto de todas estas triplas para τ > 0,
C ⊂ FP◦ D ,
lim = x∗ .
τ →0+
262
11.4. TRAYECTORIA CENTRAL
τ = 1,
x = (1.0913, 1.5758, 1.3329, 1.5572, 1.9087),
y = (−0.7502, −0.6422, −0.5239),
s = (0.9163, 0.6346, 0.7502, 0.6422, 0.5239).
τ = 0.01,
x = (2.1896, 1.7931, 0.0173, 0.0242, 0.8104),
y = (−0.5789, −0.4134, −0.0123),
s = (0.0046, 0.0056, 0.5789, 0.4134, 0.0123).
.....
.......
....
...
...
(0, 2.9) ..............
... ...........
... .......
.......
... .......
.......
... .......
... .......
.......
... .......
... .......
.......
... .......
.......
... .......
... ...
.
. .... .... ................
... . ...
...
... ...
....
(2.2, 1.8)
.... .........
.....
.....
.....
... ... .....
... ... .....
.....
... .
.. .....
... .....
.....
... ... .....
... . .....
...
...
.
..
..
(3, 1)...
....
... ...
... ...
... ...
... ...
... ...
... ...
... ...
... ...
. .
................................................................................................................................................................................................................................
.
....
..
....
(3, 0)
...
.
Figura 11.1
263
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
los puntos. Hay varias estrategias, por ejemplo, las de pasos cortos y las de
pasos largos. A su vez, hay varias subestrategias.
Es usual utilizar la siguiente medida de dualidad
xT s
µ= . (11.27)
n
Esta medida de dualidad está relacionada con el salto o brecha dual (dual
gap), ya que si (x, y, s) ∈ FP D , entonces se comprueba fácilmente que
xT s = cT x − bT y.
Por teorı́a de dualidad para PL se sabe que si x es factible para el prob-
lema primal y y es factible para el dual, entonces x, y son óptimos si
cT x − bT y = 0. Esto se puede reescribir ası́: (x, y, s) ∈ FP◦ D es aproximada-
mente la solución si µ ≤ ε.
Un ejemplo tı́pico de un teorema de complejidad para un algoritmo de
punto interior es el presentado en [NoWr99], que simplificado dice: Sean
ε > 0, (x0 , y 0 , s0 ) ∈ FP◦ D en una vecindad adecuada de C. Entonces existe
K, con K = O(n log(1/ε)), tal que
µk ≤ ε, para todo k ≥ K.
264
11.5. MÉTODO PREDICTOR-CORRECTOR DE MEHROTRA
ρ p ≤ εp ,
ρd ≤ εd , (11.28)
ρ c ≤ εc .
µ ≤ εµ .
Las direcciones afines se calculan mediante la solución de
∆xa
0 AT I −rd
A 0 0 ∆y a = −rp . (11.29)
S 0 X ∆sa −rc
Con estas direcciones se calculan los pasos afines primal y dual:
265
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
∆xc
0 AT I 0
A 0 0 ∆y c = 0 . (11.34)
S 0 X ∆sc −rcc
La dirección definitiva es la suma de las dos:
donde η ∈ [0.9, 0.995] sirve para garantizar que (xk+1 , sk+1 ) > 0.
Finalmente se calcula el siguiente punto:
xk+1 = x + tp ∆x,
(11.37)
(y k+1 , sk+1 ) = (y, s) + td (∆y, ∆s).
266
11.5. MÉTODO PREDICTOR-CORRECTOR DE MEHROTRA
T
rp = −0.4000 −1.0000 −0.6000 ,
T
rd = −1.5000 −1.1000 −0.5000 −0.5000 −0.5000 ,
T
rc = 0.6000 0.6000 0.6000 0.6000 0.6000 .
Además,
T
∆xa = 0.6080 0.6560 −0.8640 −0.9200 −0.0080 ,
T
∆y a = 0.6400 0.6167 0.9967 ,
T
∆sa = −0.7533 −0.7733 −0.1400 −0.1167 −0.4967 .
T
x + tap ∆xa = 1.8080 1.8560 0.3360 0.2800 1.1920 ,
T
s + tad ∆sa = 0.0129 0.0000 0.4095 0.4246 0.1789 ,
µa = 0.0986, σ = 0.0044.
El residuo de complementariedad para corrección y centrado:
T
rcc = −0.4607 −0.5100 0.1183 0.1047 0.0013 .
267
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
T
∆xc = 0.2129 0.1727 −0.3857 −0.5584 −0.2129 ,
T
∆y c = −0.0621 −0.1454 −0.0876 ,
T
∆sc = 0.2952 0.3530 0.0621 0.1454 0.0876 .
T
∆x = 0.8209 0.8287 −1.2497 −1.4784 −0.2209 ,
T
∆y = 0.5779 0.4712 0.9090 ,
T
∆s = −0.4581 −0.4203 −0.0779 0.0288 −0.4090 .
T
x1 = 1.8597 1.8659 0.1958 0.0120 1.0225 ,
T
y 1 = −0.4221 −0.5288 −0.0910 ,
T
s1 = 0.0419 0.0797 0.4221 0.5288 0.0910 .
k ρp ρd µ x1 x2 x3 x4 x5
1 0.0280 0.0000 0.0817 2.2039 1.7847 0.0020 0.0031 0.7820
2 0.0034 0.0000 0.0035 2.2000 1.7998 0.0000 0.0000 0.7998
3 0.0000 0.0000 0.0000 2.2000 1.8000 0.0000 0.0000 0.8000
4 0.0000 0.0000 0.0000
268
11.6. COMPLEMENTARIEDAD LINEAL
M x + q = s, (11.38a)
(x, s) ≥ 0, (11.38b)
T
x s = 0. (11.38c)
M x − s + q = 0,
XSe − τ e = 0,
(x, s) ≥ 0,
para τ > 0.
El método de Mehrotra para PL se puede adaptar para CL, algunas pa-
sos y variables son exactamente los mismos. Otros son simplemente adapta-
ciones.
El residuo del sistema lineal, el residuo de complementariedad, los valores
ρ, el valor µ,
269
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
rL = M x − s + q,
rc = XSe,
||rL ||
ρL = ,
1 + ||q|| (11.40)
||rc ||
ρc = ,
1 + ||x||
xT s
µ= ·
n
Las direcciones afines:
a
M −I ∆x −rL
= . (11.41)
S X ∆sa −rc
rcc = −σµ e + ∆X a ∆S a e.
Las direcciones de centrado:
c
M −I ∆x 0
= . (11.44)
S X ∆sc −rcc
270
11.7. PROGRAMACIÓN CUADRÁTICA CONVEXA
xk+1 = xk + tx ∆x,
(11.47)
sk+1 = sk + ts ∆s.
1
min f (x) = xT Hx + cT x
2
Ax = b (11.48)
x ≥ 0,
271
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
Ax − b = 0, x ≥ 0,
Hx + c − Iu + AT v = 0, u ≥ 0,
uT x = 0.
−Hx + AT y + s − c = 0,
Ax − b = 0,
(11.49)
XSe = 0,
(x, s) ≥ 0.
Estas condiciones son muy parecidas a las condiciones para PL. Entonces,
de manera natural, se pueden adaptar los métodos de punto interior. Por
ejemplo para el método de Mehrotra las fórmulas son:
xT s
µ= ,
n
rp = Ax − b,
rd = −Hx + AT y + s − c, (11.50)
rc = XSe,
krp k
ρp = ,
1 + kbk
krd k
ρd = ,
1 + kck
krc k
ρc = .
1 + kxk
272
11.7. PROGRAMACIÓN CUADRÁTICA CONVEXA
∆xa
−H AT I −rd
A 0 0 ∆y a = −rp . (11.51)
S 0 X ∆sa −rc
Los pasos afines primal y dual:
Calculo de µa ( µ afı́n) y σ:
rcc = −σµ e + ∆X a ∆S a e.
Las direcciones de corrección y centrado:
∆xc
−H AT I 0
A 0 0 ∆y c = 0 . (11.52)
S 0 X ∆s c −rcc
La dirección definitiva:
xk+1 = x + tp ∆x,
(y k+1 , sk+1 ) = (y, s) + td (∆y, ∆s).
273
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
2 0 0 0 0
0 2 0 0 0
, A = 1 1 1 0 , b = 2 .
H=
0
, c =
0 0 0 0 1 5 0 1 5
0 0 0 0 0
274
11.7. PROGRAMACIÓN CUADRÁTICA CONVEXA
−0.5263 −0.9474
−0.3158 −0.3158 −1.3684
∆xa = a
, ∆sa =
−0.1579 , ∆y =
0.2105 −1.6842
0.1053 −2.2105
0.4737 1.1429
0.6842 0.7619
tap = 1, tad = 0.9048, x + tap ∆xa = a a
0.8421 , s + td ∆s = 0.4762
1.1053 0.0000
0.4864
0.4199
µaf = 0.3659, σ = 0.0061, rcc =
0.2537
−0.2449
−0.0331 −0.4202
−0.0177 0.3553 −0.3844
∆xc = c c
0.0508 , ∆y = −0.0013 , ∆s = −0.3553
0.1218 0.0013
−0.5594 −1.3676
−0.3335 0.0395 −1.7528
∆x =
−0.1071 , ∆y = 0.2092 , ∆s =
−2.0395
0.2271 −2.2092
275
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
0.4406 0.7743
0.6665 0.0354 0.4291
x1 = 1 1
0.8929 , y = 0.1875 , s = 0.1721
1.2271 0.0200
0.1161 0.3412
−0.0000 0.0692 0.2860
rp = , rd =
0.2075 , rc = 0.1537
0.0000
0.2075 0.0245
−0.1949 −0.4318
−0.3944 0.0781 −0.1751
∆xa = a a
0.5893 , ∆y = −0.1522 , ∆s = −0.2857
2.1670 −0.0553
0.2457 0.6182
0.2720 0.3657
tap = 1, tad = 0.3615, x + tap ∆xa = a a
1.4822 , s + td ∆s = 0.0688
3.3941 0.0000
0.0671
0.0521
µaf = 0.0883, σ = 0.0845, rcc =
−0.1854
−0.1369
−0.1015 0.0260
−0.2514 −0.1396 0.0837
∆xc = c c
0.3529 , ∆y = −0.0894 , ∆s = 0.1396
1.3587 0.0894
−0.2964 −0.4058
−0.6458 −0.0614 −0.0914
∆x =
, ∆y = , ∆s =
0.9422 −0.2416 −0.1461
3.5256 0.0341
276
11.7. PROGRAMACIÓN CUADRÁTICA CONVEXA
k ρp ρd µ x1 x2 x3 x4
2 0.0000 0.0000 0.0912 0.0611 0.0169 1.9219 4.8543
3 0.0000 0.0034 0.0032 0.0234 0.0070 1.9697 4.9419
4 0.0000 0.0008 0.0003 0.0089 0.0028 1.9883 4.9772
5 0.0000 0.0000 0.0000 0.0034 0.0011 1.9955 4.9911
6 0.0000 0.0000 0.0000 0.0013 0.0004 1.9983 4.9966
7 0.0000 0.0000 0.0000 0.0005 0.0002 1.9994 4.9987
8 0.0000 0.0000 0.0000 0.0002 0.0001 1.9998 4.9995
9 0.0000 0.0000 0.0000 0.0001 0.0000 1.9999 4.9998
10 0.0000 0.0000 0.0000
EJERCICIOS
277
CAPÍTULO 11. MÉTODOS DE PUNTO INTERIOR
278
Capı́tulo 12
PROGRAMACIÓN
DINÁMICA
279
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
280
12.1. EL PROBLEMA DE LA RUTA MÁS CORTA
....... ....... ....... ........ ....... ....... ....... ....... ....... ....... ....... . ....... ....... ....... ....... ........ ....... ....... ....... ....... ........ ....... ....... ....... ....... .....
... ... .. .. .. .
. . . .
.
....
R1 .
....
R2 .
....
R3 .
....
R4 .
....
R5 ...
..
...
... ... ... ... ... ..
. . . . . ...
. . .. .. .. ..
.... .... .
....
...............
.... .
.
. .
.
. .
.
.
... ... .....................
...
...
.
...
. 2 .....
...
11
.
.
................................... .
.
..
..... .... ..
.
.
.. ...
.
.
.
.
.
.
.
.
.
..
.
....
.
.... ..
...
..
.. ...................
... ...
. . . .
. . .
..
.
.
.
4 ...
...
.
.
.
.
..........
....... ....... ....... .
..
.
. ..
.
.
.
...
..
... ... .... ...... ....... ...
...
.
...
. ......... .
...
...
. ...
....
.
.
.
.
.
.
.
.
1 .......
.......
. ...
.......
.
.
.
.
..
...
.. .. .... . .. . . ........... .... ..
............. . ..
.. ... ... .. . .... ..
.. .. .. ... . ... . .
. ..
. . .... .
... ... ..... ...
...
.
4 ...
. .....
..... ...
.
... 10 .
.
. ....
.
... .
.
.
. .. .
.
...
.. .... 7
... .
.
. .. . ..
.. .....
...
.. .....
. . .... ....................... . ...
..
.. ......
.
9 ...
...
...
.. ...
...
..
.
.
.....
.
..
.. ...
... ...
..
... ..
.... .
...
..
...
... . ...... ... .
.
...
.. .
. ...
. ..... ...
. .
. .. ..
. .. ..
. ... .
. ...
. . ........
. . . . .....
.
..
.. ...... ... .
. .
.
.. .
.
.
.
...
... .
.
.
.
...
. ... ................ .......
.. ...
..
.
.
.. 2
...
..
.
....
.
.
.
.
...
....
. 5 ...
..
..... .......... ... ... .... .. ...
.... ... . ... .. ... .. ... ...
... .... .. . . .
... .
. 5
.
. . .
. .
. .
. .
.... ..
.
..
A ...
... .. .
..... .
....... .............. .. .
... .
.
... ............
.
. ........
......
......... ......... ......... .
.......... ..
.. ..
.
.
...
.. ..
.
.
...
.................... ....
..
. .... .
.. ...... ....... ........... . .. .... . .
. .
. .
. .... .
......
...........
. ... .....
...
.
... ........... .................
.
.
.......... .... .................
......... .... ...
... .
... .
... .. ....
.... ..
...
. ..........
.
...
. ..
... .. Z
....... .................. ....
..
..
5 ..
.. 3
..
.
...
... 12
........
..
..
... .
... ... 3 .... ...
...........
.
........
.
.. ......
.
....
.
.
...... ........
... .. . .......
...
.
...
.
.............
...
... ..
.....
... .
.
.. ...
.... ..................
............ ..
...
.
....... ...
....... .
8 ...
.
.
.. ..
...
... .. ... . ...... ..
. ... . ....
.. .. ... ... .. ... ....
. .
.
..... .....
...
...
...
.
.......
.
..
.
...
.. ... ........
.. 8 ......
.
.. .
.
.
.
...
.
.. ..
...
...
...
. ...
.
... 6 ... ... .. ... ...............
. ..
..
..
.
...
..
.. .. ... .. .....
. ..
. . ...
. .
.
.
... ... ... ... ....
..... ..... 8 ...
...
...
..... ....
.
.
..
.. ..... ...
... ..
.
.
.
..
.
.. .. ... . .... .
... ..... . .
...
..
... .. ... .. ..... .. ..
.. .. .... ..
..... .....
...
. ..
.
.......... .... .... .....
.
4
... ....
.
.....
.
.....
....
.
... ... ....... .. ...
.. .. .. ............ ............ .. .. .
.. .. .. ... ... .. ..
....
..... ..... 6 ..... ......
.
.
....................
.
.
.
.. ...
.
.
...
.
.
.
...
.. .. .. .. .. .
....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ....... ........ ....... ....... ....... ....... ........ ....... ....... ....... ....... ........ ....... ....... ....... .......
R1 ∪ R2 ∪ ... ∪ Rn = N,
Ri 6= ∅ , i = 1, ..., n,
Ri ∩ Rj = ∅ si i 6= j.
R1 = {A}.
Rn = {Z}.
281
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
Γ− (i) 6= ∅, ∀i 6= A.
Γ+ (i) 6= ∅, ∀i 6= Z.
n−1
X
min c(i1 , i2 ) + c(i2 , i3 ) + ... + c(in−1 , in ) = c(ik , ik+1 )
k=1
(ik , ik+1 ) ∈ Γ, k = 1, ..., n − 1
ik ∈ Rk , k = 1, ..., n.
282
12.1. EL PROBLEMA DE LA RUTA MÁS CORTA
Obviamente esto presupone que se conocen todos los valores Cn−1 ∗ (i), y
∗ (i)?
entonces la pregunta inmediata es: ¿Cómo se calculan los valores Cn−1
La respuesta es de nuevo recurrente: Utilizando los costos de las rutas mı́-
nimas desde A hasta las ciudades de Rn−2 .
Sea :
∗ (i) : costo mı́nimo de todas las rutas desde A hasta la
Cn−2
ciudad i ∈ Rn−2 .
∗
Cn−1 (j) = min{Cn−2 (i) + c(i, j) : i ∈ Γ− (j)}, j ∈ Rn−1 .
283
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
284
12.1. EL PROBLEMA DE LA RUTA MÁS CORTA
Para la región R4 :
285
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
Finalmente para Z en R5 :
C2∗ (2) = 4, i∗ = A,
286
12.1. EL PROBLEMA DE LA RUTA MÁS CORTA
C2∗ (3) = 5, i∗ = A.
Para C3∗ (7) hay empate ya que se obtiene el costo mı́nimo viniendo de 2
o viniendo de 3, sin embargo basta con tener información sobre una de las
mejores ciudades precedentes, por ejemplo, la primera encontrada.
287
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
Objetivo final:
C1∗ (A) = ?
Condiciones iniciales:
∗
Cn−1 (j) = c(j, Z), j ∈ Rn−1 .
Relación recurrente:
∗
Ck−1 (i) = min {c(i, j) + Ck∗ (j)}, n − 1 ≥ k ≥ 2, i ∈ Rk−1 .
j∈Γ+ (i)
Obviamente
C4∗ (7) = 5, j ∗ = Z,
C4∗ (8) = 8, j ∗ = Z.
y ası́ sucesivamente.
288
12.2. EL PROBLEMA DE ASIGNACIÓN DE MÉDICOS
289
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
La OMS desea saber cuantos médicos debe asignar a cada paı́s para
maximizar el beneficio total, o sea, para maximizar la disminución total en
la mortalidad infantil en los n paises.
n
X
max b(xj , j)
j=1
n
X
xj ≤ m,
j=1
0 ≤ xj ≤ m, j = 1, ..., n,
xj ∈ Z, j = 1, ..., n.
290
12.2. EL PROBLEMA DE ASIGNACIÓN DE MÉDICOS
Objetivo final:
Bn∗ (m) = ?
Condiciones iniciales:
∗
Bk+1 (i) = max {Bk∗ (i − j) + bj,k+1 }, k = 1, ..., n − 1, i = 0, ..., m.
0≤j≤i
291
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
Condiciones iniciales:
B1∗ (0) = 0, j ∗ = 0,
B1∗ (1) = 2, j ∗ = 1,
B1∗ (2) = 4, j ∗ = 2,
B1∗ (3) = 6, j ∗ = 3,
B1∗ (4) = 8, j ∗ = 4,
B1∗ (5) = 10, j ∗ = 5.
B2∗ (0) = 0, j ∗ = 0,
B2∗ (1) = 2, j ∗ = 0,
B2∗ (2) = 4, j ∗ = 0,
292
12.2. EL PROBLEMA DE ASIGNACIÓN DE MÉDICOS
B2∗ (3) = 6, j ∗ = 0,
B2∗ (4) = 8, j ∗ = 0,
B2∗ (5) = 12, j ∗ = 5.
Se observa que no es necesario calcular B4∗ (0), B4∗ (1), ..., B4∗ (4), ya que
no se utilizan para calcular B4∗ (5). El beneficio máximo es 13. Este beneficio
máximo se obtiene asignando 1 médico al cuarto paı́s (j ∗ = 1). Entonces
quedan 4 médicos para los primeros 3 paises. El j ∗ correspondiente a B3∗ (4)
es 3, esto indica que hay que asignar 3 médicos al tercer paı́s. Entonces
queda 1 médico para los primeros 2 paises. El j ∗ correspondiente a B2∗ (1)
es 0, esto indica que hay que asignar 0 médicos al segundo paı́s. Entonces
queda 1 médico para el primer paı́s.
x∗1 = 1,
x∗2 = 0,
x∗3 = 3,
x∗4 = 1,
B4∗ (5) = 13.
293
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
m número de médicos
n número de paises
para cada paı́s Pj los valores de los beneficios bij ≡ b(i, j): b0j , b1j , ...,
bvj j
n
X
max b(xj , j)
j=1
n
X
xj ≤ m
j=1
0 ≤ xj ≤ vj , j = 1, ..., n
xj ∈ Z, j = 1, ..., n
294
12.2. EL PROBLEMA DE ASIGNACIÓN DE MÉDICOS
Objetivo final:
Bn∗ (m) = ?
Condiciones iniciales:
∗
Bk+1 (i) = max{Bk∗ (i − j) + bj,k+1 }, k = 1, ..., n − 1, i = 0, ..., Vk+1 .
0 ≤ i−j ≤ Vk
i−j ≤ i
0 ≤ j ≤ vk+1
j ≤i
max{i − Vk , 0} ≤ j ≤ min{i, vk }
Consideremos los siguientes datos: m = 5, n = 4, vj : 3, 4, 2, 3 y los
siguientes beneficios:
Entonces
V1 = 3, V2 = 5, V3 = 5, V4 = 5.
Condiciones iniciales:
B1∗ (0) = 0, j ∗ = 0,
295
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
B1∗ (1) = 2, j ∗ = 1,
B1∗ (2) = 4, j ∗ = 2,
B1∗ (3) = 6, j ∗ = 3.
..
.
..
.
..
.
296
12.2. EL PROBLEMA DE ASIGNACIÓN DE MÉDICOS
x∗1 = 3
x∗2 = 1
x∗3 = 0
x∗4 = 1
B4∗ (5) = 12
m número de médicos,
n número de paises,
para cada paı́s Pj los valores de los beneficios bij ≡ b(i, j): buj j , buj +1,j ,
..., bvj j .
En caso contrario
n
X
vj0 = min{vj , m − ui }.
i=1
i6=j
297
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
n
X
max b(xj , j)
j=1
n
X
xj ≤ m,
j=1
uj ≤ xj ≤ vj , j = 1, ..., n,
xj ∈ Z, j = 1, ..., n.
Antes de plantear la solución recurrente es necesario considerar lo sigu-
iente: el número de médicos que se asignan al conjunto de paises P1 , P2 , ...,
Pk , no puede ser inferior a la suma de sus cotas inferiores. Por otro lado, no
puede ser superior a m, tampoco puede ser superior a la suma de sus cotas
superiores y debe permitir satisfacer las cotas mı́nimas para el resto de
paises, es decir, para los paises Pk+1 , Pk+2 , ..., Pn . Para esto se introducen
unos nuevos valores
k
X
Uk = uj , k = 1, ..., n
j=1
k
X n
X
Vk = min{m, vj , m − uj }, k = 1, ..., n
j=1 j=k+1
k
X n
X
Vk = min{ vj , m − uj }
j=1 j=k+1
298
12.2. EL PROBLEMA DE ASIGNACIÓN DE MÉDICOS
Bn∗ (m) = ?
Condiciones iniciales:
∗
Bk+1 (i) = max{Bk∗ (i − j) + bj,k+1 }, k = 1, ..., n − 1, i = Uk+1 , ..., Vk+1 .
Uk ≤ i−j ≤ Vk
i−j ≤ i
uk+1 ≤ j ≤vk+1
j ≤i
uj : 0, 0, 1, 2, vj : 2, 2, 2, 3.
299
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
U1 = 0, V1 = min{2, 5 − 3} = 2,
U2 = 0, V2 = min{4, 5 − 3} = 2,
U3 = 1, V3 = min{6, 5 − 2} = 3,
U4 = 3, V4 = min{9, 5 − 0} = 5.
Condiciones iniciales:
B1∗ (0) = 0, j ∗ = 0,
B1∗ (1) = 2, j ∗ = 1,
B1∗ (2) = 4, j ∗ = 2.
..
.
..
.
300
12.2. EL PROBLEMA DE ASIGNACIÓN DE MÉDICOS
x∗1 = 1,
x∗2 = 0,
x∗3 = 2,
x∗4 = 2,
B4∗ (5) = 11.
vj0 = vj − uj , j = 1, ..., n.
De manera análoga se puede pensar en un beneficio b0ij correspondiente
al beneficio adicional al asignar i médicos, por encima de de la cota mı́nima
uj en el paı́s Pj
301
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
m0 = 5 − 3 = 2, n = 4, vj0 : 2, 2, 1, 1.
0
x∗1 = 1,
0
x∗2 = 0,
0
x∗3 = 1,
0
x∗4 = 0,
0
B4∗ (2) = 5.
Entonces
x∗1 = 1 + u1 = 1 + 0 = 1,
x∗2 = 0 + u2 = 0 + 0 = 0,
x∗3 = 1 + u3 = 1 + 1 = 2,
x∗4 = 0 + u4 = 0 + 2 = 2,
Xn
B4∗ (5) = 5 + b(ui , i) = 5 + 6 = 11.
i=1
Como observación final sobre estos datos numéricos, se puede ver que
para cada uno de los tres problemas hay varias soluciones, en particular para
este último problema hay otra solución:
x∗1 = 0,
x∗2 = 1,
302
12.3. EL PROBLEMA DEL MORRAL
x∗3 = 2,
x∗4 = 2,
B4∗ (5) = 11.
303
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
n
X
max bj xj
j=1
Xn
pj xj ≤ C.
j=1
xj ∈ Z, j = 1, ..., n.
304
12.3. EL PROBLEMA DEL MORRAL
Objetivo final:
Bn∗ (C) = ?
Condiciones iniciales:
i
B1∗ (i) = b1 , 0≤i≤C
p1
Relación recurrente:
∗ ∗ j
Bk+1 (i) = max Bk (i − j) + bk+1 , 1 ≤ k ≤ n − 1, 0 ≤ i ≤ C.
0≤j≤i pk+1
Esta relación recurrente dice que la mejor manera de conocer el número
de paquetes de los alimentos A1 , A2 , ..., Ak+1 en un morral con una capaci-
dad de i kilos es estudiando todas las posibilidades consistentes en dejar j
kilos para el alimento Ak+1 y el resto, i − j kilos, para los alimentos A1 , A2 ,
..., Ak .
B1∗ (0) = 0, j ∗ = 0,
B1∗ (1) = 0, j ∗ = 1,
B1∗ (2) = 0, j ∗ = 2,
B1∗ (3) = 0, j ∗ = 3,
B1∗ (4) = 14, j ∗ = 4,
B1∗ (5) = 14, j ∗ = 5,
B1∗ (6) = 14, j ∗ = 6,
305
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
306
12.3. EL PROBLEMA DEL MORRAL
x∗1 = 2,
x∗2 = 1,
x∗3 = 0,
x∗4 = 0,
B4∗ (11) = 38.
Uno podrı́a pensar que una manera simple de resolver este problema es
buscar el alimento con mayor beneficio por kilo, y asignar la mayor cantidad
posible de este alimento. Para los datos anteriores los beneficios por kilo
son: 3.5, 3.33, 3 y 3.56 . Entonces se deberı́an llevar dos paquetes del cuarto
alimento para un beneficio de 35.6 . Es claro que esta no es la mejor solución.
El problema del morral se puede convertir en uno análogo al problema
de los médicos, introduciendo bij el beneficio obtenido con i kilos dedicados
al alimento Aj
i
bij = bj
pj
Para los datos anteriores se tendrı́a la tabla
y la solución óptima
0
x∗1 = 8,
307
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
0
x∗2 = 3,
0
x∗3 = 0,
0
x∗4 = 0,
B4∗ (11) = 38.
n : número de partes
308
12.4. PROBLEMA DE UN SISTEMA ELÉCTRICO
n
Y
max f (x1 , x2 , ..., xn ) = p(i, xi )
i=1
n
X
c(i, xi ) ≤ C,
i=1
1 ≤ xi ≤ vi , i = 1, ..., n,
xi ∈ Z, i = 1, ..., n.
309
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
k
X
Ck = ci1 1≤k≤n
i=1
( k n
)
X X
Dk = min c(i, vi ), C − ci1
i=1 i=k+1
Pn∗ (C) = ?
Condiciones iniciales:
∗
Pk+1 (t) = max{Pk∗ (t − s)( max {pk+1,j | ck+1,j ≤ s})}.
1≤j≤vk+1
310
12.4. PROBLEMA DE UN SISTEMA ELÉCTRICO
0≤s≤t
0≤t−s≤t
Ck ≤t−s≤Dk
c(k+1,1)≤s≤c(k+1,vk+1 )
c(k+1,1)≤ s ≤c(k+1,vk+1 )
j→ 1 2 3
p1j 0.4 0.6 0.8
p2j 0.5 0.6 0.7
p3j 0.7 0.8
p4j 0.4 0.6 0.8
j→ 1 2 3
c1j 2 3 5
c2j 2 4 5
c3j 2 5
c4j 1 3 6
311
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
entonces:
C1 = 2, D1 = 5,
C2 = 4, D2 = 7,
C3 = 6, D3 = 9,
C4 = 7, D4 = 10.
..
.
Para el cálculo de P2∗ (6) la variación de s está dada por 6 − D1 ≤ s ≤ 6 − C1 ,
c21 ≤ s ≤ c(2, v2 ), o sea, 6 − 5 ≤ s ≤ 6 − 2, 2 ≤ s ≤ 5,
..
.
La tabla con el resumen de los reultados es la siguiente:
312
12.5. MANTENIMIENTO Y CAMBIO DE EQUIPO
x∗1 = 2,
x∗2 = 1,
x∗3 = 1,
x∗4 = 2,
P4∗ (10) = 0.126 .
313
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
E0 = {e0 },
Ek+1 = { 1 } ∪ {j + 1 : j ∈ Ek , j < u}.
Sea
314
12.5. MANTENIMIENTO Y CAMBIO DE EQUIPO
min {Ck∗ (d) − vk+1,d } + pk+1 + mk+1,0 si e = 1,
∗ d∈Ek
Ck+1 (e) =
C ∗ (e − 1) + mk+1,e−1 si e > 1.
k
k = 1, ..., n − 1, e ∈ Ek+1 .
315
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
E1 = {1, 3},
E2 = {1, 2, 4},
E3 = {1, 2, 3},
E4 = {1, 2, 3, 4}.
Condiciones iniciales:
C1∗ (1) = −4 + 10 + 1 = 7,
C1∗ (3) = 4.
316
12.6. PROBLEMA DE PRODUCCION Y ALMACENAMIENTO
x∗1 = 0,
x∗2 = 0,
x∗3 = 1,
x∗4 = 1.
317
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
x1 + p1 − d1 = x2
x2 + p2 − d2 = x1 + p1 − d1 + p2 − d2 = x3
x3 + p3 − d3 = x1 + p1 − d1 + p2 − d2 + p3 − d3 = x4
En general,
i
X i
X
xi + pi − di = pj − dj + x1 = xi+1 , i = 1, ..., n. (12.1)
j=1 j=1
Sea
i
X
Di = dj − x1 , i = 1, ..., n, (12.3)
j=1
i−1
X
pj − Di−1 = xi , i = 2, ..., n, (12.4)
j=1
Xn
pj − Dn = 0. (12.5)
j=1
318
12.6. PROBLEMA DE PRODUCCION Y ALMACENAMIENTO
n
X
min ci (xi , pi )
i=1
i−1
X
pj − Di−1 = xi , i = 2, . . . , n
j=1
Xn
pj − Dn = 0,
j=1
x2 , . . . , xn , p1 , . . . , pn ≥ 0,
x2 , . . . , xn , p1 , . . . , pn ∈ Z.
−xn + dn = pn ,
n−1
X
− pj + Dn−1 + dn = pn ,
j=1
n−1
X
Dn − pj = pn .
j=1
n−1
X i−1
X
min c1 (x1 , p1 ) + ci pj − Di−1 , pi
i=2 j=1
n−1
X n−1
X
+ cn pj − Dn−1 , Dn − pj
j=1 j=1
i−1
X
pj − Di−1 ≥ 0, i = 2, ..., n,
j=1
319
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
n−1
X
Dn − pj ≥ 0,
j=1
pi ≥ 0, pi ∈ Z, i = 1, ..., n − 1.
Para resolver este problema por la fuerza bruta, estudiando todas las
posibilidades, basta con considerar que el mayor valor de pi se tiene cuando
esta producción satisface por sı́ sola toda la demanda de los perı́odos i, i+1,
..., n. En ese caso no habrı́a producción en los perı́odos i + 1, ..., n. Dicho de
otra forma, la producción en el perı́odo i no debe ser mayor que la demanda
acumulada de los perı́odos i, ..., n.
Sea
n
X
Ei = dj , i = 1, ..., n,
j=i
0 ≤ pi ≤ Ei , i = 1, ..., n − 1
Obviamente los valores p1 , ..., pn−1 deben cumplir las otras restricciones.
Igualmente es claro que para las variables xi también se tiene la misma
restricción, o sea, ni el inventario al empezar el perı́odo i, ni la producción
durante el perı́odo i pueden ser superiores a Ei
De la definición de Di y Ei se deduce inmediatamente que
Di + Ei+1 = Dn , i = 1, ..., n − 1
320
12.6. PROBLEMA DE PRODUCCION Y ALMACENAMIENTO
Dk ≤ q ≤ Dn .
Objetivo final:
Cn∗ (Dn ) = ?
Condiciones iniciales:
∗
Ck+1 (q) = min{Ck∗ (q − y) + ck+1 (q − y − Dk , y)},
0≤q−y≤q
Dk ≤q−y≤Dn
0≤q−y−Dk ≤Ek+1
0≤ y ≤Ek+1
∗
Ck+1 (q) = min {Ck∗ (q − y) + ck+1 (q − y − Dk , y)}.
0≤y≤q−Dk
321
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
= 3q, 4 ≤ q ≤ 11.
= 3q, 6 ≤ q ≤ 11.
= 43.
p∗4 = 0,
322
12.6. PROBLEMA DE PRODUCCION Y ALMACENAMIENTO
p∗3 = 7,
p∗2 = 0,
p∗1 = 4,
C4∗ (11) = 43.
323
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
EJERCICIOS
324
12.6. PROBLEMA DE PRODUCCION Y ALMACENAMIENTO
12.3 Considere el problema del morral con cotas inferiores y superiores con
los siguientes datos: C = capacidad en kilos del morral (entero poso-
tivo); n número de alimentos; p1 , p2 , ..., pn , donde pi es un entero
positivo que indica el peso, en kilos, de un paquete del alimento i; b1 ,
b2 , ..., bn , donde bi indica el beneficio de un paquete del alimento i;
u1 , u2 , ..., un , donde ui es un entero no negativo que indica el número
mı́nimo de paquetes del alimento i que el montañista debe llevar; v1 ,
v2 , ..., vn , donde vi es un entero que indica el número máximo de pa-
quetes del alimento i que el montañista debe llevar. Los datos cumplen
con la condición ui < vi ∀i.
Plantee el problema de optimización. Resuelva el problema por PD:
defina una función que permita la recurrencia, dé las condiciones ini-
ciales, la relación de recurrencia.
c0j 10 10 05 05
c1j 20 15 35 10
c2j 23 25 30 20
c3j 25 30 40 35
c4j 40 35 42 40
c5j 45 40 45 45
c6j 48 48 45 48
c7j 50 48 48 50
325
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
manera bastante precisa las necesidades de mano de obra para las sigu-
ientes n semanas de cosecha, es decir, conoce los valores ei , i = 1, ..., n,
donde ei es el número de empleados necesarios durante la semana i.
También conoce: ci (j) el precio de contratar j empleados nuevos al em-
pezar la semana i, i = 1, ..., n; di (j) el costo de despedir j empleados
al finalizar la semana i, i = 0, ..., n; y mi (j) el costo de mantener sin
trabajo (pero con sueldo) j empleados durante la semana i, i = 1, ..., n.
Después de las n semanas de cosecha, la empresa únicamente necesita
en+1 , un número pequeño de empleados que se quedan trabajando por
varias semanas. La empresa desea saber cuantos empleados debe tener
durante cada una de las n semanas.
Plantee el problema de optimización. Resuelva el problema por PD:
defina una función que permita la recurrencia, dé las condiciones ini-
ciales, la relación de recurrencia.
Resuelva el problema para los siguientes valores numéricos: n = 4,
x0 = 10, ei = 30, 45, 40, 25, en+1 = 5, ci (j) = 10 + 3j, di (j) = 6j,
mi (j) = 8j.
326
12.6. PROBLEMA DE PRODUCCION Y ALMACENAMIENTO
max z = x1 + 1.4x2
x1 + x2 ≤ 40
x1 + 2x2 ≤ 58
x ≥ 0.
327
CAPÍTULO 12. PROGRAMACIÓN DINÁMICA
328
BIBLIOGRAFÍA
[Bjo96] Björck Ake, Numerical Methods for Least Square Problems, SIAM,
Philadelphia, 1996.
329
BIBLIOGRAFÍA
[GMWl81] Gill Ph., Murray W., Wright M., Practical Optimization, Aca-
demic Press, London, 1981.
[GoVa96] Golub Gene H., Van Loan Charles F., Matrix Computations, 3rd
ed., The Johns Hopkins University Press, Baltimore, 1996.
[HiLi74] Hillier Frederick S., Lieberman Gerald J., Operations Research, 2nd
ed., Holden Day, San Francisco, 1974.
[KlMi72] Klee V., Minty G. J.,, How good is the simplex algorithm, en
SHISHA O., Inequalities III, Academic Press, New York, 1972.
330
BIBLIOGRAFÍA
[LaHa74] Lawson Charles L., Hanson Richard J., Solving Least Square Prob-
lems, Prentice Hall, Englewood Cliffs, 1974, reimpreso por SIAM,
Philadelphia, 1996.
[MoWr93] Moré Jorge J., Wright Stephen J., Optimization Software Guide,
SIAM, Philadelphia, 1993.
[NaSo96] Nash Stephen G., Sofer Ariela, Linear and Nonlinear Program-
ming, McGraw-Hill, New York, 1996.
[RTV97] Roos Kees, Terlaky Tamás, Vial Jean-Philippe, Theory ans Algo-
rithms for Linear Optimization, An Interior Point Approach, Wiley,
Chichester, 1997.
331
BIBLIOGRAFÍA
[StBu93] Stoer J., Bulirsch R., Introduction to Numerical Analysis, 2nd ed.,
Springer-Verlag, New York, 1993.
[Tah82] Taha Handy A., Operations Research, 3rd ed., Macmillan, New
York, 1982.
332