Anamat PDF
Anamat PDF
Anamat PDF
Licence de mathmatiques
Cours dAnalyse numrique
Raphale Herbin
18 novembre 2013
Systmes linaires
1.1 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Pourquoi et comment ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.1 Quelques rappels dalgbre linaire . . . . . . . . . . . . . . . . . .
1.2.2 Discrtisation de lquation de la chaleur . . . . . . . . . . . . . . .
1.2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2.4 Suggestions pour les exercices . . . . . . . . . . . . . . . . . . . . .
1.2.5 Corrigs des exercices . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Les mthodes directes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.1 Dfinition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.2 Mthode de Gauss, mthode LU . . . . . . . . . . . . . . . . . . . .
1.3.3 Mthode de Choleski . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.4 Quelques proprits . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.6 Suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.7 Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4 Normes et conditionnement dune matrice . . . . . . . . . . . . . . . . . . .
1.4.1 Normes, rayon spectral . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.2 Le problme des erreurs darrondis . . . . . . . . . . . . . . . . . .
1.4.3 Conditionnement et majoration de lerreur darrondi . . . . . . . . .
1.4.4 Discrtisation dquations diffrentielles, conditionnement efficace"
1.4.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.6 Suggestions pour les exercices . . . . . . . . . . . . . . . . . . . . .
1.4.7 Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5 Mthodes itratives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.1 Dfinition et proprits . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.2 Quelques exemples de mthodes itratives . . . . . . . . . . . . . . .
1.5.3 Les mthodes par blocs . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.4 Exercices, noncs . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.5 Exercices, suggestions . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.6 Exercices, corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6 Valeurs propres et vecteurs propres . . . . . . . . . . . . . . . . . . . . . . .
1.6.1 Mthode de la puissance et de la puissance inverse . . . . . . . . . .
1.6.2 Mthode QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.4 Suggestions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.6.5 Corrigs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5
5
5
6
10
14
18
19
21
21
21
30
35
37
40
41
49
49
55
55
58
59
64
65
73
73
75
81
84
91
92
103
104
106
107
111
111
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
116
116
116
120
122
124
129
129
132
134
Optimisation
3.1 Dfinitions et rappels . . . . . . . . . . . . . . . . . . . . . . .
3.1.1 Extrema, points critiques et points selle. . . . . . . . . .
3.1.2 Rappels et notations de calcul diffrentiel . . . . . . . .
3.1.3 Convexit . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Optimisation sans contrainte . . . . . . . . . . . . . . . . . . .
3.2.1 Dfinition et condition doptimalit . . . . . . . . . . .
3.2.2 Rsultats dexistence et dunicit . . . . . . . . . . . . .
3.2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 Algorithmes doptimisation sans contrainte . . . . . . . . . . .
3.3.1 Mthodes de descente . . . . . . . . . . . . . . . . . .
3.3.2 Algorithmes du gradient conjugu . . . . . . . . . . . .
3.3.3 Mthodes de Newton et QuasiNewton . . . . . . . . .
3.3.4 Rsum sur les mthodes doptimisation . . . . . . . . .
3.3.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 Optimisation sous contraintes . . . . . . . . . . . . . . . . . . .
3.4.1 Dfinitions . . . . . . . . . . . . . . . . . . . . . . . .
3.4.2 Existence Unicit Conditions doptimalit simple . .
3.4.3 Conditions doptimalit dans le cas de contraintes galit
3.4.4 Contraintes ingalits . . . . . . . . . . . . . . . . . . .
3.4.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . .
3.5 Algorithmes doptimisation sous contraintes . . . . . . . . . . .
3.5.1 Mthodes de gradient avec projection . . . . . . . . . .
3.5.2 Mthodes de dualit . . . . . . . . . . . . . . . . . . .
3.5.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
155
155
155
157
159
161
163
163
163
165
168
168
171
177
180
180
202
202
203
204
207
207
211
211
214
216
Equations diffrentielles
4.1 Introduction . . . . . . . . . . . . .
4.2 Consistance, stabilit et convergence
4.3 Thorme gnral de convergence .
4.4 Exemples . . . . . . . . . . . . . .
4.5 Explicite ou implicite ? . . . . . . .
4.5.1 Limplicite gagne... . . . . .
4.5.2 Limplicite perd... . . . . . .
4.5.3 Match nul . . . . . . . . . .
4.6 Etude du schma dEuler implicite .
4.7 Exercices . . . . . . . . . . . . . .
4.8 Corrigs . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
220
220
223
225
227
228
228
229
229
229
231
239
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Introduction
Lobjet de lanalyse numrique est de concevoir et dtudier des mthodes de rsolution de certains problmes
mathmatiques, en gnral issus de la modlisation de problmes rels", et dont on cherche calculer la solution
laide dun ordinateur.
Le cours est structur en quatre grands chapitres :
Systmes linaires
Systmes non linaires
Optimisation
Equations diffrentielles.
On pourra consulter les ouvrages suivants pour ces diffrentes parties (ceci est une liste non exhaustive !) :
A. Quarteroni, R. Sacco et F. Saleri, Mthodes Numriques : Algorithmes, Analyse et Applications, Springer
2006.
P.G. Ciarlet, Introduction lanalyse numrique et loptimisation, Masson, 1982, (pour les chapitre 1 3 de ce
polycopi).
M. Crouzeix, A.L. Mignot, Analyse numrique des quations diffrentielles, Collection mathmatiques appliques pour la maitrise, Masson, (pour le chapitre 4 de ce polycopi).
J.P. Demailly, Analyse numrique et quations diffrentielles Collection Grenoble sciences Presses Universitaires de Grenoble
L. Dumas, Modlisation loral de lagrgation, calcul scientifique, Collection CAPES/Agrgation, Ellipses,
1999.
E. Hairer, polycopi du cours "Analyse Numrique", http ://www.unige.ch/ hairer/polycop.html
J. Hubbard, B. West, Equations diffrentielles et systmes dynamiques, Cassini.
J. Hubbard et F. Hubert, Calcul Scientifique, Vuibert.
P. Lascaux et R. Thodor, Analyse numrique matricielle applique lart de lingnieur, tomes 1 et 2, Masson,
1987
L. Sainsaulieu, Calcul scientifique cours et exercices corrigs pour le 2me cycle et les coles dingnieurs,
Enseignement des mathmatiques, Masson, 1996.
M. Schatzman, Analyse numrique, cours et exercices, (chapitres 1,2 et 4).
D. Serre, Les matrices, Masson, (2000). (chapitres 1,2 et 4).
P. Lascaux et R. Theodor, Analyse numrique sapplique aux sciences de lingnieur, Paris, (1994)
R. Temam, Analyse numrique, Collection SUP le mathmaticien, Presses Universitaires de France, 1970.
Et pour les anglophiles...
M. Braun, Differential Equations and their applications, Springer, New York, 1984 (chapitre 4).
G. Dahlquist and A. Bjrck, Numerical Methods, Prentice Hall, Series in Automatic Computation, 1974, Englewood Cliffs, NJ.
R. Fletcher, Practical methods of optimization, J. Wiley, New York, 1980 (chapitre 3).
G. Golub and C. Van Loan, Matrix computations, The John Hopkins University Press, Baltimore (chapitre 1).
R.S. Varga, Matrix iterative analysis, Prentice Hall, Englewood Cliffs, NJ 1962.
Pour des rappels dalggre linaire :
Poly dalgbre linaire de premire anne, P. Bousquet, R. Herbin et F. Hubert, http ://www.cmi.univ-mrs.fr/ herbin/PUBLI/L1alg.pdf
Introduction to linear algebra, Gilbert Strang, Wellesley Cambridge Press, 2008
3
Chapitre 1
Systmes linaires
1.1 Objectifs
On note Mn (IR) lensemble des matrices carres dordre n. Soit A Mn (IR) une matrice inversible, et b IR n ,
on a comme objectif de rsoudre le systme linaire Ax = b, cest dire de trouver x solution de :
{
x IR n
(1.1)
Ax = b
Comme A est inversible, il existe un unique vecteur x IR n solution de (1.1). Nous allons tudier dans les deux
chapitres suivants des mthodes de calcul de ce vecteur x : la premire partie de ce chapitre sera consacre aux
mthodes directes" et la deuxime aux mthodes itratives". Nous aborderons ensuite en troisime partie les
mthodes de rsolution de problmes aux valeurs propres.
Un des points essentiels dans lefficacit des mthodes envisages concerne la taille des systmes rsoudre. Entre
1980 et 2000, la taille de la mmoire des ordinateurs a augment de faon drastique. La taille des systmes quon
peut rsoudre sur ordinateur a donc galement augment, selon lordre de grandeur suivant :
1980 :
2000 :
n = 102
n = 106
n = 106
n = 108
Le dveloppement des mthodes de rsolution de systmes linaires est lie lvolution des machines informatiques. Un grand nombre de recherches sont dailleurs en cours pour profiter au mieux de larchitecture des
machines (mthodes de dcomposition en sous domaines pour profiter des architectures parallles, par exemple).
Dans la suite de ce chapitre, nous verrons deux types de mthodes pour rsoudre les systmes linaires : les
mthodes directes et les mthodes itratives. Pour faciliter la comprhension de leur tude, nous commenons par
quelques rappels dalgbre linaire.
1.2.1
ai,k bk,j .
(1.2)
k=1
1 (A)
[
]
A = . . . et B = c1 (B) . . . n (B)
n (A)
Dans nos exemples, on a donc
[
]
[
1 (A) = 1 2 , 2 (A) = 0
]
[ ]
1
0
1 , c1 (B) =
c2 (B) =
.
3
2
]
2
2
= 4.
Mais de lexpression (1.2), on peut aussi avoir lexpression des lignes et des colonnes de M = AB en fonction
des lignes de B ou des colonnes de A :
i (AB) =
cj (AB) =
ai,k k (B)
(1.3)
bk,j ck (A)
(1.4)
k=1
n
k=1
ce qui montre que la ligne 1 de AB est combinaison linaire des lignes de B. Le colonnes de AB, par contre, sont
des combinaisons linaires de colonnes de A. Par exemple :
[ ]
[ ] [ ]
1
2
4
c2 (AB) = 0
+2
=
0
1
2
Il faut donc retenir que dans un produit matriciel AB,
les colonnes de AB sont des combinaisons linaires des colonnes de A
les lignes de AB sont des combinaisons linaires des lignes de B.
Cette remarque est trs importante pour la reprsentation matricielle de llimination de Gauss : lorquon calcule
des systmes quivalents, on effectue des combinaisons linaires de lignes, et donc on multiplie gauche par une
matrice dlimination.
Le tableau ci-dessous est la traduction littrale de Linear algebra in a nutshell, par Gilbert Strang 1 Pour une
matrice carre A, on donne les caractrisations du fait quelle est inversible ou non.
A inversible
A non inversible
Dfinition 1.1 (Pivot). Soit A Mn (IR) une matrice carre dordre n. On appelle pivot de A le premier lment
non nul de chaque ligne dans la forme chelonne de A obtenue par limination de Gauss. Si la matrice est
inversible, elle a donc n pivots (non nuls).
Dfinition 1.2 (Valeurs propres). Soit A Mn (IR) une matrice carre dordre n. On appelle valeur propre de A
tout Cl tel quil existe x Cln , x = 0 tel que Ax = x. Llment x est appel vecteur propre de A associ
.
1. Voir la page web de Strang www.mit.edu/~gs pour une foule dinformations et de cours sur lalgbre linaire.
Dfinition 1.3 (Dterminant). Il existe une unique application, note det de Mn (IR) dans IR qui vrifie les
proprits suivantes
(D1) Le dterminant de la matrice identit est gal 1.
(D2) Si la matrice A est obtenue partir de A par change de deux lignes, alors detA = detA.
(D3) Le dterminant est une fonction linaire de chacune des lignes de la matrice A.
(D3a) (multiplication par un scalaire) si A est obtenue partir de A en multipliant tous les coefficients dune
= det(A).
ligne par IR, alors det(A)
1 (A)
1 (A)
1 (A)
..
..
..
.
.
.
.
.
.
.
..
..
.
n (A)
n (A)
n (A)
On rappelle que si A Mn (IR) une matrice carre dordre n, les valeurs propres sont les racines du polynme
caractristique PA de degr n, qui scrit :
PA ()) = det(A I).
Matrices diagonalisables
Dfinition 1.4 (Matrice diagonalisable dans IR). Soit A une matrice relle carre dordre n. On dit que A est
diagonalisable dans IR si il existe une base (u1 , . . . , un ) de IR n et des rels 1 , . . . , n (pas forcment distincts)
tels que Aui = i ui pour i = 1, . . . , n. Les rels 1 , . . . , n sont les valeurs propres de A, et les vecteurs
u1 , . . . , un sont les vecteurs propres associs.
Vous connaissez srement aussi la diagonalisation dans Cl : une matrice relle carre dordre n est toujours diagonalisable dans Cl, au sens o il existe une base (u1 , . . . , un ) de Cln et des nombres complexes 1 , . . . , n (pas
forcment distincts) tels que Aui = i ui pour i = 1, . . . , n. Ici et dans toute la suite, comme on rsout des
systmes linaires rels, on prfre travailler avec la diagonalisation dans IR ; cependant il y a des cas o la diagonalisation dans Cl est utile et mme ncessaire (tude de stabilit des systmes difrentiels, par exemple). Par souci
de clart, nous prciserons toujours si la diagonalisation considre est dans IR ou dans Cl.
Lemme 1.5. Soit A une matrice relle carre dordre n, diagonalisable dans IR. Alors
A = P diag(1 , . . . , n )P 1 ,
o P est la matrice dont les vecteurs colonnes sont gaux aux vecteurs 1 , . . . , n .
D MONSTRATION Soit P la matrice dfinie (de manire unique) par P ei = ui , o (ei )i=1,...,n est la base canonique
de IR n , cest--dire que (ei )j = i,j . La matrice P est appele matrice de passage de la base (ei )i=1,...,n la base
(ui )i=1,...,n ; la i-me colonne de P est constitue des composantes de ui dans la base canonique (e1 , . . . , en ).
La matrice P est videmment inversible, et on peut crire :
Aui = AP ei = i ui ,
de sorte que :
P 1 AP ei = i P 1 ui = i ei .
La diagonalisation des matrices relles symtriques est un outil quon utilisera souvent dans la suite, en particulier
dans les exercices. Il sagit dun rsultat extrmement important.
Lemme 1.6 (Une matrice symtrique est diagonalisable dans IR). Soit E un espace vectoriel sur IR de dimension
finie : dimE = n, n IN , muni dun produit scalaire i.e. dune application
E E IR,
(x, y) (x | y)E ,
qui vrifie :
x E, (x | x)E 0 et (x | x)E = 0 x = 0,
(x, y) E 2 , (x | y)E = (y | x)E ,
y E, lapplication de E dans IR, dfinie par x (x | y)E est linaire.
i
0
..
P 1 AP =
= D.
.
0
De plus P est orthogonale, i.e. P
= P . En effet,
1.2.2
Dans ce paragraphe, nous prenons un exemple trs simple pour obtenir un systme linaire partir de la discrtisation dun problme continu.
Lquation de la chaleur unidimensionnelle
Discrtisation par diffrences finies de u = f
u (x) = f (x)
u(0) = u(1) = 0.
(1.5a)
(1.5b)
Remarque 1.7 (Problmes aux limites, problmes conditions initiales). Lquation diffrentielle u = f admet
une infinit de solutions. Pour avoir existence et unicit, il est ncessaire davoir des conditions supplmentaires.
Si lon considre deux conditions en 0 (ou en 1, lorigine importe peu) on a ce quon appelle un problme de
Cauchy, ou problme conditions initiales. Le problme (1.5) est lui un problme aux limites : il y a une condition
pour chaque bord du domaine. En dimension suprieure, le problme u = f ncessite une condition sur au
moins un bout de frontire pour tre bien pos : voir le cours dquations aux drives partielles de master pour
plus de dtails ce propos.
Analyse numrique I, tl-enseignement, L3
10
ui
u(x)
x
x
x0 = 0
x
x1
xi = ih
xN +1 = 1
h3
u (xi ) +
6
3
h
u (xi ) +
6
h4 (4)
u (i ),
24
4
h (4)
u (i ),
24
avec i (xi , xi+1 ) et i (xi , xi+1 ). En sommant ces deux galits, on en dduit que :
u(xi+1 ) + u(xi1 ) = 2u(xi ) +
1
h4
h4
u (xi ) + u(4) (i ) + u(4) (i ).
2
h
24
24
On dfinit lerreur de consistance, qui mesure la manire dont on a approch u (xi ) ; lerreur de consistance Ri
au point xi est dfinie par
u(xi+1 ) + u(xi1 ) 2u(xi )
Ri = u (xi )
.
(1.7)
h2
On a donc :
u(xi+1 ) + u(xi1 ) 2u(xi )
|Ri | =
+
u
(x
)
i
h2
4
h
h4
u(4) (i ) + u(4) (i )
24
24
h2 (4)
u .
(1.8)
12
o u(4) = supx]0,1[ |u(4) (x)|. Cette majoration nous montre que lerreur de consistance tend vers 0 comme
h2 , et on en dit que le schma est consistant dordre 2.
11
On introduit alors les inconnues (ui )i=1,...,n quon espre tre des valeurs approches de u aux points xi et qui
sont les composantes de la solution (si elle existe) du systme suivant
{
ui+1 + ui1 2ui
= bi , i; 1 i n,
(1.9)
h2
u0 = un+1 = 0.
u1
On cherche donc u = ... IR n solution de (1.9). Ce systme peut scrire sous forme matricielle :Kn u = b
un
b1
o b = ... et Kn est la matrice carre dordre n de coefficients (ki,j )i,j=1,n dfinis par :
bn
ki,i
ki,j
ki,j
2
, i = 1, . . . , n,
h2
1
= 2 , i = 1, . . . , n, j = i 1,
h
= 0, i = 1, . . . , n, |i j| > 1.
=
(1.10)
(1.11)
mSi on appelle e le vecteur de composantes ei , on dduit de la dfinition 1.11 de lerreur de consistance et des
quations (exactes) 1.6 que
Kn e = R et donc e = Kn1 R.
(1.12)
Le fait que le schma soit consistant est une bonne chose, mais cela ne suffit pas montrer que le schma est
convergent, c..d. que lerreur entre maxi=1,...,n ei tend vers 0 lorsque h tend vers 0, parce que A dpend de
h ! Pour cela, il faut de plus que le schma soit stable, au sens o lon puisse montrer que Kn1 est born
indpendamment de h, ce qui revient trouver une estimation sur les valeurs approches ui indpendante de h. La
stabilit et la convergence font lobjet de lexercice 40, o lon montre que le schma est convergent, et quon a
lestimation derreur suivante :
h2 (4)
max {|ui u(xi )|}
u .
i=1...n
96
Cette ingalit donne la prcision de la mthode (cest une mthode dite dordre 2). On remarque en particulier
que si on raffine la discrtisation, cestdire si on augmente le nombre de points n ou, ce qui revient au mme,
si on diminue le pas de discrtisation h, on augmente la prcision avec laquelle on calcule la solution approche.
Lquation de la chaleur bidimensionnelle
Prenons maintenant le cas dune discrtisation du Laplacien sur un carr par diffrences finies. Si u est une fonction
de deux variables x et y valeurs dans IR, et si u admet des drives partielles dordre 2 en x et y, loprateur
laplacien est dfini par u = xx u + yy u. Lquation de la chaleur bidimensionnelle scrit avec cet oprateur.
On cherche rsoudre le problme :
u = f sur =]0, 1[]0, 1[,
u = 0 sur ,
12
(1.13)
On rappelle que loprateur Laplacien est dfini pour u C 2 (), o est un ouvert de IR 2 , par
u =
2u 2u
+ 2.
x2
y
Dfinissons une discrtisation uniforme du carr par les points (xi , yj ), pour i = 1, . . . , M et j = 1, . . . , M
avec xi = ih, yj = jh et h = 1/(M + 1), represente en figure 1.2 pour M = 6. On peut alors approcher les
drives secondes par des quotients diffrentiels comme dans le cas unidimensionnel (voir page 11), pour obtenir
un systme linaire : Au = b o A Mn (IR) et b IR n avec n = M 2 . Utilisons lordrelexicographique"
pour numroter les inconnues, c..d. de bas en haut et de gauche droite : les inconnues sont alors numrotes de
1 n = M 2 et le second membre scrit b = (b1 , . . . , bn )t . Les composantes b1 , . . . , bn sont dfinies par :pour
i, j = 1, . . . , M , on pose k = j + (i 1)M et bk = f (xi , yj ).
y
i=1
31
32
33
34
35
36
25
26
27
28
29
30
19
20
21
22
23
24
13
14
15
16
17
18
10
11
12
6
x
j=1
Pour
ak,k
ak,k+1 =
ak,k1 =
ak,k+M =
ak,kM =
Pour
ak,
i, j = 1, . . . , M, on pose k = j + (i 1)M,
4
= 2,
{h
1
2 si j = M,
h
0
sinon,
{
1
2 si j = 1,
h
0
sinon,
{
1
2 si i < M,
h
0
sinon,
{
1
2 si i > 1,
h
0
sinon,
k = 1, . . . , n, et = 1, . . . , n;
= 0, k = 1, . . . , n, 1 < |k | < n ou |k | > n.
13
4 1 0 . . . . . .
1 4 1 0 . . .
..
..
..
..
0
.
.
.
.
D= .
..
..
..
..
0
.
.
.
0
...
D
Id
0
Id D
Id
0
Id D
..
..
..
A=
.
.
.
.
..
0
0
...
0
0
..
.
1
4
M ), on a :
...
0
Id
..
.
...
...
..
.
Id D
0
Id
0
0
0
..
.
Id
D
(1.14)
Dfinition 1.8 (IP-matrice ou matrice monotone). Si x IR n , on dit que x 0 [resp. x > 0] si toutes les
composantes de x sont positives [resp. strictement positives].
Soit A Mn (IR), on dit que A est une matrice monotone si elle vrifie la proprit suivante :
Si x IR n est tel que Ax 0, alors x 0,
ce qui peut encore scrire : {x IR n t.q. Ax 0} {x IR n t.q. x 0}.
Proposition 1.9 (Caractrisation des matrices monotones). Une matrice A est monotone si et seulement si elle
inversible et inverse positive (c..d. dont tous les coefficients sont positifs).
La dmonstration de ce rsultat est lobjet de lexercice 5. Retenez que toute matrice monotone est inversible et
dinverse positive que cette proprit de monotonie est utilise pour tablir une borne de A1 pour la matrice
de discrtisation du Laplacien, dont on a besoin pour montrer la convergence du schma. Cest donc une proprit
qui est importante au niveau de lanalyse numrique.
1.2.3
Exercices
14
(1.15a)
(1.15b)
1. Calculer la solution exacte u(x) du problme pour f 1 (on admettra quelle est unique).
On discrtise le problme suivant par diffrences finies, avec un pas h =
1
4
b1
f (x1 )
u1
o K3 est la matrice de discrtisation quon explicitera, u = u2 et b = b2 = f (x2 ) .
f (x3 )
u3
b3
3. Rsoudre le systme linaire (1.16) par la mthode de Gauss. Comparer ui et u(xi ) pour i = 1, 2, 3, et
expliquer pourquoi lerreur de discrtisation u(xi ) ui est nulle.
4. Reprendre les questions prcdentes en remplaant les conditions limites (1.15b) par :
u(0) = 0,
u (1) = 0.
(1.17)
u (1) = 0.
(1.18)
15
e 3 nest pas inversble : on part dun problme continu mal pos, et on obtient
(c) Montrer que la matrice K
par discrtisation un problme discret mal pos. . .
Exercice 4 (Matrices symtriques dfinies positives). Suggestions en page 18, corrig en page 19. On rappelle que
toute matrice A Mn (IR) symtrique est diagonalisable dans IR (cf. lemme 1.6 page 9). Plus prcisment, on a
montr en cours que, si A Mn (IR) est une matrice symtrique, il existe une base de IR n , note {f1 , . . . , fn }, et
il existe 1 , . . . , n IR t.q. Afi = i fi , pour tout i {1, . . . , n}, et fi fj = i,j pour tout i, j {1, . . . , n}
(x y dsigne le produit scalaire de x avec y dans IR n ).
1. Soit A Mn (IR). On suppose que A est symtrique dfinie positive, montrer que les lments diagonaux
de A sont strictements positifs.
2. Soit A Mn (IR) une matrice symtrique. Montrer que A est symtrique dfinie positive si et seulement si
toutes les valeurs propres de A sont strictement positives.
3. Soit A Mn (IR). On suppose que A est symtrique dfinie positive. Montrer quon peut dfinir une unique
1
matrice B Mn (IR), symtrique dfinie positive t.q. B 2 = A (on note B = A 2 ).
Exercice 5 (IP-matrice). Corrig en page 20
Soit n IN , on note Mn (IR) lensemble des matrices de n lignes et n colonnes et coefficients rels. Si x IR n ,
on dit que x 0 [resp. x > 0] si toutes les composantes de x sont positives [resp. strictement positives].
Soit A Mn (IR), on dit que A est une IP-matrice si elle vrifie la proprit suivante :
Si x IR n est tel que Ax 0, alors x 0,
ce qui peut encore scrire : {x IR n t.q. Ax 0} {x IR n t.q. x 0}.
1. Soit A = (ai,j )i,j=1,...,n Mn (IR). Montrer que A est une IP-matrice si et seulement si A est inversible et
A1 0 (cest--dire que tous les coefficients de A1 sont positifs).
(
)
a b
2. Soit A =
une matrice relle dordre 2. Montrer que A est une IP-matrice si et seulement si :
c d
ad < bc,
ad > bc,
a < 0, d < 0 ou
a > 0, d > 0,
(1.19)
b 0, c 0
b 0, c 0.
3. Montrer que si A Mn (IR) est une IP-matrice alors At (la transpose de A) est une IP-matrice.
4. Montrer que si A est telle que
ai,j 0, pour tout i, j = 1, . . . , n, i = j,
n
ai,i >
|ai,j |, pour tout i = 1, . . . , n,
(1.20)
j=1
j=i
ai,i >
|aj,i |, pour tout i = 1, . . . , n,
(1.21)
j=1
j=k
16
ad > bc,
a > 0, d > 0,
(1.22)
b 0, c 0.
(
)
(
)
1
2
2 1
3. Les matrices A =
et B =
sont-elles des IP-matrices ? des M-matrices ?
2 1
1
2
4. Soit A la matrice carre dordre 3 dfinie par :
1
2 1
2
1 1
A= 0
1
0
1
Montrer que A1 0 mais que A nest pas une M matrice.
5. Soit A une matrice carre dordre n = m + p, avec m, p IN tels que m 1 et p 1, vrifiant :
ai,i 0,
ai,j 0, pour j = 1, . . . , n, j = i,
pour i = 1, . . . , m,
ai,i +
ai,j = 0
j=1
(1.23)
j=i
ai,i = 1,
ai,j = 0, pour j = 1, . . . , n, j = i,
}
pour i = m + 1, . . . , n.
(1.24)
(1.25)
Au = b
Analyse numrique I, tl-enseignement, L3
17
(1.26)
Universit dAix-Marseille, R. Herbin, 18 novembre 2013
5.1 Montrer que le systme (1.26) admet une et une seule solution.
5.2 Montrer que u est tel que mink=m+1,n bk ui maxk=m+1,n bk . (On pourra pour simplifier supposer que
les quations sont numrotes de telle sorte que mink=m+1,n bk = bm+2 b2 . . . bn = maxk=m+1,n bk .)
6. On considre le problme de Dirichlet suivant :
u = 0 sur [0, 1]
u(0) = 1
u(1) = 1.
(1.27a)
(1.27b)
(1.27c)
6.1 Calculer la solution exacte u de ce problme et vrifier quelle reste comprise entre -1 et 1.
6.2 Soit m > 1 et soient A et b et la matrice et le second membre du systme linaire dordre n = m+2 obtenu par
1
discrtisation par diffrences finies avec un pas uniforme h = m
du problme (1.27) (en crivant les conditions
aux limites dans le systme). Montrer que la solution u = (u1 , . . . , un )t IR n du systme Au = b vrifie
1 ui 1.
Exercice 7 (Matrice du Laplacien discret 1D). Corrig dtaill en page 19.
Soit f C([0, 1]). Soit n IN , n impair. On pose h = 1/(n + 1). Soit Kn la matrice dfinie par (1.10) page 12,
issue dune discrtisation par diffrences finies avec pas constant du problme (1.5a) page 10.
Montrer que Kn est symtrique dfinie positive.
Exercice 8 (Pas non constant). Reprendre la discrtisation vue en cours avec un pas hi = xi+1 xi non constant,
et montrer que dans ce cas,le schma est consistant dordre 1 seulement.
Exercice 9 (Raction diffusion 1d.). Corrig dtaill en page 19. On sintresse la discrtisation par Diffrences
Finies du problme aux limites suivant :
u (x) + u(x) = f (x), x ]0, 1[,
u(0) = u(1) = 0.
(1.28)
Soit n IN . On note U = (uj )j=1,...,n une valeur approche de la solution u du problme (1.28) aux points
(
)
j
. Donner la discrtisation par diffrences finies de ce problme sous la forme AU = b.
n+1
j=1,...,n
Exercice 10 (Discrtisation).
On considre la discrtisation pas constant par le schma aux diffrences finies symtrique trois points du
problme (1.5a) page 10, avec f C([0, 1]). Soit n IN , n impair. On pose h = 1/(n + 1). On note u est
la solution exacte, xi = ih, pour i = 1, . . . , n les points de discrtisation, et (ui )i=1,...,n la solution du systme
discrtis (1.9).
1. Montrer que si u C 4 ([0, 1], alors la proprit (1.7) est vrifie, c..d. :
=
u
(x
)
+
R
avec
|R
|
u .
i
i
i
h2
12
1in
.
3. Soit n fix, et max |ui u(xi )| = 0. A-t-on forcment que f est constante sur [0, 1] ? (justifier la rponse.)
1in
1.2.4
18
1.2.5
1
2
xi (xi1 + 2xi xi+1 ) + 2xn xn1 xn
Ax x = 2 x1 (2x1 x2 ) +
h
i=2
On a donc
h Ax x =
2
2x21
x1 x2
n1
xi xi1 +
2x2i
i=2
=
=
i=1
n
x2i +
i=3
x21i + x2n 2
i=2
xi xi1
i=1
i=2
2 1 0 . . . 0
..
1 2 1 . . .
.
.
.
.
..
..
..
Kn = 0
0
..
..
. 1 2 1
0 . . . 0 1 2
Exercice 4 page 16 (Matrices symtriques dfinies positives)
1. Supposons quil existe un lment diagonal ai,i ngatif. Alors Aei ei 0 ce qui contredit le fait que A est
dfinie positive.
2. Soit x IR n , dcomposons x sur la base orthonorme (fi )i=1,n : x =
Ax x =
i x2i .
n
i=1
xi fi . On a donc :
(1.29)
i=1
Montrons dabord que si les valeurs propres sont strictement positives alors A est dfinie positive :
Supposons que i 0, i = 1, . . . , n. Alors pour x IR n , daprs (1.29), Ax x 0 et la matrice A
est positive. Supposons maintenant que i > 0, i = 1, . . . , n. Alors pour x IR n , toujours daprs (1.29),
(Ax x = 0) (x = 0), et la matrice A est donc bien dfinie.
19
Montrons maintenant la rciproque : si A est dfinie positive, alors Afi fi > 0, i = 1, . . . , n et donc i > 0,
i = 1, . . . , n.
3. Comme A est s.d.p., toutes ses valeurs propres sont strictement
positives, et on peut donc dfinir lapplication
ad > bc,
ad < bc,
a 0, d 0 ou
a 0, d 0,
b 0, c 0
b 0, c 0.
Or on a forcment ad = 0 : en effet sinon on aurait dans le premier cas) bc < 0, or b 0 et c 0, ce
qui aboutit une contradiction. De mme dans le deuxime cas, on aurait bc > 0, or b 0 et c 0. Les
conditions prcdentes sont donc quivalentes aux conditions (1.19).
3. La matrice At est une IP-matrice si et seulement At est inversible et (At )1 0. Or (At )1 = (A1 )t .
Do lquivalence.
4. Supposons que A vrifie (1.20), et soit x IR n tel que Ax 0. Soit k 1, . . . , n tel que xk = min{xi , i =
1, . . . , n}. Alors
n
(Ax)k = ak,k xk +
ak,j xj 0.
j=1
j=k
Par hypothse, ak,j 0 pour k = j, et donc ak,j = |ak,j |. On peut donc crire :
ak,k xk
|ak,j |xj 0,
j=1
j=k
et donc :
(ak,k
|ak,j |)xk
j=1
j=k
|ak,j |(xj xk ).
j=1
j=k
Comme xk = min{xi , i = 1, . . . , n}, on en dduit que le second membre de cette ingalit est positif ou
nul, et donc que xk 0. On a donc x 0.
5. Si la matrice A vrifie (1.21), alors la matrice At vrifie (1.20). On en dduit par les questions prcdentes
que At et A sont des IP-matrices.
6. Soit 1 le vecteur de IR n dont toutes les composantes sont gales 1. Si Ax > 0, comme lespace IR n est de
dimension finie, il existe > 0 tel que Ax 1. Soit z = A1 1 0 ; on a alors A(x z) 0 et donc
x z, car A est une IP-matrice.
Montrons maintenant que z > 0 : tous les coefficients de A1 sont positifs ou nuls et au
moins lun dentre
n
eux est non nul par ligne (puisque la matrice A1 est inversible). On en dduit que zi = i=1 (A1 )i,j > 0
pour tout i = 1, . . . , n. On a donc bien x z > 0.
Analyse numrique I, tl-enseignement, L3
20
Dfinition
Dfinition 1.10 (Mthode directe). On appelle mthode directe de rsolution de (1.1) une mthode qui donne
exactement x (A et b tant connus) solution de (1.1) aprs un nombre fini doprations lmentaires (+, , , /).
Parmi les mthodes de rsolution du systme (1.1), la plus connue est la mthode de Gauss (avec pivot), encore
appele mthode dchelonnement ou mthode LU dans sa forme matricielle.
Nous rappelons la mthode de Gauss et sa rcriture matricielle qui donne la mthode LU et nous tudierons plus
en dtails la mthode de Choleski, qui est adapte aux matrices symtriques.
1.3.2
Soit A Mn (IR) une matrice inversible, et b IR n . On cherche calculer x IR n tel que Ax = b. Le principe
de la mthode de Gauss est de se ramener, par des oprations simples (combinaisons linaires), un systme
triangulaire quivalent, qui sera donc facile inverser.
Commenons par un exemple pour une matrice 3 3. Nous donnerons ensuite la mthode pour une matrice n n.
Un exemple 3 3
On considre le systme Ax = b, avec
1 0
A= 0 2
1 1
1
1
2
2
b = 1 .
2
1 0 1
2
[
]
A = A b = 0 2 1 1 .
1 1 2 2
Gauss et oprations matricielles Allons y pour Gauss :
La premire ligne a un 1 en premire position (en gras dans la matrice), on dit que cest un pivot. On va pouvoir
diviser toute la premire ligne par ce nombre pour en soustraire un multiple toutes les lignes daprs, dans le but
de faire apparatre des 0 dans tout le bas de la colonne.
21
La deuxime quation a dj un 0 dessous, donc on na rien besoin de faire. On veut ensuite annuler le premier
coefficient de la troisime ligne. On retranche donc (-1) fois la premire ligne la troisime 2 :
1 0 1
2
1 0 1 2
3 3 +1
0 2 1 1 0 2 1 1
1 1 2 2
0 1 1 0
1 0 0
Ceci revient multiplier A gauche par la matrice E1 = 0 1 0 .
1 0 1
La deuxime ligne a un terme non nul en deuxime position (2) : cest un pivot. On va maintenant annuler le
deuxime terme de la troisime ligne ; pour cela, on retranche 1/2 fois la ligne 2 la ligne 3 :
1 0
1
2
1 1 1 2
3 3 1/22
0 2 1 1
0 2 1
1 .
1
0 1 1 0
0 0 2 12
1 0 0
Ceci revient multiplier la matrice prcdente gauche par la matrice E2 = 0 1 0 . On a ici obtenu une
0 12 1
matrice sous forme triangulaire suprieure trois pivots : on peut donc faire la remonte pour obtenir la solution
du systme, et on obtient (en notant xi les composantes de x) : x3 = 1 puis x2 = 1 et enfin x1 = 1.
On a ainsi rsolu le systme linaire.
On rappelle que le fait de travailler sur la matrice augmente est extrmement pratique car il permet de travailler
simultanment sur les coefficients du systme linaire et sur le second membre.
Finalement, au moyen des oprations dcrites ci-dessus, on a transform le systme linaire
Ax = b en U x = E2 E1 b, o U = E2 E1 A
est une matrice triangulaire suprieure.
Factorisation LU Tout va donc trs bien pour ce systme, mais supposons maintenant quon ait rsoudre
3089 systmes, avec la mme matrice A mais 3089 seconds membres b diffrents 3 . Il serait un peu dommage
de recommencer les oprations ci-dessus 3089 fois, alors quon peut en viter une bonne partie. Comment faire ?
Lide est de factoriser la matrice A, c..d de lcrire comme un produit A = LU , o L est triangulaire infrieure
(lower triangular) et U triangulaire suprieure (upper triangular). On reformule alors le systme Ax = b sous la
forme LU x = b et on rsout maintenant deux systmes faciles rsoudre car triangulaires : Ly = b et U x = y.
La factorisation LU de la matrice dcoule immdiatement de lalgorithme de Gauss. Voyons comment sur lexemple
prcdent.
1/ On remarque que U = E2 E1 A peut aussi scrire A = LU , avec L = (E2 E1 )1 .
2/ On sait que (E2 E1 )1 = (E1 )1 (E2 )1 .
3/ Les matrices inverses E11 et E21 sont faciles dterminer : comme E2 consiste retrancher 1/2 fois la ligne 2
la ligne 3, lopration inverse est dajouter 1/2 fois la ligne 2 la ligne 3, et donc
1 0 0
E21 == 0 1 0 .
0 21 1
1 0 0
1 0 0
Il est facile de voir que E11 = 0 1 0 et donc L = E11 E21 = 0 1 0 .
1 0 1
1 12 1
2. Bien sr, ceci revient ajouter la premire ligne ! il est cependant prfrable de parler systmatiquement de retrancher car cest ce quon
fait conceptuellement : pour llimination on enlve un multiple de la ligne du pivot la ligne courante.
3. Ceci est courant dans les applications. Par exemple on peut vouloir calculer la rponse dune structure de gnie civil 3089 chargements
diffrents.
22
La matrice L est une matrice triangulaire infrieure (et cest dailleurs pour cela quon lappelle L, pour lower
in English...) dont les coefficients sont particulirement simples trouver : les termes diagonaux sont tous gaux
un, et chaque terme non nul sous-diagonal Li,j est gal au coefficient par lequel on a multipli la ligne pivot
i avant de la retrancher la ligne j.
4/ On a bien donc A = LU avec L triangulaire infrieure (lower triangular) et U triangulaire suprieure (upper
triangular).
La procdure quon vient dexpliquer sappelle mthode LU pour la rsolution des systmes linaires, et elle
est dune importance considrable dans les sciences de lingnieur, puisquelle est utilise dans les programmes
informatiques pour la rsolution des systmes linaires.
Dans lexemple que nous avons tudi, tout se passait trs bien car nous navons pas eu de zro en position pivotale.
Si on a un zro en position pivotale, la factorisation peut quand mme se faire, mais au prix dune permutation.
Le rsultat gnral que lon peut dmontrer, est que si la matrice A est inversible, alors il existe une matrice de
permutation P , une matrice triangulaire infrieure L et une matrice triangulaire suprieure U telles que P A = LU :
voir le thorme 1.17.
Le cas gnral dune matrice n n
De manire plus gnrale, pour une matrice A carre dordre n, la mthode de Gauss scrit :
On pose A(1) = A et b(1) = b. Pour i = 1, . . . , n 1, on cherche calculer A(i+1) et b(i+1) tels que les
systmes A(i) x = b(i) et A(i+1) x = b(i+1) soient quivalents, o A(i+1) est une matrice dont les coefficients
sous-diagonaux des colonnes 1 i sont tous nuls, voir figure 1.3 :
Une fois la matrice A(n) (triangulaire suprieure) et le vecteur b(n) calculs, il sera facile de rsoudre le systme
A(n) x = b(n) . Le calcul de A(n) est ltape de factorisation", le calcul de b(n) ltape de descente", et le calcul
de x ltape de remonte". Donnons les dtails de ces trois tapes.
Etape de factorisation et descente Pour passer de la matrice A(i) la matrice A(i+1) , on va effectuer des
combinaisons linaires entre lignes qui permettront dannuler les coefficients de la i-me colonne situs en dessous
de la ligne i (dans le but de se rapprocher dune matrice triangulaire suprieure). Evidemment, lorsquon fait ceci,
il faut galement modifier le second membre b en consquence. Ltape de factorisation et descente scrit donc :
(i+1)
(i)
(i+1)
= ak,j et bk
(i)
= bk .
(i)
(i+1)
ak,j
(i)
ak,j
(i)
bk
ak,i
(i)
(1.30)
(i)
b .
(i) i
ai,i
(1.31)
(i)
ai,i
ai,j , pour k = j, . . . , n,
(i)
(i+1)
bk
ak,i
La matrice A(i+1) est de la forme donne sur la figure 1.3. Remarquons que le systme A(i+1) x = b(i+1) est bien
quivalent au systme A(i) x = b(i) .
(i)
Si la condition ai,i = 0 est vrifie pour i = 1 n, on obtient par le procd de calcul ci-dessus un systme linaire
A(n) x = b(n) quivalent au systme Ax = b, avec une matrice A(n) triangulaire suprieure facile inverser. On
(i)
verra un peu plus loin les techniques de pivot qui permettent de rgler le cas o la condition ai,i = 0 nest pas
vrifie.
Etape de remonte Il reste rsoudre le systme A(n) x = b(n) . Ceci est une tape facile. Comme A(n) est une
(i)
matrice inversible, on a ai,i = 0 pour tout i1, . . . , n, et comme A(n) est une matrice triangulaire suprieure, on
peut donc calculer les composantes de x en remontant", cestdire de la composante xn la composante x1 :
23
(1)
a1,1
a1,N
A(i+1) =
(i+1)
ai+1,i+1
(i+1)
ai+2,i+1
(i+1)
aN,i+1
(i+1)
aN,N
(n)
xn =
xi =
1
(n)
ai,i
(b(i)
bn
(n)
an,n
(n)
ai,j xj ), i = n 1, . . . , 1.
j=i+1,n
Il est important de savoir mettre sous forme algorithmique les oprations que nous venons de dcrire : cest ltape
clef avant lcriture dun programme informatique qui nous permettra de faire faire le boulot par lordinateur !
Algorithme 1.11 (Gauss sans permutation).
1. (Factorisation et descente)
Pour i allant de 1 n, on effectue les calculs suivants :
(a) On ne change pas la i-me ligne (qui est la ligne du pivot)
ui,j = ai,j pour j = i, . . . , n,
yi = bi
(b) On calcule les lignes i + 1 n de U et le second membre y en utilisant la ligne i.
Pour k allant de i + 1 n :
a
k,i = ak,i
(si ai,i = 0, prendre la mthode avec pivot partiel)
i,i
pour j allant de i + 1 n,
uk,j = ak,j k,i ui,j (noter que ak,i = 0)
Fin pour
yk = bk k,i yi
Fin pour
2. (Remonte) On calcule x :
yn
xn =
un,n
Pour i allant de n 1 1,
xi = yi
Pour j allant de i + 1 n,
xi = xi ui,j xj
Fin pour
1
xi
xi =
ui,i
Fin pour
24
Cot de la mthode de Gauss (nombre doprations) On peut montrer (on fera le calcul de manire dtaille
pour la mthode de Choleski dans la section suivante, le calcul pour Gauss est similaire) que le nombre doprations
ncessaires pour effectuer les tapes de factorisation, descente et remonte est 23 n3 + O(n2 ).
En ce qui concerne la place mmoire, on peut trs bien stocker les itrs A(i) dans la matrice A de dpart, ce quon
na pas voulu faire dans le calcul prcdent, par souci de clart.
Dcomposition LU Si le systme Ax = b doit tre rsolu pour plusieurs second membres b, on a dj dit quon
a intrt ne faire ltape de factorisation (i.e. le calcul de A(n) ), quune seule fois, alors que les tapes de descente
et remonte (i.e. le calcul de b(n) et x) seront faits pour chaque vecteur b. Ltape de factorisation peut se faire en
dcomposant la matrice A sous la forme LU . Supposons toujours pour linstant que lors de lalgorithme de Gauss,
(i)
la condition ai,i = 0 est vrifie pour tout i = 1, . . . , n. La matrice L a comme coefficients k,i =
(i)
ak,i
(i)
ai,i
pour k > i,
i,i = 1 pour tout i = 1, . . . , n, et i,j = 0 pour j > i, et la matrice U est gale la matrice A(n) . On peut vrifier
que A = LU grce au fait que le systme A(n) x = b(n) est quivalent au systme Ax = b. En effet, comme
A(n) x = b(n) et b(n) = L1 b, on en dduit que LU x = b, et comme A et LU sont inversibles, on en dduit que
A1 b = (LU )1 b pour tout b IR n . Ceci dmontre que A = LU. La mthode LU se dduit donc de la mthode
de Gauss en remarquant simplement que, ayant conserv la matrice L, on peut effectuer les calculs sur b aprs les
calculs sur A, ce qui donne :
Algorithme 1.12 (LU simple (sans permutation)).
1. (Factorisation) Pour i allant de 1 n, on effectue les calculs suivants :
(a) On ne change pas la i-me ligne
ui,j = ai,j pour j = i, . . . , n,
(b) On calcule les lignes i + 1 n de U en utilisant la ligne i (mais pas le second membre).
Pour k allant de i + 1 n :
a
k,i = ak,i
(si ai,i = 0, prendre la mthode avec pivot partiel)
i,i
pour j allant de i + 1 n,
uk,j = ak,j k,i ui,j (noter que ak,i = 0)
Fin pour
2. (Descente) On calcule y (avec Ly = b)
Pour i allant de 1 n,
i1
yi = bi k=1 i,k yk (on a ainsi implicitement i,i = 1)
3. (Remonte) On calcule x (avec U x = y)
Pour i allant de n 1,
n
xi = u1i,i (yi j=i+1 ui,j xj )
Remarque 1.13 (Optimisation mmoire). Lintroduction des matrices L et U et des vecteurs y et x nest pas
ncessaire (tout peut scrire avec la matrice A et le vecteur b, que lon modifie au cours de lalgorithme). Lintroduction de L, U , x et y peut toutefois aider comprendre la mthode. Le principe retenu est que, dans les
algorithmes (Gauss ou LU), on modifie la matrice A et le second membre b (en remplaant le systme rsoudre
par un systme quivalent) mais on ne modifie jamais L, U , y et x (qui sont dfinis au cours de lalgorithme).
Que faire en cas de pivot nul : la technique de permutation Dans la prsentation de la mthode de Gauss et de
(i)
la dcomposition LU , on a suppos que la condition ai,i = 0 tait vrifie chaque tape. Or il peut savrer que
(i)
ce ne soit pas le cas, ou que, mme si la condition est vrifie, le pivot" ai,i soit trs petit, ce qui peut entraner des
erreurs darrondi importantes dans les calculs. On peut rsoudre ce problme en utilisant les techniques de pivot
partiel" ou pivot total", qui reviennent choisir une matrice de permutation P qui nest pas forcment gale la
matrice identit dans le thorme 1.17.
25
Plaons-nous litration i de la mthode de Gauss. Comme la matrice A(i) est forcment non singulire, on a :
(i)
(i)
ai,i . . . ai,n
.
(i) (i)
(i)
..
..
.
det(A(i) ) = a1,1 a2,2 ai1,i1 det
.
.
. = 0.
(i)
(i)
an,i . . . an,n
On a donc en particulier
(i)
a
i,i
.
det
..
(i)
an,i
(i)
ai,n
..
0.
. =
(i)
. . . an,n
...
..
.
(i)
(i)
On dduit quil existe i0 {i, . . . , n} tel que ai0 ,i = 0. On choisit alors i0 {i, . . . , n} tel que |ai0 ,i | =
(i)
max{|ak,i |, k
= i, . . . , n}. Le choix de ce max est motiv par le fait quon aura ainsi moins derreur darrondi.
On change alors les lignes i et i0 (dans la matrice A et le second membre b) et on continue la procdure de Gauss
dcrite plus haut.
Lintrt de cette stratgie de pivot est quon aboutit toujours la rsolution du systme (ds que A est inversible).
Remarque 1.14 (Pivot total). La mthode que nous venons de dcrire est souvent nomme technique de pivot
partiel. On peut vouloir rendre la norme du pivot encore plus grande en considrant tous les coefficients restants
(i)
et pas uniquement ceux de la colonne i. A letape i, on choisit maintenant i0 et j0 {i, . . . , n} tels que |ai0 ,j0 | =
(i)
26
3. (Descente) On calcule y
Pour i allant de 1 n,
i1
yt(i) = bt(i) j=1 t(j),k yk
Fin pour
4. (Remonte) On calcule x
Pour i allant de n 1,
n
1
x(t(i) = ut(i),i
(yi j=i+1 ut(i),j xj )
Fin pour
NB : On a chang lordre dans lequel les quations sont considres (le tableau t donne cet ordre, et donc la
matrice P ). Donc, on a aussi chang lordre dans lequel interviennent les composantes du second membre : le
systme Ax = b est devenu P Ax = P b. Par contre, on na pas touch lordre dans lequel interviennent les
composantes de x et y.
Il reste maintenant signaler le miracle" de cet algorithme. . . Il est inutile de connaitre a priori la bijection pour
cet algorithme. A ltape i de litem 1 (et dailleurs aussi ltape i de litem 2), il suffit de connatre t(j) pour
j allant de 1 i, les oprations de 1(b) se faisant alors sur toutes les autres lignes (dans un ordre quelconque).
Il suffit donc de partir dune bijection arbitraire de {1, . . . , n} dans {1, . . . , n} (par exemple lidentit) et de la
modifier chaque tape. Pour que lalgorithme aboutisse, il suffit que at(i),i = 0 (ce qui toujours possible car A
est inversible).
Remarque 1.16 (Ordre des quations et des inconnues). Lalgorithme se ramne donc rsoudre LU x = b, en
faisant Ly = b et U x = y. Quand on fait Ly = b les equations sont dans lordre t(1), . . . , t(k) (les composantes
de b sont donc aussi prises dans cet ordre), mais le vecteur y est bien le vecteur de composantes (y1 , . . . , yn ).
Puis, on fait U x = y, les quations sont toujours dans lordre t(1), . . . , t(k) mais les vecteurs x et y ont comme
composantes respectives (x1 , . . . , xn ) et (y1 , . . . , yn ).
Le thorme dexistence Lalgorithme LU avec pivot partiel nous permet de dmontre le thorme dexistence
de la dcomposition LU pour una matrice inversible.
Thorme 1.17 (Dcomposition LU dune matrice). Soit A Mn (IR) une matrice inversible, il existe une
matrice de permutation P telle que, pour cette matrice de permutation, il existe un et un seul couple de matrices
(L, U ) o L est triangulaire infrieure de termes diagonaux gaux 1 et U est triangulaire suprieure, vrifiant
P A = LU.
D MONSTRATION
1. Lexistence de la matrice P et des matrices L U peut seffectuer en sinspirant de lalgorithme LU avec pivot partiel
1.15).
En effet, chaque tape i de lalgorithme 1.15 peut scrire comme A(i) = E (i) P (i) A(i1) , avec A(0) = A, P (i) est
la matrice de permutation qui permet le choix du pivot partiel, et E (i) est une matrice dlimination qui effectue les
combinaisons linaires de lignes permettant de mettre zro tous les coefficients de la colonne i situs en dessous de la
ligne i. Pour simplifier, raisonnons sur une matrice 4 4 (le raisonnement est le mme pour une matrice n n. On a donc
en appliquant lalgorithme :
E (3) P (3) E (2) P (2) E (1) P (1) A = U
Les matrices P (i+1) et E (i) ne permutent pas. Prenons par exemple E2 , qui est de la forme
1 0 0 0
0 1 0 0
E (2) =
0 a 1 0
0 b 0 1
27
1 0 0 0
1
0 1 0 0
0
(3)
(3) (2)
P
=
et P E =
0 0 0 1
0
0 0 1 1
0
0
1
b
a
0
0
0
1
0
1
0
, alors que E (2) P (3) = 0
0
1
0
0
0
1
a
b
0
0
0
1
0
0
1
0
Mais par contre, comme la multiplication gauche par P (i+1) permute les lignes i + 1 et i + k, pour un certain k 1,
g
(i) = P (i+1) E (i) P (i+1) est encore une
et que la multiplication droite permute les colonnes i + 1 et i + k, la matrice E
(i)
matrice triangulaire infrieure avec la mme structure que E : on a juste chang les coefficients extradiagonaux des
lignes i + 1 et i + k. On a donc
g
(i) P (i+1) .
P (i+1) E (i) = E
(1.32)
Dans lexemple prcdent, on effectue le calcul :
1
0
=
0
0
0
1
b
a
0
1
1
0
0
0
g
(3 ,
=E
0
1
qui est une matrice triangulaire infrieure de coefficients tous gaux 1, et comme P (3) P (3) = Id, on a donc :
g
(2) P (3) .
P (3) E (2) = E
Pour revenir notre exemple n = 4, on peut donc crire :
g
g
(2) P (3) E
(1) P (2) P (1) A = U
E (3) E
g
g
g
g
g
(1) = E
(1) P (3) o E
(1) est encore une matrice triangulaire
Mais par le mme raisonnement que prcdemment, on a P (3) E
infrieure avec des 1 sur la diagonale. On en dduit que
g
g
g
(2) E
(1) P (3) P (2) P (1) A = U, soit encore P A = LU
E (3) E
g
g
g
(2) E
(1) )1 est une matrice triangulaire infrieure
o P = P (3) P (2) P (1) bien une matrice de permutation, et L = (E (3) E
avec des 1 sur la diagonale.
Le raisonnement que nous venons de faire pour n = 3 se gnralise facilement n quelconque. Dans ce cas, lchelonnement de la matrice scrit sous la forme
U = E (n1) P (n1) . . . E (2) P (2) E (1) P (1) A,
et se transforme grce (1.32) en
U = F (n1) . . . F (2) F (1) P (n1) . . . P (2) P (1) A,
o les matrices Fi sont des matrices triangulaires infrieures de coefficients diagonaux tous gaux 1. Plus prcisment,
^
^
(n2) , F
(n3) , etc. . . On a ainsi dmontr lexistence de la dcomposition LU .
Fn1 = En1 , Fn2 = E^
n3 = E
2. Pour montrer lunicit du couple (L, U ) P donne, supposons quil existe une matrice P et des matrices L1 , L2 ,
triangulaires infrieures et U1 , U2 , triangulaires suprieures, telles que
P A = L1 U1 = L2 U2
L1
2 L1
U2 U11 .
Remarque 1.18 (Dcomposition LU pour les matrices non inversibles). En fait nimporte quelle matrice carre
admet une dcomposition de la forme P A = LU . Mais si la matrice A nest pas inversible, son chelonnement
va nous donner des lignes de zros pour les dernires lignes . Dans ce cas, la dcomposition LU nest dans ce cas
pas unique. Cette remarque fait lobjet de lexercice 18.
Programme FORTRAN Voici le programmes FORTRAN (tests avec un exemple) de lalgorithme LU avec
pivot partiel (1.15). Le programme FORTRAN pour lalgorithme LU sans pivot partiel (1.12) sobtient en commentant les lignes 31 45.
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
program g a u s s l u p i v o t
(LU a v e c p i v o t )
i m p l i c i t none
i n t e g e r : : n , m, i , j , k , i p , i p a , n j
double p r e c i s i o n : : p
! m a t r i c e du s y s t e m e e t f a c t o r i s a t i o n
double p r e c i s i o n , dimension ( : , : ) , a l l o c a t a b l e : : a , l , u
! t ( i ) = ieme l i g n e p i v o t
integer , dimension ( : ) , a l l o c a t a b l e : : t
! s e c o n d membre , s o l u t i o n i n t e r m e d i a i r e , s o l f i n a l e
double precision , dimension ( : ) , a l l o c a t a b l e : : b , y , x
n=3
m=nn
! D e f i n i t i o n de l a m a t r i c e a
allocate (a(n , n) )
allocate ( l (n , n) )
allocate (u(n , n) )
a ( 1 , 1 ) =1 ; a ( 1 , 2 ) =2 ; a ( 1 , 3 ) =4
a ( 2 , 1 ) =2; a ( 2 , 2 ) =5 ; a ( 2 , 3 ) =2
a ( 3 , 1 ) =3 ; a ( 3 , 2 ) =1 ; a ( 3 , 3 ) =1
do i =1 , n
do j =1 , n
l ( i , j ) =0
u ( i , j ) =0
end do
end do
! Tableau des p i v o t s
allocate ( t (k) )
do i =1 , n
t ( i )=i
end do
! F a c t o r i s a t i o n avec p i v o t
do i =1 , n
! R e c h e r c h e du p i v o t
p=a ( t ( i ) , i )
ip=i
do j = i +1 , n
i f ( a ( t ( j ) , i ) a ( t ( j ) , i ) > pp ) t h e n
p=a ( t ( j ) , i )
ip=j
end i f
end do
! P e r m u t a t i o n de l i g n e s
ipa=t ( i )
t ( i )=t ( ip )
t ( ip )=ipa
print , t (1) , t (2) , t (3)
! ieme l i g n e
do j = i , n
u ( t ( i ) , j ) =a ( t ( i ) , j )
end do
! c h a n g e m e n t l i g n e s i +1 a n
do j = i +1 , n
l ( t ( j ) , i ) =a ( t ( j ) , i ) / a ( t ( i ) , i )
do k= i +1 , n
a ( t ( j ) , k ) =a ( t ( j ) , k )l ( t ( j ) , i ) a ( t ( i ) , k )
end do
end do
end do
! Second membre
allocate (b(k) )
b ( 1 ) =7 ; b ( 2 ) =5 ; b ( 3 ) =5
! solution
allocate (x(k) )
allocate (y(k) )
! descente
29
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
do i =1 , n
y ( i ) =b ( t ( i ) )
do k =1 , i 1
y ( i ) =y ( i )l ( t ( i ) , k ) y ( k )
end do
end do
print , y (1) ,y (2) ,y (3)
! remontee
print ,u( t (k) ,n)
do i =n ,1 , 1
x ( i ) =y ( i )
do k= i +1 , n
x ( i ) =x ( i )u ( t ( i ) , k ) x ( k )
end do
x ( i ) =x ( i ) / u ( t ( i ) , i )
end do
print , x (1) ,x (2) ,x (3)
open ( u n i t =1 , f i l e = r e s u l t a t , s t a t u s = unknown )
do i =1 , n
write (1 ,) x( i )
end do
end
1.3.3
Mthode de Choleski
On va maintenant tudier la mthode de Choleski, qui est une mthode directe adapte au cas o A est symtrique
dfinie positive. On rappelle quune matrice A Mn (IR) de coefficients (ai,j )i=1,n,j=1,n est symtrique si
A = At , o At dsigne la transpose de A, dfinie par les coefficients (aj,i )i=1,n,j=1,n , et que A est dfinie
positive si Ax x > 0 pour tout x IR n tel que x = 0. Dans toute la suite, x y dsigne le produit scalaire des
deux vecteurs x et y de IR n . On rappelle (exercice) que si A est symtrique dfinie positive elle est en particulier
inversible.
Description de la mthode
2 1 0
Commenons par un exemple. On considre la matrice A = 1 2 0 , qui est symtrique. Calculons sa
0 1 2
dcomposition LU . Par chelonnement, on obtient
1
0 0
2 1 0
1 0 0 32 1
A = LU = 12
4
0 23 1
0 0
3
La structure LU ne conserve pas la symtrie de la matrice A. Pour des raisons de cot mmoire, il est important de
pouvoir la conserver. Une faon de faire est de dcomposer U en sa partie diagonale fois une matrice triangulaire.
On obtient
2 0 0
1 12
0
U = 0 32 0 0 1 23
0 0 43
0 0
1
On a donc U = DLt , et comme tous les coefficients de D sont positifs, on peut crire D = D D, o D est
la matrice
dont les lments diagonaux
sont les racines carres des lments diagonaux de A. On a donc
diagonale
eL
e t , avec L
e = L D. Notons que la matrice L
e est toujours triangulaire infrieure, mais ses
A = L D DLt = L
coefficients diagonaux ne sont plus astreints tre gaux 1. Cest la dcomposition de Choleski de la matrice A.
De fait, la mthode de Choleski consiste donc trouver une dcomposition dune matrice A symtrique dfinie
positive de la forme A = LLt , o L est triangulaire infrieure de coefficients diagonaux strictement positifs. On
30
rsout alors le systme Ax = b en rsolvant dabord Ly = b puis le systme Lt x = y. Une fois la matrice
A factorise", cestdire la dcomposition LLt obtenue (voir paragraphe suivant), on effectue les tapes de
descente" et remonte" :
1. Etape 1 : descente" Le systme Ly = b scrit :
1,1 0
..
..
Ly = .
.
n,1
y1
..
. =
yn
..
.
. . . n,n
b1
.. .
.
bn
y1 =
..
.
1
2,2
(b2 2,1 y1 )
..
.
i,j yj = bi , donc
1
(bi
i,j yj )
i,i
j=1,i1
..
.
1
yn =
(bn
n,j yj ).
n,n
j=1,n1
yi =
j=1,i
y2 =
b1
1,1
..
.
n,j yj = bn , donc
j=1,n
On calcule ainsi y1 , y2 , . . . , yn .
2. Etape 2 : remonte" On calcule maintenant x solution de Lt x = y.
x
1
1,1 2,1 . . . n,1
.
0
.
.
t
.
Lx= .
=
.. .
..
.
0
...
n,n
xn
On a donc :
n,n xn = yn donc xn =
y1
.. .
.
yn
yn
n,n
y1 j=2,n j,1 xj
.
j,1 xj = y1 donc x1 =
1,1
j=1,n
yn1 n,n1 xn
n1,n1
31
Pour [comprendre
le principe de la preuve, commenons dabord par le cas n = 2. Dans ce cas on peut crire
]
a b
A=
. On sait que a > 0 car A est s.d.p. . Lchelonnement de A donne donc
b c
[
A = LU =
1 0
b
a1
][
a
0
b
2
c ba
1
b
a
][
0 a
1 0
0
2
c ba
][
e=
A = LL avec L
acb2
b
a
Et donc
e et
a
0
b
a
]
.
]
0
.
Thorme 1.19 (Dcomposition de Choleski). Soit A Mn (IR) (n 1) une matrice symtrique dfinie positive.
Alors il existe une unique matrice L Mn (IR), L = (i,j )ni,j=1 , telle que :
1.
2.
3.
A = LLt .
D MONSTRATION
I- Existence de L : dmonstration par rcurrence sur n
1. Dans le cas n = 1, on a A = (a1,1 ). Comme A est symtrique dfinie positive, on a a1,1 > 0. On peut donc dfinir
B
a
A=
(1.33)
at
B
a
y
y
By
y
0 < Ax x =
= = By y
at
0
0
at y
0
donc B est dfinie positive. Par hypothse de rcurrence, il existe une matrice M Mn (IR) M = (mi,j )n
i,j=1 telle
que :
(a)
mi,j = 0 si j > i
(b)
mi,i > 0
(c)
B = M M t.
32
L=
bt
(1.34)
avec b IR n , IR + tels que LLt = A. Pour dterminer b et , calculons LLt o L est de la forme (1.34) et
identifions avec A :
t
LL =
bt
t
M
0
0
MMt
Mb
bt M t
bt b + 2
On cherche b IR n et IR + tels que LLt = A, et on veut donc que les galits suivantes soient vrifies :
M b = a et bt b + 2 = .
Az =
at
B 1 a
at B 1 a
On a donc Az z = at B 1 a > 0 ce qui montre que (1.36) est vrifie. On peut ainsi choisir =
(> 0) de telle sorte que (1.35) est vrifie. Posons :
M
0
.
L=
(M 1 a)t
at B 1 a
(1.37)
k=1
a1,1 = 1,1 1,1 donc 1,1 = a1,1 (a1,1 > 0 car 1,1 existe ),
a2,1
,
a2,1 = 2,1 1,1 donc 2,1 =
1,1
ai,1
ai,1 = i,1 1,1 donc i,1 =
i {2, . . . , n}.
1,1
2. On suppose avoir calcul les q premires colonnes de L. On calcule la colonne (q + 1) en prenant j = q + 1 dans
(1.37)
q+1
q+1,q+1 = (aq+1,q+1
(1.38)
k=1
33
2q+1,k > 0 car L existe : il est indispensable davoir dabord montr lexistence de L
k=1
q+1
i,k q+1,k =
k=1
k=1
et donc
(
i,q+1 =
ai,q+1
)
i,k q+1,k
k=1
1
.
q+1,q+1
(1.39)
On calcule ainsi toutes les colonnes de L. On a donc montr que L est unique par un moyen constructif de calcul de
L.
Remarque 1.20 (Choleski et LU .). Considrons une matrice A symtrique dfinie positive. Alors une matrice P
de permutation dans le thorme 1.19 possible nest autre que lidentit. Il suffit pour sen convaincre de remarquer
quune fois quon sest donn la bijection t = Id dans lalgorithme 1.15, celle-ci nest jamais modifie et donc on
a P = Id. Les thormes
dexistence et dunicit 1.17 et 1.19 nous permettent
alors de remarquer que A = LU =
L
t avec L
= L D, o D est la matrice diagonale extraite de U , et D dsigne la matrice dont les coefficients
L
sont les racines carres des coefficients de D (qui sont tous positifs). Voir ce sujet lexercice 19 39.
Remarque 1.21 (Pivot partiel et Choleski.). Considrons une matrice A symtrique dfinie positive. On a vu dans
le thorme quon na pas besoin de permutation pour obtenir la dcomposition LLt dune matrice symtrique
dfinie positive. Par contre, on utilise malgr tout la technique de pivot partiel pour minimiser les erreurs darrondi.
On peut illustrer cette raison par lexemple suivant :
[
]
10n 1
A=
1
1
titre dillustration, pour n = 12 en FORTRAN (double prcision), on obtient la bonne solution, c..d. (1, 1),
avec le programme gausslupivot donn plus haut, alors que le programme sans pivot gausslu donne comme
solution (0, 1).
Calcul du cot de la mthode de Choleski
Calcul du cot de calcul de la matrice L Dans le procd de calcul de L expos ci-dessus, le nombre doprations pour calculer la premire colonne est n. Calculons, pour p = 0, . . . , n 1, le nombre doprations pour
calculer la (p + 1)-ime colonne : pour la colonne (p + 1), le nombre doprations par ligne est 2p + 1, car le
calcul de p+1,p+1 par la formule (1.38) ncessite p multiplications, p soustractions et une extraction de racine,
soit 2p + 1 oprations ; le calcul de i,p+1 par la formule (1.39) ncessite p multiplications, p soustractions et une
division, soit encore 2p + 1 oprations. Comme les calculs se font des lignes p + 1 n (car i,p+1 = 0 pour i p),
le nombre doprations pour calculer la (p + 1)-ime colonne est donc (2p + 1)(n p). On en dduit que le nombre
doprations NL ncessaires au calcul de L est :
NL
n1
n1
p=0
p=0
(2p + 1)(n p) = 2n
= (2n 1)
p2
n1
p=0
p2 + n
n1
p=0
n1
p=0
n1
n(n 1)
+ n2 2
p2 .
2
p=0
34
n1
n
p=0
p=0
n
(1 + p)3
p=0
p=0
n+1
1 + p3 + 3p2 + 3p =
1+
p=0
p3 =
p=1
p=0
p3 + 3
p2 + 3
p=0
p=0
p3 + (n + 1)3 .
p=0
n(n + 1)(2n + 1)
.
6
n(n 1)
2Cn1 + n2
2
( 2
)
2n + 3n + 1
n2
n
n3
n3
=n
+
+ =
+ 0(n2 ).
=
6
3
2
6
3
= (2n 1)
Cot de la rsolution dun systme linaire par la mthode LLt Nous pouvons maintenant calculer le cot
(en termes de nombre doprations lmentaires) ncessaire la rsolution de (1.1) par la mthode de Choleski
pour A Mn (IR) symtrique dfinie positive. On a besoin de NL oprations pour le calcul de L, auquel il faut
rajouter le nombre doprations ncessaires pour les tapes de descente et remonte. Le calcul de y solution de
Ly = b seffectue en rsolvant le systme :
1,1
0
y1
b1
..
.
.
.
..
.. .. = ...
.
n,1
...
n,1
yn
bn
b1
seffectue en une opration.
1,1
)
(
p1
Pour les lignes p = 2 n, le calcul yp = bp i=1 i,p yi /p,p seffectue en (p 1) (multiplications) +(p 2)
(additions)
1 oprations. Le calcul de y (descente) seffectue donc en
n +1 soustraction +1 (division) = 2p
2
N1 =
(2p
1)
=
n(n
+
1)
n
=
n
.
On peut calculer de manire similaire le nombre doprations
p=1
2
ncessaires pour ltape de remonte N2 = n . Le nombre total doprations pour calculer x solution de (1.1) par
3
2
3
2
la mthode de Choleski est NC = NL + N1 + N2 = n3 + n2 + n6 + 2n2 = n3 + 5n2 + n6 . Ltape la plus coteuse
est donc la factorisation de A.
Pour la ligne 1, le calcul y1 =
Remarque 1.22 (Dcomposition LDLt ). Dans les programmes informatiques, on prfre implanter la variante
L
t o D est la matrice diagonale dfinie par di,i = 2 , L
i,i =
suivante de la dcomposition de Choleski : A = LD
i,i
1
, o D
est la matrice diagonale dfinie par di,i = i,i . Cette dcomposition a lavantage de ne pas faire
LD
intervenir le calcul de racines carres, qui est une opration plus complique que les oprations lmentaires"
(, +, ).
1.3.4
Quelques proprits
Comparaison Gauss/Choleski
Soit A Mn (IR) inversible, la rsolution de (1.1) par la mthode de Gauss demande 2n3 /3 + 0(n2 ) oprations
(exercice). Dans le cas dune matrice symtrique dfinie positive, la mthode de Choleski est donc environ deux
fois moins chre.
Analyse numrique I, tl-enseignement, L3
35
Et la mthode de Cramer ?
Soit A Mn (IR) inversible. On rappelle que la mthode de Cramer pour la rsolution de (1.1) consiste calculer
les composantes de x par les formules :
xi =
det(Ai )
, i = 1, . . . , n,
det(A)
o Ai est la matrice carre dordre n obtenue partir de A en remplaant la i-me colonne de A par le vecteur b,
et det(A) dsigne le dterminant de A.
Chaque calcul de dterminant dune matrice carre dordre n ncessite au moins n! oprations (voir cours L1-L2,
ou livres dalgbre linaire proposs en avant-propos). Par exemple, pour n = 10, la mthode de Gauss ncessite
environ 700 oprations, la mthode de Choleski environ 350 et la mthode de Cramer plus de 4 000 000. . . . Cette
dernire mthode est donc proscrire.
Conservation du profil de A
Dans de nombreuses applications, par exemple lors de la rsolution de systmes linaires issus de la discrtisation 4
de problmes rels, la matrice A Mn (IR) est creuse", au sens o un grand nombre de ses coefficients sont nuls.
Il est intressant dans ce cas pour des raisons dconomie de mmoire de connatre le profil" de la matrice, donn
dans le cas o la matrice est symtrique, par les indices ji = min{j {1, . . . , n} tels que ai,j = 0}. Le profil de
la matrice est donc dtermin par les diagonales contenant des coefficients non nuls qui sont les plus loignes de
la diagonale principale. Dans le cas dune matrice creuse, il est avantageux de faire un stockage profil" de A, en
stockant, pour chaque ligne i la valeur de ji et des coefficients ai,k , pour k = i ji , . . . , i, ce qui peut permettre
un large gain de place mmoire, comme on peut sen rendre compte sur la figure ??.
36
det(A) = det(At ) = 0. Il ne reste alors plus qu vrifier que At A est symtrique dfinie positive. Remarquons
dabord que pour toute matrice A Mn (IR), la matrice AAt est symtrique. Pour cela on utilise le fait que
si B Mn (IR), alors B est symtrique si et seulement si Bx y = x By et Bx y = x B t y pour tout
(x, y) (IR n )2 . En prenant B = At A, on en dduit que At A est symtrique. De plus, comme A est inversible,
At Ax x = Ax Ax = |Ax|2 > 0 si x = 0. La matrice At A est donc bien symtrique dfinie positive.
La mthode de Choleski dans le cas dune matrice non symtrique consiste donc calculer At A et At b, puis
rsoudre le systme linaireAt A x = At b par la mthode de Choleski symtrique".
Cette manire de faire est plutt moins efficace que la dcomposition LU puisque le cot de la dcomposition LU
est de 2n3 /3 alors que la mthode de Choleski dans le cas dune matrice non symtrique ncessite au moins 4n3 /3
oprations (voir exercice 20).
Systmes linaires non carrs
On considre ici des matrices qui ne sont plus carres. On dsigne par MM,n (IR) lensemble des matrices relles
M lignes et n colonnes. Pour A MM,n (IR), M > n et b IR M , on cherche x IR n tel que
Ax = b.
(1.40)
Ce systme contient plus dquations que dinconnues et nadmet donc en gnral pas de solution. On cherche
x IR n qui vrifie le sytme (1.40) au mieux". On introduit pour cela une fonction f dfinie deIR n dans IR par :
f (x) = |Ax b|2 ,
o |x| = x x dsigne la norme euclidienne sur IR n . La fonction f ainsi dfinie est videmment positive, et sil
existe x qui annule f , alors x est solution du systme (1.40). Comme on la dit, un tel x nexiste pas forcment, et on
cherche alors un vecteur x qui vrifie (1.40) au mieux", au sens o f (x) soit le plus proche de 0. On cherche donc
x IR n satisfaisant (1.40) en minimisant f , c..d. en cherchant x IR n solution du problme doptimisation :
f (x) f (y) y IR n
(1.41)
On peut rcrire f sous la forme : f (x) = At Ax x 2b Ax + b b. On montrera au chapitre III que sil existe
une solution au problme (1.41), elle est donne par la rsolution du systme linaire suivant :
AAt x = At b IR n ,
(1.42)
quon appelle quations normales du problme de minimisation. La rsolution approche du problme (1.40) par
cette procdure est appele mthode des moindres carrs . La matrice AAt tant symtrique, on peut alors employer
la mthode de Choleski pour la rsolution du systme (1.42).
1.3.5
Exercices
1 2 0
1. La matrice B = 1 1 0 est symtrique dfinie positive.
0 0 3
2. La matrice B ci-dessus admet une dcomposition LU .
[
]
1 1
3. La matrice
scrit C t C.
1 3
(
)
(
)
1 1
1 1
t
4. La matrice A =
admet une dcomposition de Choleski A = C C avec C =
.
1 5
0 2
37
1 0 0
0 2 0
1. Donner la dcomposition LU de la matrice A =
0 0 1
1 2 1
1 0 0
2. Montrer que la matrice A = 0 0 1 vrifie P A = LU
0 1 0
laire infrieure et U triangulaire suprieure dterminer.
2 1 0
3. Calculer la dcomposition LU de la matrice 1 2 1
0 1 2
1
1
.
1
0
avec P une matrice de permutation, L triangu-
2 1 4 0
1.
2. 1. 2.
4 1 5 1
1. 1. 0. 2.
.
A=
B=
2 2 2 3 ;
1.
2. 2. 3.
0
3 9 4
1. 1. 1. 0.
Exercice 14 (Dcomposition LU dune matrice paramtres). Corrig en page 42.
Soient a, b, c et d des nombres rels. On considre la matrice suivante :
a a a a
a b b b
A=
a b c c .
a b c d
Appliquer lalgorithme dlimination de Gauss A pour obtenir sa dcomposition LU .
Donner les conditions sur a, b, c et d pour que la matrice A soit inversible.
Exercice 15 (Dcomposition LU et mineurs principaux). Montrer que la matrice A de coefficients
1 si i > j
1 si i = j et j = n
aij =
0 sinon
admet une dcomposition LU (sans permutation pralable). Calculer les coefficients diagonaux de la matrice U .
Exercice 16 (Conservation du profil). On considre des matrices A et B M4 (IR) de la forme suivante, o x en
position (i, j) de la matrice signifie que le coefficient ai,j est non nul) et 0 en position (i, j) de la matrice signifie
que ai,j = 0.)
x x x x
x x x 0
x x x 0
x x 0 x
A=
0 x x 0 et B = 0 x x x .
0 0. x. x
0 x. x. x
Quels sont les coefficients nuls (nots 0 dans les matrices) qui resteront nuls dans les matrices L et U de la
factorisation LU (si elle existe) ?
Exercice 17 (Matrices dfinies positives et dcomposition LU). On rappelle que les mineurs principaux dune
matrice A Mn (IR), sont les dterminants p des matrices Ap = A(1 : p, 1 : p) extraites de la matrice A.
Analyse numrique I, tl-enseignement, L3
38
1. Montrer quune matrice symtrique dfinie positive a tous ses mineurs pricipaux strictement positifs.
2. En dduire que toute matrice symtrique dfinie positive admet une dcomposition LU .
Exercice 18 (Matrices non inversibles et dcomposition LU).
1. Matrices 2 2 [
(a) Soit A =
a11
a21
]
a12
On suppose que a11 = 0.
a22
1.
2. 3.
7. 9. . et en dduire que la matrice A peut se dcomposer en
(a) Echelonner la matrice A = 5.
12. 15. 18.
eU
e o L
e est une matrice triangulaire infrieure dont les coefficients diagonaux sont gaux 1,
A=L
e
et U est une matrice triangulaire suprieure.
[
]
a11 a12 a13
a
a12
(b) Soit A = a21 a22 a23 . Montrer que si a11 = 0 et que la matrice 11
est inversible,
a21 a22
a31 a32 a33
e U
e ) tel que A = L
eU
e , o L
e est triangulaire infrieure
alors il existe un unique couple de matrices (L,
e triangulaire suprieure.
dont les coefficients diagonaux sont gaux 1, et une matrice U
3. Matrices n n.
(a) Gnraliser le rsultat de la question une matrice de dimension n : donner le rsultat espr sous
forme de thorme et le dmontrer.
(b) Soit maintenant A une matrice de dimensions n n. . Montrer quil existe une matrice de permutation
e triangulaire infrieure et de coefficients diagonaux gaux 1, et U
e triangulaire
P et des matrices L
suprieure, telles que P A = LU . (On pourra commencer par le cas o est de rang gal n 1.)
Exercice 19 (Dcomposition LLt pratique ). Corrig en page 43.
L
t de la matrice A
1. Soit A une matrice symtrique dfinie positive. Montrer que ladcomposition de Choleski L
= L D o D est la matrice diagonale extraite de U .
est obtenue partir de sa dcomposition LU en posant L
(Voir remarque 1.20.)
2 1 0
0
1 2 1 0
39
1 0 . . .
0
2 2
0
.
.
.
0
.
.
..
.. . . . 0
L=
0
..
.
.
..
. . . . . ...
.
0
0 n n
2. Donner un algorithme de calcul des coefficients i et i , en fonction des coefficients ai,j , et calculer le
nombre doprations lementaires ncessaires dans ce cas.
3. En dduire la dcomposition LLt de la matrice :
1 1 0
1 2 1
A=
0 1 2
0
0 1
0
0
0
0
0
0
0
1 0
2 1
1 2
1.3.6
Suggestions
Exercice 23 page 40
2. Soit q le nombre de sur- ou sous-diagonales (p = 2q + 1). Compter le nombre cq doprations ncessaires
pour le calcul des colonnes 1 q et n q + 1 n, puis le nombre dn doprations ncessaires pour le calcul des
40
colonnes n = q + 1 n q. En dduire lestimation sur le nombre doprations ncessaires pour le calcul de toutes
les colonnes, Zp (n), par :
nq
2cq Zp (n)2cq +
cn .
n=q+1
1.3.7
Corrigs
1 0 0
1
L = 1 1 0 et U = 0
0 0 1
0
2 0
1 0 .
0 3
1
0
L=
0
1
0 0 0
1
0
1 0. 0.
et U =
0
0 1 0.
1 1 1.
0
0
2
0
0
0
0
1
0
1
1
1
3
2. La matrice A est une matrice de permutation (des lignes 2 et 3). Donc on a P = A et P A = Id = LU avec
L = U = Id.
2 1 0
3. Calculer la dcomposition LU de la matrice 1 2 1 Lchelonnement donne
0 1 2
L = 12
0
0
1
2
3
2
0
0 et U = 0
1
0
1
3
2
0
1
4
3
2 1 4 0
2 1 4 0
4 1 5 1
2 2 21 0 1 3 1 = A(2)
A = A(1) =
2 2 2 3 3 3 ++1 0 1
2 3
0
3 9 4
0 3 9 4
41
o i i j veut dire quon a soustrait fois la ligne j la ligne i. On a donc, sous forme matricielle,
1 0 0 0
2 1 0 0
1 0 0
2 1 0
=
1 0 1
0 0 0
0
1
2
0
et donc L =
1
0
1
x
0 0 0
1 0 0
x 1 0
x x 1
Etape k= 2
2 1 4 0
2
0
1
3
1
3 3 2 = 0
A(2) =
0 1
2 3 4 4 32 0
0
0 3 9 4
1 4 0
1 0 0 0
1 3 1
= A(3) = E (2) A(2) avec E (2) = 0 1 0 0.
0 1 1 0
0
5 2
0
0 1
0 3 0 1
1 0 0 0
1 0 0 0
0 1 0 0
2 1 0 0
(2)
(2) 1 (3)
(2) 1
.
Notons que A = (E ) A avec (E ) =
et donc L =
0 1 1 0
1 1 1 0
0 3 0 1
0 3 0 1
(3)
Et la vie est belle... car A est dj triangulaire suprieure, avec tous les coefficients diagonaux non nuls (ce qui
prouve A est inversible). On na donc pas besoin dtape 4 :
2 1 4 0
0 1 3 1
.
U = A(3) =
0 0
5 2
0 0
0 1
On a galement U = A(3) = E (2) E (1) A, soit encore A = (E (1) )1 (E (2) )1 U = LU avec
1 0 0 0
2 1 0 0
L = (E (1) )1 (E (2) )1 =
1 1 1 0
0 3 0 1
On peut vrifier par le calcul quon a bien A = LU . Une fois que le mcanisme dlimination est bien compris, il
est inutile de calculer les matrices E k) : on peut directement stocker les multiplicateurs de llimination de Gauss
dans la matrice L. Cest ce quon va faire pour la prochaine matrice.
1. 0. 0. 0.
1. 2. 1.
1. 1. 0. 0.
0. 1. 1.
2.
0.
1.
1.
1 0 0 0
1 1 0 0
E1 =
1 0 1 0 .
1 0 0 1
42
On obtient :
a
a
a
0 b a b a
E1 A=
0 ba ca
0 ba ca
La deuxime tape consiste multiplier A gauche par E2 , avec
1
0 0
0
1 0
E2 ==
0 1 1
0 1 0
a
0
E2 E1 A=
0
0
On obtient :
a
a
ba ba
0
cb
0
cb
a
b a
.
c a
da
0
0
.
0
1
a
b a
.
c b
db
1 0
0 0
0 1
0 0
.
E3 =
0 0
1 0
0 0 1 1
On obtient :
a
0
E3 E2 E1 A =
0
0
a
a
a
b a b a b a
.
0
c b c b
0
0
dc
On A = LU avec L = (E3 E2 E1 )1 = (E1 )1 (E2 )1 (E3 )1 ; les matrices (E1 )1 , (E2 )1 et (E3 )1 sont
faciles calculer : la multiplication gauche par (E1 )1 consiste ajouter la premire ligne toutes les suivantes ;
on calcule de la mme faon (E2 )1 et (E3 )1 . On obtient :
1 0 0 0
1 0 0 0
1 0 0 0
1 1 0 0
0 1 0 0
0 1 0 0
1
1
(E1 )1 =
1 0 1 0 , (E2 ) = 0 1 1 0 , (E3 ) = 0 0 1 0 ,
1 0 0 1
0 1 0 1
0 0 1 1
1
1
et donc L =
1
1
0
1
1
1
0
0
1
1
0
a
0
0
et U =
0
0
1
0
a
a
a
b a b a b a
.
0
c b c b
0
0
dc
La matrice L est inversible car produit de matrices lmentaires, et la matrice A est donc inversible si et seulement
si la matrice U lest. Or U est une matrice triangulaire qui est inversible si et seulement si ses lments diagonaux
sont non nuls, c..d. a = 0, b = c et c = d.
Exercice 19 page 39 (Dcomposition LLt pratique )
1. Ecrivons llimination de Gauss sur cette matrice, en stockant les multiplicateurs quon utilise au fur et mesure
dans la matrice E (k) pour chaque tape k.
43
Etape k = 1
A = A(1)
2
4
=
2
0
1 4 0
2
0
1 5 1
2 2 21
2 2 3 3 3 ++1 0
3 9 4
0
1 4 0
1 3 1
= A(2)
1
2 3
3 9 4
o i i j veut dire quon a soustrait fois la ligne j la ligne i. On a donc, sous forme matricielle,
1 0 0 0
2 1 0 0
1 0 0 0
2 1 0 0
=
1 0 1 0
0 0 0 1
2 1 4 0
2
0 1 3 1
0
(2)
3 3 2 =
A =
0 1
2 3 4 4 32 0
0 3 9 4
0
1 4 0
1 0 0 0
1 3 1
= A(3) = E (2) A(2) avec E (2) = 0 1 0 0.
0
5 2
0 1 1 0
0
0 1
0 3 0 1
1 0 0 0
0 1 0 0
2 1 4 0
0 1 3 1
.
U = A(3) =
0 0
5 2
0 0
0 1
On a galement U = A(3) = E (2) E (1) A, soit encore A = (E (1) )1 (E (2) )1 U = LU avec
1 0 0 0
2 1 0 0
L = (E (1) )1 (E (2) )1 =
1 1 1 0
0 3 0 1
2. Si A est une matrice symtrique dfinie positive, on sait par le thorme 1.17 et la remarque 1.20 quil existe une
unique dcomposition LU : A = LU . Le thorme 1.19 nous donne lexistence (et lunicit) de la dcomposition
L
t . Soit D
la matrice diagonale extraite de L,
qui est strictement positive par construction de L
; on pose
A=L
1
t
2 t
2
2 1 0
0
1 2 1 0
44
2a b
a
a + 2b c b
Ax x =
b + 2c d c
c + 2d
d
Donc Ax x = 2a2 ab ab + 2b2 bc bc + 2c2 cd cd + 2d2 = a2 + (a b)2 + (b c)2 + (c d)2 + d2 0.
De plus Ax x = 0 ssi a = b = c = d = 0. Donc A est sdp.
On peut soit appliquer ici lalgorithme de construction de la matrice donn dans la partie unicit de la preuve
du thorme 1.19 dexistence et dunicit de la dcomposition de Choleski, soit procder comme en 1, calculer
la
L
t avec L
= L D, o
dcomposition
LU
habituelle,
puis
calculer
la
dcomposition
de
A
=
LU
,
crire
A
=
L
Det D la matrice diagonale extraite de U , comme dcrit plus haut. Nous allons procder selon le deuxime choix,
parce que les matrices L dans les dcompositions
qui est un peu plus rapide crire. (on utilise ici la notation L
t
LU et LL ne sont pas les mmes...)
Etape k = 1
2 1 0
0
2 1 0
0
1 2 1 0
0 3 1 0
(2)
2
2
1
A = A(1) =
+
2
1
2
0 1 2 1
0 1 2 1 = A
0
0 1 2
0 0 1 2
Etape k = 2
A(2)
2 1
0 3
2
=
0 1
0 0
A(3)
2 1
0 3
2
=
0 0
0 0
2
0
0
0
1 0
2
2 1 3 3 + 3 2 0
1 2
0
1
3
2
0
0
0
0
= A(3)
4
1
3
1 2
0
1
Etape k = 3
2
0
0
0
3
4
1 4 4 + 4 3 0
3
1 2
0
0
1
1
3
2
0
1
0
0
4
3
0
0
= A(4)
1
5
4
On vrifie alors quon a bien U = A(4) = DLt o L est la matrice inverse du produit des matrices lmentaires
utilises pour transformer A en une matrice lmentaire (mme raisonnement quen 1), c..d.
1
0
0 0
1
1
0 0
2
L=
0 2
1 0
3
0
0 34 1
L
t avec
On en dduit la dcomposition A = L
2
=
L
2
0
0
6
2
36
0
0
2 3
3
23
0
0
0
5
2
3. Que deviennent les coefficients nuls dans la dcomposition LLt ci-dessus ? Quelle est la proprit vue en cours
qui est ainsi vrifie ?
Ils restent nuls : le profil est prserv, comme expliqu dans le cours page 17.
45
2. 2. Reprenons en ladaptant la dmonstration du thorme 1.3. On raisonne donc par rcurrence sur la dimension.
1. Dans le cas n = 1, on a A = (a1,1 ). On peut donc dfinir L = (1,1 ) o 1,1 = 1, D = (a1,1 ), d1,1 = 0, et
on a bien A = LDLt .
2. On suppose que, pour 1 p n, la dcomposition A = LDLt sobtient pour A Mp (IR) symtrique
dfinie positive ou ngative, avec di,i = 0 pour 1 i n et on va dmontrer que la proprit est encore
vraie pour A Mn+1 (IR) symtrique dfinie positive ou ngative. Soit donc A Mn+1 (IR) symtrique
dfinie positive ou ngative ; on peut crire A sous la forme :
B
a
A=
(1.43)
at
o B Mn (IR) est symtrique dfinie positive ou ngative (calculer Ax x avec x = (y, 0)t , avec y IR n
pour le vrifier), a IR n et IR.
Par hypothse de rcurrence, il existe une matrice M Mn (IR) M = (mi,j )ni,j=1 et une matrice diagonale
= diag(d1,1 , d2,2 , . . . , dn,n ) dont les coefficients sont tous non nuls, telles que :
D
(a)
mi,j = 0 si j > i
(b)
mi,i = 1
t.
B = M DM
(c)
46
L=
bt
0
D
, D =
1
0
(1.44)
avec b IR n , IR tels que LDLt = A. Pour dterminer b et , calculons LDLt avec L et D de la forme
(1.44) et identifions avec A :
1
0
t
LDL =
bt
Mt
t
M DM
=
t
1
bt DM
M Db
+
bt Db
On cherche b IR n et IR tels que LDLt = A, et on veut donc que les galits suivantes soient
vrifies :
= a et bt Db
+ = .
M Db
n
La matrice M est inversible (en effet, le dterminant de M scrit det(M ) = i=1 1 = 1). Par hypothse
est aussi inversible. La premire galit ci-dessus donne : b = D
1 M 1 a. On
de rcurrence, la matrice D
t
1
calcule alors = b M a. Remarquons quon a forcment = 0, car si = 0,
t
M Db
M DM
A = LDLt =
t
t
t
b DM
b Db
qui nest pas inversible. En effet, si on cherche (x, y) IR n IR solution de
t
x
0
M Db
M DM
= ,
t
t
t
y
0
b DM
b Db
on se rend compte facilement que tous les couples de la forme (M t by, y)t , y IR, sont solutions. Le
noyau de la matrice nest donc pas rduit {0} et la matrice nest donc pas inversible. On a ainsi montr que
dn+1,n+1 = 0 ce qui termine la rcurrence.
3. On reprend lalgorithme de dcomposition LLt :
Soit A Mn (IR) symtrique dfinie positive ou ngative ; on vient de montrer quil existe une matrice L
Mn (IR) triangulaire infrieure telle que i,j = 0 si j > i, i,i = 1, et une matrice D Mn (IR) diagonale
inversible, telles que et A = LDLt . On a donc :
ai,j =
(1.45)
k=1
47
Pour i = n + 1, an+1,n+1 =
2n+1,k dk,k + dn+1,n+1 donc
k=1
dn+1,n+1 = an+1,n+1
2n+1,k dk,k .
(1.46)
k=1
n+1
k=1
k=1
et donc, comme on a montr dans la question 2 que les coefficients dk,k sont tous non nuls, on peut crire :
(
i,n+1 =
ai,n+1
)
i,k dk,k n+1,k
k=1
1
dn+1,n+1
(1.47)
1
Calcul de n+2,n+1 = an+2,n+1
n+2,k n+1,k
:
n+1,n+1
k=1
une division seulement car n+2,k = 0.
On en dduit que le nombre doprations lmentaires pour le calcul de la colonne n + 1, avec 1 n < n 1, est
de 4.
Or le nombre doprations pour la premire et dernire colonnes est infrieur 4 (2 oprations pour la premire
colonne, une seule pour la dernire). Le nombre Z1 (n) doprations lmentaires pour la dcomposition LLt de A
peut donc tre estim par : 4(n 2) Z1 (n) 4n, ce qui donne que Z1 (n) est de lordre de 4n (le calcul exact
du nombre doprations, inutile ici car on demande une estimation, est 4n 3.)
2. Cas dune matrice p diagonales.
On cherche une estimation du nombre doprations Zp (n) pour une matrice p diagonales non nulles (ou q sousdiagonales non nulles) en fonction de n.
On remarque que le nombre doprations ncessaires au calcul de
n+1,n+1 = (an+1,n+1
(1.48)
k=1
(
et i,n+1 =
ai,n+1
)
i,k n+1,k
k=1
48
1
,
n+1,n+1
(1.49)
n
est toujours infrieur 2q + 1, car la somme k=1 fait intervenir au plus q termes non nuls.
De plus, pour chaque colonne n + 1, il y a au plus q + 1 coefficients i,n+1 non nuls, donc au plus q + 1 coefficients
calculer. Donc le nombre doprations pour chaque colonne peut tre major par (2q + 1)(q + 1).
On peut donc majorer le nombre doprations zq pour les q premires colonnes et les q dernires par 2q(2q +
1)(q + 1), qui est indpendant de n (on rappelle quon cherche une estimation en fonction de n, et donc le nombre
zq est O(1) par rapport n.)
Calculons maintenant le nombre doprations xn ncessaires une colonne n = q + 1 n q 1. Dans (1.48) et
(1.49), les termes non nuls de la somme sont pour k = i q, . . . , n, et donc on a (n i + q + 1) multiplications
et additions, une division ou extraction de racine. On a donc
xn
n+q+1
)
2(n i + q + 1) + 1
i=n+1
q+1
2(j + q + 1) + 1
j=1
= (q + 1)(2q + 3) 2
q+1
j=1
= (q + 1)2 .
Le nombre zi doprations ncessaires pour les colonnes n = q + 1 n q 1 est donc
zi = (q + 1)2 (n 2q).
Un encadrement du nombre doprations ncessaires pour la dcomposition LLt dune matrice p diagonales est
donc donne par :
(q + 1)2 (n 2q) Zp (n) (q + 1)2 (n 2q) + 2q(2q + 1)(q + 1),
(1.50)
et que, q constant, Zp (n) = O((q + 1) n)). Remarquons quon retrouve bien lestimation obtenue pour q = 1.
3. Dans le cas de la discrtisation de lquation u = f (voir page 10), on a q = 1 et la mthode de Choleski
ncessite de lordre de 4n
oprations lmentaires, alors que dans le cas de la discrtisation de lquation u = f
(voir page 12), on a q = n et la mthode de Choleski ncessite de lordre de n2 oprations lmentaires (dans
les deux cas n est le nombre dinconnues).
On peut noter que lencadrement (1.50) est intressant ds que q est dordre infrieur n , < 1.
1.4.1
49
1. On appelle norme matricielle sur Mn (IR) une norme sur Mn (IR) t.q.
AB AB, A, B Mn (IR)
(1.51)
2. On considre IR n muni dune norme . On appelle norme matricielle induite (ou norme induite) sur
Mn (IR) par la norme , encore note , la norme sur Mn (IR) dfinie par :
A = sup{Ax; x IR n , x = 1}, A Mn (IR)
(1.52)
Proposition 1.24 (Proprits des normes induites). Soit Mn (IR) muni dune norme induite . Alors pour toute
matrice A Mn (IR), on a :
1. Ax A x, x IR n ,
2. A = max {Ax ; x = 1, x IR n },
{
}
Ax
; x IR n \ {0} .
3. A = max
x
4. est une norme matricielle.
D MONSTRATION
x
, alors y = 1 donc Ay A. On en dduit
x
Ax
A et donc Ax A x. Si maintenant x = 0, alors Ax = 0, et donc x = 0 et Ax = 0 ;
x
lingalit Ax A x est encore vrifie.
2. Lapplication dfinie de IR n dans IR par : (x) = Ax est continue sur la sphre unit S1 = {x IR n |x = 1}
qui est un compact de IR n . Donc est borne et atteint ses bornes : il existe x0 IR n tel que A = Ax0 .
Ax
x
x
3. Cette galit rsulte du fait que
= A
et
S1 pour tout x = 0.
x
x
x
4. Soient A et B Mn (IR), on a AB = max {ABx ; x = 1, x IR n } . Or ABx ABx
ABx AB. On en dduit que est une norme matricielle.
Dfinition 1.25 (Rayon spectral). Soit A Mn (IR) une matrice inversible. On appelle rayon spectral de A la
quantit (A) = max{||; Cl, valeur propre de A}.
max
i{1,...,n}
|ai,j |.
(1.53)
j=1
max
j{1,...,n}
50
|ai,j |
(1.54)
i=1
A2 = ((At A)) 2 .
(1.55)
sup
xIR n ,x2 =1
Ax Ax =
sup
xIR n ,x2 =1
At Ax x.
Comme At A est une matrice symtrique positive (car At Ax x = Ax Ax 0), il existe une base orthonorme
(f i )i=1,...,n et des valeurs
propres (i )i=1,...,n , avec 0 1 2 . . . n tels que Af i = i f i pour tout
i {1, . . . , n}. Soit x = i=1,...,n i f i IR n . On a donc :
(
) (
)
At Ax x =
i i f i
i f i =
i2 i n x22 .
i=1,...,n
i=1,...,n
i=1,...,n
Nous allons maintenant comparer le rayon spectral dune matrice avec des normes. Rappelons dabord le thorme
de triangularisation (ou trigonalisation) des matrices complexes.
Thorme 1.27 (Dcomposition de Schur, triangularisation dune matrice). Soit A Mn (IR) ou Mn (Cl) une
matrice carre quelconque, relle ou complexe ; alors il existe une matrice complexe Q inversible et une matrice
complexe triangulaire suprieure T telles que A = QT Q1 .
Ce rsultat snonce de manire quivalente de la manire suivante : Soit une application linaire de E dans
E, o E est un espace vectoriel norm de dimension finie n sur Cl. Alors il existe
une base (f1 , . . . , fn ) de Cl et
une famille de complexes (ti,j )i=1,...,n,j=1,...,n,ji telles que (fi ) = ti,i fi + k<i tk,i fk . De plus ti,i est valeur
propre de et de A pour tout i {1, . . . , n}.
Les deux noncs sont quivalents au sens o la matrice A de lapplication linaire scrit A = QT Q 1, o T
est la matrice triangulaire suprieure de coefficients (ti,j )i,j=1,...,n,ji et Q la matrice inversible dont la colonne
j est le vecteur fj ).
D MONSTRATION On dmontre cette proprit par rcurrence sur n. Elle est videmment vraie pour n = 1. Soit
n 1, on suppose la proprit vraie pour n et on la dmontre pour n + 1. Soint donc E un espace vectoriel sur C
l
de dimension dim + 1 et une application linaire de E dans C
l . On sait quil existe C
l (qui rsulte du caractre
algbriquement clos de C
l ) et f 1 E tels que (f 1 ) = f 1 et f 1 = 1 ; on pose t1,1 = et on note F le sous
espace vectoriel de E supplmentaire orthogonal de C
l f 1 . Soit u F , il existe un unique couple (, v) C
l F tel que
(u) = f1 + v. On note lapplication qui u associe v. On peut appliquer lhypothse de rcurrence (car est
une application linaire de F dans F , et F est de dimension n). Il existe donc une base orthonorme f 2 , . . . , f n+1 de F
et (ti,j )ji2 tels que
i) =
(f
tj,i f j , i = 2, . . . , n + 1.
2ji
On en dduit que
(f i ) =
tj,i f j , i = 1, . . . , n + 1.
1jin
51
Dans la proposition suivante, nous montrons quon peut toujours trouver une norme (qui dpend de la matrice)
pour approcher son rayon spectral daussi prs que lon veut par valeurs suprieures.
Proposition 1.28 (Approximation du rayon spectral par une norme induite). Soient A Mn (IR) et > 0. Il
existe une norme sur IR n (qui dpend de A et ) telle que la norme induite sur Mn (IR), note A, , vrifie
AA, (A) + .
D MONSTRATION Soit A Mn (IR), alors par le thorme de triangularisation de Schur (thorme
1.27 ppcdent),
il existe une base (f 1 , . . . , f n ) de C
l n et une famille de complexes (ti,j )i,j=1,...,n,ji telles que Af i = ji tj,i fj . Soit
]0, 1[, quon choisira plus prcisment plus tard. Pour i = 1, . . . , n,
dfinit ei = i1 fi . La famille (ei )i=1,...,n
on
n
n
n
forme une base de C
l . On dfinit alors une norme sur IR par x = ( i=1 i i )1/2 , o les i sont les composantes de
x dans la base (ei )i=1,...,n . Notons que cette norme dpend de A et de . Soit > 0 ; montrons que pour bien choisi,
on a A (A) + . Remarquons dabord que
ij
Aei = A( i1 f i ) = i1 Af i i1
tk,i f j = i1
tj,i 1j ej =
tj,i ej ,
Soit maintenant x =
ji
i=1,...,n
Ax =
ji
1ji
i ei . On a
i Aei =
i=1
ij tj,i i ej =
i=1 1ji
( n
)
ij i,j i ej .
j=1 i=j
On en dduit que
Ax2 =
( n
ij tj,i i
j=1 i=j
n
)(
)
ij tj,i i ,
i=j
tj,j tj,j j j +
j=1
j=1
k,j
(k,)=(j,j)
(A)2 x2 + max |k |2
k=1,...,n
j=1
k,j
(k,)=(j,j)
k,j
(k,)=(j,j)
o CT =
max |tj,k ||tj,k | ne dpend que de la matrice T , qui elle mme ne dpend que de A. Comme max |k |2
j,k,=1,...,n
k=1,...,n
|k |2 = x2 , on a donc
k=1,...,n
Ax2
(A)2 + CT n3
x2
On en conclut que :
)
(
CT n3
CT n3
A (A) 1 +
(A)
+
,
(A)2
2(A)
(
)
2(A)
Do le rsultat, en prenant A, = et tel que = min 1,
.
CT n3
Corollaire 1.29 (Convergence et rayon spectral). On munit Mn (IR) dune norme, note . Soit A Mn (IR).
Alors :
(A) < 1 si et seulement si Ak 0 quand k .
52
D MONSTRATION Si (A) < 1, grce au rsultat dapproximation du rayon spectral de la proposition prcdente, il
existe > 0 tel que (A) < 1 2 et une norme induite .A, tels que AA, = (A) + = 1 < 1. Comme
.A, est une norme matricielle, on a Ak A, k 0 lorsque k . Comme lespace Mn (IR) est de dimension
finie, toutes les normes sont quivalentes, et on a donc Ak 0 lorsque k . Montrons maintenant la rciproque :
supposons que Ak 0 lorsque k , et montrons que (A) < 1. Soient une valeur propre de A et x un vecteur
propre associ. Alors Ak x = k x, et si Ak 0, alors Ak x 0, et donc k x 0, ce qui nest possible que si || < 1.
Remarque 1.30 (Convergence des suites). Une consquence immdiate du corollaire prcdent est que la suite
(x(k) )kIN dfinie par x(k+1) = Ax(k) converge vers 0 (le vecteur nul) pour tout x(0) donn si et seulement si
(A) < 1.
Proposition 1.31 (Convergence et rayon spectral). On munit Mn (IR) dune norme, note . Soit A Mn (IR).
Alors
1
(1.56)
(A) = lim Ak k .
k
D MONSTRATION
que
La dmonstration se fait par des arguments dhomognit, en trois tapes. Rappelons tout dabord
lim sup uk = lim sup un ,
k+ nk
k+
k+ nk
et que si lim supk+ uk lim inf k+ uk , alors la suite (uk )kIN converge vers limk+ uk = lim inf k+ uk =
lim supk+ uk .
Etape 1. On montre que
1
(1.57)
En effet, si i (A) < 1, daprs le corollaire 1.29 on a : Ak 0 donc il existe K IN tel que pour k K, Ak < 1.
On en dduit que pour k K, Ak 1/k < 1, et donc en passant la limite sup sur k, on obtient bien que
1
lim sup Ak k 1.
k+
(1.58)
Pour dmontrer cette assertion, rappelons que pour toute suite (uk )kIN dlments de IR ou IR n , la limite infrieure
lim inf k+ uk est une valeur dadhrence de la suite (uk )kIN , donc quil existe une suite extraite (ukn )nIN telle que
ukn lim inf k+ uk lorsque k +. Or lim inf k+ Ak 1/k < 1 ; donc il existe une sous-suite (kn )nIN IN
telle que Akn 1/kn < 1 lorsque n +, et donc il existe n tel que pour n n, Akn 1/kn , avec ]0, 1[.
On en dduit que pour n n, Akn kn , et donc que Akn 0 lorsque n +. Soient une valeur propre de A
et x un vecteur propre associ, on a : Akn x = kn x ; on en dduit que || < 1, et donc que (A) < 1.
1
(1.59)
k+
1
Soit maintenant IR + tel que lim inf k+ Ak k < . On a alors lim inf k+ ( 1 A)k k < 1 et donc en vertu
1
de (1.58), ( 1 A) < 1, donc (A) < pour tout IR + tel que lim inf k+ Ak k < . En faisant tendre vers
1
53
(1.60)
k+
k+
(1.61)
Corollaire 1.32 (Comparaison rayon spectral et norme). On munit Mn (IR) dune norme matricielle, note .
Soit A Mn (IR). Alors :
(A) A.
Par consquent, si M Mn (IR) et x(0) IR n , pour montrer que la suite x(k) dfinie par x(k) = M k x(0)
converge vers 0 dans IR n , il suffit de trouver une norme matricielle telle que M < 1.
D MONSTRATION Si . est une norme matricielle, alors Ak Ak et donc par la caractrisation (1.56) du rayon
spectral donne dans la proposition prcdente, on obtient que (A) A.
Ce dernier rsultat est videmment bien utile pour montrer la convergence de la suite Ak , ou de suites de la forme
Ak x(0) avec x(0) IR n . Une fois quon a trouv une norme matricielle pour laquelle A est de norme strictement
infrieure 1, on a gagn. Attention cependant au pige suivant : pour toute matrice A, on peut toujours trouver
une norme pour laquelle A < 1, alors que la srie de terme gnral Ak peut ne pas tre convergente.
Prenons un exemple dans IR, x = 41 |x|. Pour x = 2 on a x = 12 < 1. Et pourtant la srie de terme gnral
xk nest pas convergente ; le problme ici est que la norme choisie nest pas une norme matricielle (on na pas
xy xy).
De mme, on peut trouver une matrice et une norme telles que A 1, alors que la srie de terme gnral Ak
converge...
Nous donnons maintenant un thorme qui nous sera utile dans ltude du conditionnement, ainsi que plus tard
dans ltude des mthodes itratives.
1
.
1 A
2. Si une matrice de la forme Id + A Mn (IR) est singulire, alors A 1 pour toute norme matricielle
.
D MONSTRATION
1. La dmonstration du point 1 fait lobjet de lexercice 30 page 60.
2. Si la matrice Id + A Mn (IR) est singulire, alors = 1 est valeur propre, et donc (A) 1. En utilisant le
corollaire 1.32, on obtient que A (A) 1.
54
1.4.2
Soient A Mn (IR) inversible et b IR n ; supposons que les donnes A et b ne soient connues qu une erreur
prs. Ceci est souvent le cas dans les applications pratiques. Considrons par exemple le problme de la conduction
thermique dans une tige mtallique de longueur 1, modlise par lintervalle [0, 1]. Supposons que la temprature
u de la tige soit impose aux extrmits, u(0) = u0 et u(1) = u1 . On suppose que la temprature dans la
tige satisfait lquation de conduction de la chaleur, qui scrit (k(x)u (x)) = 0, o k est la conductivit
thermique. Cette quation diffrentielle du second ordre peut se discrtiser par exemple par diffrences finies (on
verra une description de la mthode page 11), et donne lieu un systme linaire de matrice A. Si la conductivit
k nest connue quavec une certaine prcision, alors la matrice A sera galement connue une erreur prs, note
A . On aimerait que lerreur commise sur les donnes du modle (ici la conductivit thermique k) nait pas une
consquence catastrophique sur le calcul de la solution du modle (ici la temprature u). Si par exemple 1%
derreur sur k entrane 100% derreur sur u, le modle ne sera pas dune utilit redoutable. . .
Lobjectif est donc destimer les erreurs commises sur x solution de (1.1) partir des erreurs commises sur b et A.
Notons b IR n lerreur commise sur b et A Mn (IR) lerreur commise sur A. On cherche alors valuer x
o x + x est solution (si elle existe) du systme :
{
x + x IR n
(1.62)
(A + A )(x + x ) = b + b .
On va montrer que si A nest pas trop grand", alors la matrice A + A est inversible, et quon peut estimer x en
fonction de A et b .
1.4.3
Dfinition 1.34 (Conditionnement). Soit IR n muni dune norme et Mn (IR) muni de la norme induite. Soit
A Mn (IR) une matrice inversible. On appelle conditionnement de A par rapport la norme le nombre
rel positif cond(A) dfini par :
cond(A) = A A1 .
Proposition 1.35 (Proprits gnrales du conditionnement). Soit IR n muni dune norme et Mn (IR) muni
de la norme induite.
1. Soit A Mn (IR) une matrice inversible, alors cond(A) 1.
2. Soit A Mn (IR) une matrice inversible et IR , alors cond(A) = cond(A).
3. Soient A et B Mn (IR) des matrices inversibles, alors cond(AB) cond(A)cond(B).
D MONSTRATION 1. Comme est une norme induite, cest donc une norme matricielle. On a donc pour toute
matrice A Mn (IR),
Id A A1
ce qui prouve que cond(A) 1.
2.Par dfinition,
A (A)1
1
= || A A1 = cond(A)
||
3. Soient A et B des matrices inversibles, alors AB est une matrice inversible et
cond(A)
cond(AB)
AB (AB)1 = AB B 1 A1
A B B 1 A1 ,
55
Proposition 1.36 (Caractrisation du conditionnement pour la norme 2). Soit IR n muni de la norme euclidienne
2 et Mn (IR) muni de la norme induite. Soit A Mn (IR) une matrice inversible. On note cond2 (A) le
conditionnement associ la norme induite par la norme euclidienne sur IR n .
1. Soit A Mn (IR) une matrice inversible. On note n [resp. 1 ] la plus grande [resp. petite]
valeur propre
de At A (noter que At A est une matrice symtrique dfinie positive). Alors cond2 (A) = n /1 .
2. Si de plus A une matrice symtrique dfinie positive, alors cond2 (A) =
grande [resp. petite] valeur propre de A.
n
1 ,
D MONSTRATION On rappelle que si A a comme valeurs propres 1 , . . . , n , alors A1 a comme valeurs propres
1
t
1
1 , . . . , n et A a comme valeurs propres 1 , . . . , n .
1
o
1 est la plus petite valeur propre de la matrice AAt . Or les valeurs propres de AAt sont les valeurs propres de At A :
en effet, si est valeur propre de AAt associe au vecteur propre x alors est valeur propre de AAt associe au vecteur
propre At x. On a donc
n
cond2 (A) =
.
1
2. Si A est s.d.p., alors At A = A2 et i = 2i o i est valeur propre de la matrice A. On a dans ce cas cond2 (A) =
n
.
1
Proposition 1.38. Soit A Mn (IR) une matrice inversible, et b IR n , b = 0. On munit IR n dune norme ,
et Mn (IR) de la norme induite. Soit b IR n . Si x est solution de (1.1) et x + x est solution de
alors
D MONSTRATION
A(x + x) = b + b
(1.63)
x
b
cond(A)
x
b
(1.64)
et donc
x A1 b.
56
(1.65)
Cette premire estimation nest pas satisfaisante car elle porte sur lerreur globale ; or la notion intressante est celle derreur
relative. On obtient lestimation sur lerreur relative en remarquant que b = Ax, ce qui entrane que b Ax. On
en dduit que
A
1
.
x
b
En multipliant membre membre cette dernire ingalit et (1.65), on obtient le rsultat souhait.
Majorons maintenant lerreur relative commise sur x solution de Ax = b lorsque lon commet une erreur A sur
la matrice A.
Proposition 1.39. Soit A Mn (IR) une matrice inversible, et b IR n , b = 0. On munit IR n dune norme , et
Mn (IR) de la norme induite. Soit A IR n ; on suppose que A + A est une matrice inversible.. Si x est solution
de (1.1) et x + x est solution de
(A + A)(x + x) = b
(1.66)
alors
D MONSTRATION
x
A
cond(A)
x + x
A
(1.67)
On peut en fait majorer lerreur relative dans le cas o lon commet la fois une erreur sur A et une erreur sur b.
On donne le thorme cet effet ; la dmonstration est toutefois nettement plus complique.
Thorme 1.40. Soit A Mn (IR) une matrice inversible, et b IR n , b = 0. On munit IR n dune norme ,
1
et Mn (IR) de la norme induite. Soient A Mn (IR) et b IR n . On suppose que A <
. Alors la
A1
matrice (A + A ) est inversible et si x est solution de (1.1) et x + x est solution de (1.62), alors
(
)
x
cond(A)
b A
+
.
(1.68)
x
1 A1 A b
A
D MONSTRATION On peut crire A + A = A(Id + B) avec B = A1 A . Or le rayon spectral de B, (B), vrifie
(B) B A A1 < 1, et donc (voir le thorme 1.33 page 54 et lexercice 30 page 60) (Id+B) est inversible
1
1
et (Id + B)1 =
(1)n B n . On a aussi (Id + B)1
Bn =
. On en dduit
1
1
B
1
A
A
n=0
n=0
que A + A est inversible, car A + A = A(Id + B) et comme A est inversible, (A + A )1 = (Id + B)1 A1 .
Comme A et A + A sont inversibles, il existe un unique x IR n tel que Ax = b et il existe un unique x IR n tel que
(A + A )(x + x ) = b + b . Comme Ax = b, on a (A + A )x + A x = b et donc x = (A + A )1 (b A x). Or
(A + A )1 = (Id + B)1 A1 , on en dduit :
(A + A )1
(Id + B)1 A1
A1
.
1 A1 A
+
.
x
1 A1 A A x
A
Analyse numrique I, tl-enseignement, L3
57
+
,
x
1 A1 A b
A
ce qui termine la dmonstration.
Remarquons que lestimation (1.68) est optimale. En effet, en supposant que A = 0, lestimation (1.68) devient
alors :
x
b
cond(A)
.
(1.69)
x
b
Peut-on avoir galit dans (1.69) ? Pour avoir galit dans (1.69) il faut choisir convenablement b et b . Soit x
IR n tel que x = 1 et Ax = A. Notons quun tel x existe parce que A = sup{Ax; x = 1} =
max{Ax; x = 1} (voir proposition 1.24 page 50) Posons b = Ax ; on a donc b = A. De mme, grce
la proposition 1.24, il existe y IR n tel que y = 1, et A1 y = A1 . On choisit alors b tel que b = y
o > 0 est donn. Comme A(x + x ) = b + b , on a x = A1 b et donc : x = A1 b = A1 y =
A1 = b A1 . On en dduit que
x
A
= x = b A1
car b = A et x = 1.
x
b
Par ce choix de b et b on a bien galit dans (1.69). Lestimation (1.69) est donc optimale.
1.4.4
On suppose encore ici que A = 0. On suppose que la matrice A du systme linaire rsoudre provient de la
discrtisation par diffrences finies du problme de la chaleur unidimensionnel (1.5a). On peut alors montrer (voir
exercice 38 page 62) que le conditionnement de A est dordre n2 , o n est le nombre de points de discrtisation.
Pour n = 10, on a donc cond(A) 100 et lestimation (1.69) donne :
x
b
100
.
x
b
Une erreur de 1% sur b peut donc entraner une erreur de 100% sur x. Autant dire que dans ce cas, il est inutile
de rechercher la solution de lquation discrtise. . . Heureusement, on peut montrer que lestimation (1.69) nest
pas significative pour ltude de la propagation des erreurs lors de larsolution des systmes linraires provenant
de la discrtisation dune quation diffrentielle ou dune quation aux drives partielles 5 . Pour illustrer notre
propos, nous reprenons ltude du systme linaire obtenu partir de la discrtisation de lquation de la chaleur
(1.5a)quon crit :Au = b avecb = (b1 , . . . , bn )t et A la matrice carre dordre n de coefficients (ai,j )i,j=1,n
dfinis par (1.10). On rappelle que A est symtrique dfinie positive (voir exercice 7 page 18), et que
max {|ui u(xi )|}
i=1...n
h2 (4)
u .
96
2 u
x2
58
En fait, lestimation (1.69) ne sert rien pour ce genre de problme, il faut faire une analyse un peu plus pousse,
comme cest fait dans lexercice 40 page 63. On se rend compte alors que pour f donne il existe C IR + ne
dpendant que de f (mais pas de n) tel que
f (x1 )
u
b
(1.70)
C
avec b = ... .
u
b
f (xn )
Lestimation (1.70) est videmment bien meilleure que lestimation (1.69) puisquelle montre que lerreur relative
commise sur u est du mme ordre que celle commise sur b. En particulier, elle naugmente pas avec le nombre
de points de discrtisation. En conclusion, lestimation (1.69) est peut-tre optimale dans le cas dune matrice
quelconque, (on a montr ci-dessus quil peut y avoir galit dans (1.69)) mais elle nest pas significative pour
ltude des systmes linaires issus de la discrtisation des quations aux drives partielles.
1.4.5
Exercices
2. Montrer que A2s = tr(At A). En dduire que A2 As nA2 et que Ax2 As x2 , pour
n
tout A Mn (IR) et tout x IR .
3. Chercher un exemple de norme non matricielle.
Exercice 27 (Valeurs propres nulles dun produit de matrices).
Soient p et n des entiers naturels non nuls tels que n p, et soient A Mn,p (IR) et B Mp,n (IR). (On rappelle
que Mn,p (IR) dsigne lensemble des matrices n lignes et p colonnes.)
1. Montrer que est valeur propre non nulle de AB si et seulement si est valeur propre non nulle de BA.
2. Montrer que si = 0 est valeur propre de AB alors est valeur propre nulle de BA.
(Il est conseill de distinguer les cas Bx = 0 et Bx = 0, o x est un vecteur propre associ la = 0
valeur propre de AB. Pour le deuxime cas, on pourra distinguer selon que ImA = IR n ou non.)
3. Montrer en donnant un exemple que peut tre une valeur propre nulle de BA sans tre valeur propre de
AB.
(Prendre par exemple n = 1, p = 2.)
4. On suppose maintenant que n = p, dduire des questions 1. et 2. que lensemble des valeurs propres de AB
est gal lensemble des valeurs propres de la matrice BA.
Exercice 28 (Rayon spectral). Corrig en page 66.
Analyse numrique I, tl-enseignement, L3
59
Soit A Mn (IR). Montrer que si A est diagonalisable, il existe une norme induite sur Mn (IR) telle que (A) =
A. Montrer par un contre exemple que ceci peut tre faux si A nest pas diagonalisable.
Exercice 29 (Sur le rayon spectral).
On dfinit les matrices carres dordre 2 suivantes :
)
(
)
(
1 1
1 0
, B=
, C = A + B.
A=
1 1
1 1
Calculer le rayon spectral de chacune des matrices A, B et C et en dduire que le rayon spectral ne peut tre ni
une norme, ni mme une semi-norme sur lespace vectoriel des matrices.
Exercice 30 (Srie de Neumann). Suggestions en page 64, corrig dtaill en page 66.
Soient A Mn (IR).
1. Montrer que si (A) < 1, les matrices Id A et Id + A sont inversibles.
2. Montrer que la srie de terme gnral Ak converge (vers (Id A)1 ) si et seulement si (A) < 1.
3. Montrer que si (A) < 1, et si une norme matricielle telle que A < 1, alors (Id A)1
1
.
(Id + A)1 1A
1
1A
et
Aj x.
j=0
(1.71)
1. Ecrire le systme (1.71) sous la forme : M y = g, o M est une matrice carre dordre n + 1, y IR n+1 ,
g IR n+1 . Donner lexpression de M , y et g.
2. Donner une relation entre A, b, c et , qui soit une condition ncessaire et suffisante pour que le systme
(1.71) soit inversible. Dans toute la suite, on supposera que cette relation est vrifie.
3. On propose la mthode suivante pour la rsolution du systme (1.71) :
(a) Soient z solution de Az = b, et h solution de Ah = f .
ch
ch
z,
=
.
(b) x = h
cz
cz
Montrer que x IR n et IR ainsi calculs sont bien solutions du systme (1.71).
Analyse numrique I, tl-enseignement, L3
60
4. On suppose dans cette question que A est une matrice bande, dont la largeur de bande est p.
(a) Calculer le cot de la mthode de rsolution propose ci-dessus en utilisant la mthode LU pour la
rsolution des systmes linaires.
(b) Calculer le cot de la rsolution du systme M y = g par la mthode LU (en profitant ici encore de la
structure creuse de la matrice A).
(c) Comparer et conclure.
Dans les deux cas, le terme dordre suprieur est 2nq 2 , et les cots sont donc comparables.
Exercice 33 (Proprits gnrales du conditionnement). Corrig dtaill en page 67.
On suppose que IR n est muni de la norme euclidienne usuelle = 2 et Mn (IR) de la norme induite (note
aussi 2 . On note alors cond2 (A) conditionnement dune matrice A inversible.
1. Soit A Mn (IR) une matrice inversible. Montrer que cond2 (A) = 1 si et seulement si A = Q o IR
et Q est une matrice orthogonale (cest--dire Qt = Q1 ).
2. Soit A Mn (IR) une matrice inversible. On suppose que A = QR o Q est une matrice orthogonale.
Montrer que cond2 (A) = cond2 (R).
3. Soit A, B Mn (IR) deux matrices symtriques dfinies positives. Montrer que cond2 (A+B) max{cond2 (A), cond2 (B)}.
Exercice 34 (Minoration du conditionnement).
Soit . une norme induite sur Mn (IR) et soit A Mn (IR) telle que det(A) = 0.
1. Montrer que si A B <
1
A1 ,
A
AB
A
.
A
(1.72)
2. On suppose dans cette question que la norme est la norme induite par la norme euclidienne sur IR n .
Montrer que la minoration (1.72) est optimale, cest--dire quil existe A Mn (IR) telle que A + A soit
singulire et telle que lgalit soit vrifie dans (1.72).
[On pourra chercher A de la forme
y xt
A = t ,
x x
avec y IR n convenablement choisi et x = A1 y.]
3. On suppose ici que la norme est la norme induite par la norme infinie sur IR n . Soit ]0, 1[. Utiliser
lingalit (1.72) pour trouver un minorant, qui tend vers + lorsque tend vers 0, de cond(A) pour la
matrice
1 1 1
A = 1 .
1
61
B 1 A
B A1
,
e
=
e1 =
2
A1
A
(1.73)
e3 = AB Id, e4 = BA Id
(a) Expliquer en quoi les quantits e1 , e2 , e3 et e4 mesurent la qualit de lapproximation de A1 .
(b) On suppose ici que B = A1 + E, o E A1 , et que
cond(A) < 1.
Montrer que dans ce cas,
e1 , e2
cond(A)
, e3 cond(A) et e4 cond(A).
1 cond(A)
(c) On suppose maintenant que AB Id = E avec E < 1. Montrer que dans ce cas :
e1 , e2
, e3 et e4 cond(A).
1
2. On suppose maintenant que la matrice A nest connue qu une certaine matrice derreurs prs, quon note
A .
1
(a) Montrer que la matrice A + A est inversible si A <
.
A1
(b) Montrer que si la matrice A + A est inversible,
(A + A )1 A1
A
cond(A)
.
(A + A )1
A
Exercice 38 (Conditionnement du Laplacien discret 1D). Suggestions en page 65, corrig dtaill en page 70. Soit
f C([0, 1]). Soit n IN , n impair. On pose h = 1/(n + 1). Soit A la matrice dfinie par (1.10) page 12, issue
dune discrtisation par diffrences finies (vue en cours) du problme (1.5a) page 10.
Calculer les valeurs propres et les vecteurs propres de A. [On pourra commencer par chercher IR et
C 2 (IR, IR) ( non identiquement nulle) t.q. (x) = (x) pour tout x ]0, 1[ et (0) = (1) = 0].
Calculer cond2 (A) et montrer que h2 cond2 (A) 42 lorsque h 0.
Exercice 39 (Conditionnement, raction diffusion 1d.).
On sintresse au conditionnement pour la norme euclidienne de la matrice issue dune discrtisation par Diffrences Finies du problme (1.28) tudi lexercice 9, quon rappelle :
u (x) + u(x) = f (x), x ]0, 1[,
u(0) = u(1) = 0.
62
(1.74)
Soit n IN . On note U = (uj )j=1,...,n une valeur approche de la solution u du problme (1.28) aux points
(
)
j
. On rappelle que la discrtisation par diffrences finies de ce problme consiste chercher U
n+1
j=1,...,n
(
)
comme solution du systme linaire AU = f ( N j+1 )
o la matrice A Mn (IR) est dfinie par A =
j=1,...,n
2 1
1 2
..
B= 0
.
.
..
..
.
0 ...
0
..
1
.
..
.
0
1 2 1
0 1 2
0
...
..
.
..
.
(1.75)
2
admet (
la famille (
) k , uk )kIN , k = (k) et uk (x) = sin(kx) comme solution. Montrer que les vecteurs
j
sont des vecteurs propres de la matrice B. En dduire toutes les valeurs propres
)
Uk = uk ( n+1
j=1,...,n
de la matrice B.
2. En dduire les valeurs propres de la matrice A.
3. En dduire le conditionnement pour la norme euclidienne de la matrice A.
Exercice 40 (Conditionnement efficace".). Suggestions en page 65.
Soit f C([0, 1]). Soit n IN , n impair. On pose h = 1/(n + 1). Soit A la matrice dfinie par (1.10) page 12,
issue dune discrtisation par diffrences finies (vue en cours) du problme (1.5a) page 10.
n
Pour u IR n , on note u1 , . . . , un les composantes
nde u. Pour u IR , on dit que u 0 si ui 0 pour tout
n
i {1, . . . , n}. Pour u, v IR , on note u v = i=1 ui vi .
On munit IR n de la norme suivante : pour u IR n , u = max{|ui |, i {1, . . . , n}}. On munit alors Mn (IR)
de la norme induite, galement note , cest--dire B = max{Bu, u IR n t.q. u = 1}, pour tout
B Mn (IR).
Partie I Conditionnement de la matrice et borne sur lerreur relative
1. (Existence et positivit de A1 ) Soient b IR n et u IR n t.q. Au = b. Remarquer que Au = b peut
scrire :
{
1
1
h2 (ui ui1 ) + h2 (ui
u0 = un+1 = 0.
(1.76)
63
4
h2 .
f (x)(x)dx quand n
0
i=1
et que
bi i
n
i=1
n
En dduire quil existe > 0, ne dpendant que de f , t.q. h i=1 bi i pour tout n IN .
n
2. Soit u IR n t.q. Au = b. Montrer que nu i=1 ui = u A h (avec donn la question 1).
Soit b IR n et u IR n t.q. A(u + u ) = b + b . Montrer que
3. Comparer A1 A (question I.5) et
1.4.6
f L (]0,1[) b
u
.
u
8
b
f L (]0,1[)
(question II.2) quand n est grand" (ou quand n ).
8
j=1,...,n
|ai0 ,j |
2. Pour montrer
lgalit, prendre x tel que xj0 = 1 et xj = 0 si j = j0 , o j0 est tel que
maxj=1,...,n i=1,...,n |ai,j |.
j=1,...,n
i=1,...,n
|ai,j |,
|ai,j0 | =
64
3. Soient 0 < 1 2 . . . n et 0 < 1 2 . . . n les valeurs propres de A et B (qui sont s.d.p.). Montrer
dabord que :
n + n
.
cond2 (A + B)
1 + 1
Montrer ensuite que
a+b
a b
max( , ), (a, b, c, d) (IR + )4 .
c+d
c d
et conclure
Exercice 38 page 62(Conditionnement du Laplacien discret 1D)
2. Chercher les vecteurs propres IR n de A sous la forme j = (xj ), j = 1, . . . , n o est introduite dans
les indications de lnonc. Montrer que les valeurs propres associes ces vecteurs propres sont de la forme :
k =
2
2
k
).
(1 cos kh) = 2 (1 cos
h2
h
n+1
1.4.7
Corrigs
ai,j xj | max |
i=1,...,n
j=1,...,n
Or x = 1 donc |xj | 1 et
Ax max |
i=1,...,n
|ai,j ||xj |.
j=1,...,n
|ai,j |.
j=1,...,n
Posons maintenant = maxi=1,...,n | j=1,...,n |ai,j | et montrons quil existe x IR n , x = 1, tel que
Ax = . Pour s IR, on note sign(s) le signe de s, cestdire sign(s) = s/|s| si s =
0 et sign(0) = 0.
65
j=1,...,n
|ai0 ,j |
j=1,...,n
|ai,j |, i =
j=1
ai,j xj |
i=1,...,n j=1,...,n
max |
j=1,...,n
|xj |
j=1,...,n
|xj |.
|ai,j |
i=1,...,n
|ai,j |
i=1,...,n
j=1,...,n
n
i=1
Pour montrer que ceci est faux dans le cas o A nest pas diagonalisable, il suffit de prendre A =
0 1
0 0
)
, on a
Ak )(Id A) = Id An+1 .
(1.77)
k=0
Si (A) < 1, daprs le corollaire 1.29, on a Ak 0 lorsque k 0. De plus, Id A est inversible. En passant
la limite dans (1.77) et on a donc
+
(Id A)1 =
Ak .
(1.78)
k=0
Ak =
k=0
66
1
.
1 A
(1)k Ak ,
k=0
Ak =
k=0
1
.
1 A
1. Si cond2 (A) = 1, alors n1 = 1 et donc toutes les valeurs propres de At A sont gales. Comme At A est
symtrique dfinie positive (car A est inversible), il existe une base orthonorme (f1 . . . fn ) telle que At Afi =
1
fi , i et > 0 (car At A est s.d.p.). On a donc At A = Id At = 2 A1 avec = . En posant Q = A,
1
on a donc Qt = At = A1 = Q1 .
supx=1 Ax x
inf x2 =1 Ax x
En effet, si A est s.d.p., alors sup Ax x = n ; il suffit pour sen rendre compte de dcomposer x sur la
x2 =1
i=1
i fi . Alors : Ax x =
i2 i n i2 = n . Et Afn fn = n .
i=1
supx=1 Ax x
On en dduit que si A est s.d.p., cond2 (A) =
inf x=1 Ax x
supx=1 (A + B)x x
Donc cond2 (A + B) =
inf x=1 (A + B)x x
Or sup (Ax x + Bx x) sup Ax x + sup Bx x = n + n
x=1
x=1
x=1
x=1
donc
cond2 (A + B)
67
x=1
n + n
.
1 + 1
b) On va montrer que
a+b
a b
max( , ), (a, b, c, d) (IR + )4 .
c+d
c d
a+b
a
alors (a + b)c (c + d)a cestdire bc da donc bc + bd da + db soit
c+d
c
b
b(c + d) d(a + b) ; donc a+b
c+d d . On en dduit que cond2 (A + B) max(cond2 (A), cond2 (B)).
Supposons que
A
.
A
y xt
xt x ,on
a donc
y xt
y xt x
x=y
= 0.
t
x x
xt x
1
y y t At .
x2
1
A1 2
y2 A1 =
1
.
A1
0
3. Remarquons tout dabord que la matrice A est inversible. En effet, detA = 22 > 0. Soit A = 0
0
Comme det(A + A) = 0, la matrice A + A est singulire, et donc
cond(A)
A
.
A
0
.
(1.79)
3
2 .
X A1 = 0, X 1 A = 0,
AX Id
0,
XA Id
= 0.
Les quantits e1 , e2 , e3 et e4 sont les erreurs relatives commises sur ces quatre quations lorsquon
remplace X par B ; en ce sens, elles mesurent la qualit de lapproximation de A1 .
Analyse numrique I, tl-enseignement, L3
68
(b) On remarque dabord que comme la norme est matricielle, on a M P M P pour toutes
matrices M et P de Mn (IR). On va se servir de cette proprit plusieurs fois par la suite.
() Comme B = A1 + E, on a
e1 =
() Par dfinition,
e2 =
Or
B 1 A
(A1 + E)1 A
=
.
A
A
(A1 + E)1 A
On a donc
E
A1
= .
A1
A1
=
=
=
=
1
cond(A)
, et donc e2
.
1 AE
1 cond(A)
A1 (Id + E ) A1
Id + E Id .
A1
() Par dfinition,
e2
(Id+E )1 AA
A
(Id+E )1 (A(Id+E )A)
A
1
=
(Id + E )
Id (Id + E )
69
sin
x
(
0)
et et dont dtermins par les conditions aux limites
(A(k) )i = k i ,
i = 1, . . . , n,
2
2
k
(1 cos kh) = 2 (1 cos
)
2
h
h
n+1
(k)
On a donc trouv n valeurs propres 1 . . . n associes aux vecteurs propres (1) . . . (n) de IR n tels que i =
ki
sin
, i = 1 . . . n.
n+1
Remarque : Lorsque n + (ou h 0), on a
(
)
k 2 2 h2
2
(h)
4
+ O(h ) = k 2 2 + O(h2 )
k = 2 1 1 +
h
2
o k =
Donc
(h)
k 2 2 = k
h 0.
n
1 cos n+1
n
=
.
1
1 cos n+1
n
On a : h2 n = 2(1 cos n+1
) 4 et 1 2 lorsque h 0. Donc h2 cond2 (A)
4
2
lorsque h 0.
1
1
(ui ui1 ) + 2 (ui ui+1 ) = bi , i = 1, . . . , n,
2
h
h
u0 = un+1 = 0.
Supposons bi 0, i = 1, . . . , n, et soit
p = min{k {0, . . . , n + 1}; uk = min{ui , i = 0, . . . , n + 1}}.
Remarquons que p ne peut pas tre gal n + 1 car u0 = un+1 = 0. Si p = 0, alors ui 0 i = 0, n + 1 et donc
u 0.
70
1
1
(up up1 ) + 2 (up up+1 ) 0;
h2
h
mais par dfinition de p, on a up up1 < 0 et up up+1 0, et on aboutit donc une contradiction.
Montrons maintenant que A est inversible. On vient de montrer que si Au 0 alors u 0. On en dduit par
linarit que si Au 0 alors u 0, et donc que si Au = 0 alors u = 0. Ceci dmontre que lapplication linaire
reprsente par la matrice A est injective donc bijective (car on est en dimension finie).
1
x(1 x) et i = (xi ), i = 1, n, o xi = ih.
2
On remarque que (A)i est le dveloppement de Taylor lordre 2 de (xi ). En effet, est un polynme de degr
2, sa drive troisime est nulle ; de plus on a (x) = 21 x et (x) = 1. On a donc :
2. Soit C([0, 1], IR) tel que (x) =
h2
2
h2
= i h (xi )
2
i+1 = i + h (xi )
i1
On en dduit que
1
h2 (2i
1
1
. Do u b.
8
8
1
A1 b
1
1
b, donc
, do A1 .
8
b
8
8
1
en prenant le vecteur b dfini par b(xi ) = 1, i = 1, . . . , n. On a en effet A1 b = ,
8
et comme n est impair, i {1, . . . , n} tel que xi = 21 ;or = ( 12 ) = 81 .
On montre que A1 =
j=1,n
|ai,j |, do le rsultat.
5. Grce aux questions 3 et 4, on a, par dfinition du conditionnement pour la norme , cond(A) = AA1 =
1
2h2 .
Comme Au = b , on a :
b
Au
u A1 b
A1 b
,
b
b
do le rsultat.
71
Pour obtenir lgalit, il suffit de prendre b = Au o u est tel que u = 1 et Au = A, et b tel que b = 1
et A1 b = A1 . On obtient alors
b
1
u
=
et
= A1 .
b
A
u
Do lgalit.
Partie 2 Conditionnement efficace
1. Soient h et fh les fonctions constantes par morceaux dfinies par
{
(ih) = i si x ]xi h2 , xi + h2 [, i = 1, . . . , n,
h (x) =
h
h
{ 0 si x [0, 2 ] ou x ]1 h 2 , 1]. h
f (ih) = bi si x ]xi 2 , xi + 2 [,
fh (x) =
f (ih) = 0 si x [0, h2 ] ou x ]1 h2 , 1].
et
Comme f C([0, 1], IR) et C 2 ([0, 1], IR), la fonction fh (resp. h ) converge uniformment vers f (resp. )
lorsque h 0. En effet,
f fh = sup |f (x) fh (x)|
x[0,1]
= max
sup
|f (x) fh (x)|
= max
sup
|f (x) f (xi )|
i=0,...,n x[x ,x
i i+1 ]
i=0,...,n x[x ,x
i i+1 ]
Comme f est continue, elle est uniformment continue sur [0, 1] et donc pour tout > 0, il existe h > 0 tel que si
|s t| h , alors |f (s) f (t)|. On en conclut que si lon prend h h , on a f fh . Le raisonnement est
le mme pour h , et donc fh h converge uniformment vers f . On peut donc passer la limite sous lintgrale
et crire que :
1
1
n
h
bi i =
fh (x)h (x)dx
f (x)(x)dx lorsque h 0.
0
i=1
Sn =
bi i > 0 et Sn
f (x)(x)dx = > 0 lorsque h 0.
0
i=1
2. On a nu = n supi=1,n |ui |
t
i=1 ui . Dautre part, A = (1 . . . 1) donc u A =
n
ui ; or u A =
i=1
u
1 hn
f
1
on a donc u A b ; et comme nu , on obtient :
b
. Or hn 1 et on a
h
u
8
b
donc bien :
f b
u
.
u
8 b
3. Le conditionnement cond(A) calcul dans la partie 1 est dordre 1/h2 , et donc tend vers linfini lorsque le
u
pas de discrtisation tend vers 0, alors quon vient de montrer dans la partie 2 que la variation relative
u est
A u = Au car A est symtrique. Donc u A =
t
bi i
b
infrieure une constante multiplie par la variation relative de
b . Cette dernire information est nettement plus
utile et rjouissante pour la rsolution effective du systme linaire.
72
1.5.1
Dfinition et proprits
Soit A Mn (IR) une matrice inversible et b IR n , on cherche toujours ici rsoudre le systme linaire (1.1)
cestdire trouver x IR n tel que Ax = b, mais de faon itrative, c..d. par la construction dune suite.
Dfinition 1.42 (Mthode itrative). On appelle mthode itrative de rsolution du systme linaire (1.1) une
mthode qui construit une suite (x(k) )kIN (o litr" x(k) est calcul partir des itrs x(0) . . . x(k1) ) cense
converger vers x solution de (1.1)).
Bien sr, on souhaite que cette suite converge vers la solution x du systme.
Analyse numrique I, tl-enseignement, L3
73
Dfinition 1.43 (Mthode itrative convergente). On dit quune mthode itrative est convergente si pour tout
choix initial x(0) IR n , on a :
x(k) x quand k +
Enfin, on veut que cette suite soit simple calculer. Une ide naturelle est de travailler avec une matrice P inversible
qui soit proche de A, mais plus facile que A inverser. On appelle matrice de prconditionnement cette matrice
P . On crit alors A = P (P A) = P N (avec N = P A), et on rcrit le systme linaire Ax = b sous
la forme
P x = (P A)x + b = N x + b.
(1.81)
Cette forme suggre la construction de la suite (x(k) )kIN partir dun choix initial x(0) donn, par la formule
suivante :
P x(k+1) = (P A)x(k) + b
(1.82)
= N x(k) + b,
ce qui peut galement scrire :.
x(k+1) = Bx(k) + c, avec B = P 1 (P A) = Id P 1 A = P 1 N et c = P 1 b.
(1.83)
quand
Remarque 1.44 (Convergence vers A1 b). Si P x(k+1) = (P A)x(k) + b pour tout k IN et x(k) x
= (P A)
= x. En conclusion, si la suite converge, alors
k + alors P x
x + b, et donc A
x = b, c..d. x
elle converge bien vers la solution du systme linaire.
On introduit lerreur dapproximation e(k) litration k, dfinie par
e(k) = x(k) x, k IN
(1.84)
o x(k) est construit par (1.83) et x = A1 b. Il est facile de vrifier que x(k) x = A1 b lorsque k + si
et seulement si e(k) 0 lorsque k +
Lemme 1.45. La suite (e(k) )kIN dfinie par (1.84)est galement dfinie par
e(0) = x(0) x
e(k) = B k e(0)
D MONSTRATION
(1.85)
Comme c = P 1 b = P 1 Ax, on a
e(k+1) = x(k+1) x = Bx(k) x + P 1 Ax
(k)
= B(x
x).
(1.86)
(1.87)
(1.88)
Thorme 1.46 (Convergence de la suite). Soit A et P Mn (IR) des matrices inversibles. Soit x(0) donn et
soit (x(k) )kIN la suite dfinie par (1.83).
74
1. La suite (x)(k) )kIN dfinie par (1.83) converge vers x = A1 b si et seulement si (B) < 1.
2. La suite (x)(k) )kIN dfinie par (1.83) converge si et seulement si il existe une norme induite note telle
que telle que B < 1.
D MONSTRATION
1. On a vu que la suite (x)(k) )kIN dfinie par (1.83) converge vers x = A1 b si et seulement si la suite e(k) dfinie
par (1.85) tend vers 0. On en dduit par le lemme 1.29 que la suite (x)(k) )kIN converge (vers x) si et seulement si
(B) < 1.
2. Si il existe une norme induite note telle que B < 1, alors en vertu du corollaire 1.29, (B) < 1 et donc la
mthode converge ce qui prcde.
Rciproquement, si la mthode converge alors (B) < 1, et donc il existe > 0 tel que B) = 1 . Prenons
maintenant = 2 et appliquons la proposition 1.28 : il existe une norme induite telle que B (B) + < 1,
ce qui dmontre le rsultat.
Pour trouver des mthodes itratives de rsolution du systme (1.1), on cherche donc une dcomposition de la
matrice A de la forme : A = P (P A) = P N , o P est inversible et telle que le systme P y = d soit un
systme facile rsoudre (par exemple P diagonale ou triangulaire).
Estimation de la vitesse de convergence Soit x(0) donn et soit (x(k) )kIN la suite dfinie par (1.83). On a vu
que si (B) < 1), x(k) x quand k , o x est la solution du systme Ax = b. On montre lexercice 56
page 107 que (sauf cas particuliers)
x(k+1) x
(B)
x(k) x
lorsque k +,
indpendamment de la norme sur IR n . Le rayon spectral (B) de la matrice B est donc une bonne estimation de
la vitesse de convergence. Pour estimer cette vitesse de convergence lorsquon ne connat pas x, on peut utiliser le
fait (voir encore lexercice 56 page 107) quon a aussi
x(k+1) x(k)
(B)
x(k) x(k1)
lorsque k +,
ce qui permet dvaluer la vitesse de convergence de la mthode par le calcul des itrs courants.
1.5.2
75
La mthode de Richardson
Affinons un peu et prenons maintenant P = Id, avec IR. On a dans ce cas P A = IdA et B = Id 1 A =
Id A avec = 1 . Les valeurs propres de B sont de la forme 1 , o est valeur propre de A. Pour la
[
]
1 2
matrice A dfinie par (1.89), les valeurs propres de A sont 1 et 3, et les valeurs propres de B =
1 2,
sont 1 et 1 3. Le rayon spectral de la matrice B, qui dpend de est donc (B) = max(|1 |, |1 3|),
quon reprsente sur la figure ci-dessous. La mthode itrative scrit
x(0) IR n donn ,
x(k+1) = Bx(k) + c, avec c = b.
(1.90)
Pour que la mthode converge, il faut et il suffit que (B) < 1, c..d. 3 1 < 1, donc < 32 . On voit que le
choix = 1 quon avait fait au dpart ntait pas bon. Mais on peut aussi calculer le meilleur coefficient pour
avoir la meilleure convergence possible : cest la valeur de qui minimise le rayon spectral ; il est atteint pour
1 = 3 , ce qui donne = 21 . Cette mthode est connue sous le nom de mthode de Richardson 6 . Elle est
souvent crite sous la forme :
x(0) IR n donn ,
x(k+1) = x(k) + r (k) ,
o r (k) = b Ax(k) est le rsidu. On vrifie facilement que cette forme est quivalente la forme (1.90) quon
vient dtudier.
|1 |
|1 3|
max(|1 |, |1 3|
1
1
3
1
2
2
3
La mthode de Jacobi
Dans le cas de lexemple de la matrice A donn par (1.89), la mthode de Richardson avec le coefficient optimal
= 12 revient prendre comme dcomposition de A = P + A P avec comme matrice P = D, o D est la
6. Lewis Fry Richardson, (1881-1953) est un mathmatician, physicien, mtorologue et psychologue qui a introduit les mthodes mathmatiques pour les prvisions mtrologiques. Il est g alement connu pour ses travaux sur les fractals. Ctait un pacifiste qui a abandonn
ses travaux de mtorologie en raison de leur utillisation par larme de lair, pour se tourner vers ltude des raisons de guerres et de leur
prvention.
76
matrice diagonale dont les coefficients sont les coefficients situs sur la diagonale de A. La mthode de Jacobi 7
consiste justement prendre P = D, et ce mme si la diagonale de A nest pas constante.
Elle nest quivalente la mthode de Richardson avec coefficient optimal que dans le cas o la diagonale est
constante ; cest le cas de lexemple (1.89), et donc dans ce cas la mthode de Jacobi scrit
[
]
(0)
x
1
x(0) = (0)
IR 2 donn ,
x2
[
]
]
[
(k+1)
1
x1
0 1
(k+1)
x
= (k+1) = BJ x(k) + c, avec BJ = 1 2 et c = b.
(1.91)
0,
2
x2
2
Dans le cas dune matrice A gnrale, on dcompose A sous la forme A = D E F , o D reprsente la
diagonale de la matrice A, (E) la partie triangulaire infrieure et (F ) la partie triangulaire suprieure :
0 a1,2 . . .
a1,n
0
0
...
0
a1,1 0 . . .
0
.. . .
..
..
..
..
..
..
.
.
.
.
.
.
.
et F = .
. (1.92)
, E = a2,1
D=
.
.
..
..
..
..
.. . . . . . . an,n1
..
..
.
.
.
.
0
0
0 ...
0
0
0
0 an,n
an,1 . . . an1,n 0
La mthode de Jacobi scrit donc :
{
x(0) IR n
Dx(k+1) = (E + F )x(k) + b.
(1.93)
Lorsquon crit la mthode de Jacobi comme sous la forme (1.83) on a B = D1 (E + F ) ; on notera BJ cette
matrice :
a1,n
a1,2
...
a1,1
0
a1,1
..
a2,n
a2,1
.
a2,2
a2,2
BJ =
.
..
..
..
..
.
.
.
.
an,1
a
an,n
...
an1,n
0
n,n
La mthode de Jacobi scrit aussi :
(0)
n
x IR
(k+1)
(k)
(k)
=
ai,j xj
ai,j xj + bi i = 1, . . . , n.
ai,i xi
j<i
(1.94)
j>i
La mthode de Gauss-Seidel
(k)
77
(k+1)
(k)
nouvelle" valeur x1
quon vient de calculer plutt que la valeur x1 comme dans (1.94) ; de mme, dans le
(k+1)
(k+1)
(k+1)
(k)
(k)
calcul de x3
, on pourrait employer les nouvelles" valeurs x1
et x2
plutt que les valeurs x1 et x2 .
(k)
(k+1)
Cette ide nous suggre de remplacer dans (1.94) xj par xj
si j < i. On obtient donc lalgorithme suivant :
{
x(0) IR n
(1.95)
(k+1)
(k+1)
(k)
ai,i xi
= j<i ai,j xj
i<j ai,j xj + bi , i = 1, . . . , n.
La mthode de GaussSeidel scrit donc sous la forme P x(k+1) = (P A)x(k) + b, avec P = D E et
P A=F :
{
x0 IR n
(1.96)
(D E)x(k+1) = F x(k) + b.
Si lon crit la mthode de GaussSeidel sous la forme x(k+1) = Bx(k) + c , on voit assez vite que B =
(D E)1 F ; on notera BGS cette matrice, dite matrice de Gauss-Seidel.
Ecrivons]la mthode
Gauss-Seidel dans le cas de la matrice A donne par (1.89) : on a dans ce cas P = DE =
[
[ de ]
2 0
0 1
,F =
. Lalgorithme de Gauss-Seidel scrit donc :
1 2
0 0,
]
[
(0)
x1
(0)
x = (0) IR 2 donn ,
x2
]
[
[
]
[1
]
(k+1)
0 0
x1
0
(k+1)
2
x
= (k+1) = BGS x(k) + c, avec BGS =
et
c
=
(1.97)
1
1 b.
0 41
x2
4
2
On a donc (BGS ) = 14 . Sur cet exemple la mthode de Gauss-Seidel converge donc beaucoup plus vite que la
mthode de Jacobi : Asymptotiquement, lerreur est divise par 4 au lieu de 2 pour la mthode de Jacobi. On peut
montrer que cest le cas pour toutes les matrices tridiagonales, comme cest nonc dans le thorme suivant :
Thorme 1.47 (Comparaison de Jacobi et Gauss-Seidel pour les matrices tridiagonales). On considre une matrice A Mn (IR) tridiagonale, c..d. telle que ai,j = 0 si |i j| > 1 ; soient BGS et BJ les matrices ditration
respectives des mthodes de Gauss-Seidel et Jacobi, alors :
(BGS ) = ((BJ ))2 .
Pour les matrices tridiagonales, la mthode de GaussSeidel converge (ou diverge) donc plus vite que celle de
Jacobi.
La dmonstration de ce rsultat se fait en montrant que dans le cas tridiagonal, est valeur propre de la matrice
ditration de Jacobi si et seulement si 2 est valeur propre de la matrice ditration de Gauss-Seidel. Elle est
laisse titre dexercice.
Mthodes SOR et SSOR
Lide de la mthode de sur-relaxation (SOR = Successive Over Relaxation) est dutiliser la mthode de GaussSeidel pour calculer un itr intermdiaire x
(k+1) quon relaxe" ensuite pour amliorer la vitesse de convergence
de la mthode. On se donne 0 < < 2, et on modifie lalgorithme de GaussSeidel de la manire suivante :
x0 IR n
(k+1)
(k+1)
(k)
ai,i x
i
=
ai,j xj
ai,j xj + bi
(1.98)
j<i
i<j
(k+1)
(k+1)
(k)
xi
=
xi
+ (1 )xi , i = 1, . . . , n.
Analyse numrique I, tl-enseignement, L3
78
(k+1)
ai,i xi
(k+1)
ai,j xj
j<i
(k)
ai,j xj
+ bi
(1.99)
j>i
(k)
+(1 )ai,i xi .
On obtient donc
(D E)x(k+1) = F x(k) + b + (1 )Dx(k) .
La matrice ditration de lalgorithme SOR est donc
(
B =
D
E
)1
(
(F +
D) = P 1 N, avec P =
D
E et N = F +
)
D.
D
E
)1 (
F+
)
1
D , = 0.
Donc det(B ) = (det(P ))1 det(N ). Comme P et N sont des matrices triangulaires, leurs dterminants sont les produits
ceofficients diagonaux (voir la remarque 1.55 page 82). On a donc :
D MONSTRATION
( 1
)n det(D)
= (1 )n .
1 n
( ) det(D)
Or le dterminant dune matrice est aussi le produit des valeurs propres de cette matrice (comptes avec leur multiplicits
algbriques), dont les valeurs absolues sont toutes, par dfinition, infrieures au rayon spectral. On a donc : |det(B )| =
|(1 )n | ((B ))n , do le rsultat.
det(B ) =
On a un rsultat de convergence de la mthode SOR (et donc galement de Gauss-Seidel) dans le cas o A est
symtrique dfinie positive, grce au lemme suivant :
Lemme 1.49 (Condition suffisante de convergence pour la suite dfinie par (1.83)). Soit A Mn (IR) une matrice
symtrique dfinie positive, et soient P et N Mn (IR) telles que A = P N et P est inversible. Si la matrice
P t + N est symtrique dfinie positive alors (P 1 N ) = (B) < 1, et donc la suite dfinie par (1.83) converge.
79
D MONSTRATION On rappelle (voir le corollaire (1.32) page 54) que si B Mn (IR), et si est une norme induite
sur Mn (IR) par une norme sur IR n , on a toujours (B) B. On va donc chercher une norme sur IR n , note
telle que
P 1 N = max{P 1 N x , x IR n , x = 1} < 1,
(o on dsigne encore par . la norme induite sur Mn (IR)) ou encore :
P 1 N x < x , x IR n , x = 0.
(1.100)
n
On dfinit la norme par x = Ax x, pour tout x IR . Comme A est symtrique dfinie positive,
est bien une norme sur IR n , induite par le produit scalaire (x|y)A = Ax y. On va montrer que la proprit (1.100) est
vrifie par cette norme. Soit x IR n , x = 0, on a : P 1 N x2 = AP 1 N x P t1 N x. Or N = P A, et donc :
P 1 N x2 = A(Id P t1 A)x (Id P 1 A)x. Soit y = P 1 Ax ; remarquons que y = 0 car x = 0 et P 1 A est
inversible. Exprimons P 1 N x2 laide de y.
P 1 N x2 = A(x y) (x y) = Ax x 2Ax y + Ay y = x2 2Ax y + Ay y.
Pour que P 1 N x2 < x2 (et par suite (P t1 N ) < 1), il suffit donc de montrer que 2Ax y + Ay y < 0. Or,
comme P y = Ax, on a : 2Axy+Ayy = 2P yy+Ayy. En crivant : P yy = yP t y = P t yy, on obtient donc
que : 2Ax y + Ay y = (P P t + A)y y, et comme A = P N on obtient 2Ax y + Ay y = (P t + N )y y.
Comme P t + N est symtrique dfinie positive par hypothse et que y = 0, on en dduit que 2Ax y + Ay y < 0,
ce qui termine la dmonstration.
Thorme 1.50 (CNS de convergence de la mthode SOR pour les matrices s.d.p.).
Soit A Mn (IR) une matrice symtrique dfinie positive, et soient D, E et F les matrices dfinies par (1.92) ; on
a donc A = D E F . Soit B la matrice ditration de la mthode SOR (et de la mthode de GaussSeidel
pour = 1) dfinie par :
(
)1 (
)
D
1
B =
E
F+
D , = 0.
Alors :
(B ) < 1 si et seulement si 0 < < 2.
En particulier, si A est une matrice symtrique dfinie positive, la mthode de GaussSeidel converge.
D MONSTRATION On sait par la proposition 1.48 que si (B ) < 1 alors 0 < < 2. Supposons maintenant que
A est une matrice symtrique dfinie positive, que 0 < < 2et montrons que (B ) < 1. Par le lemme 1.49 page 79, il
suffit pour cela de montrer que P t + N est une matrice symtrique dfinie positive. Or,
(
)t
D
D
Pt =
E =
F,
D
1
2
Pt + N =
F +F +
D=
D.
Remarque 1.51 (Comparaison GaussSeidel/Jacobi). On a vu (thorme 1.50) que si A est une matrice symtrique dfinie positive, la mthode de GaussSeidel converge. Par contre, mme dans le cas o A est symtrique
dfinie positive, il existe des cas o la mthode de Jacobi ne converge pas, voir ce sujet lexercice 43 page 85.
Remarquons que le rsultat de convergence des mthodes itratives donn par le thorme prcdent nest que
partiel, puisquil ne concerne que les matrices symtriques dfinies positives et que les mthodes Gauss-Seidel
et SOR. On a aussi un rsultat de convergence de la mthode de Jacobi pour les matrices diagonale dominante
stricte, voir exercice 45 page 85, et un rsultat de comparaison des mthodes pour les matrices tridiagonales par
blocs, voir le thorme 1.52 donn ci-aprs. Dans la pratique, il faudra souvent compter sur sa bonne toile. . .
80
Estimation du coefficient de relaxation optimal de SOR La question est ici destimer le coefficient de relaxation optimal dans la mthode SOR, c..d. le coefficient 0 ]0, 2[ (condition ncessaire pour que la mthode
SOR converge, voir thorme 1.50) tel que
(L0 ) < (B ), ]0, 2[.
Ce coefficient 0 donnera la meilleure convergence possible pour SOR. On sait le faire dans le cas assez restrictif
des matrices tridiagonales (ou tridiagonales par blocs, voir paragraphe suivant). On ne fait ici qunoncer le rsultat
dont la dmonstration est donne dans le livre de Ph.Ciarlet conseill en dbut de cours.
Thorme 1.52 (Coefficient optimal, matrice tridiagonale). On considre une matrice A Mn (IR) qui admet une
dcomposition par blocs dfinie dans la dfinition 1.101 page 82 ; on suppose que la matrice A est tridiagonale
par blocs, c..d. Ai,j = 0 si |i j| > 1 ; soient BGS et BJ les matrices ditration respectives des mthodes
de Gauss-Seidel et Jacobi, alors : On suppose de plus que toutes les valeurs propres de la matrice ditration J
de la mthode de Jacobi sont relles ; alors le paramtre de relaxation optimal, c..d. le paramtre 0 tel que
(B0 ) = min{(B ), ]0, 2[}, sexprime en fonction du rayon spectral (BJ ) de la matrice J par la formule :
0 =
1+
> 1,
1 (BJ )2
et on a : (B0 ) = 0 1.
La dmonstration de ce rsultat repose sur la comparaison des valeurs propres des matrices ditration. On montre
que est valeur propre de B si et seulement si
( + 1)2 = 2 ,
o est valeur propre de BJ (voir [Ciarlet] pour plus de dtails).
Remarque 1.53 (Mthode de Jacobi relaxe). On peut aussi appliquer une procdure de relaxation avec comme
mthode irative de base la mthode de Jacobi, voir ce sujet lexercice 49 page 87). Cette mthode est toutefois
beaucoup moins employe en pratique (car moins efficace) que la mthode SOR.
Mthode SSOR En symtrisant" le procd de la mthode SOR, c..d. en effectuant les calculs SOR sur les
blocs dans lordre 1 n puis dans lordre n 1, on obtient la mthode de sur-relaxation symtrise (SSOR =
Symmetric Successive Over Relaxation) qui scrit dans le formalisme de la mthode I avec
(
BSSOR =
|
D
F
)1 (
)(
)1 (
)
D
1
1
E+
D
E
F+
D .
{z
}|
{z
}
1.5.3
n...1
1...n
81
Dfinition 1.54. Soit A Mn (IR) une matrice inversible. Une dcomposition par blocs de A est dfinie par un
S
entier S n, des entiers (ni )i=1,...,S tels que i=1 ni = n, et S 2 matrices Ai,j Mni ,nj (IR) (ensemble des
matrices rectangulaires ni lignes et nj colonnes, telles que les matrices Ai,i soient inversibles pour i = 1, . . . , S
et
A1,1 A1,2 . . .
...
A1,S
..
..
..
A2,1
.
.
.
..
.
.
.
..
..
..
.
A=
(1.101)
.
..
..
..
..
.
.
.
..
..
..
.
.
AS1,S
AS,1 . . .
. . . AS,S1
AS,S
Remarque 1.55.
1. Si S = n et ni = 1 i {1, . . . , S}, chaque bloc est constitu dun seul coefficient, et on retrouve la
structure habituelle dune matrice. Donc toutes les mthodes que nous allons dcrire pour les matrices
structures par blocs sappliquent videmment de la mme manire aux matrices habituelles.
2. Si A est symtrique dfinie positive, la condition Ai,i inversible dans la dfinition 1.54 est inutile car Ai,i
est ncessairement symtrique dfinie positive donc inversible. Prenons par exemple i = 1 ; soit y IR n1 ,
y = 0 et x = (y, 0 . . . , 0)t IR n . Alors A1,1 y y = Ax x > 0 donc A1,1 est symtrique dfinie positive.
3. Si A est une matrice triangulaire par blocs, c..d. de la forme (1.101) avec Ai,j = 0 si j > i, alors
det(A) =
det(Ai,i ).
i=1
Par contre si A est dcompose en 2 2 blocs carrs (i.e. tels que ni = mj , (i, j) {1, 2}), on a en
gnral : det(A) = det(A1,1 )det(A2,2 ) det(A1,2 )det(A2,1 ).
Mthode de Jacobi
On peut remarquer que le choix le plus simple pour le systme P x = (P A)x + b soit facile rsoudre (on
rappelle que cest un objectif dans la construction dune mthode itrative) est de prendre pour P une matrice
diagonale. La mthode de Jacobi consiste prendre pour P la matrice diagonale D forme par les blocs diagonaux
de A :
A1,1 0 . . .
...
0
..
..
..
0
.
.
.
..
.
.
.
..
..
..
.
.
D=
.
.
.
.
..
..
..
..
..
..
..
.
.
0
0
...
...
AS,S
82
0
0 ...
...
0
..
..
..
A2,1
.
.
.
..
.
.
.
.
.
.
.
.
.
.
E=
.
..
..
..
..
.
.
.
..
..
..
.
.
0
.
AS,1 . . .
. . . AS,S1 0
et
F =
0
0
..
.
..
.
0
A1,2
..
.
..
...
..
.
..
.
..
.
..
..
..
...
.
...
...
A1,S
..
.
..
..
.
.
0
AS1,S
0
..
(1.102)
Lorsquon crit la mthode de Jacobi comme sous la forme (1.83) on a B = D1 (E + F ) ; on notera J cette
matrice.
En introduisant la dcomposition par blocs de x, solution recherche de (1.1), c..d. : x = [x1 , . . . , xS ]t , o
xi IR ni , on peut aussi crire la mthode de Jacobi sous la forme :
n
x0 IR
(k)
(k)
(k+1)
(1.103)
A
x
Ai,j xj + bi i = 1, . . . , S.
A
x
=
i,j
i,i
j
i
j<i
j>i
Si S = n et ni = 1 i {1, . . . , S}, chaque bloc est constitu dun seul coefficient, et on obtient la mthode de
Jacobi par points (aussi appele mthode de Jacobi), qui scrit donc :
n
x0 IR
(k+1)
(k)
(k)
(1.104)
a
x
=
a
x
ai,j xj + bi i = 1, . . . , n.
i,i
i,j
i
j
j<i
j>i
Mthode de Gauss-Seidel
La mme procdure que dans le cas S = n et ni = 1 donne :
{
x(0) IR n
(k+1)
(k+1)
(k)
Ai,i xi
= j<i Ai,j xj
i<j Ai,j xj + bi , i = 1, . . . , S.
(1.105)
83
x0 IR n
(k+1)
(k+1)
(k)
Ai,i x
i
=
Ai,j xj
Ai,j xj + bi
(1.107)
j<i
i<j
(k+1)
(k+1)
(k)
xi
=
xi
+ (1 )xi , i = 1, . . . , S.
(Pour = 1 on retrouve la mthode de GaussSeidel.)
Lalgorithme ci-dessus peut aussi scrire (en multipliant par Ai,i la ligne 3 de lalgorithme (1.107)) :
(0)
n
x IR
(k+1)
(k+1)
(k)
Ai,i xi
=
Ai,j xj
Ai,j xj + bi
j<i
j>i
(k)
+(1 )Ai,i xi .
(1.108)
On obtient donc
(D E)x(k+1) = F x(k) + b + (1 )Dx(k) .
Lalgorithme SOR scrit donc comme une mthode II avec
P =
D
E et N = F +
)
D.
{z
}|
{z
}
|
calcul dans lordre
1.5.4
S...1
1...S
Exercices, noncs
84
1 a a
A= a 1 a
a a 1
Montrer que A est symtrique dfinie positive si et seulement si 1/2 < a < 1 et que la mthode de Jacobi
converge si et seulement si 1/2 < a < 1/2.
Exercice 44 (Une matrice cyclique). Suggestions en page 92
Soit IR et soit A M4 (IR) la matrice dfinie par
1
1
A=
0 1
1
0
0
1
1
0
Cette matrice est dite cyclique : chaque ligne de la matrice peut tre dduite de la prcdente en dcalant chaque
coefficient dune position.
1. Dterminer les valeurs propres de A.
2. Pour quelles valeurs de la matrice A est-elle symtrique dfinie positive ? singulire ?
3. On suppose ici que = 0. Soit b = (b1 , b2 , b3 , b4 )t IR 4 donn. On considre la mthode de Jacobi pour
(k)
la rsolution du systme Ax = b. Soit (x(k) )nIN la suite de vecteurs donns par lalgorithme. On note xi
(k+1)
(k)
pour i = 1, . . . , 4 les composantes de x(k) . Donner lexpression de xi
, i = 1, . . . , 4, en fonction de xi
(k)
et bi , i = 1, . . . , 4. Pour quelles valeurs de la mthode de Jacobi converge-t-elle ?
4. On suppose maintenant que A est symtrique dfinie positive. Reprendre la question prcdente pour la
mthode de Gauss-Seidel.
Exercice 45 (Jacobi pour les matrices diagonale dominante stricte). Suggestions en page 92, corrig en page 94
Soit A = (ai,j )i,j=1,...,n Mn (IR) une matrice diagonale dominante stricte (cest--dire |ai,i | > j=i |ai,j |
pour tout i = 1, . . . , n). Montrer que A est inversible et que la mthode de Jacobi (pour calculer la solution de
Ax = b) converge.
Exercice 46 (Jacobi pour pour un problme de diffusion ).
85
Soit f C([0, 1]) ; on considre le systme linaire Ax = b issu de la discrtisation par diffrences finies de pas
1
du problme suivant :
uniforme gal h = n+1
{
u (x) + u(x) = f (x), x [0, 1],
(1.109)
u(0) = 0, u(1) = 1,
o 0.
1. Donner lexpression de A et b.
2. Montrer que la mthode de Jacobi applique la rsolution de ce systme converge (distinguer les cas > 0
et = 0).
Exercice 47 (Jacobi et diagonale dominance forte).
1. Soit A Mn (IR) une matrice symtrique dfinie positive.
(a) Montrer que tous les coefficients diagonaux de A sont strictement positifs.
(b) En dduire que la mthode de Jacobi pour la rsolution du systme linaire Ax = b, avec b IR n , est bien
dfinie.
Soit M Mn (IR) une matrice carre dordre n, avec n > 1. On dit que la matrice M est irrductible si :
pour tous ensembles dindices I {1, . . . , n}, I = , et J = {1 . . . , n} \ I, J = , i I, j J; ai,j = 0.
(1.110)
2 (a) Montrer quune matrice diagonale nest pas irrductible. En dduire quune matrice inversible nest pas
forcment irrductible.
2 (b) Soit M Mn (IR) une matrice carre dordre n, qui scrit sous la forme :
[
]
A 0
M=
B C
o A et C sont des matrices carres dordre p et q, avec p+q = n, et B Mq,p (IR). La matrice M peut-elle
tre irrductible ?
3. Soit A Mn (IR), n > 1 une matrice irrductible qui vrifie de plus la proprit suivante :
i = 1, . . . , n, ai,i
|ai,j |
(1.111)
j=i
(On dit que la matrice est diagonale dominante). Montrer que la mthode de Jacobi pour la rsolution du systme
linaire Ax = b, avec b IR n , est bien dfinie.
4. Soit A Mn (IR), n > 1 une matrice irrductible qui vrifie la proprit (1.111). On note BJ la matrice
ditration de la mthode de Jacobi pour la rsolution du systme linaire Ax = b, avec b IR n , et (BJ ) son
rayon spectral. On suppose que A vrifie la proprit supplmentaire suivante :
86
5. En dduire que si A est une matrice qui vrifie les proprits (1.110), (1.111) et (1.112), alors A est inversible.
6. Montrer que la matrice A suivante est symtrique dfinie positive et vrifie les proprits (1.111) et (1.112).
1 0 0 0
0 2 1 1
A=
0 1 2 1
0 1 1 2
La mthode de Jacobi converge-t-elle pour la rsolution dun systme linaire dont la matrice est A ?
Exercice 48 (Diagonalisation dans IR ).
Soit E un espace vectoriel rel de dimension n IN muni dun produit scalaire, not (, ). Soient T et S deux
applications linaires symtriques de E dans E (T symtrique signifie (T x, y) = (x, T y) pour tous x, y E). On
suppose que T est dfinie positive" (cest--dire (T x, x) > 0 pour tout x E \ {0}).
1. Montrer que T est inversible. Pour x, y E, on pose (x, y)T = (T x, y). Montrer que lapplication (x, y)
(x, y)T dfinit un nouveau produit scalaire sur E.
2. Montrer que T 1 S est symtrique pour le produit scalaire dfini la question prcdente. En dduire, avec
le lemme 1.6 page 9, quil existe une base de E, note {f1 , . . . , fn }, et il existe {1 , . . . , n } IR t.q.
T 1 Sfi = i fi pour tout i {1, . . . , n} et t.q. (T fi /fj ) = i,j pour tout i, j {1, . . . , n}.
Exercice 49 (Mthode de Jacobi et relaxation).
Soit n 1. Soit A = (ai,j )i,j=1,...,n Mn (IR) une matrice symtrique. On note D la partie diagonale de A, E
la partie triangulaire infrieure de A et F la partie triangulaire suprieure de A, cest--dire :
D = (di,j )i,j=1,...,n , di,j = 0 si i = j, di,i = ai,i ,
E = (ei,j )i,j=1,...,n , ei,j = 0 si i j, ei,j = ai,j si i > j,
F = (fi,j )i,j=1,...,n , fi,j = 0 si i j, fi,j = ai,j si i < j.
Noter que A = D E F . Soit b IR n . On cherche calculer x IR n t.q. Ax = b. On suppose que D est
dfinie positive (noter que A nest pas forcment inversible). On sintresse ici la mthode de Jacobi (par points),
cestdire la mthode itrative suivante :
Initialisation. x(0) IR n
Itrations. Pour n IN, Dx(k+1) = (E + F )x(k) + b.
On pose J = D1 (E + F ).
1. Montrer, en donnant un exemple avec n = 2, que J peut ne pas tre symtrique.
2. Montrer que J est diagonalisable dans IR et, plus prcisement, quil existe une base de IR n , note {f1 , . . . ,
fn }, et il existe {1 , . . . , n } IR t.q. Jfi = i fi pour tout i {1, . . . , n} et t.q. Dfi fj = i,j pour tout
i, j {1, . . . , n}.
En ordonnant les valeurs propres de J, on a donc 1 . . . n , on conserve cette notation dans la suite.
3. Montrer que la trace de J est nulle et en dduire que 1 0 et n 0.
On suppose maintenant que A et 2D A sont symtriques dfinies positives et on pose x = A1 b.
4. Montrer que la mthode de Jacobi (par points) converge (cest--dire x(k) x quand n ). [Utiliser un
thorme du cours.]
On se propose maintenant damliorer la convergence de la mthode par une technique de relaxation. Soit
> 0, on considre la mthode suivante :
Initialisation. x(0) IR n
Itrations. Pour n IN, D
x(k+1) = (E + F )x(k) + b, x(k+1) =
x(k+1) + (1 )x(k) .
Analyse numrique I, tl-enseignement, L3
87
5. Calculer les matrices M (inversible) et N telles que M x(k+1) = N x(k) +b pour tout n IN, en fonction
de , D et A. On note, dans la suite J = (M )1 N .
6. On suppose dans cette question que (2/)D A est symtrique dfinie positive. Montrer que la mthode
converge (cest--dire que x(k) x quand n .)
7. Montrer que (2/)D A est symtrique dfinie positive si et seulement si < 2/(1 1 ).
8. Calculer les valeurs propres de J en fonction de celles de J. En dduire, en fonction des i , la valeur
optimale" de , cest--dire la valeur de minimisant le rayon spectral de J .
Exercice 50 (Mthodes de Jacobi et Gauss Seidel pour une matrice 3 3).
2 1 0
1
On considre la matrice A = 1 2 1 et le vecteur b = 0. Soit x(0) un vecteur de IR 3 donn.
0 1 2
1
1. Mthode de Jacobi
1.a Ecrire la mthode de Jacobi pour la rsolution du systme Ax = b, sous la forme x(k+1) = BJ x(k) + cJ .
1.b Dterminer le noyau de BJ et en donner une base.
1.c Calculer le rayon spectral de BJ et en dduire que la mthode de Jacobi converge.
1.d Calculer x(1) et x(2) pour les choix suivants de x(0) :
0
0
(ii)x(0) = 1 .
(i) x(0) = 0 ,
2
0
2. Mthode de Gauss-Seidel.
2.a Ecrire la mthode de Gauss-Seidel pour la rsolution du systme Ax = b, sous la forme x(k+1) = BGS x(k) +
cGS .
2.b Dterminer le noyau de BGS .
2.c Calculer le rayon spectral de BGS et en dduire que la mthode de Gauss-Seidel converge.
2.d Comparer les rayons spectraux de BGS et BJ et vrifier ainsi un rsultat du cours.
2.d Calculer x(1) et x(2) pour les choix suivants de x(0) :
0
(i) x(0) = 0 ,
0
(ii) x(0)
0
= 1 .
1
88
]
3 1
. Ecrire les mthodes de Jacobi et Gauss Seidel pour la rsolution de Ax = b. Soient BJ et
1 3
BGS les matrices ditration respectives. Calculer (BJ ) et (BGS ) et vrifier que (BGS ) = (BJ )2
Soit A = (ai,j )i,j=1,...,n Mn (IR) une matrice carre dordre n tridiagonale, cest--dire telle que ai,j = 0 si
|i j| > 1, et telle que la matrice diagonale D = diag(ai,i )i=1,...,n soit inversible. On note A = D E F o
E (resp. F ) est la partie triangulaire infrieure (resp. suprieure) de A, et on note J et G les matrices ditration
des mthodes de Jacobi et Gauss-Seidel associes la matrice A.
1. Soit A =
ai,j
ai,i
0, i, j = 1, . . . , n, i = j,
> 0, i = 1, . . . , n.
(1.113)
(1.114)
ai,j
= 0, j = 1, . . . , n.
(1.115)
i=1
Soit IR + .
1. Pour x IR n , on dfinit
xA =
ai,i |xi |.
i=1
(1.116)
Montrer que la mthode de Jacobi pour la recherche de la solution de ce systme dfinit une suite (u(k) )kn
IR n .
4. Montrer que la suite (u(k) )kIN vrifie :
u(k+1) u(k) A (
1 k (1)
) u u(0) A ,
1+
o = mini=1,...,n ai,i .
Analyse numrique I, tl-enseignement, L3
89
5. Montrer que la suite (u(k) )kIN est de Cauchy, et en dduire quelle converge vers la solution du systme
(1.116).
Exercice 53 (Une mthode itrative particulire).
Soient 1 , . . . , n des rels strictement positifs, et A la matrice n n de coefficients ai,j dfinis par :
ai,i = 2 + i
ai,i+1 = ai,i1 = 1
3. Dduire de la question 1. que si > , o = maxi=1,n i , alors (M 1 N ) < 1, et donc que la mthode
2
itrative converge.
| i |
.
Exercice 54 (Une matrice 3 3). Suggestions en page 92, corrig en page 102
Soit A M3 (IR) dfinie par A = Id E F
0 2
E = 1 0
0 0
avec
0
0 0
0 , et F = 0 0
0
1 1
0
0 .
0
2. Soit 0 < < 2. Montrer que pour ( 1 Id E) est inversible si et seulement si = 2/2.
Pour 0 < < 2, = 2/2, on considre la mthode itrative (pour trouver la solution de Ax = b)
suivante :
1
1
( Id E)xn+1 = (F +
Id)xn + b.
1
Id).
90
(1.117)
Universit dAix-Marseille, R. Herbin, 18 novembre 2013
On suppose connues des matrices X et Y Mn (IR), symtriques. Soit IR + , choisi tel que X + Id et
Y + Id soient dfinies positives (o Id dsigne la matrice identit dordre n) et X + Y + Id = A.
Soit u(0) IR n , on propose, pour rsoudre (1.117), la mthode itrative suivante :
{
(X + Id)u(k+1/2) = Y u(k) + b,
(Y + Id)u(k+1) = Xu(k+1/2) + b.
(1.118)
1. Montrer que la mthode itrative (1.118) dfinit bien une suite (u(k) )kIN et que cette suite converge vers la
solution u de (1.1) si et seulement si
(
)
(Y + Id)1 X(X + Id)1 Y < 1.
(On rappelle que pour toute matrice carre dordre n, (M ) dsigne le rayon spectral de la matrice M .)
2. Montrer que si les matrices (X + 2 Id) et (Y + 2 Id) sont dfinies positives alors la mthode (1.118)
converge. On pourra pour cela (mais ce nest pas obligatoire) suivre la dmarche suivante :
(a) Montrer que
)
(
)
(
(Y + Id)1 X(X + Id)1 Y = X(X + Id)1 Y (Y + Id)1 .
(On pourra utiliser lexercice 27 page 59).
(b) Montrer que
(
)
(
) (
)
X(X + Id)1 Y (Y + Id)1 X(X + Id)1 Y (Y + Id)1 .
(
)
(c) Montrer que X(X + Id)1 < 1 si et seulement si la matrice (X + 2 Id) est dfinie positive.
(d) Conclure.
3. Soit f C([0, 1] [0, 1]) et soit A la matrice carre dordre n = M M obtenue par discrtisation de
lquation u = f sur le carr [0, 1] [0, 1] avec conditions aux limites de Dirichlet homognes u = 0
1
sur , par diffrences finies avec un pas uniforme h = M
, et b le second membre associ.
(a) Donner lexpression de A et b.
(b) Proposer des choix de X, Y et pour lesquelles la mthode itrative (1.118) converge dans ce cas et
qui justifient lappellation mthode des directions alternes" qui lui est donne.
1.5.5
Exercices, suggestions
91
1.5.6
Exercices, corrigs
Exercice 41 page 84
2
3
et donc
[ le
] rayon spectral est
3
1
converge vers x = (Id B) c =
9
92
2
3
2
3
2
2
i, 1, . . . , n) ( <
).
i
n
2
.
(A)
2. On a : (Id A) = sup |1 i | = max(|1 1 |, |1 n |). Le minimum de (Id A) est donc
La mthode converge donc si et seulement si 0 < <
i
2
.
1 + n
|1 1 |
|1 N |
max(|1 1 |, |1 N )|)
1
1
N
1
1
93
a a
a
P () = det a
a
a
a
a
a
1 1
= a3 det 1 1 = a3 (3 3 + 2).
1 1
On a donc P () = a3 ( 1)2 ( + 2). Les valeurs propres de la matrice A sont donc obtenues pour = 1 et
= 2, cestdire : 1 = 1 a et 2 = 1 + 2a.
La matrice A est dfinie positive si 1 > 0 et 2 > 0, cestdire si 12 < a < 1.
La mthode de Jacobi scrit :
X (k+1) = D1 (D A)X (k) ,
avec D = Id dans le cas prsent ; donc la mthode converge si et seulement si (D A) < 1.
Les valeurs propres de D A sont de la forme = 1 o est valeur propre de A. Les valeurs propres de
D A sont donc 1 == a (valeur propre double) et 2 = 2a.. On en conclut que la mthode de Jacobi converge
si et seulement si 1 < a < 1 et 1 < 2a < 1, i.e. 21 < a < 12 .
La mthode de Jacobi ne converge donc que sur lintervalle ] 12 , 12 [ qui est strictement inclus dans lintervalle
] 12 , 1[ des valeurs de a pour lesquelles la matrice A est s.d.p..
Exercice 45 page 85 (Jacobi pour les matrices diagonale dominante stricte)
Pour montrer que A est inversible, supposons quil existe x IR n tel que Ax = 0 ; on a donc
n
aij xj = 0.
j=1
j;i=j
Si x = 0, on a donc
|xi |
j;i=j
|ai,j |x , i = 1, . . . , n.
j;i=j
ai,j xj |
|ai,i |
ai,j xj |
x < x , i = 1, . . . , n,
a1,1
0
..
P =D=
.
.
0
an,n
BJ = P 1 (P A) = D1 (E + F )
a1
1,1
0
..
0
0
a1
n,n
a1,2
a1,1
...
1,1
an,n
..
ai,j
..
.
...
ai,j
j;i=j
x
ai,j
xj = xi , et donc |||xi |
|ai,j |
.
ai,i
|ai,i |
j;i=j
94
j;i=j |ai,j |
||
< 1 pour toute valeur propre .
|aii |
On a donc (BJ ) < 1 ce qui prouve que la mthode de Jacobi converge.
Exercice 49 page 87 (Mthode de Jacobi et relaxation)
1. BJ = D1 (E + F ) peut ne pas tre symtrique, mme si A est symtrique :
(
)
2 1
En effet, prenons A =
.
1 1
Alors
( 1
)(
) (
) (
0
0 1
0
0 12
2
BJ = D1 (E + F ) =
=
=
1
1 0
0 1
1 0
2
1
0
)
.
i = 1, . . . , n, et (Dfi , fj ) = ij .
3. Par dfinition de BJ , tous les lments diagonaux de BJ sont nuls et donc sa trace galement. Or T rBJ =
n
1
Dfi fj = ij , i, = 1, . . . , n, j, = 1, . . . , n.
Supposons
1 1, alors
1 = , avec 1 et D1 ( 1 D A)f1 = f1 , ou encore 1 D Af1 =
1
1
2
Df1 . On a donc 2 D Af1 = (1 ) Df1 , ce qui entrane ( D A)f1 f1 0. Ceci contredit
2
lhypothse D A dfinie positive.
et
95
De mme, si
n 1, alors
n = avec 1. On a alors
1
1
( D A)fn = Dfn ,
et donc Afn = (1 ) 1 Dfn ce qui entrane en particulier que Afn fn 0 ; or ceci contredit lhypothse
A dfinie positive.
7. On cherche une condition ncessaire et suffisante pour que
(
)
2
D A x x > 0, x = 0,
(1.119)
)
2
D A fi fi > 0, i = 1, . . . , n,
(1.120)
o les (fi )i=1,n sont les vecteurs propres de D1 (E + F ). En effet, la famille (fi )i=1,...,n est une base de
IR n , et
(
)
(
)
2
2
D A fi =
D D + (E + F ) fi
(
)
2
=
1 Dfi + i Dfi
(1.121)
(
)
2
=
1 + i Dfi .
(
)
On a donc en particulier 2 D A fi fj = 0 is i = j, ce qui prouve que (1.119) est quivalent (1.120).
De (1.120), on dduit, grce au fait que (Dfi , fi ) = 1,
((
)
) (
)
2
2
D A f i , fi =
1 + i .
On veut donc que 2 1 + 1 > 0 car 1 = inf i , cestdire : 2 < 1 1, ce qui est quivalent :
2
<
.
1 1
8. La matrice ditration J scrit :
(
)1 (
)
1
1
1
J =
D
D A = I , avec I = D1 ( D A).
On en dduit que
)
1
1 Du = Du, soit encore
(
)
1
D1 (E + F )u = 1 + u.
(D A)u +
96
()
+ , cestdire = i 1 1 . Donc i
(
)
1
= i 1
est valeur
On a
(1 1
1
)|
1
1
1
) (i 1 ) (n 1 ),
et
1
1
1
) (1 1 ) (i 1 ),
donc
(
)
1
1
(J ) = max |(n 1 )|, | (1 1 |)
(1 1 ) 1 = 1 (1 n ) cestdire =
2
.
2 1 n
|(1 1 ) + 1|
|(1 N ) + 1|
max(|(1 N ) + 1|, |(1 1 ) + 1|)
1
1
2
1
11 21 N 1N
2 1 0
1
On considre la matrice A = 1 2 1 et le vecteur b = 0. Soit x(0) un vecteur de IR 3 donn.
0 1 2
1
1. Mthode de Jacobi
1.a Ecrire la mthode de Jacobi pour la rsolution du systme Ax = b, sous la forme x(k+1) = BJ x(k) + cJ .
La mthode de Jacobi Dx(k+1) = (E + F )x(k) + b avec
2 0 0
0 0 0
0 1 0
D = 0 2 0 , E = 1 0 0 et F = 0 0 1 .
0 0 2
0 1 0
0 0 0
Analyse numrique I, tl-enseignement, L3
97
1
2
1
2
2
0 0
1 2 0
0 1 2
0 1 0
0 0 1
0 0 0
2 0 0
1
0 ; 0 2 0
1
0 1 2
On a donc
BGS
0
= 0
0
1
2
1
4
1
8
0
0
0
0
1
2
1
4
1
1
2
0
1
0
2
1
0
;
2
1
0
0
2
0
0
0
2
0
0
0
1
1
2
1
4
0
1
1
2
1
2
5
4
1
2
et cGS = 14 .
5
8
2.b Dterminer
le
noyau de BGS . Il est facile de voir que x Ker(BGS ) si et seulement si x2 = x3 = 0. Donc
1
KerBGS = {t 0 , t IR}.
0
2.c Calculer le rayon spectral de BGS et en dduire que la mthode de Gauss-Seidel converge.
Le polynme caractristique de BGS est PGS () = det(BGS Id). On a donc
1
)
(
0
2
1
1
1
2
1
1
= 2 ( )
PGS () = 0
=
(
4
2
4
16
2
1
1
0
8
4
et donc (BGS ) = 12 < 1. On en dduit que la mthode de Gauss-Seidel converge.
2.d Comparer les rayons spectraux de BGS et BJ et vrifier ainsi un rsultat du cours.
On a bien (BGS ) = 21 = (BJ )2 , ce qui est conforme au thorme 1.36 du cours.
Analyse numrique I, tl-enseignement, L3
98
2
1 , x(2)
4
5
8
5
8
5 .
8
13
16
s
1
1
Choix (ii) : x(1) = 1 , x(2) = 1.
1
1
1 ,
99
Il est alors facile de vrifier (calculs similaires ceux de la question 1.a) que (E + F )x = Dx, do on dduit
que est valeur propre de BJ .
2. De par la question 1, on a finalement que C, = 0 est valeur propre de BJ si et seulement si 2 C, = 0
est valeur propre de BGS .
On en dduit que (BGS ) = (BJ )2 .
On a donc en particuler que (BGS ) < 1 si et seulement si (BGS ) < 1, ce qui prouve que les mthodes de Jacobi
et Gauss-Seidel convergent ou divergent simultanment.
De plus, on a vu lexercice 56 page 107 que si B dsigne la matrice ditration dune mthode irative x(k+1) =
Bx(k) + c pour la rsolution de Ax = b, alors
x(k+1) x
(B) lorsque n +.
x(k) x
On en dduit que lorsquelle converge, la mthode de Gauss-Seidel converge plus rapidement que la mthode de
Jacobi.
3.1 Soit B la matrice ditration de la mthode SOR associe A, et soit une valeur propre de B = ( 1 D
E)1 ( 1
l n , y = 0, tel que
D + F ). Il existe donc y C
(1 D + F )y = (D E)y.
Ceci scrit encore : (F + E)y = ( 11 + )Dy, et aussi, en notant une valeur propre non nulle de BJ ,
(
F+
E)y = Dy,
1 +
1 +
soit encore
(E +
1
F )y = Dy,
(1.122)
avec
et =
.
1 +
1 +
Ceci est possible si 1 + =
0, = 0, et
=
1 +
=
.
1 +
(1.123)
Remarquons tout dabord quon a forcment = 1 . En effet, sinon, le vecteur propre y associ vrifie
F y = Ey, ce qui est impossible pour ]0, 2[ et y = 0.
On a galement = 0 car = 0 et = 0.
Voyons maintenant pour quelles valeurs de la relation (1.123) est vrifie. La relation (1.123) est quivalente
( 1 + )2 = ( )() ce qui revient dire que = 2 , o est solution de lquation
2 + 1 = 0.
(1.124)
La relation (1.123) est donc vrifie pour = 2 , o est racine de lquation 2 + 1 = 0. Soit
donc +
et les racines (ou ventuellement la racine double) de cette quation (qui en admet toujours car on la
rsoud dans C).
Donc si = 0 est valeur propre de BJ associe au vecteur propre x, en vertu de (1.122) et de la question 1.a, les
valeurs telles que = ( )2 o est solution de (1.124) sont valeurs propres de la matrice B associs au
vecteurs propres x( ).
Rciproquement, si = 2 , o est solution de lquation (1.124), est valeur propre de B , alors il existe un
vecteur y = 0 tel que B y = y. Soit x IR n tel que x = y (i.e. xi = 1i
yi pour i = 1, . . . , n). On a alors :
((1 )D + F )x = 2 (D E)x , soit encore (E + F )x = (2 (1 ))Dx . Or 2 (1 ) =
grce a (1.124), et donc (E+F )x = Dx . On vrifie facilement que ceci entrane (E+F )x = Dx.
on a ainsi montr que est valeur propre de BJ .
Analyse numrique I, tl-enseignement, L3
100
max
{| |; 2 + 1 = 0}
valeur propre de BJ
2
est valeur propre de B telles que = (+
) et = ( ) sont valeurs propres de la matrice B associs au
+
vecteurs propres x( ) et x
. En dduire que
(matsor) =
max
{| |; 2 + 1 = 0}.
valeur propre de BJ
ai,i |xi | = 0.
i=1
>
ai,j , i = 1, . . . , n.
a
i,j
a
i,i
(1.125)
(1.126)
i=1
j=i
La matrice A est donc diagonale dominante stricte, et par lexercice 45 page 85, elle est donc inversible.
3. La mthode de Jacobi pour la rsolution du systme (1.116) scrit :
(k+1) = (E + F )u(k) + b,
Du
(1.127)
ui
1
(k)
(
ai,j uj + bi ).
ai,i + j=1,n
j=i
On en dduit que
(k+1)
ui
(k)
ui
1
(k)
(k1)
ai,j (uj uj
).
ai,i + j=1,n
j=i
et donc
u(k+1) u(k) A
i=1
ai,i
(k)
(k1)
ai,j (uj uj
).
ai,i + j=1,n
j=i
101
Or
ai,i
1
1
. On a donc
ai,i +
1+
1 + ai,i
u(k+1) u(k) A
1 (k)
(k1)
(uj uj
)
ai,j .
1 + j=1
j=1,n
j=i
Et par hypothse,
j=1,n
j=i
1
u(k) u(k1) A .
1+
u(p+i) u(pi1) A
i=1
u(1) u(0) A (
m
1 p 1 i
)
)
(
1 + i=0 1 +
1
Or > 0 donc la srie de terme gnral ( 1+
)i , et on a :
u(q) u(p) A
u(1) u(0) A (
(1 +
+
1 p 1 i
)
(
)
1 + i=0 1 +
1
1 p
)u(1) u(0) A (
)
1+
0 lorsque p +.
On en dduit que pour tout > 0, il existe n tel que si p, q > n alors u(q) u(p) A , ce qui montre
que la suite est de Cauchy, et donc quelle converge. Soit u sa limite. En passant la limite dans (1.127), on
obtient que u est solution de (1.116).
Exercice 54 page 90 (Une mthode itrative particulire)
1. Det (A) = 1 et donc A est inversible.
(
)
1
1
1
1
2
2. Det ( Id E) =
2 . Or ]0, 2[. Donc la matrice Id E est inversible si =
.
2
2
3. Les valeurs propres de B sont les complexes tels quil existe x C 3 , x = 0, t.q : B x = x, cestdire :
)
(
)
(
1
1
Id x =
Id E x,
F+
= (1 )((1 )2 22 2 )
1
1
.
et 3 =
1 + 2
1 2
102
0.2
0.4
0.6
0.8
1.2
1.4
1.6
1.8
1
si ]0, 2]
(B ) = |3 ()| =
1 2
(B ) = 1 () = |1 | si [ 2, 2[.
103
1.6.1
Lid de la mthode de la puissance est trs simple. Soit A une matrice coefficients complexes de taille n n.
On note 1 , , n ses valeurs propres et on suppose quelles satisfont
|n | > |i |, i = 2, , n.
On appellera alors n la valeur propre dominante de A.
Soit x Cln tel que x = 0 au hasard, et considrons la suite de vecteurs unitaires
x
Ax(0)
Ax(k)
(k+1)
, x(1) =
,
,
x
=
x
Ax(0)
Ax(k)
]
[
2 1
dont les valeurs propres sont 1 et 3, et les vecteurs propres assoPrenons par exemple la matrice A =
[ ]
[ 1
] 2
[ ]
1
(1)
(2)
2 1
2 1
cis f = 2
et f = 2
. Partons de x =
et faisons tourner scilab :
1
1
0
x(0) =
104
1
2
>x =
x =
A x
1
2
3
3
4
5
5
6
>x = x / norm ( x )
x =
11
0.8944272
0.4472136
8
9
14
>x =
x =
A x
11
12
17
14
15
2.236068
1.7888544
20
>x = x / norm ( x )
x =
17
18
23
0.7808688
0.6246950
20
21
26
>x =
x =
A x
23
24
26
27
29
2.1864327
2.0302589
32
>x = x / norm ( x )
x =
29
30
35
0.7327935
0.6804511
32
33
38
>x =
x =
A x
35
36
41
38
39
2.1460381
2.0936957
44
>x = x / norm ( x )
x =
41
42
47
0.7157819
0.6983239
44
45
50
>x =
x =
A x
47
48
53
2.1298877
2.1124297
>x = x / norm ( x )
x =
0.7072145
0.706999
>x =
x =
A x
2.1214281
2.1212125
49
50
51
51
52
2.1216434
2.1209968
46
48
49
A x
43
45
46
>x =
x =
40
42
43
0.7074300
0.7067834
37
39
40
>x = x / norm ( x )
x =
34
36
37
2.1222883
2.1203484
31
33
34
A x
28
30
31
>x =
x =
25
27
28
0.7080761
0.7061361
22
24
25
>x = x / norm ( x )
x =
19
21
22
2.1242123
2.1183925
16
18
19
A x
13
15
16
>x =
x =
10
12
13
0.7100107
0.7041909
9
10
>x = x / norm ( x )
x =
2.
1.
6
7
>x = x / norm ( x )
x =
52
53
54
0.7071427
0.7070709
On voit clairement sur cet exemple que la suite x(k) converge vers 2 f 2 lorsque k +.
Thorme 1.57 (Convergence de la mthode de la puissance). Soit A une matrice de Mn (Cl). On note 1 , , n
les valeurs propres de A, (f 1 , , f n ) une base orthonorme de trigonalisation de A telle que Af n = n f n .
On suppose que la valeur propre n est dominante, c..d. que
|n | > |n1 | |1 |,
105
et on suppose de plus que n IR. Alors si x V ect(f 1 , , f n1 ), la suite de vecteurs x2k converge vers un
vecteur unitaire qui est vecteur propre de A pour la valeur propre dominante n .
De plus, la suite (Axk , xk )nIN converge vers n lorsque k +.
Dmonstration. La dmonstration de ce rsultat fait lobjet de lexercice 56 dans le cas plus simple o A est une
matrice symtrique, et donc diagonalisable dans IR.
Remarque 1.58 (Sur la vitesse de convergence de lalgorithme de la puissance). Supposons pour simplifier que
n > 0, on voit que
xk f 1 2
2
(f 1 + Bk , f 1 )
f 1 + Bk
2
2 (1 f 1 + Bk ) +
Bk 2 CBk
|
{z
} f 1 + Bk
= 2
Bk
)k
(
|2 |
. La mthode de la puissance converge dautant plus vite que lcart entre les deux plus
avec Bk C |
|
1
grandes valeurs propres est grand.
La mthode de la puissance souffre de plusieurs inconvnients :
1. Elle ne permet de calculer que la plus grande valeur propre. Or trs souvent, on veut pouvoir calculer la plus
petite valeur propre.
2. De plus, elle ne peut converger que si cette valeur propre est simple.
3. Enfin, mme dans le cas o elle est simple, si le rapport des des deux plus grandes valeurs propres est proche
de 1, la mthode va converger trop lentement.
Mais de manire assez miraculeuse, il existe un remde chacun de ces maux :
1. Pour calculer plusieurs valeurs propres simulatanment, on procde par blocs : on part de p vecteurs orthogonaux x01 , . . . x0p (au lieu dun seul). Une itration de la mthode consiste alors multiplier les p vecteurs
par A et les orthogonaliser par Gram-Schmidt. En rptant cette itration, on approche, si tout se passe
bien, p valeurs propres et vecteurs propres de A, et la vitesse de convergence de la mthode est maintenant
np
n .
2. Si lon veut calculer la plus petite valeur propre, on applique la mthode de la puissance A1 . On a alors
1.6.2
Mthode QR
Toute matrice A peut se dcomposer sous la forme A = QR, o Q est une matrice orthogonale et R une matrice
triangulaire suprieure. Dans le cas o A est inversible, cette dcomposition est unique. On a donc le thorme
suivant :
Thorme 1.59 (Dcomposition QR dune matrice). Soit A Mn (IR). Alors il existe Q matrice orthogonale et
R matrice triangulaire suprieure coefficients diagonaux positifs ou nuls tels que A = QR. Si la matrice A est
inversible, alors cette dcomposition est unique.
106
La dmonstration est effectue dans le cas inversible la question 1 de lexercice 60. La dcomposition QR dune
matrice A inversible sobtient de manire trs simple par la mthode de Gram-Schmidt, qui permet de construire
une base orthonorme q1 , . . . , qn (les colonnes de la matrice Q), partir de n vecteurs vecteurs indnpendants
a1 , . . . , an (les colonnes de la matrice A). On se reportera lexercice 58 pour un ventuel raffraichissement de
mmoire sur Gram-Schmidt... Dans le cas o A nest pas inversible (et mme non carre), la dcomposition existe
mais nest pas unique. la dmonstration dans le cadre gnral se trouve dans le livre de Ph. Ciarlet conseill en
dbut de ce cours.
Lalgorithme QR pour la recherche des valeurs propres dune matrice est extmement simple : Si A est une matrice
inversible, on pose A0 = A, on effectue la dcomposition QR de A : A = A0 = Q0 R0 et on calcule A1 = R0 Q0 .
Comme le produit de matrices nest pas commutatif, les matrices A0 et A1 ne sont pas gales, mais en revanche
elles sont semblables ; en effet, grace lassociativit du produit matriciel, on a :
1
1
A1 = R0 Q0 = (Q1
0 Q0 )R0 Q0 = Q0 (Q0 R0 )Q0 = Q0 AQ0 .
1.6.3
Exercices
x(k)
(n )n
(b)
x(k+1)
x(k)
x, quand k , avec x = 0 et Ax = n x.
(A) quand n .
Cette mthode de calcul de la plus grande valeur propre sappelle mthode de la puissance".
2. Soit A Mn (IR) une matrice inversible et b IR n . Pour calculer x t.q. Ax = b, on considre un mthode
itrative : on se donne un choix initial x(0) , et on construit la suite x(k) telle que x(k+1) = Bx(k) + c avec
c = (Id B)A1 b, et on suppose B symtrique. On rappelle que si (B) < 1, la suite tend vers x. Montrer
que, sauf cas particuliers prciser,
(a)
(b)
x(k+1) x
x(k) x
107
Soient A Mn (IR) une matrice symtrique et 1 , . . . , p (p n) les valeurs propres de A. Soit i {1, . . . , p},
on cherche calculer i . Soit x(0) IR n . On suppose que x(0) nest pas orthogonal Ker(A i Id). On suppose
galement connatre IR t.q. 0 < | i | < | j | pour tout j = i. On dfinit la suite (x(k) )nIN par
(A Id)x(k+1) = x(k) pour n IN.
1. Vrifier que la construction de la suite revient appliquer la mthode de la puissance la matrice AId)1 .
2. Montrer que x(k) (i )k x, quand k , o x est un vecteur propre associ la valeur propre i ,
c..d. x = 0 et Ax = i x.
3. Montrer que
x(k+1)
x(k)
1
|i |
quand k .
vu
u,
uu
v1 = a 1 ,
q1 =
v2 = a2 projv1 (a2 ),
v3 = a3 projv1 (a3 ) projv2 (a3 ),
v4 = a4 projv1 (a4 ) projv2 (a4 ) projv3 (a4 ),
..
.
vk = a k
k1
projvj (ak ),
qk =
j=1
On a donc
vk = a k
k1
j=1
a k vj
vj ,
vj vj
qk =
vk
.
vk
vk
vk
(1.128)
1. Montrer par rcurrence que la famille (v1 , . . . , vn ) est une base orthogonale de IR n .
2. Soient A la matrice carre dordre n dont les colonnes sont les vecteurs aj et Q la matrice carre dordre N dont
les colonnes sont les vecteurs qj dfinis par le procd de Gram-Schmidt (1.128), ce quon note :
[
]
[
]
A = a1 a2 . . . an ,
Q = q1 q2 . . . qn .
Montrer que
ak = vk qk +
k1
j=1
ak vj
qj .
vj
En dduire que A = QR, o R est une matrice triangulaire suprieure dont les coefficients diagonaux sont positifs.
108
3. Montrer que pour toute matrice A Mn (IR) inversible, on peut construire une matrice orthogonale Q (c.. d.
telle que QQt = Id) et une matrice triangulaire suprieure R coefficients diagonaux positifs telles que A = QR.
[
]
1 4
4. Donner la dcomposition QR de A =
.
1 0
5. On considre maintenant lalgorithme suivant (o lon stocke la matrice Q orthogonale cherche dans la matrice
A de dpart (qui est donc crase)
Algorithme 1.60 (Gram-Schmidt modifi).
Pour k = 1, . . . , n,
Calcul de la norme de ak
n
1
rkk := ( i=1 a2ik ) 2
Normalisation
Pour = 1, . . . , n
ak := ak /rkk
Fin pour
Pour j = k + 1, . . . , n
Produit scalaire correspondant qk aj
n
rkj := i=1 aik aij
On soustrait la projection de ak sur qj sur tous les vecteurs de A aprs k.
Pour i = k + 1, . . . , n,
aij := aij aik rkj
Fin pour i
Fin pour j
Montrer que la matrice A rsultant de cet algorithme est identique la matrice Q donne par la mthode de GramSchmidt, et que la matrice R est celle de Gram-Schmidt. (Cet algorithme est celui qui est effectivement implant,
car il est plus stable que le calcul par le procd de Gram-Schmidt original. )
[
]
cos sin
Exercice 59 (Mthode QR avec shift). Soit A =
sin
0
1. Calculer les valeurs propres de la matrice A.
2. Effectuer la dcomposition QR de la matrice A.
3. Calculer A1 = RQ et A1 = RQ bId o b est le terme a122 de la matrice A1
1Q
1.
4. Effectuer la dcomposition QR de A1 et A1 , et calculer les matrices A2 = R1 Q1 et A2 = R
Exercice 60 (Mthode QR pour la recherche de valeurs propres). Corrig en page 113
Soit A une matrice inversible. Pour trouver les valeurs propres de A, on propose la mthode suivante, dite mthode
QR : On pose A1 = A et on construit une matrice orthogonale Q1 et une matrice triangulaire suprieure R1 telles
que A1 = Q1 R1 (par exemple par lalgorithme ??). On pose alors A2 = R1 Q1 , qui est aussi une matrice inversible.
On construit ensuite une matrice orthogonale Q2 et une matrice triangulaire suprieure R2 telles que A2 = Q2 R2
et on pose A3 = R3 Q3 . On continue et on construit une suite de matrices Ak telles que :
A1 = A = Q1 R1 , R1 Q1 = A2 = Q2 R2 , . . . , Rk Qk = Ak = Qk+1 Rk+1 .
(1.129)
Dans de nombreux cas, cette construction permet dobenir les valeurs propres de la matrice A sur la diagonale
des matrices Ak . Nous allons dmontrer que ceci est vrai pour le cas particulier des matrices symtriques dfinies
positives dont les valeurs propres sont simples (on peut le montrer pour une classe plus large de matrices).
109
On suppose partir de maintenant que A est une matrice symtrique dfinie positive qui admet N valeurs propres
(strictement positives) vrifiant 1 < 2 < . . . < n . On a donc :
A = P P t , avec = diag(1 , . . . , n), et P est une matrice orthogonale.
(1.130)
(La notation diag(1 , . . . , n ) dsigne la matrice diagonale dont les termes diagonaux sont 1 ,... ,n ).
On suppose de plus que
P t admet une dcomposition LU et que les coefficients diagonaux de U sont strictement positifs.
(1.131)
(1.132)
k = Q1 Q2 . . . Qk1 Qk et R
k = Rk Rk1 . . . R2 R1 .
Q
(1.133)
avec
k est une matrice orthogonale et R
k est une matrice triangulaire coefficients
2.3 Justifier brivement le fait que Q
diagonaux positifs.
3. Soit Mk = k Lk .
k Tk o Tk = R
k U 1 k est une matrice triangulaire suprieure dont les coefficients
3.1 Montrer que P Mk = Q
diagonaux sont positifs.
3.2 Calculer les coefficients de Mk en fonction de ceux de L et des valeurs propres de A.
k Tk tend vers P lorsque k +.
3.3 En dduire que Mk tend vers la matrice identit et que Q
4. Soient (Bk )kIN et (Ck )kIN deux suites de matrices telles que les matrices Bk sont orthogonales et les matrices
Ck triangulaires suprieures et de coefficients diagonaux positifs. On va montrer que si Bk Ck tend vers la matrice
orthogonale B lorsque k tend vers linfini alors Bk tend vers B et Ck tend vers lidentit lorsque k tend vers
linfini.
On suppose donc que Bk Ck tend vers la matrice orthogonale B. On note b1 , b2 , . . . , bn les colonnes de la matrice
(k) (k)
(k)
B et b1 , b2 , . . . , bn les colonnes de la matrice Bk , ou encore :
[
]
[
]
(k)
(k)
B = b 1 b 2 . . . bn ,
Bk = b(k)
b2
. . . bn .
1
(k)
(k)
(k)
4.1 Montrer que la premire colonne de Bk Ck est gale c1,1 b1 . En dduire que c1,1 1 et que b1 b1 .
(k) (k)
(k) (k)
(k)
4.2 Montrer que la seconde colonne de Bk Ck est gale c1,2 b1 + c2,2 b2 . En dduire que c1,2 0, puis que
(k)
c2,2
1 et que
(k)
b2
b2 .
(k)
(k)
(k)
bi .
4.4 En dduire que Bk tend B et Ck tend vers lidentit lorsque k tend vers linfini.
k tend vers P et Tk tend vers Id lorsque k +.
5. Dduire des questions 3 et 4 que Q
k (R
k1 )1 = Tk Tk1 . En dduire que Rk et Ak tendent vers .
6. Montrer que R
Analyse numrique I, tl-enseignement, L3
110
1.6.4
Suggestions
Exercice 56 page 107 (Mthode de la puissance pour calculer le rayon spectral de A.)
1. Dcomposer x0 sur une base de vecteurs propres orthonorme de A, et utiliser le fait que n nest pas valeur
propre.
2. a/ Raisonner avec y (k) = x(k) x o x est la solution de Ax = b et appliquer la question 1.
b/ Raisonner avec y (k) = x(k+1) x(k) .
Exercice 57 page 107 (Mthode de la puissance inverse)
Appliquer lexercice prcdent la matrice B = (A Id)1 .
1.6.5
Corrigs
x(n)
i
=
i fi .
nn
n
i=1
Comme n nest pas valeur propre,
lim (
n+
i n
) = 0 si i = n .
n
(1.134)
n+1
i et x(n) =
i
i=1
ni i
i=1
= nn
x(n)
(n+1)
2.
x(n+1)
x
n+1
n
n
= n lorsque n +.
x
x(n)
a) La mthode I scrit partir de x(0) connu : x(n+1) = Bx(n) + c pour n 1, avec c = (I B)A1 b.
On a donc
x(n+1) x = Bx(n) + (Id B)x x
(1.135)
= B(x(n) x).
Si y (n) = x(n) x, on a donc y (n+1) = By (n) , et daprs la question 1a) si y (0) Ker(B n Id)
o n est la plus grande valeur propre de B, (avec |n | = (B)et n non valeur propre), alors
y (n+1)
(B) lorsque n +,
y (n)
111
x(n+1) x
(B) lorsque n +.
x(n) x
(B) lorsque n +.
(n)
y
Exercice 58 page 108 (Orthogonalisation par Gram-Schmidt)
1. Par dfinition de la projection orthogonale, on a v1 v2 = a1 (a2 proja1 (a2 )) = 0.
Supposons la rcurrence vraie
au rang N 1 et montrons que vn est orthogonal tous les vi pour i = 1, . . . , N 1.
n1
a v
Par dfinition, vn = an j=1 vkj vjj vj , et donc
vn vi = a n vi
n1
j=1
a n vj
a n vi
vj vi = an vi
vj vj
vi vi
par hypothse de rcurrence. On en dduit que vn vi = 0 et donc que la famille (v1 , . . . vn ) est une base orthogonale.
2.
k1
j=1
wk vj
vj ,
vj vj
et comme vj = vj aj , on a bien :
ak = vk qk +
k1
j=1
qk =
vk
,
vk
ak vj
qj .
vj
La k-ime colonne de A est donc une combinaison linaire de la k-me colonne de Q affecte du poids vk et
ak vj
des k 1 premires affectes des poids lv
. Ceci scrit sous forme matricielle A = QR o R est une matrice
j
ak vj
carre dont les coefficients sont Rk,k = vk , Rj,k = v
si j < k, et Rj,k = 0 si j > k. La matrice R est donc
j
bien triangulaire suprieure et coefficients diagonaux positifs.
[
]
3. Si A est inversible, par le procd de Gram-Schmidt (1.128) on construit la matrice Q = q1 q2 . . . qn ,
et par la question 1.b, on sait construire une matrice R triangulaire suprieure coefficients diagonaux positifs
A = QR.
[ ]
[ ]
1
1 2
4. On a a1 =
et donc q1 = 2
1
2
]
[ ]
[ ] [ ]
[ ]
[
[ ]
4
2
4 4 1
2
v1
1 2
1
2 .
Puis a2 =
,
et
Q
=
et donc v2 = a2 av12 v
v
=
=
.
Donc
q
=
1
2
2 2
2
1
0
0 2 1
2
2 2
]
]
[
] [
[
1
v1 av2 v
2 2 2
1 2
1
2 .
Enfin, R =
=
, et Q = 2
0
2
2
2
2
0
v1
112
k est un produit de matrices orthogonales et elle est donc orthogonale. (On rappelle que si P et Q
1.3 La matrice Q
sont des matrices orthogonales, c..d. P 1 = P t et Q1 = Qt , alors (P Q)1 = Q1 P 1 = Qt P t = (P Q)t et
donc P Q est orthogonale.)
De mme, le produit de deux matrices triangulaires suprieures coefficients diagonaux positifs est encore une
matrice triangulaire suprieure coefficients diagonaux positifs.
2.1 Par dfinition, P Mk = P k Lk = P k P t P t Lk = Ak P t Lk .
kR
k et P t = LU , et donc :
Mais Ak = Q
k Tk o Tk = R
k U 1 k . La matrice Tk est bien triangulaire suprieure coP Mk = Qk Rk U 1 k = Q
efficients diagonaux positifs, car cest un produit de matrices triangulaires suprieures coefficients diagonaux
positifs.
2.2
si i = j,
Lki,i
j
k
k
(Mk )i,j = ( L )i,j = k Li, j si i > j,
0
sinon.
2.3 On dduit facilement de la question prcdente que, lorsque k +, (Mk )i,j 0 si i = j et (Mk )i,j 1
k Tk tend vers P lorsque k +.
et donc que Mk tend vers la matrice identit et que Q
3.1 Par dfinition, (Bk Ck )i,1 = =1,n (Bk )i, (Ck ),1 = (Bk )i,1 (Ck )1,1 car Ck est triangulaire suprieure. Donc
(k) (k)
113
Comme les matrices B et Bk sont des matrices orthogonales, leurs vecteurs colonnes sont de norme 1, et donc
(k)
(k)
(k)
(k)
On en dduit que |c1,1 | 1 lorsque k +, et donc limk+ c1,1 = 1. Or, par hypothse, la matrice
(k)
C (k) a tous ses coefficients diagonaux positifs, on a donc bien c1,1 1 lorsque k + . Par consquent, on a
(k)
b1 b1 lorsque k .
3.2 Comme Ck est triangulaire suprieure, on a :
(Bk Ck )i,2 =
(Bk )i, (Ck ),2 = (Bk )i,1 (Ck )1,1 + (Bk )i,2 (Ck )2,1 ,
=1,n
(k)
(k)
(k) (k)
(k)
(k)
(1.136)
(k)
(k)
c2,2 b2 b2 lorsque k +.
(k)
(k)
Le mme raisonnement que celui de la question prcdente nous donne alors que c2,2 1 et b2
k +.
b2 lorsque
3.3 On sait dj par les deux questions prcdentes que ces assertions sont vraies pour i = 1 et 2. Supposons
(k)
(k)
(k)
quelles sont vrifies jusquau rang i 1, et montrons que ci,j 0 si i = j, puis que ci,i 1 et bi bi .
Comme Ck est triangulaire suprieure, on a :
(Bk Ck )i,j =
=1,n
=1
j1
(k) (k)
c,1 b
j1
(k) (k)
=1 c,1 b
(k) (k)
+ cj,j bj
(k) (k)
+ cj,j bj . On a donc
bj lorsque k +.
(1.137)
=1
(k)
(k)
La matrice Bk est orthogonale, et donc bi bi = i,j . De plus, par hypothse de rcurrence, on sait que
(k)
b b pour tout j 1. En prenant le produit scalaire du membre de gauche de (1.137) avec b(k)
m , pour
m < i, on obtient
(j1
)
(k) (k)
(k)
(k) (k)
cm,j =
c,1 b + cj,j bj
b(k)
m bm bj = 0 lorsque k +.
=1
(k) (k)
(k)
cj,j
1 et
(k)
bj
bj lorsque k +.
114
suprieure coefficients positifs, on a bien Qk qui tend vers P et Tk qui tend vers Id lorsque k +.
k = Tk k U et donc R
k (R
k1 )1 = Tk k U U 1 k+1 Tk1 = Tk Tk1 .
5. On a R
k (R
k1 )1 qui tend vers . De plus, Ak = Qk Rk , o Qk = Q
k (Q
k1 )1
Comme Tk tend vers Id, on a Rk = R
tend vers Id et Rk tend vers . Donc Ak tend vers .
115
Chapitre 2
Soit g C(IR n , IR n ), on dfinit la fonction f C(IR n , IR n ) par f (x) = x g(x). On peut alors remarquer que
g(x) = 0 si et seulement si f (x) = x. Rsoudre le systme non linaire (2.1) revient donc trouver un point fixe
de f . Encore faut-il quun tel point fixe existe. . . On rappelle le thorme de point fixe bien connu :
Thorme 2.1 (Point fixe). Soit E un espace mtrique complet, d la distance sur E, et f : E E une fonction
strictement contractante, cestdire telle quil existe k ]0, 1[ tel que d(f (x), f (y)) kd(x, y) pour tout x, y
E. Alors il existe un unique point fixe x
E qui vrifie f (
x) = x
. De plus si x(0) E, et x(k+1) = f (x(k) ),
(k)
k 0, alors x x
quand n + .
D MONSTRATION
Etape 1 : Existence de x
et convergence de la suite
(0)
(k)
Soit x E et (x )nIN la suite dfinie par x(k+1) = f (x(k) ) pour n 0. On va montrer que :
1. (x(k) )n est de Cauchy (donc convergente car E est complet),
2.
lim x(k) = x
est point fixe de f .
n+
1. Isaac Newton (1643 - 1727, n dune famille de fermiers, est un philosophe, mathmaticien, physicien, alchimiste et astronome anglais.
Figure emblmatique des sciences, il est surtout reconnu pour sa thorie de la gravitation universelle et la cration, en concurrence avec Leibniz,
du calcul infinitsimal.
116
d(x(n+q) , x(n+q1) )
q=1
q=1
kn
0 quand n + car k < 1.
1k
La mthode du point fixe sappelle aussi mthode des itrations successives. Dans le cadre de ce cours, nous
prendrons E = IR n , et la distance associe la norme euclidienne, que nous noterons | |.
) 12
( n
(xi yi )2
(x, y) IR n IR n avec x = (x1 , . . . , xn ), y = (y1 , . . . , yn ), d(x, y) = |x y| =
.
i=1
A titre dillustration, essayons de la mettre en oeuvre pour trouver les points fixes des fonctions x 7 x2 et x 7
y=
x.
(0)
f (
x )
y = x2
f (
x(1) )
f (
x(2) )
f (x(0) )
f (x(2) )
f (x(1) )
f (x(0) )
f (x(1) )
f (x(2) )
x(3)
x(2)
x(1) x(0)
y=x
x(0) x(1)
x(2)
x(1)
x(0)
y=x
F IGURE 2.1: Comportement des itrs successifs du point fixe A gauche : x 7 x2 , droite : x 7
x.
Pour la fonction x 7 x2 , on voit sur la figure de gauche que si lon part de x = x(0) < 1, la mthode converge
rapidement vers 0 ; de fait, cette fonction est strictement contractante que sur lintervalle ] 12 , 12 [. Donc si x =
Analyse numrique I, tl-enseignement, L3
117
x(0) ] 12 , 12 [, on est dans les conditions dapplication du thorme du point fixe. Mais en fait, la suite (x(k) )nIN
dfinie par le point fixe converge pour tout x(0) ] 1, 1[ ; ceci est trs facile voir car x(k) = xk et on a donc
convergence vers 0 si |x| < 1.
Par contre si lon partait de x(0) > 1 (non reprsent sur la figure), on divergerait rapidement : mais rien de
surprenant cela, puisque la fonction
x 7 x2 nest pas contractante sur [1, +[
7
x,
les
itrs convergent vers 1 que lon parte droite ou gauche de x = 1, alors
que a fonction x 7 x nest contractante que pour x > 14 ; mais on natteint jamais le point fixe 0, ce qui est
moral, puisque la fonction nest pas contractante en 0. On se rend compte encore sur cet exemple que le thorme
du point fixe donne une condition suffisante de convergence, mais que cette condition nest pas ncessaire.
Remarquons que lhypothse que f envoie E dans E est cruciale. Par exemple la fonction f : x 7 x1 est lipschitzienne de rapport k < 1 sur [1 + , +[ pour tout > 0 mais elle nenvoie pas [1 + , +[ dans [1 + , +[. La
mthode du point fixe partir du choix initial x = 1 donne la suite x, x1 , x, x1 , . . . , x, x1 qui ne converge pas.
Remarque 2.2.
1. Sous les hypothses du thorme 2.1, d(x(k+1) , x
) = d(f (x(k) ), f (
x)) kd(x(k) , x
); donc si x(k) = x
(k+1)
,
x)
alors d(x
k (< 1), voir ce sujet la dfinition 2.11. La convergence est donc au moins linaire
d(x(k) ,
x)
(mme si de fait, cette mthode converge en gnral assez lentement).
2. Le thorme 2.1 se gnralise en remplaant lhypothse f strictement contractante" par il existe n > 0
tel que f (k) = f f . . . f est strictement contractante (reprendre la dmonstration du thorme pour
{z
}
|
n fois
le vrifier).
La question qui vient alors naturellement est : que faire si la mthode du point fixe ne converge pas ? Dans ce
cas, f nest pas strictement contractante, et une ide naturelle est dintroduire un paramtre = 0 et la fonction
f (x) = x g(x) ; on remarque l encore que x est encore solution du systme (2.1) si et seulement si x est
point fixe de f (x). On aimerait dans ce cas trouver pour que f soit strictement contractante. Pour quelle le
soit, il suffit que |f (x) f (y)| = |x y (g(x) g(y))| k|x y| pour (x, y) IR n . Or
(
) (
)
|x y (g(x) g(y))|2 = x y (g(x) g(y)) x y (g(x) g(y))
= |x y|2 2(x y) ((g(x) g(y))) + 2 |g(x) g(y)|2 .
Supposons que g soit lipschitzienne, et soit M > 0 sa constante de Lipschitz :
|g(x) g(y)| M |x y|, x, y IR n .
(2.2)
On a donc
|x y (g(x) g(y))|2 (1 + 2 M 2 )|x y|2 2(x y) ((g(x) g(y)))
Or on veut |x y (g(x) g(y))|2 k|x y|2 , avec k < 1. On a donc intrt ce que le terme 2(x y)
((g(x) g(y))) soit de la forme a|x y|2 avec a strictement positif. Pour obtenir ceci, on va supposer de plus
que :
> 0 tel que (g(x) g(y)) (x y) |x y|2 , x, y IR n ,
(2.3)
On obtient alors :
|x y (g(x) g(y))|2 (1 + 2 M 2 2)|x y|2 .
2
2
2
2 est strictement ngatif : soit (noter que ]0, 1[) et on
Et donc si ]0, M
2 [, le polynme M
obtient que
|x y (g(x) g(y))|2 (1 )|x y|2 .
118
Thorme 2.3 (Point fixe de contraction avec relaxation). On dsigne par | | la norme euclidienne sur IR n . Soit
g C(IR n , IR n ) lipschitzienne de constante de Lipschitz M > 0, et telle que (2.3) est vrifie : alors la fonction
2
. Il existe donc un et un seul x
IR n tel que
f : x 7 x g(x) est strictement contractante si 0 < <
M2
g(
x) = 0 et x(k) x
quand n + avec x(k+1) = f (x(k) ) = x(k) + g(x(k) ).
2
Remarque 2.4. Le thorme 2.3 permet de montrer que sous les hypothses (2.3) et (2.2), et pour ]0, M
2 [, on
peut obtenir la solution de (2.1) en construisant la suite :
{ (k+1)
x
= x(k) + g(x(k) ) n 0,
(2.4)
x(0) IR n .
= f (x(k) ), n 0
(k+1)
x
=
x(k+1) + (1 )x(k) , x(0) IR n .
(2.5)
On a dans ce cas, par dfinition du gradient, Dh(x)() = h(x) o h(x) = (1 h(x), , n h(x))t IR n
est le gradient de h au point x (on dsigne par i h la drive partielle de f par rapport sa i-me variable).
Comme on suppose h C 2 (IR n , IR), on a donc g = h C 1 (IR n , IR n ), et g est continment diffrentiable,
cestdire
Dg(x) L(IR n , IR n ), et g(x + ) = g(x) + Dg(x)() + ||(),
avec () 0.
0
Comme Dg(x) L(IR n , IR n ), on peut reprsenter Dg(x) par une matrice de Mn (IR), on confond alors lapplication linaire et la matrice qui la reprsente dans la base canonique, et on crit par abus de notation
Dg(x) 2
hj (x)
Mn (IR). On peut alors crire, grce cet abus de notation, Dg(x)() = Dg(x) avec (Dg(x))i = i,j=1,n i,j
2
o i,j
h = i (j h)(x).
Comme h est de classe C 2 , la matrice Dg(x) est symtrique, et donc diagonalisable dans IR. Pour x IR n , on
note (i (x))1in les valeurs propres de Dg(x), qui sont donc relles.
La proposition suivante donne une condition suffisante pour quune fonction vrifie les hypothses (2.3) et (2.2).
Proposition 2.6. Soit h C 2 (IR n , IR), et (i )i=1,n les valeurs propres de la matrice hessienne de h. On suppose
quil existe des rels strictement positifs et tels que i (x) , i {1 . . . n}, x IR n . (Notons
que cette hypothse est plausible puisque les valeurs propres de la matrice hessienne sont relles). Alors la fonction
g = h (gradient de h) vrifie les hypothses (2.3) et (2.2) du thorme 2.3 avec = et M = .
D MONSTRATION Montrons dabord que lhypothse (2.3) est vrifie. Soit (x, y) (IR n )2 , on veut montrer que
(g(x) g(y)) (x y) |x y|2 . On introduit pour cela la fonction C 1 (IR, IR n ) dfinie par :
(t) = g(x + t(y x)).
119
1
On a donc (1) (0) = g(y) g(x) = 0 (t)dt. Or (t) = Dg(x + t(y x))(y x). Donc g(y) g(x) =
1
Dg(x + t(y x))(y x)dt. On en dduit que :
0
1
(g(y) g(x)) (y x) =
(Dg(x + t(y x))(y x) (y x)) dt.
0
Comme i (x)
i {1, . . . , n}, on a donc |y|2 Dg(z)y y |y|2 . On a donc : (g(y) g(x))
1 [, ]
2
(y x) 0 |y x| dt = |y x|2 ce qui termine la dmonstration de (2.3).
Montrons maintenant que lhypothse (2.2) est vrifie. On veut montrer que |g(y) g(x)| |y x|. On peut crire :
1
g(y) g(x) =
Dg(x + t(y x))(y x)dt,
0
et donc
|g(y) g(x)|
0 1
o |.| est la norme sur Mn (IR) induite par la norme euclidienne sur IR n .
Or, comme i (x) [, ] pour tout i = 1, . . . , N , la matrice Dg(x + t(y x)) est symtrique dfinie positive
et donc, daprs la proposition 1.26 page 50, son rayon spectral estgale sa norme, pour la norme induite par la norme
euclidienne. On a donc :
|Dg(x + t(y x)| = (Dg(x + t(y x)) .
On a donc ainsi montr que : |g(y) g(x)| |y x|, ce qui termine la dmonstration.
Remarque 2.7 (Un cas particulier). Dans de nombreux cas issus de la discrtisation dquations aux drives
partielles, le problme de rsolution dun problme non linaire apparat sous la forme Ax = R(x) o A est une
matrice carre dordre n inversible, et R C(IR n , IR n ). On peut le rcrire sous la forme x = A1 R(x) et
appliquer lalgorithme de point fixe sur la fonction f : x 7 A1 Rx, ce qui donne comme itration : x(k+1) =
A1 R(x(k) ). Si on pratique un point fixe avec relaxation, dont le paramtre de relaxation > 0, alors litration
scrit :
x
(k+1) = A1 R(x(k) ),
x(k+1) =
x(k+1) + (1 )x(k) .
2.1.2
120
(k)
Ces ingalits sentendent composante par composante, c..d. que si x(k) = (x1 . . . xn )t IR n et x
= (
x1 . . . x
n )t
(k)
(k)
(k+1)
IR n , alors 0 xi x
i et xi xi
, i {1, . . . , n}, et n 0.
(k)
Enfin, comme Ax(k+1) = R(x(k) ) et comme R est continue, on obtient par passage la limite lorsque n + que
A
x = R(
x) et que 0 x
x
.
Lhypothse 1 du thorme 2.8 est vrifie par exemple par les matrices A quon a obtenues par discrtisation par
diffrences finies des oprateurs u sur lintervalle ]0, 1[ (voir page 11 et lexercice 40) et u sur ]0, 1[]0, 1[
(voir page 14).
D MONSTRATION
Remarque 2.10 (Point fixe de Brouwer). On sest intress ici uniquement des thormes de point fixe constructifs", i.e. qui donnent un algorithme pour le dterminer. Il existe aussi un thorme de point fixe dans IR n avec des
121
hypothses beaucoup plus gnrales (mais le thorme est non constructif), cest le thorme de Brouwer 2 : si f
est une fonction continue de la boule unit de IR n dans la boule unit, alors elle admet un point fixe dans la boule
unit.
2.1.3
Vitesse de convergence
= [0, 1].
n+ x(k) x
lim
(2.6)
= > 0.
n+ x(k) x
2
lim
= > 0.
(k)
n+ x
x
k
lim
122
Cest le cas de la mthode de Newton, que nous allons introduire. Lorsquelle converge, elle converge trs vite
(nous dmontrerons que la vitesse de convergence est quadratique). Mais lorsquelle diverge, elle diverge aussi
trs vite...
Pour construire des mthodes itratives qui convergent super vite", nous allons donc essayer dobtenir des vitesses
de convergence super linaires. Cest dans cet esprit que nous tudions dans la proposition suivante des conditions
suffisantes de convergence de vitesse quadratique pour une mthode de type point fixe, dans le cas dune fonction
f de IR dans IR..
Proposition 2.13 (Vitesse de convergence dune mthode de point fixe). Soit f C 1 (IR, IR) ; on suppose quil
existe x
IR tel que f (
x) = x
. On construit la suite
x(0) IR
x(k+1) = f (x(k) ).
1. Si on suppose que f (
x) = 0 et |f (
x)| < 1, alors il existe > 0 tel que si x(0) I = [
x , x
+ ]
(k+1)
|x
|
on a x(k) x
lorsque n +, et si x(k) = x
, alors
|f (
x)| = , o ]0, 1[. La
|x(k) x
|
convergence est donc linaire.
2. Si on suppose maintenant que f (
x) = 0 et f C 2 (IR, IR), alors il existe > 0 tel que si x(0) I =
(k)
[
x , x
+ ], alors x x
quand n + , et si x(k) = x
, n IN alors
|x(k+1) x
|
1
x)|.
= |f (
2
|x(k) x
|2
La convergence est donc au moins quadratique.
D MONSTRATION
1. Supposons que |f (
x)| < 1, et montrons quil existe > 0 tel que si x(0) I alors x(k) x
. Comme f C 1 (IR, IR)
123
On tudie dans le paragraphe suivant la mthode de Newton pour la rsolution dun systme non linaire. (En fait,
il semble que lide de cette mthode revienne plutt Simpson 3 Donnons lide de la mthode de Newton dans
le cas n = 1 partir des rsultats de la proposition prcdente. Soit g C 3 (IR, IR) et x
IR tel que g(
x) = 0.
On cherche une mthode de construction dune suite (x(k) )n IR n qui converge vers x
de manire quadratique.
On pose
f (x) = x + h(x)g(x) avec h C 2 (IR, IR) tel que h(x) = 0 x IR.
on a donc
f (x) = x g(x) = 0.
Si par miracle f (
x) = 0, la mthode de point fixe sur f va donner (pour x(0) I donn par la proposition 2.13)
(k)
(x )nIN tel que x(k) x
de manire au moins quadratique. Or on a f (x) = 1 + h (x)g(x) + g (x)h(x) et
1
donc f (
x) = 1 + g (
x)h(
x). Il suffit donc de prendre h tel que h (
x) =
. Ceci est possible si g (
x) = 0.
g (
x)
En rsum, si g C 3 (IR, IR) est telle que g (x) = 0 x IR et g(
x) = 0, on peut construire, pour x assez proche
de x
, la fonction f C 2 (IR, IR) dfinie par
f (x) = x
g(x)
.
g (x)
Grce la proposition 2.13, il existe > 0 tel que si x(0) I alors la suite dfinie par x(k+1) = f (x(k) ) =
x(k)
g(x(k) )
g (x(k) )
converge vers x
de manire au moins quadratique.
Remarquons que dans le cas n = 1, a suite de Newton peut sobtenir naturellement en remplaant lquation
g(x) = 0 par g(x(k+1) ) = 0, et g(x(k+1) ) par le dveloppement limit en xk :
g(x(k+1) ) = g(x(k) )g (x(k) )(x(k+1) x(k) ) + |x(k+1) x(k) |(x(k+1) x(k) ).
Cest le plus sr moyen mnmotechnique pour retrouver litration de Newton :
g(x(k) ) + g (x(k) )(x(k+1) x(k) ) = 0 ou encore g (x(k) )(x(k+1) x(k) ) = g(x(k) ).
(2.7)
Remarque 2.14 (Attention lutilisation du thorme des accroissements finis. . . ). On a fait grand usage du
thorme des accroissements finis dans ce qui prcde. Rappelons que sous la forme quon a utilise, ce thorme
nest valide que pour les fonctions de IR dans IR. On pourra sen convaincre en considrant la fonction de IR dans
IR 2 dfinie par :
[
]
sin x
(x) =
.
cos x
On peut vrifier facilement quil nexiste pas de IR tel que (2) (0) = 2 ().
2.1.4
Exercices
Enoncs
Exercice 61 (Calcul diffrentiel). Suggestions en page 126, corrig dtaill en page 126
3. Voir Nick Kollerstrom (1992). Thomas Simpson and Newtons method of approximation : an enduring myth, The British Journal for
the History of Science, 25, pp 347-354 doi :10.1017/S0007087400029150 Thomas Simpson est un mathmaticien anglais du 18-me sicle
qui on attribue gnralement la mthode du mme nom pour le calcul approch des intgrales, probablement tort car celle-ci apparat dj
dans les travaux de Kepler deux sicles plus tt !
124
(2.8)
o i > 0 pour tout i {1, . . . , n}, bi 0 pour tout i {1, . . . , n} et A Mn (IR) est une matrice vrifiant
u IR n , Au 0 u 0.
(2.9)
On suppose quil existe > 0 t.q. (2.8) ait une solution, note u() , pour = . On suppose aussi que u() 0.
Soit 0 < < . On dfinit la suite (v (k) )nIN IR n par v (0) = 0 et, pour n 0,
(k)
(2.10)
Montrer que la suite (v (k) )nIN est bien dfinie, convergente (dans IR n ) et que sa limite, note u() , est solution
de (2.8) (et vrifie 0 u() u() ).
Exercice 64 (Point fixe amlior). Suggestions en page 126, Corrig en page 127
Soit g C 3 (IR, IR) et x IR tels que g(x) = 0 et g (x) = 0.
On se donne C 1 (IR, IR) telle que (x) = x.
On considre lalgorithme suivant :
x0 IR,
avec h(x) = x
xn+1 = h(xn ), n 0.
(2.11)
g(x)
g ((x))
1) Montrer quil existe > 0 tel que si x0 [x , x + ] = I , alors la suite donne par lalgorithme (2.11) est
bien dfinie ; montrer que xn x lorsque n +.
On prend maintenant x0 I o est donn par la question 1.
2) Montrer que la convergence de la suite (xn )nIN dfinie par lalgorithme (2.11) est au moins quadratique.
1
3) On suppose que est lipschitzienne et que (x) = . Montrer que la convergence de la suite (xn )nIN dfinie
2
par (2.11) est au moins cubique, cest--dire quil existe c IR + tel que
|xn+1 x| c|xn x|3 ,
Analyse numrique I, tl-enseignement, L3
125
n 1.
Universit dAix-Marseille, R. Herbin, 18 novembre 2013
4) Soit IR + tel que g (x) = 0 x I =]x , x + [ ; montrer que si on prend telle que :
g(x)
2g (x)
(x) = x
si x I ,
Suggestions
Exercice 61 page 124 (Calcul diffrentiel) 1. Utiliser le fait que Df (x) est une application linaire et le thorme de Riesz. Appliquer ensuite la diffrentielle un vecteur h bien choisi.
2. Mmes ides...
Exercice 63 page 125 (Mthode de monotonie) Pour montrer que la suite (v (k) )nIN est bien dfinie, remarquer
que la matrice A est inversible. Pour montrer quelle est convergente, montrer que les hypothses du thorme du
point fixe de monotonie vu en cours sont vrifies.
Exercice 64 page 125 (Point fixe amlior)
1) Montrer quon peut choisir de manire ce que |h (x)| < 1 si x I , et en dduire que g ((xn ) = 0 si x0
est bien choisi.
2) Remarquer que
g(xn ) g(x)
|xn+1 x| = (xn x)(1
.
(2.12)
(xn x)g ((xn ))
En dduire que
|xn+1 x|
1
|xn x|2 sup | (x)| sup |g (x)|.
xI
xI
(D(x)(h
(j)
))i = (A(x)h
)i =
k=1
126
Av (k+1) = d(k) ,
(k)
(k)
o d(x) est dfini par : di = i f (vi ) + bi pour i = 1, . . . , n, admet une solution. Or, grce au fait que
Av 0 v 0, la matrice A est inversible, ce qui prouve lexistence et lunicit de v (k+1) .
Montrons maintenant que les hypothses du thorme de convergence du point fixe de monotonie sont bien satisfaites.
()
On pose Ri (u) = i f (ui ) + bi . Le systme rsoudre scrit donc :
Au = R() (u)
Or 0 est soussolution car 0 i f (0) + bi (grce au fait que f (0) = 0, > 0 et bi 0).
Cherchons maintenant une sursolution, cestdire u
IR n tel que
u
R() (
u).
Par hypothse, il existe > 0 et u() 0 tel que
()
(Au() )i = f (ui ) + bi .
Comme < et bi 0, on a
()
()
(
xn+1 x = (xn x) 1
g(xn )
,
g ((xn ))
g(xn ) g(x)
(xn x)g ((xn ))
127
)
.
(2.13)
g (n )
.
g ((xn ))
(2.14)
(
)
1
|xn x|2 1 + sup | (x))| sup |g (x)|.
xI
xI
On a ainsi montr que la convergence de la suite (xn )nIN dfinie par lalgorithme (2.11) est au moins quadratique.
3) Reprenons le calcul de la question prcdente en montant en ordre sur les dveloppements. Calculons |xn+1 x|.
Ecrivons maintenant quil existe n I(x, xn ) tel que
1
g(xn ) = g(x) + (xn x)g (x) + (xn x)2 g (n ).
2
De (2.13), on en dduit que
(
)
g (x) + 12 (xn x)g (n )
xn+1 x = (xn x) 1 (xn x)
.
(xn x)g ((xn ))
Or il existe n I(x, (xn )) tel que
g ((xn )) = g (x) + ((xn ) (x))g (n ).
On a donc :
xn x
xn+1 x =
g ((xn ))
(
)
1
Ecrivons maintenant que (xn ) = (x) + (n )(xn x), o n I(x, xn ). Comme est lipschitzienne, on a
(n ) = (x) + n = 12 + n , avec |n | M |xn x|, o M est la constante de Lipschitz de . On a donc :
(
)
xn x
1
1
xn+1 x =
(xn x)( + n )g (n ) (xn x)g (n ) ,
g ((xn ))
2
2
et donc :
|xn+1 x|
(
)
1
1
|xn x|2 ( (g (n ) g (n )) + n g (n ) .
2
128
1
sup |g (x)|.
2 xI
4) Pour montrer que la suite dfinie par lalgorithme (2.11) converge de manire cubique, il suffit de montrer
que vrifie les hypothses de la question 3). On a videmment (
x) = x
. Comme g C 3 (IR, IR) et que
2
g (x) = 0, x I , on en dduit que C (IR, IR). De plus
(x) = 1
1 g (x)2 g (x)g(x)
1
= .
2
2
g (x)
2
On a vu ci-dessus comment se construit la mthode de Newton partir du point fixe de monotonie en dimension
n = 1. On va maintenant tudier cette mthode dans le cas n quelconque. Soient g C 1 (IR n , IR n ) et x
IR n
tels que g(
x) = 0.
On cherche une mthode de construction dune suite (x(k) )n IR n qui converge vers x
de manire quadratique.
Lalgorithme de Newton de construction dune telle suite scrit :
{ (0)
x IR n
(2.15)
Dg(x(k) )(x(k+1) x(k) ) = g(x(k) ), n 0.
(On rappelle que Dg(x(k) ) Mn (IR) est la matrice reprsentant la diffrentielle de g en x(k) .)
Pour chaque n IN, il faut donc effectuer les oprations suivantes :
1. Calcul de Dg(x(k) ),
2. Rsolution du systme linaire Dg(x(k) )(x(k+1) x(k) ) = g(x(k) ).
Remarque 2.15. Si la fonction g dont on cherche un zro est linaire, i.e. si g est dfinie par g(x) = Ax b avec
A Mn (IR) et b IR n , alors la mthode de Newton revient rsoudre le systme linaire Ax = b. En effet
Dg(x(k) ) = A et donc (2.15) scrit Ax(k+1) = b.
Pour assurer la convergence et la qualit de la mthode, on va chercher maintenant rpondre aux questions
suivantes :
1. la suite (x(k) )n estelle bien dfinie ? Aton Dg(x(k) ) inversible ?
2. Aton convergence x(k) x
quand n + ?
3. La convergence est-elle au moins quadratique ?
129
1. si x(0) B(
x, b) = {x IR n , x x
< b} alors la suite (x(k) )nIN est bien dfinie par (2.15) et
(k)
x B(
x, b) pour tout n IN,
2. si x(0) B(
x, b) et si la suite (x(k) )nIN est dfinie par (2.15) alors x(k) x
quand n +,
3. si x(0) B(
x, b) et si la suite (x(k) )nIN est dfinie par (2.15) alors x(k+1) x
x(k) x
2 n IN.
Pour dmontrer ce thorme, on va commencer par dmontrer le thorme suivant, qui utilise des hypothses plus
faibles mais pas trs faciles vrifier en pratique :
Prenons y = x
et x = x
B(
x, a) dans lingalit ci-dessus. On obtient alors :
g(
x) g(x(k) ) Dg(x(k) )(
x x(k) ) a2
x x(k) 2 .
Comme g(
x) = 0 et par dfinition de x(k+1) , on a donc :
Dg(x(k) )(x(k+1) x(k) ) Dg(x(k) )(
x x(k) ) a2
x x(k) 2 ,
et donc
Dg(x(k) )(x(k+1) x
) a2
x x(k) 2 .
(k+1)
Or x
x
= [Dg(x
(k)
)]
(2.16)
(Dg(x(k) ))(x(k+1) x
), et donc
x(k+1) x
Dg(x(k) )1 Dg(x(k) )(x(k+1) x
).
En utilisant (2.16), les hypothses 1 et 2 et le fait que x(k) B(
x, b), on a donc
x(k+1) x
a1 a2 x(k) x
2 < a 1 a 2 b2 .
(2.17)
1
Or a1 a2 b2 < b car b
. Donc x(k+1) B(
x, b).
a1 a2
(k)
On a ainsi montr par rcurrence que la suite (x )nIN est bien dfinie et que x(k) B(
x, b) pour tout n 0.
Pour montrer la convergence de la suite (x(k) )nIN vers x
, on repart de lingalit (2.17) :
a1 a2 x(k+1) x
(a1 a2 )2
x x(k) 2 = (a1 a2 x(k) x
)2 , n IN,
130
(0)
x
) < 1 et donc x
(k)
2n
x
0 quand n +.
1
,
a1 a2
on a
On a donc
(1) (0)|
(2.18)
Pour majorer Dg(x + t(y x)) Dg(x)), on utilise alors le thorme des accroissements finis 4 (parfois aussi appel
thorme de la moyenne") appliqu Dg ; de lingalit (2.18), on tire donc que pour x, y B(
x, a) et t ]0, 1[ :
Dg(x + t(y x)) Dg(x) ty x
sup
(2.19)
cB(
x,a)
4. Thorme des accroissements finis : Soient E et F des espaces vectoriels norms, soient h C 1 (E, F ) et (x, y) E 2 . On dfinit
]x, y[= {tx + (1 t)y, t ]0, 1[}. Alors : h(y) h(x) y x supz]x,y[ Dh(z)L(E,F ) .
(On rappelle que si T L(E, F ) alors T [L(E,F ) = supxE,xE =1 T xF |.)
Attention : Si dim F > 1, on ne peut pas dire, comme cest le cas en dimension 1, que : ]x, y[ t.q. h(y) h(x) = Dh()(y x).
131
On a donc ainsi dmontr que g vrifie les hypothses du thorme 2.17, ce qui termine la dmonstration du thorme 2.16.
Remarque 2.18 (Choix de litr initial). On ne sait pas bien estimer b dans le thorme 2.16, et ceci peut poser
problme lors de limplantation numrique : il faut choisir litr initial x(0) suffisamment proche" de x pour
avoir convergence.
2.2.2
Lavantage majeur de la mthode de Newton par rapport une mthode de point fixe par exemple est sa vitesse
de convergence dordre 2. On peut dailleurs remarquer que lorsque la mthode ne converge pas, par exemple si
litr initial x(0) na pas t choisi suffisamment proche" de x, alors la mthode diverge trs vite. . .
Linconvnient majeur de la mthode de Newton est son cot : on doit dune part calculer la matrice jacobienne
Dg(x(k) ) chaque itration, et dautre part la factoriser pour rsoudre le systme linaire Dg(x(k) )(x(k+1)
x(k) ) = g(x(k) ). (On rappelle que pour rsoudre un systme linaire, il ne faut pas calculer linverse de la
matrice, mais plutt la factoriser sous la forme LU par exemple, et on calcule ensuite les solutions des systmes
avec matrice triangulaires faciles inverser, voir Chapitre 1.) Plusieurs variantes ont t proposes pour tenter de
rduire ce cot.
Faux quasi Newton
Soient g C 1 (IR n , IR n ) et x
IR tels que g(
x) = 0. On cherche calculer x
. Si on le fait par la mthode de
Newton, lalgorithme scrit :
{ (0)
x IR n ,
Dg(x(k) )(x(k+1) x(k) ) = g(x(k) ), n 0.
La mthode du Faux quasi-Newton (parfois appele quasi-Newton) consiste remplacer le calcul de la matrice
jacobienne Dg(x(k) ) chaque itration par un calcul toutes les quelques" itrations. On se donne une suite
(ni )iIN , avec n0 = 0 et ni+1 > ni i IN, et on calcule la suite (x(k) )nIN de la manire suivante :
{ (0)
x IR n
(2.20)
Dg(x(ni ) )(x(k+1) x(k) ) = g(x(k) ) si ni n < ni+1 .
Avec cette mthode, on a moins de calculs et de factorisations de la matrice jacobienne Dg(x) effectuer, mais on
perd malheureusement la convergence quadratique : cette mthode nest donc pas trs utilise en pratique.
Newton incomplet
On suppose que g scrit sous la forme : g(x) = Ax+F1 (x)+F2 (x), avec A Mn (IR) et F1 , F2 C 1 (IR n , IR n ).
Lalgorithme de Newton (2.15) scrit alors :
(0)
n
x
( IR
)
A + DF1 (x(k) ) + DF2 (x(k) ) (x(k+1) x(k) ) =
(2.21)
On dit quon fait du Newton sur F1 et du point fixe sur F2 . Les avantages de cette procdure sont les suivants :
La mthode ne ncessite pas le calcul de DF2 (x), donc on peut lemployer si F2 C(IR n , IR n )) nest pas
drivable.
Analyse numrique I, tl-enseignement, L3
132
On peut choisir F1 et F2 de manire ce que la structure de la matrice A + DF1 (x(k) ) soit meilleure que
celle de la matrice A + DF1 (x(k) ) + DF2 (x(k) ) ; si par exemple A est la matrice issue de la discrtisation du
Laplacien, cest une matrice creuse. On peut vouloir conserver cette structure et choisir F1 et F2 de manire
ce que la matrice A + DF1 (x(k) ) ait la mme structure que A.
Dans certains problmes, on connat a priori les couplages plus ou moins forts dans les non-linarits : un
couplage est dit fort si la variation dune variable entrane une variation forte du terme qui en dpend. Donnons
un exemple : Soit f de IR 2 dans IR 2 dfinie par f (x, y) = (x + sin(105 y), exp(x) + y), et considrons le
systme non linaire f (x, y) = (a, b)t o (a, b)t IR 2 est donn. Il est naturel de penser que pour ce systme,
le terme de couplage de la premire quation en la variable y sera faible, alors que le couplage de deuxime
quation en la variable x sera fort.
On a alors intrt mettre en oeuvre la mthode de Newton sur la partie couplage fort" et une mthode de point
fixe sur la partie couplage faible".
Linconvnient majeur est la perte de la convergence quadratique. La mthode de Newton incomplet est cependant
assez souvent employe en pratique en raison des avantages numrs ci-dessus.
Remarque 2.19. Si F2 = 0, alors la mthode de Newton incomplet est exactement la mthode de Newton. Si
F1 = 0, la mthode de Newton incomplet scrit A(x(k+1) x(k) ) = Ax(k) F2 (x(k) ), elle scrit alors
Ax(k+1) = F2 (x(k) ), ou encore x(k+1) = A1 F2 (x(k) ) si A inversible. Cest donc dans ce cas la mthode du
point fixe sur la fonction A1 F2 .
Mthode de la scante
La mthode de la scante est une variante de la mthode de Newton dans le cas de la dimension 1 despace. On
suppose ici n = 1 et g C 1 (IR, IR). La mthode de Newton pour calculer x IR tel que g(x) = 0 scrit :
{ (0)
x IR
g (x(k) )(x(k+1) x(k) ) = g(x(k) ), n 0.
On aimerait simplifier le calcul de g (x(k) ), cestdire remplacer g (x(k) ) par une quantit proche sans calculer
g . Pour cela, on remplace la drive par un quotient diffrentiel. On obtient la mthode de la scante :
x(0) , x(1) IR
(2.22)
g(x(k) ) g(x(k1) ) (k+1)
(x
x(k) ) = g(x(k) ) n 1.
(k)
(k1)
x x
Remarquons que dans la mthode de la scante, x(k+1) dpend de x(k) et de x(k1) : on a une mthode deux
pas ; on a dailleurs besoin de deux itrs initiaux x(0) et x(1) . Lavantage de cette mthode est quelle ne ncessite
pas le calcul de g . Linconvnient est quon perd la convergence quadratique. On peut toutefois montrer (voir
exercice 82 page 140) que si g(
x) = 0 et g (
x) = 0, il existe > 0 tel que si x(0) , x(1) [
x .
x + ] = I ,
(k)
la suite (x )nIN construite par la mthode de la scante (2.22) est bien dfinie, que (x(k) )nIN I et que
x(k) x
quand n +. De plus, la convergence est super linaire, i.e. si x(k) = x
pour tout n IN, alors
(k+1)
x
x
0 quand n +. On peut mme montrer (voir exercice 82 page 140) que la mthode de la
x(k) x
133
(2.23)
g(x(k) ) g(x(k1)
.
x(k) x(k1)
(k)
Si n > 1, la condition (2.23) ne permet pas de dterminer compltement B . Il y a plusieurs faons possibles
de choisir B (k) , nous en verrons en particulier dans le cadre des mthodes doptimisation (voir chapitre 4, dans ce
cas la fonction g est un gradient), nous donnons ici la mthode de Broyden 5 .. Celle-ci consiste choisir B (k) de
la manire suivante : x(k) et x(k1) connus, on pose (k) = x(k) x(k1) et y (k) = g(x(k) ) g(x(k1) ) ; on
suppose B (k1) Mn (IR) connue, et on cherche B (k) Mn (IR) telle que
Dans le cas o n = 1, cette condition dtermine entirement B (k) ;car on peut crire : B (k) =
(2.24)
(cest la condition (2.23), qui ne suffit pas dterminer B (k) de manire unique) et qui vrifie galement :
B (k) = B (k1) , IR n tel que (k) .
(2.25)
(2.26)
D MONSTRATION Lespace des vecteurs orthogonaux (k) est de dimension n 1. Soit (1 , . . . , n1 ) une base
de cet espace, alors (1 , . . . , n1 , (k) ) est une base de IR n et si B (k) vrifie (2.24) et (2.25), les valeurs prises par
lapplication linaire associe B (k) sur chaque vecteur de base sont connues, ce qui dtermine lapplication linaire et
donc la matrice B (k) de manire unique. Soit B (k) dfinie par (2.26), on a :
y (k) B (k1) (k) (k) t (k)
( ) = y (k) ,
(k) (k)
vrifie (2.24). Soit IR n tel que (k) , alors (k) = ( (k) )t = 0 et donc
B (k) (k) = B (k1) (k) +
et donc B (k)
B (k) = B (k1) +
(k)
(k1)
(k)
(k1)
( (k) )t ,
+ y B
(k) (k)
Calcul de B = B
(k) (k+1)
Itration n : rsolution de : B (x
x(k) ) = g(x(k) ).
Une fois de plus, lavantage de cette mthode est de ne pas ncessiter le calcul de Dg(x), mais linconvnient est
la perte du caractre quadratique de la convergence .
2.2.3
Exercices
134
Exercice 66 (Newton pour un systme linaire). Soit f lapplication dfinie sur IR n par f (x) = Ax b o A
est une matrice inversible et b IR n . Ecrire lalgorithme de Newton pour la rsolution de lquation f (x) = 0 et
montrer quil converge pour toute condition initiale x0 IR n .
Exercice 67 (Mthode de Newton pour un systme 2 2). Corrig en page 142
1. Ecrire la mthode de Newton pour la rsolution du systme suivant :
5x + 2 sin x + 2 cos y = 0,
(2.27)
2 cos x + 2 sin y 5y = 0.
(2.28)
et montrer que la suite dfinie par cet algorithme est toujours bien dfinie.
2. Soit (x, y) une solution du problme (2.27)-(2.28). Montrer quil existe > 0 tel que si (x0 , y0 ) est dans la
boule B de centre (x, y) et de rayon , alors la suite (xn , yn )nIN construite par la mthode de Newton converge
vers (x, y) lorsque n tends vers +.
3. Montrer quil existe au moins une solution (x, y) au problme (2.27)-(2.28).
Exercice 68 (Mthode de Newton pour un autre systme 2 2).
1. Ecrire la mthode de Newton pour la rsolution du systme suivant :
x2 + 2xy = 0,
xy + 1 = 0.
(2.29)
(2.30)
4m
Soient deux chelles de longueurs respectives 3 et 4 m, poses contre deux murs verticaux selon la figure ci-contre. On sait que
les chelles se croisent 1m du sol, et on
cherche connatre la distance d entre les
deux murs.
3m
1m
M
d
9y = (y + 1)(x + y) .
(2.31)
(2.32)
135
Exercice 70 (Nombre ditrations fini pour Newton). Corrig dtaill en page 144
1. Soit f la fonction de IR dans IR dfinie par : f (x) = ex 1. Pour x(0) IR, on note (x(k) )nIN la suite des
itrs construits par la mthode de Newton pour la recherche dun point o f sannule.
1.1 Montrer que pour tout x(0) IR, la suite (x(k) )nIN est bien dfinie.
1.2 Montrer que si x(0) = 0, alors x(k+1) = x(k) pour tout n IN. En dduire que la mthode de Newton converge
en un nombre fini doprations si et seulement si f (x(0) ) = 0.
1.3 Montrer que :
1.3 (a) si x(0) < 0 alors x(1) > 0.
1.3 (b) si x(0) > 0 alors 0 < x(1) < x(0) .
1.4 Montrer que la suite (x(k) )nIN converge lorsque n tend vers linfini et donner sa limite.
2. Soit F : IR n IR une fonction continment diffrentiable et strictement convexe (n 1) et dont la diffrentielle ne sannule pas. Soit x(0) IR n le choix initial (ou itr 0) dans la mthode de Newton.
Montrer que la mthode de Newton converge en un nombre fini doprations si et seulement si F (x(0) ) = 0.
Exercice 71 (Mthode de Newton pour un systme 2 2).
1. On considre lapplication f : IR IR dfinie par f (x) = x2 . Ecrire la mthode de Newton pour calculer
la solution de f (x) = 0 et montrer quelle converge quel que soit le choix initial x0 IR.
2. On considre maintenant lapplication F : IR 2 IR 2 dfinie par
[ 2
]
x y
F (x, y) =
y2
(a) Dterminer lensemble des solutions de F (x, y) = (0, 0).
(b) Ecrire lalgorithme de Newton pour la rsolution, et montrer que lalgorithme est bien dfini pour tous
les couples (x0 , y0 ) tels que x0 = 0 et y0 > 0.
(c) Soit (x0 , y0 ) = (1, 1). On note (xk , yk ), k IN les itrs de Newton.
i. Expliciter yk et en dduire que la suite (yk )kIN converge.
ii. Montrer que xk 2 2 pour tout k IN et en dduire que xk+1 xk pour tout k IN.
k
iii. En dduire que la mthode de Newton converge vers une solution de F (x, y) = (0, 0).
Exercice 72 (Mthode de Newton pour le calcul de linverse). Corrig en page 145
1
par lalgorithme de Newton.
a
(a) Montrer que lalgorithme de Newton appliqu une fonction g (dont
{ (0)
x donn,
x(k+1) = x(k) (2 ax(k) ).
1
a
(b) Montrer que la suite (x(k) )nIN dfinie par (2.33) vrifie
1 si x(0) ]0, 2 [,
(k)
a
a
lim x =
2
n+
si x(0) ] , 0[] , +[
a
2. On cherche maintenant calculer linverse dune matrice par la mthode de Newton. Soit donc A une matrice
carre dordre n inversible, dont on cherche calculer linverse.
(a) Montrer que lensemble GLn (IR) des matrices carres inversibles dordre n (o n 1) est un ouvert
de lensemble Mn (IR) des matrices carres dordre n.
Analyse numrique I, tl-enseignement, L3
136
(b) Soit T lapplication dfinie de GLn (IR) dans GLn (IR) par T (B) = B 1 . Montrer que T est drivable,
et que DT (B)H = B 1 HB 1 .
(c) Ecrire la mthode de Newton pour calculer A1 en cherchant le zro de la fonction g de Mn (IR) dans
Mn (IR) dfinie parg(B) = B 1 A. Soit B (k) la suite ainsi dfinie.
(d) Montrer que la suite B (k) dfinie dans la question prcdente vrifie :
Id AB (k+1) = (Id AB (k) )2 .
En dduire que la suite (B (k) )nIN converge vers A1 si et seulement si (Id AB (0) ) < 1.
Exercice 73 (Mthode de Newton pour le calcul de la racine).
1. Soit IR + et f la fonction de IR dans IR dfinie par f (x) = x2 .
1.1 Soit x(0) IR fix. Donner lalgorithme de Newton pour la rsolution de lquation f (x) = 0.
1.2 On suppose x(0) > 0.
(i) Montrer que la suite (x(k) )k1 est minore par
(k)
Soit n IN et soit A Mn (IR) une matrice diagonalisable dans IR ; on note i , i = 1, . . . , n les valeurs propres
de A. On suppose que i > 0 pour tout i = 1, . . . , n.
2
2. Montrer quil existe au moins
( une matrice
) B Mn (IR) telle que B = A. Calculer une telle matrice B
1 1
dans le cas o n = 2 et A =
.
0 2
3. On suppose de plus que A est symtrique dfinie positive. Montrer quil existe une unique matrice symtrique dfinie positive B telle que B 2 = A. Montrer par un contre exemple que lunicit nest pas vrifie si
on ne demande pas que B soit symtrique dfinie positive.
Soit F lapplication de Mn (IR) dans Mn (IR) dfinie par F (X) = X 2 A.
4. Montrer que F est diffrentiable en tout X Mn (IR), et dterminer DF (X)H pour tout H Mn (IR).
Dans la suite de lexercice, on considre la mthode de Newton pour dterminer B.
5. On suppose maintenant n 1. On note (X (k) )kIN la suite (si elle existe) donne par lalgorithme de
Newton partir dun choix initial X (0) = I, o I est la matrice identit de Mn (IR).
5.1 Donner le procd de construction de X (k+1) en fonction de X (k) , pour k 0.
5.2 On note 1 n les valeurs propres de A (dont certaines peuvent tre gales) et P la matrice
orthogonale telle que A = P 1 diag(1 , , n )P .
(i) Montrer que pour tout k IN, X (k) est bien dfinie et est donn par X (k) = P 1 diag(1 , , n )P
(k)
o i est le k i`eme terme de la suite de Newton pour la rsolution de fi (x) = (x i )2 = 0
(0)
avec comme choix initial i = 1.
(k)
(k)
(2.34)
137
x0 IR,
avec h(x) = x
(2.35)
xn+1 = h(xn ), n 0.
g(x)
.
g f (x))
1. Montrer quil existe > 0 tel que si x0 [x , x + ] = I , alors la suite donne par lalgorithme (2.35)
est bien dfinie ; montrer que xn x lorsque n + (on pourra montrer quon peut choisir de manire
ce que |h (x)| < 1 si x I ).
On prend maintenant x0 I o est donn par la question 1.
2. Montrer que la convergence de la suite (xn )nIN dfinie par lalgorithme (2.35) est au moins quadratique.
1
3. On suppose de plus que f est deux fois drivable et que f (x) = . Montrer que la convergence de la suite
2
(xn )nIN dfinie par (1) est au moins cubique, cest--dire quil existe c IR + tel que
|xn+1 x| c|xn x|3 ,
n 1.
4. Soit IR + tel que g (x) = 0 x I =]x , x + [ ; montrer que si on prend f C 1 (IR, IR) telle
que :
g(x)
si x I ,
f (x) = x
2g (x)
alors la suite dfinie par lalgorithme (1) converge de manire cubique.
138
c
2 ,
1
2 ,
(x, y) I 2
x I.
f (x(k) )
,
f (y)
(2.36)
f (x(k) )f (x0 )
f (y)
f (x0 )
f (y) .)
2. Montrer que la suite (x(k) )nIN dfinie par (2.36) vrifie |x(k) x
|
manire au moins linaire.
c
2n
f (x(k) )
,
f (y (k) )
(2.37)
o la suite (y (k) )nIN est une suite donne dlments de I. Montrer que la suite (x(k) )nIN converge vers
x
de manire au moins linaire, et que cette convergence devient super-linaire si f (yn ) f (
x) lorsque
n +.
4. On suppose maintenant que n 1 et que f C 1 (IR n , IR n ). La mthode dfinie par (2.36) ou (2.37)
peut-elle se gnraliser, avec dventuelles modifications des hypothses, la dimension n ?
Exercice 79 (Mthode de Newton pour un systme semi-linaire). Suggestions en page 142.
On suppose que f C 2 (IR, IR) et que f est croissante. On sintresse au systme non linaire suivant de n
quations n inconnues (notes u1 , . . . , un ) :
(Au)i + i f (ui ) = bi i {1, . . . , n},
u = (u1 , . . . , un )t IR n ,
(2.38)
o A Mn (IR) est une matrice symtrique dfinie positive, i > 0 pour tout i {1, . . . , n} et bi IR pour tout
i {1, . . . , n}.
On admet que (2.38) admet au moins une solution (ceci peut tre dmontr mais est difficile).
1. Montrer que (2.38) admet une unique solution.
2. Soit u la solution de (2.38). Montrer quil existe a > 0 t.q. la mthode de Newton pour approcher la solution
de (2.38) converge lorsque le point de dpart de la mthode, not u(0) , vrifie |u u(0) | < a.
Exercice 80 (Mthode de Steffensen).
Suggestions en page 142, corrig dtaill en page 150
Analyse numrique I, tl-enseignement, L3
139
Soient f C 2 (IR, IR) et x IR t.q. f (x) = 0 et f (x) = 0. On considre la mthode itrative suivante :
Initialisation : x(0) IR n .
Itrations : pour n 0, si f (x(k) + f (x(k) )) = f (x(k) ),
x(k+1) = x(k)
f (x(k)
(f (x(k) ))2
,
+ f (x(k) )) f (x(k) )
(2.39)
(2.40)
3. Montrer que la mthode est localement convergente en x et la convergence est au moins dordre 2.
Exercice 81 (Mthode de Newton-Tchebycheff).
1. Soit f C 3 (IR, IR) et soit x
IR tel que x
= f (
x) et f (
x) = f (
x) = 0. Soit (xn )nIN la suite dfinie par :
{
x0 IR,
(P F )
xn+1 = f (xn ).
(a) Justifier lappellation (P F ) de lalgorithme.
(b) Montrer quil existe a > 0 tel que si |y x| a alors |f (y)| 12 .
(c) Montrer par rcurrence sur n que si x0 B(
x, a) alors xn B(
x, 2an ).
(d) En dduire que la suite construite par (P F ) converge localement, cestdire quil existe un voisinage V
de x
tel que si x0 V alors xn x
lorsque n +. .
(e) Montrer que la vitesse de convergence de la suite construite par (P F ) est au moins cubique (cest--dire
qu il existe IR + tel que |xn+1 x
| |xn x
|3 si la donne initiale x0 est choisie dans un certain
voisinage de x
. On pourra utiliser un dveloppement de Taylor-Lagrange).
2. Soit g C 3 (IR, IR), et soit x
IR tel que g(
x) = 0 et g (
x) = 0. Pour une fonction h C 3 (IR, IR)
3
dterminer, on dfinit f C (IR, IR) par f (x) = x + h(x)g(x). Donner une expression de h(
x) et h (
x) en
fonction de g (
x) et de g (
x) telle que la mthode (P F ) applique la recherche dun point fixe de f converge
localement vers x
avec une vitesse de convergence au moins cubique.
3. Soit g C 5 (IR, IR), et soit x
IR tel que g(
x) = 0 et g (
x) = 0. On considre la modification suivante (de
Tchebychev) de la mthode de Newton :
xn+1 = xn
.
g (xn )
2[g (xn )]3
(2.41)
Montrer que la mthode (2.41) converge localement et que la vitesse de convergence est au moins cubique. [On
pourra commencer par le cas o g ne sannule pas].
Exercice 82 (Mthode de la scante). Corrig en page 2.2.3 page 152
Soient f C 2 (IR, IR) et x IR t.q. f (x) = 0 et f (x) = 0. Pour calculer x, on considre la mthode itrative
suivante (appele mthode de la scante") :
Initialisation : x0 , x1 IR.
140
1. Montrer quil existe > 0 t.q. pour x0 , x1 ]x , x + [, x0 = x1 , la mthode de la scante dfinit bien
une suite (xn )nIN et lon a en+1 (1/2)en pour tout n 1. [Raisonner par rcurrence : on suppose
xn , xn1 ]x , x + [, xn = xn1 et xn = x. Montrer, grce un choix convenable de , que f (xn ) =
f (xn1 ) et que f (xn ) = 0. En dduire que xn+1 est bien dfini et xn = xn+1 . Puis, toujours grce un
choix convenable de , que en+1 (1/2)en . Conclure.]
Dans les questions suivantes, on suppose que x0 , x1 ]x , x + [, x0 = x1 ( trouv la premire
question) et quela suite (xn )nIN donne par la mthode de la scante vrifie xn = x pour tout n IN. On
pose d = (1 + 5)/2 et on dmontre que la convergence est en gnral dordre d.
2. Pour x = x, on dfinit (x) comme la moyenne de f sur lintervalle dont les extrmits sont x et x.
n )(xn1 )
(a) Montrer que en+1 = en en1 Mn , pour tout n 1, avec Mn = | (x
f (xn )f (xn1 ) |.
(b) Montrer que la fonction est drivable sur IR \ {x}. Calculer limxx (x).
(c) Calculer la limite de la suite (Mn )n1 lorsque n . En dduire que la suite (Mn )n1 est borne.
3. Soit M > 0, M Mn pour tout n 1 (Mn donn la question prcdente). On pose a0 = M e0 ,
a1 = M e1 et an+1 = an an1 pour n 1.
(a) Montrer que M en an pour tout n IN.
(b) Montrer quil existe 1 ]0, ] t.q. la suite (an )n1 tend en dcroissant vers 0 lorsque n +, si
x0 , x1 ]x 1 , x + 1 [.
(c) Dans cette question, on prend x0 , x1 ]x 1 , x + 1 [. Montrer quil existe > 0 et ]0, 1[ t.q
n
M en an ()d pour tout n IN (ceci correspond une convergence dordre au moins d). [On
pourra utiliser la relation de rcurrence ln an+1 = ln an + ln an1 pour n 1].
(d) (Question plus difficile) Si f (x) = 0, en+1 = en en1 Mn , montrer que Mn M , quand n ,
en+1
avec M > 0. En dduire quil existe > 0 t.q. (e
d quand n (ceci signifie que la
n)
convergence est exactement dordre d). [Considrer, par exemple, n = ln en+1 d ln en et montrer
que n converge dans IR quand n .]
(e) Comparer lordre de convergence de la mthode de la scante celui de la mthode de Newton.
Suggestions
Exercice 65 page 134 (Newton et logarithme)
x x ln x.
Exercice 73 page 137 (Mthode de Newton pour le calcul de la racine) 4. Ecrire la dfinition de la diffrentiel
en faisant attention que le produit matriciel nest pas commutatif.
5. Ecrire lalgorithme de Newton dans la base des vecteurs propres associs aux valeurs propres de A.
Exercice 74 page 137 (Valeurs propres et mthode de Newton) Ecrire le systme sous la forme F (x, ) = 0
o F est une fonction de IR n+1 dans IR n+1 et montrer que DF (, x) est inversible.
Exercice 75 page 138 (Modification de la mthode de Newton) 1. Remarquer que si A Mn (IR) et > 0,
alors At A + Id est symtrique dfinie positive.
2. En introduisant la fonction dfinie par (t) = f (txn + (1 t)x), montrer que f (xn ) = (xn x)g(xn ), o
1
g(x) = 0 f (tx + (1 t)x)dt. Montrer que g est continue.
141
f (xn )g(xn )
,
f (xn )2 +
1
que f (tx + (1 t)xn ) = 0 (s)ds + (0), o (t) = f (x + (1 t)n ).
3. La convergence locale et lordre 2 se dduisent des rsultats de la question 2.
Corrigs des exercices
Corrig de lexercice 68 page 135 (Mthode de Newton pour un systme 2 2)
En cours de rdaction
Corrig de lexercice 66 page 135 (Mthode de Newton pour un systme linaire) On a pour tout x IR n ,
Df (x) = A inversible donc lalgorithme de Newton est bien dfini et scrit Ax(1) = .b. Il converge donc en une
itration, qui demande la rsolution du sysme linaire Ax = b. . .
Corrig de lexercice 67 page 135 (Mthode de Newton pour un systme 2 2) 1. Soit F lapplication de IR 2
dans IR 2 dfinie par F (x, y) = (5x + 2 sin x + 2 cos y, 2 cos x + 2 sin y 5y). Calculons la matrice jacobienne
de F au point (x, y) :
[
]
5 + 2 cos x
2 sin y
DF (x, y) =
2 sin x
2 cos y 5
Det(DF )(x, y) = (5 + 2 cos x)(5 + 2 cos y) 4 sin x sin y = 25 + 4 cos x cos y 10 cos x 10 cos y
4 sin x sin y.
Si cos x cos y 0, alors Det(DF )(x, y) 1 > 0,
Sinon, alors cos x > 0 et cos y < 0 (ou cos y > 0 et cos x < 0), et Det(DF )(x, y) 25 4 10 cos x
4 sin x sin y > 0.
On a donc Det(DF )(x, y) > 0 pour tout (x, y) IR 2 , ce qui prouve que la Jacobienne DF (x, y) est toujours
inversible. On peut donc toujours crire lalorithme de Newton :
[ (k+1)
]
x
x(k)
DF (x(k) , y (k) ) (k+1)
= F (x(k) , y (k) )
y
y (k)
Analyse numrique I, tl-enseignement, L3
142
2. Il est facile de voir que la fonction F est deux fois continment diffrentiable. Il suffit alors dappliquer le
thorme de convergence du cours.
3. Soit f la fonction dfinie par f (x) = 5x + 2 sin x. Elle est strictement dcroissante, et cest donc une bijection
de IR dans IR. On note g sa rciproque. La fonction g est donc continue. Lquation (2.27) donne x = g(2 cos y).
On cherche donc y t.q. h(y) = 5y + 2 sin y + 2 cos(g(2 cos y)) = 0. La fonction h est continue et lim =
. Donc par le thorme des valeurs intrmdiaires, h sannule.
Corrig de lexercice 69 page 135 (Newton et les chelles. . . ) 1. Notons A et B les deux pieds des murs, P
le point de croisement des chelles et M sa projection sur le plan horiszontal, comme indiqu sur la figure. Soient
x = d(A, M ) la distance de A M , y = d(B, M ), = d(A, P ) et = d(B, P ).
Par le thorme de Pythagore, x2 + 1 = 2 et y 2 + 1 = 2 . Par le thorme de Thals, xd = 4 et yd = 3 . En
liminant et , on en dduit que x et y sont solutions du systme non linaire :
16x2 = (x2 + 1)(x + y)2
9y 2 = (y 2 + 1)(x + y)2 ,
qui est bien le systme (2.31)-(2.32).
2. Le systme prcdent scrit sous la forme F (X) = 0, o F est la fonction de IR 2 dans IR 2 dfinie par
([ ]) [ 2
]
x
(x + 1)(x + y)2 16x2
F (X) = F
=
.
y
(y 2 + 1)(x + y)2 9y 2
On a donc
]
2x2 y + 2x3 + 2y + 2x
4y 3 + 2yx2 + 6y 2 x + 2y + 2x 18y
[ ]
x
Lalgorithme de Newton pour la rsolution du systme (2.31)-(2.32) scrit donc, pour Xk = k connu,
yk
DF (X) =
(2.42)
avec
3
4xk + 2xk yk2 + 6x2k yk + 2xk + 2yk 32xk
DF (Xk ) =
2xk yk2 + 2yk3 + 2xk + 2yk
[
] [
]
xk+1
xk + s
=
=
.
yk+1
yk + t
3. La premire itration ncessite donc la rsolution du systme linaire (2.42) pour k = 0, soit, pour x0 = 1 et
y0 = 1,
[
][ ] [ ]
16 8
s
8
=
8
2 t
1
dont la solution est s = 34 et t = 25 . On en dduit que x1 = 1.75 et y1 = 3.5 construits par la mthode de Newton
en partant de x(0) = 1 et y (0) = 1. La distance d la premire itration est donc d = 5.25.
143
Corrig de lexercice 70 page 136 (Nombre ditrations fini pour Newton) 1.1 Comme f est dfinie sur tout
IR par f (x) = ex et ne sannule pas, on en dduit que la suite construite par la mthode de Newton, qui scrit :
(k)
(k+1)
(k)
=x
f (x(k) )
ex 1
(k) = x(k)
f (x )
ex(k)
x(k)
(k)
ex
x(0) = 0, on a x(k+1) = x(k) pour tout n IN. De plus, si f (x(0) ) = 0 (c..d. si x(0) = 0), la suite est stationnaire.
On en dduit que la mthode de Newton converge en un nombre fini doprations si et seulement si f (x(0) ) = 0.
(0)
(0)
ex 1
(0) .
ex
(0)
x(0) (1 ex ), avec ]x(0) , 0[ si x < 0 et ]0, x(0) [ si x(0) > 0. Si x(0) < 0, on a ex > 1 et donc
(0)
(0)
x(1) > 0. En revanche, si x(0) > 0, on a ex < ex < 1 et donc 0 < x(1) < x(0) .
1.4 On a vu la question 1.2 que si x(0) = 0 la suite est stationnaire et gale 0. On a vu la question 1.3 que
si x(0) < 0 alors x(1) > 0. Il suffit donc dtudier le cas x(0) > 0. Or si x(0) > 0, on a 0 < x(1) < x(0) . Par
rcurrence sur n, on en dduit que si x(0) > 0, la suite (x(k) )nIN est dcroissante et minore par 0, donc elle
(2.43)
et en particulier, x(k+1) = x(k) . Or, la condition de stricte convexit pour une fonction continment diffrentiable
entra 21 ne que :
DF (x(k) )(x(k+1) x(k) ) < F (x(k+1) ) F (x(k) ),
et donc, avec (2.43), F (x(k+1) ) > 0. On montre ainsi, par rcurrence sur n, que si F (x(0) ) = 0, alors F (x(k) ) > 0
pour tout n > 0, ce qui montre que la mthode de Newton converge en un nombre fini doprations si et seulement
si F (x(0) ) = 0.
Corrig de lexercice 71 page 136 ([Mthode de Newton pour un systme 2 2)
1. Lla mthode de Newton pour calculer la solution de f (x) = 0 scrit : xk+1 = 12 xk , et donc xk converge
vers 0 pour tout x0 .
2.
yk
2 ,
on a yk = 2k
ii. On crit que xk+1 = gk (xk ) avec gk (x) = x2 + 2k2 x1 . Ltude de la fonction gk montre que
k+1
min gk = 2 2 .
k
Comme xk 2 2 > 0 et que yk = 2k , on en dduit que xk+1 xk = 2x1k (x2k + y2k 0.
Analyse numrique I, tl-enseignement, L3
144
iii. La suite (xk )kIN est dcroissante minore par 0, et donc elle converge. En passant la limite sur
lexpression de xk+1 , on en dduit que la suite xk converge vers 0. Par lexpression de yk , on sait
quelle converge galement vers 0. Do la conclusion. .
suite dcroissante minore, on passe la limite dans lexpression de xk+1 et on trouve que la
limite est nulle.
Corrig de lexercice 72 page 136 (Mthode de Newton pour le calcul de linverse)
1.
(a) Soit g la fonction dfinie de IR dans IR par g(x) = x1 a. Cette fonction est continue et drivable
pour tout x = 0, et on a : g (x) = x12 . Lalgorithme de Newton pour la recherche dun zro de cette
fonction scrit donc bien :
{
x(0) donn,
x(k+1) = x(k) (2 ax(k) ).
(2.44)
(b) Soit (x(k) )nIN dfinie par (2.33). Daprs le thorme du cours, on sait que la suite (x(k) )nIN
converge de localement (de manire quadratique) dans un voisinage de a1 . On veut dterminer ici
lintervalle de convergence prcisment. On a x(k+1) = (x(k) ) o est la fonction dfinie par de IR
dans IR par (x) = x(2 ax). Le tableau de variation de la fonction est le suivant :
|
1
a
2
a
(x) |
1
a
(x)
(2.45)
Il est facile de remarquer que lintervalle ]0, a1 [ est stable par et que (] a1 , a2 [) =]0, a1 [ Donc si
x(0) ] a1 , a2 [ alors x(1) ]0, a1 [, et on se ramne au cas x(0) ]0, a1 [.
On montre alors facilement que si x(0) ]0, a1 [, alors x(k+1) x(k) pour tout n, et donc la suite
(x(k) )nIN est croissante. Comme elle est majore (par a1 ), elle est donc convergente. Soit sa limite,
on a = (2 a), et comme x(0) > 0, on a = a1 .
Il reste maintenant montrer que si x(0) ] , 0[] a2 , +[ alors limn+ x(k) = . On montre
dabord facilement que si x(0) ] , 0[, la suite (xn )nIN est dcroissante. Elle admet donc une
limite finie ou infinie. Appelons cette limite. Celle-ci vrifie : = (2 a). Si est finie, alors = 0
ou = a1 ce qui est impossible car x(0) < 0. On en dduit que = .
Enfin, ltude des variations de la fonction montre que si x(0) ] a2 , +[, alors x(1) ] , 0[, et on
est donc ramen au cas pcdent.
2.
(a) Lensemble GLn (IR) est ouvert car image rciproque de louvert IR par lapplication continue qui a
une matrice associe son dterminant.
(b) Lapplication T est clairement dfinie de GLn (IR) dans GLn (IR). Montrons quelle est drivable. Soit
H GLn (IR) telle que B + H soit inversible. Ceci est vrai si HB 1 < 1, et on a alors, daprs
le cours :
+
(
)1
=
(B 1 H)k B 1 .
(B + H)1 = B(Id + B 1 H)
k=0
145
On a donc :
T (B + H) T (B) =
(B 1 H)k B 1 B 1
k=0
= (Id +
=
(B 1 H)k Id)B 1
k=1
(B 1 H)k B 1 .
k=1
On en dduit que
T (B + H) T (B) + B 1 HB 1 =
(B 1 H)k B 1 .
k=2
(B 1 H)k .
k=2
B 1 3 H
(B 1 H)k
k=0
0 lorsque H 0.
On en dduit que lapplication T est diffrentiable et que DT (B)(H) = B 1 HB 1 .
(c) La mthode de Newton pour la recherche dun zro de la fonction g scrit :
{ 0
B GLn (IR),
Dg(B n )(B n+1 B n ) = g(B n ).
Or, dapres la question prcdente, Dg(B n )(H) = (B n )1 H(B n )1 . On a donc
Dg(B n )(B n+1 B n ) = (B n )1 (B n+1 B n )(B n )1 .
La mthode de Newton scrit donc :
{ 0
B GLn (IR),
(B n+1 B n ) = (Id B n A)B n .
{
soit encore
(2.46)
B 0 GLn (IR),
B n+1 = 2B n B n AB n .
(2.47)
Une rcurrence immdiate montre alors que Id AB n = (Id AB 0 )2 . On en dduit que la suite
Id AB n converge (vers la matrice nulle) lorsque n + ssi (Id AB 0 ) < 1, et ainsi que la
suite B n converge vers A1 si et seulement si (Id AB 0 ) < 1.
146
et on a donc
DF (, x)(z, ) =
x
Az z
2
xz
)
,
x
Supposons que DF (x, )(z, ) = 0, on a alors Az z
= 0 et 2
x z = 0. En multipliant la premire
quation par x
et en utilisant le fait que A est symtrique, on obtient :
x
z A
x z
x
x
= 0,
(2.48)
x et x
= 0,
et comme A
x =
x
= 1, ceci entrane que = 0. En revenant (2.48) on obtient alors que Ax x
(2.49)
Comme f C 2 (IR) et f (x) = 0, il existe n ]x, xn [ et n ]x, xn [ tels que f (xn ) = f (n )(xn x) et
1
f (xn ) = f (n )(x xn )2 . On dduit donc de (2.49) que
2
1
f (n )(xn x),
2
1
147
Donc
xn+1 x
1 f (n )
1
= |1
| lorsque n +.
xn x
2 f (n )
2
f (n ) (k)
f (x0 )
)(xn x0 )
.
f (y)
f (y)
Ceci entrane :
|f (x0 )|
1
|f (n ) f (y)||x(k) x0 | +
|f (y)|
f (y)
1
c
c+
= c.
2
2
|x(k+1) x0 | =
Donc x(k+1) I.
2. On a :
f (x(k) ) f (
x)
f (
x)
.
f (y)
f (y)
1
o n [
x, x(k) ];
Donc|x(k+1) x
| |x(k) x
||f (y) f (n )|
|f (y)|
Par hypothse, on a donc
1
|x(k+1) x
| |x(k) x
|
2
c (k)
|x x
|.
2
On en dduit par rcurrence que
c
|x(k) x
| n |x(0) x
|.
2
Ceci entrane en particulier que
x(k) x
n +.
x(k+1) x
= x(k) x
f (
x)
|=0
f (y)
n +
|1
f (y).
Analyse numrique I, tl-enseignement, L3
148
3. Le fait de remplacer y par y (k) ne change absolument rien la preuve de la convergence de x(k) vers x
. Par
contre, on a maintenant :
|x(k+1) x
|
(k)
|x x
|
= |f (yn ) f (n )|
1
|f (y
n )|
f (n )
= |1
|
f (yn )
Or f (n ) f (
x) et donc si f (yn ) f (
x) la convergence devient superlinaire.
n+
n+
(k)
+ (1 t)x
(0)
(2.50)
). On a
0
1
=
0
(k+1)
(0)
1
x
x = Id (Df (y))
= (Df (y))1
1
(k)
Df (tx
+ (1 t)x
(0)
)
)dt (x(k) x(0) ) (Df (y))1 f (x0 )
) )
Df (y) Df (tx(k) + (1 t)x(0) dt (x(k) x(0) ) (Df (y))1 f (x0 ).
On en dduit que :
x
(k+1)
(0)
(Df (y))
1
c
+
2
2
149
1 (k)
x x
).
2
Universit dAix-Marseille, R. Herbin, 18 novembre 2013
(f (xn ))2
.
f (xn + f (xr )) f (xn )
(2.52)
n (t)dt
Ceci donne :
n (s)ds + n (0).
On obtient alors :
[
]
f (xn + sf (xn ))ds + f (xn ) .
(2.53)
b(x) =
0
)
f (x + sf (x))ds dt.
1
f (x) lorsque x x
2
(2.54)
f (xn )
f (xn )b(xn ) + f (xn ))
150
(2.55)
f (tx + (1 t)xn ).
Donc
f (xn ) =
f (xn ) =
(f (sx + (1 s)xn )(x xn ) + f (xn )) ds(x xn ) dt
1
c(x) =
on a c(x)
t
0
1
f (x) lorsque x x et :
2
f (xn ) = c(x)(x xn )2 + f (xn )(x xn )
(2.56)
xn+1 x
]
c(xn )(xn x) f (xn )
= (xn x) 1 +
f (xn )b(xn ) + f (xn )
(
(xn x)
c(xn )(x xn )2 b(xn )
=
f (xn )b(xn ) + f (xn )
f (xn )(x xn )b(xn ) + f (xn ) + c(xn )(xn x) f (xn ))
On en dduit :
(xn+1 x) = (xn x)2 a(xn )
o
a(x) =
(2.57)
Par continuit de a, pour tout > 0, il existe > 0 tel que si x B(x, ) alors
(7) |a(x) a(x)| .
Calculons
a(x) =
=
Soit = min(1 ,
f (x)b(x) + c(x)
f (x)
1 + f (x)
1
f (x)
= .
2
f (x)
1
1
) ; si x B(x, ), alors |a(x)| + 1 grce (7), et |x x|
.
2( + 1)
2( + 1)
151
1
|xn x|.
2
Ceci entrane dune part que xn+1 B(x, ) et dautre part, par rcurrence, la convergence de la suite
(xn )nIN vers x.
Il reste montrer que la convergence est dordre 2.
Grce (6), on a :
|xn+1 x|
= |a(xn )|.
|xn x|2
Or on a montr ltape 3 que a est continue et que a(x) IR. On a donc une convergence dordre au
moins 2.
Corrig de lexercice 82 page 140 (Mthode de la scante)
1. Supposons xn1 et xn connus.
Pour que xn+1 soit bien dfini, il faut et il suffit que f (xn ) = f (xn1 ). Or par hypothse, f (
x) = 0. On
en dduit quil existe un voisinage de x
sur lequel f est monotone, donc bijective. Donc il existe 1 tel que
si xn , xn1 ]x 1 , x + 1 [, xn = xn1 et xn = x, alors f (xn ) = f (xn1 ). De mme, toujours par
injectivit de f sur ]x 1 , x + 1 [, on a f (xn ) = 0.
En choisissant x0 et x1 dans lintervalle ]x 1 , x + 1 [, on a par une rcurrence immdiate que la suite
(xn )nIN est bien dfinie.
Par dfinition, si f (xn ) = 0, on a :
xn+1 x
= xn x
f (xn ) f (
x)
xn xn1
(xn x
)
.
xn x
f (xn ) f (xn1 )
f (xn ) f (x)
(xn xn1 ).
f (xn ) f (xn1 )
Donc :
(f (xn ) f (xn1 )en+1
(2.58)
).
en
en1
(2.59)
(2.60)
f (x)
(x)
n1
n)
Or f (x
= f (xne)f
(resp. f e(xn1
= f (xn1
)est la valeur moyenne de f sur lintervalle
en
en1
n
dextrmits x, xn (resp. x, xn1 ). On en dduit que (f (xn ) f (xn1 )en+1 = en en1 (n n1 ),
do le rsultat.
152
(x x)(x) =
f (t)dt,
f (x) (x)
, x > x.
xx
(2.61)
Or
(x) =
=
1
(f (x) f (x))
xx
1
1
(f (x) (f (x) + (x x)f (x) + (x x)2 f (x)(x x)3 (x).
xx
2
(2.62)
(2.63)
On en dduit que
1
(x) = f (x) + (x x)f (x) + (x x)2 (x).
2
Et finalement, en reportant dans (2.61) :
(x) =
1
f (x) + (x x)(x), x > x.
2
(2.64)
On en dduit que admet une limite lorsque x tend vers x par valeurs positives. Le mme raisonnement pour x < x donne le mme rsultat.
Enfin, comme f C 2 (IR, IR), on peut passer la limite dans (2.64) et on obtient :
lim (x) =
xx
1
f (x).
2
(2.65)
(xn ) (xn1 )
xn xn1
(n )
|=
,
xn xn1
f (xn ) f (xn1 )
f (n )
o n et n sont compris entre xn1 et xn (par le thorme des accroissements finis). Comme la suite
(xn )nIN tend vers x, comme f est continue et grce (2.65), on a :
lim Mn =
n+
1 f (x)
.
2 f (x)
Notons que cette limite est finie car f (x) = 0 par hypothse. On en conclut que la suite (Mn )nIN est
borne.
3.
(a) La relation dmontrer est vrifie pour n = 0 et n = 1. Supposons-la vrifie jusquau rang n. On a
par dfinition : an+1 = an an1 M en M en1 . Or par la question 2a, en en1 = Mn en+1 M en+1 .
On en dduit que la relation est encore vrifie au rang n + 1.
(b) Par dfinition, ai = M ei = M (xi x), pour i = 0, 1, donc si x0 , x1 ]x 1 , x + 1 [ avec 1 < 1/M ,
alors a0 < 1 et a1 < 1. On en dduit alors facilement par rcurrence que la suite an < 1, et donc que
la suite (an )nIN est strictement dcroissante. Elle converge donc vers une limite a
qui vrifie a
=a
2
et a
< 1. On en dduit que la limite est nulle.
153
bn+1 = bn + bn1 , n 1
(2.66)
Lensemble de suites (bn )nIN vrifiant (2.66) est un espace vectoriel de dimension 2. Pour trouver une
base de cet espace vectoriel, on cherche des lments de cet espace sousla forme bn = rn , n 0. Une
telle suite vrifie (2.66) si et seulement si r2 = r + 1, c..d. r = 12 5 . Si la suite (bn )nIN vrifie
(2.66), il existe donc C IR et D IR tels que
1+ 5 n
1 5 n
) + D(
) .
bn = ln(an ) = C(
2
2
On en dduit que an d , avec d = 1+2 5 , = e|D| et = eC . Notons quon a bien 0 < < 1
car C < 0 puisque ln(an ) < 0, pour tout n IN.
n
(d) Par la question 2(c) et lhypothse f (x) = 0, on dduit que M > 0. Comme en+1 = Mn en en1 , on
a ln en+1 = ln Mn + ln en + ln en1 ; si on pose n = ln en+1 d ln en (pour n 0, on a donc
n
= (1 d) ln en + ln en1 + ln Mn
= (1 d)(n1 + d ln en1 ) + ln en1 + ln Mn
= (1 d)(n1 + (1 d)d ln en1 ) + ln en1 + ln Mn .
ln Mn
.
(1 d)n
ln Mp
,
(1
d)p
p=1
ln M
et comme la suite (Mn )nIN est borne, la srie de terme gnral (1d)pp est convergente. Comme
(1d)n tend vers 0 lorsque n tend vers linfini, on en dduit que n 0. On a donc ln en+1 d ln en
0, i.e. en+1
1 lorsque n +.
ed
n
154
1+ 5
2
Chapitre 3
Optimisation
3.1 Dfinitions et rappels
3.1.1
Lobjectif de ce chapitre est de rechercher des extrema, cest--dire des minima ou des maxima dune fonction
f C(IR n , IR) avec ou sans contrainte. Notons que la recherche dun minimum ou dun maximum implique que
lon ait une relation dordre, pour pouvoir comparer les valeurs prises par f . La fonction f est donc forcment
valeurs dans IR.
Dfinition 3.1 (Extremum dune fonction). Soit E un espace vectoriel et f : E IR.
On dit que x
est un minimum local de f sil existe un voisinage V de x tel que
f (x) f (
x), x V.
De mme, on dit que x
est un maximum local de f sil existe un voisinage V de x tel que
f (x) f (
x), x V.
On dit que x
est un extremum local de f si cest un minimum local ou un maximum local.
On dit que x
est un minimum global de f si
f (x) f (
x), x E.
De mme, on dit que x
est un maximum global de f si
f (x) f (
x), x E.
On dit que x
est un extremum local (resp. global) de f si cest un minimum local (resp. global) ou un maximum
local (resp. global).
(3.1)
(3.2)
CHAPITRE 3. OPTIMISATION
o K IR n et K = IR n Lensemble K o lon recherche la solution est donc lensemble qui reprsente les
contraintes. Par exemple, si lon cherche un miminum dune fonction f de R IR et que lon demande que les
points qui ralisent ce minimum soient positifs, on aura K = IR + .
arg min
f , et si x
est solution du problme (3.2), on dit que
Si x
est solution du problme (3.1), on dit que x
n
IR
x
arg minf.
K
Dfinition 3.3 (Point selle). Soit E un espace vectoriel et f : E IR. On dit que x
est un point selle de f sil
existe F et G des sous espaces vectoriels de E tels que E = F G un voisinage V de x
tel que
f (
x + z) f (
x), z F ; x
+ z V,
f (
x + z) f (
x), z G ; x
+ z V.
156
3.1.2
CHAPITRE 3. OPTIMISATION
Dfinition 3.4 (Application diffrentiable). Soient E et F des espaces vectoriels norms, f une application de E
dans F et x E. On rappelle que f est diffrentiable en x sil existe Tx L(E, F ) (o L(E, F ) est lensemble
des applications linaires de E dans F ) telle que
f (x + h) = f (x) + Tx (h) + h(h) avec (h) 0 quand h 0.
(3.3)
Lapplication Tx est alors unique 1 et on note Df (x) = Tx L(E, F ) la diffrentielle de f au point x. Si f est
diffrentiable en tout point de E, alors on appelle diffrentielle de f lapplication Df = E L(E, F ) qui
x E associe lapplication linaire Df (x). de E dan F .
Remarquons tout de suite que si f est une application linaire de E dans F , alors f est diffrentiable, et Df = f .
En effet, si f est linaire, f (x + h) f (x) = f (h), et donc lgalit (3.3) est vrifie avec Tx = f et = 0.
Voyons maintenant quelques cas particuliers despaces E et F :
Cas o E = IR et F = IR Si f est une fonction de IR dans IR, dire que f est diffrentiable en x revient dire
que f est drivable en x. En effet, dire que f est drivable en x revient dire que
lim
h0
f (x + h) f (x)
f (x + h) f (x)
existe, et lim
= f (x),
h0
h
h
ce qui revient dire que f est diffrentiable en x, et que sa diffrentielle en x est lapplication linaire Tx : IR IR,
qui h associe f (x)h. On a ainsi vrifi que pour une fonction de IR dans IR, la notion de diffrentielle concide
avec celle de drive.
Exemple 3.5. Prenons f : IR IR dfinie par f (x) = sin x. Alors f est videmment drivable en tout point
et sa drive vaut f (x) = cos x. La fonction f est donc aussi diffrentiable en tout point. La diffrentielle de f
au point x est lapplication linaire Df (x) qui h IR associe Df (x)(h) = cos xh. La diffrentielle de f est
lapplication de IR dans L(IR, IR), qui x associe Df (x).
Cas o E = IR n et F = IR p Soit f : IR n IR p , x IR n et supposons que f est diffrentiable en x ; alors
Df (x) L(IR n , IR p ), et il existe une unique matrice Jf (x) Mp,n (IR) telle que
Df (x)(y) = Jf (x)y , y IR n .
| {z } | {z }
IR p
IR p
On confond alors lapplication linaire Df (x) L(IR n , IR p ) avec la matrice Jf (x) Mp,n (IR) qui la reprsente.
On crit donc :
Jf (x) = Df (x) = (ai,j )1ip,1jn o ai,j = j fi (x),
j dsignant la drive partielle par rapport la j-me variable.
La matrice Jf (x) sappelle la matrice jacobienne de f au point x (do la notation Jf ). Notons que si n = p = 1,
la fonction f est de IR dans IR et la matrice jacobienne en x nest autre que la drive en x : Jf (x) = f (x).
157
CHAPITRE 3. OPTIMISATION
x1 + x32 + x43
x1
, x = x2
f (x) =
x3
2x1 x2
Soit h IR 3 de composantes (h1 , h2 , h3 ). Pour calculer la diffrentielle de f (en x applique h), on peut calculer
f (x + h) f (x) :
f (x + h) f (x) =
2(x1 + h1 ) 2x1 2(x2 + h2 ) + 2x2
2x1 h1 + h21 + 3x22 h2 + 3x2 h22 + h32 + 4x33 h3 + 4x23 h23 + h43
2h1 2 + h2
et on peut ainsi vrifier lgalit (3.3) avec :
Df (x)h =
2h1 h2
et donc, avec les notations prcdentes,
Jf (x) =
2x1
3x22
4x33
Bien sr, dans la pratique, on na pas besoin de calculer la diffrentielle en effectuant la diffrence f (x+h)f (x).
on peut directement calculer les dries partielles pour calculer la matrice jacobienne Jf .
Cas o E = IR n , F = IR Cest en fait un sous-cas du paragraphe prcdent, puisquon est ici dans le cas p = 1.
Soit x IR n et f une fonction de E dans F diffrentiable en x ; on a donc Jf f (x) M1,n (IR), et on dfinit le
gradient de f en x par f (x) = (Jf (x))t IR n . Pour (x, y) (IR n )2 , on a donc
1 f (x)
n
..
n
Df (x)(y) = Jf (x)y =
j f (x)yj = f (x) y o f (x) =
IR .
.
j=i
n f (x)
Attention, lorsque lon crit Jf (x)y il sagit dun produit matrice vecteur, alors que lorsquon crit f (x) y, il
sagit du produit scalaire entre les vecteurs f (x) et y.
Cas o E est un espace de Hilbert et F = IR On gnralise ici le cas prsent au paragraphe prcdent. Soit
f : E IR diffrentiable en x E. Alors Df (x) L(E, IR) = E , o E dsigne le dual topologique de
E, c..d. lensemble des formes linaires continues sur E. Par le thorme de reprsentation de Riesz, il existe un
unique u E tel que Df (x)(y) = (u|y)E pour tout y E, o (.|.)E dsigne le produit scalaire sur E. On appelle
encore gradient de f en x ce vecteur u. On a donc u = f (x) E et pour y E, Df (x)(y) = (f (x)|y)E .
Diffrentielle dordre 2, matrice hessienne
Revenons maintenant au cas gnral de deux espaces vectoriels norms E et F , et supposons maintenant que
f C 2 (E, F ). Le fait que f C 2 (E, F ) signifie que Df C 1 (E, L(E, F )). Par dfinition, on a D2 f (x)
L(E, L(E, F )) et donc pour y E, D2 f (x)(y) L(E, F ) ; en particulier, pour z E, D2 f (x)(y)(z) F.
Analyse numrique I, tl-enseignement, L3
158
CHAPITRE 3. OPTIMISATION
3.1.3
Convexit
Dfinition 3.7 (Convexit). Soit E un espace vectoriel et f : E IR. On dit que f est convexe si
(tx + (1 t)y) tf (x) + (1 t)f (y) pour tout (x, y) E 2 t.q. x = y et t [0, 1].
On dit que f est strictement convexe si
f (tx + (1 t)y) < tf (x) + (1 t)f (y) pour tout (x, y) E 2 t.q. x = y et t ]0, 1[.
Proposition 3.8 (1re caractrisation de la convexit). Soit E un espace vectoriel norm (sur IR) et f C 1 (E, IR)
alors :
1. f convexe si et seulement si f (y) f (x) + Df (x)(y x), pour tout couple (x, y) E 2 ,
2. f est strictement convexe si et seulement si f (y) > f (x) + Df (x)(y x) pour tout couple (x, y) E 2 tel
que x = y.
D MONSTRATION Dmonstration de 1.
() Supposons que f est convexe : soit (x, y) E 2 ; on veut montrer que f (y) f (x) + Df (x)(y x). Soit t [0, 1],
alors f (ty + (1 t)x) tf (y) + (1 t)f (x) grce au fait que f est convexe. On a donc :
f (x + t(y x)) f (x) t(f (y) f (x)).
(3.4)
Comme f est diffrentiable, f (x + t(y x)) = f (x) + Df (x)(t(y x)) + t(t) o (t) tend vers 0 lorsque t tend vers
0. Donc en reportant dans (3.4),
(t) + Df (x)(y x) f (y) f (x), t ]0, 1[.
En faisant tendre t vers 0, on obtient alors :
f (y) Df (x)(y x) + f (x).
() Montrons maintenant la rciproque : Soit (x, y) E 2 , et t ]0, 1[ (pour t = 0 ou = 1 on na rien dmontrer). On
veut montrer que f (tx + (1 t)y) tf (x) + (1 t)f (y). On pose z = tx + (1 t)y. On a alors par hypothse :
f (y)
f (z) + Df (z)(y z),
et f (x) f (z) + Df (z)(x z).
En multipliant la premire ingalit par 1 t, la deuxime par t et en les additionnant, on obtient :
(1 t)f (y) + tf (x) f (z) + (1 t)Df (z)(y z) + tDf (z)(x z)
(1 t)f (y) + tf (x) f (z) + Df (z)((1 t)(y z) + t(x z)).
Et comme (1 t)(y z) + t(x z) = 0, on a donc (1 t)f (y) + tf (x) f (z) = f (tx + (1 t)y).
Dmonstration de 2
() On suppose que f est strictement convexe, on veut montrer que f (y) > f (x) + Df (x)(y x) si y = x. Soit donc
(x, y) E 2 , x = y. On pose z = 21 (y x), et comme f est convexe, on peut appliquer la partie 1. du thorme et crire
que f (x + z) f (x) + Df (x)(z). On a donc f (x) + Df (x)( yx
) f ( x+y
). Comme f est strictement convexe, ceci
2
2
yx
1
entrane que f (x) + Df (x)( 2 ) < 2 (f (x) + f (y)), do le rsultat.
() La mthode de dmonstration est la mme que pour le 1.
159
CHAPITRE 3. OPTIMISATION
Proposition 3.9 (2me caractrisation de la convexit). Soit E = IR n et f C 2 (E, IR). Soit Hf (x) la hessienne
2
de f au point x, i.e. (Hf (x))i,j = i,j
f (x). Alors
1. f est convexe si et seulement si Hf (x) est symtrique et positive pour tout x E (c..d. Hf (x)t = Hf (x)
et Hf (x)y y 0 pour tout y IR n )
2. f est strictement convexe si Hf (x) est symtrique dfinie positive pour tout x E. (Attention la rciproque
est fausse.)
D MONSTRATION Dmonstration de 1.
2
() Soit f convexe, on veut montrer que Hf (x) est symtrique positive. Il est clair que Hf (x) est symtrique car i,j
f=
2
2
1
n
n
2
j,i f car f est C . Par dfinition, Hf (x) = D(f (x)) et f C (IR , IR ). Soit (x, y) E , comme f est convexe
et de classe C 1 , on a, grce la proposition 3.8 :
f (y) f (x) + f (x) (y x).
(3.5)
1
f (y) f (x) = (1) (0) =
(t)dt = [ (t)(t 1)]10
cest dire : f (y) f (x) = (0) +
(t)(t 1)dt,
(3.6)
1
Les ingalits (3.5) et (3.6) entranent : 0 Hf (x + t(y x))(y x) (y x)(1 t)dt 0 x, y E. On a donc :
1
Hf (x + tz)z z(1 t)dt 0 x, z E.
(3.7)
0
Pour (x, y) E 2 fix, Hf (x + ty) tend vers Hf (x) uniformment lorsque 0, pour t [0, 1]. On a donc :
1
1
Hf (x)y y(1 t)dt 0, c..d. Hf (x)y y 0.
2
0
Donc pour tout (x, y) (IR n )2 , Hf (x)y y 0 donc Hf (x) est positive.
() Montrons maintenant la rciproque : On suppose que Hf (x) est positive pour tout x E. On veut dmontrer que
f est convexe ; on va pour cela utiliser la proposition 3.8 et montrer que : f (y) f (x) + f (x) (y x) pour tout
(x, y) E 2 . Grce (3.6), on a :
1
f (y) f (x) = f (x) (y x) +
Hf (x + t(y x))(y x) (y x)(1 t)dt.
0
Or Hf (x + t(y x))(y x) (y x) 0 pour tout couple (x, y) E 2 , et 1 t 0 sur [0, 1]. On a donc f (y)
f (x) + f (x) (y x) pour tout couple (x, y) E 2 . La fonction f est donc bien convexe.
Dmonstration de 2.
() On suppose que Hf (x) est strictement positive pour tout x E, et on veut montrer que f est strictement convexe.
On va encore utiliser la caractrisation de la proposition 3.8. Soit donc (x, y) E 2 tel que y = x. Alors :
1
f (y) = f (x) + f (x) (y x) +
Hf (x + t(y x))(y x) (y x) (1 t) dt.
{z
} | {z }
0 |
>0 si x=y
=0 si t]0,1[
Donc f (y) > f (x) + f (x)(y x) si x = y, ce qui prouve que f est strictement convexe.
160
CHAPITRE 3. OPTIMISATION
Contre-exemple Pour montrer que la rciproque de 2. est fausse, on propose le contre-exemple suivant : Soit
n = 1 et f C 2 (IR, IR), on a alors Hf (x) = f (x). Si f est la fonction dfinie par f (x) = x4 , alors f est
strictement convexe car f (x) = 12x2 0, mais f (0) = 0.
3.1.4
Exercices
On considre les fonctions dfinies de IR dans IR par f0 (x) = x2 , f1 (x) = x( x 1)2 , f2 (x) = |x|, f3 (x) = cos x,
f4 (x) = | cos x|, f5 (x) = ex . On pose K = [1, 1]. Pour chacune de ces fonctions, rpondre aux questions
suivantes :
1. Etudier la diffrentiabilit et la (stricte) convexit ventuelles de la fonction, ; donner lallure de son graphe.
2. La fonction admet elle un minimum global sur IR ; ce minimum est-il unique ? Le cas chant, calculer ce
minimum.
3. La fonction admet elle un minimum sur K ; ce minimum est-il unique ? Le cas chant, calculer ce minimum.
Exercice 85 (Hessienne).
1. Montrer que la fonction f de IR 2 dans IR dfinie par f (x, y) = x2 + 4xy + 3y 2 nadmet pas de minimum
en 0.
2. Trouver la matrice (symtrique) S telle que f (x) = xt Sx, pour f (x) = 2(x21 + x22 + x23 x1 x2 x2 x3 ),
puis pour f (x) = 2(x21 + x22 + x23 x1 x2 x1 x3 x2 x3 )
3. Dans chacun des deux cas prcdents, tudier la convexit de la fonction f .
Exercice 86 (Fonctions quadratiques).
1. Montrer que la fonction f de IR 2 dans IR dfinie par f (x, y) = x2 + 4xy + 3y 2 nadmet pas de minimum
en (0, 0).
2. Trouver la matrice (symtrique) S telle que f (x) = xt Sx, pour f1 (x) = 2(x21 + x22 + x23 x1 x2 x2 x3 ),
puis pour f2 (x) = 2(x21 + x22 + x23 x1 x2 x1 x3 x2 x3 ) Etudier la convexit des fonctions f1 et f2 .
3. Calculer les matrices hessiennes de g1 et g2 dfinies par : g1 (x, y) = 14 x4 +x2 y+y 2 et g2 (x, y) = x3 +xyx
et tudier la convexit de ces deux fonctions.
Exercice 87 (Convexit et continuit). Suggestions en page 162.
%
1. Soit f : IR IR une fonction convexe.
(a) Montrer que f est continue.
(b) Montrer que f est localement lipschitzienne.
2. Soit n 1 et f : IR n IR. On suppose que f est convexe.
(a) Montrer f est borne suprieurement sur les borns (cest--dire : pour tout R > 0, il existe mR t.q.
f (x) mR si la norme de x est infrieure ou gale R).
(b) Montrer que f est continue.
(c) Montrer que f est localement lipschitzienne.
Analyse numrique I, tl-enseignement, L3
161
CHAPITRE 3. OPTIMISATION
(d) On remplace maintenant IR n par E, e.v.n. de dimension finie. Montrer que f est continue et que f est
localement lipschitzienne.
3. Soient E un e.v.n. de dimension infinie et f : E IR. On suppose que f est convexe.
(a) On suppose, dans cette question, que f est borne suprieurement sur les borns. Montrer que f est
continue.
(b) Donner un exemple de.v.n. (not E) et de fonction convexe f : E IR t.q. f soit non continue.
Suggestions pour les exercices
Exercice 87 page 161 (Convexit et continuit)
1.
x
(a) Pour montrer la continuit en 0, soit x = 0, |x| < 1. On pose a = sgn(x) (= |x|
). Ecrire x comme une
combinaison convexe de 0 et a et crire 0 comme une combinaison convexe de x et a. En dduire
une majoration de |f (x) f (0)|.
(a) Faire une rcurrence sur n et pour x = (x1 , y)t avec R < x1 < R et y IR n1 (n > 1), majorer
f (x) en utilisant f (+R, y) et f (R, y).
(b) Reprendre le raisonnement fait pour n = 1.
(c) Se ramener E = IR n .
3.
162
CHAPITRE 3. OPTIMISATION
Soit f C(E, IR) et E un espace vectoriel norm. On cherche soit un minimum global de f , c..d. :
x
E tel que f (
x) f (y) y E,
(3.8)
x
tel que > 0 f (
x) f (y) y B(
x, ).
(3.9)
> t > 0, on a Df (
x)(z) +
z
Df (
x)(z) 0, z E.
On a aussi Df (
x)(z) 0 z E, et donc : Df (
x)(z) 0 z E.
On en conclut que
Df (
x) = 0.
Remarque 3.11. Attention, la proposition prcdente donne une condition ncessaire mais non suffisante. En effet,
Df (
x) = 0 nentrane pas que f atteigne un minimum (ou un maximum) mme local, en x
. Prendre par exemple
E = IR, x = 0 et la fonction f dfinie par : f (x) = x3 pour sen convaincre.
3.2.2
f est continue,
(ii)
f (x) + quand x +.
Alors il existe x
IR n tel que f (
x) f (y) pour tout y IR n .
D MONSTRATION
(3.10)
Remarque 3.13.
Analyse numrique I, tl-enseignement, L3
163
CHAPITRE 3. OPTIMISATION
1. Le thorme est faux si E est de dimension infinie (i.e. si E est espace de Banach au lieu de E = IR n ), car
si E est de dimension infinie, BR nest pas compacte.
2. Lhypothse (ii) du thorme peut tre remplace par
(ii)
Thorme 3.14 (Condition suffisante dunicit). Soit E un espace vectoriel norm et f : E IR strictement
convexe alors il existe au plus un x
E tel que f (
x) f (y), y E.
E tels que f (
) = inf IR n f.
D MONSTRATION Soit f strictement convexe, supposons quil existe x
et x
x) = f (x
alors
Comme f est strictement convexe, si x
= x
1
1
1
1
) < f (
) = inf f,
+ x
x) + f (x
f( x
IR n
2
2
2
2
.
ce qui est impossible ; donc x
=x
Ce thorme ne donne pas lexistence. Par exemple dans le cas n = 1 la fonction f dfinie par f (x) = ex natteint
pas son minimumn ; en effet, infn f = 0 et f (x) = 0 pour tout x IR, et pourtant f est strictement convexe. Par
IR
contre, si on runit les hypothses des thormes 3.12 et 3.14, on obtient le rsultat dexistence et unicit suivant :
Remarque 3.16 (Gnralisation un espace de Hilbert). Le thorme 3.15reste vrai si E est un espace de Hilbert ;
on a besoin dans ce cas pour la partie existence des hypothses (i), (ii) et de la convexit de f .
Proposition 3.17 (Caractrisation des points tels que f (
x) = inf f ).
E
fonction de E dans IR. On suppose que f C (E, IR) et que f est convexe. Soit x
E. Alors :
1
f (
x) = inf f Df (
x) = 0.
E
En particulier si E = IR n alors f (
x) = inf n f (x) f (
x) = 0.
xIR
Dmonstration
() Supposons que f (
x) = inf f alors on sait (voir Proposition 3.10) que Df (
x) = 0 (la convexit est inutile).
E
164
CHAPITRE 3. OPTIMISATION
1
(A + At ).
2
On en dduit que si A est symtrique, Hf (x) = A. On peut montrer en particulier (voir exercice 89) que si A est
symtrique dfinie positive alors il existe un unique x
IR n tel que f (
x) f (x) pour tout x IR n , et que ce x
3.2.3
Exercices
165
CHAPITRE 3. OPTIMISATION
]
[
]
[
]
1 1
1 1
1 0
,B =
,C =
.
0 1
0 1
0 1
(b) Montrer quil existe une unique solution au problme (3.11) si et seulement si la matrice S est inversible.
Est-ce le cas dans la question (a) ?
3. On suppose dans cette question que C est symtrique.
(a) Vrifier que M est symtrique.
(b) Soient x IR n , y IR p et z = (x, y) IR n+p . Calculer M z z en fonction de A, B, C, x et y.
(c) On fixe maintenant y IR p , et on dfinit la fonction F de IR n dans IR par : x 7 Ax x + 2By x + Cy y.
Calculer F (x), et calculer x0 IR n tel que F (x0 ) = 0
(d) Montrer que la fonction F dfinie en 3(c) admet un unique minimum, et calculer la valeur de ce mimimum.
(e) En dduire que M est dfinie positive si et seulement si S est dfinie positive (o S est la matrice dfinie
la question 1).
4. On suppose dans cette question que C est la matrice (carre dordre p) nulle.
(a) Montrer que la matrice S = S est symtrique dfinie positive si et seulement si p n et rang(B)=p. On
supposera que ces deux conditions sont vrifies dans toute la suite de la question.
[
]
A 0
(b) En dduire que la matrice P =
est symtrique dfinie positive.
0 S
(c) Calculer les valeurs propres de la matrice T = P 1 M (il peut tre utile de distinguer les cas KerB t = {0}
et KerB t = {0}).
Exercice 91 (Approximation au sens des moindres carrs).
1. Un premier exemple. Dans le plan (s, t), on cherche la droite dquation t = +s qui passe par les points
(0, 1), (1, 9), (3, 9), (4, 21).
[ ]
(3.13)
166
CHAPITRE 3. OPTIMISATION
(3.14)
f (x + h) =
167
CHAPITRE 3. OPTIMISATION
Et comme Ah h A2 h2 , on a :
f (x) =
1
(Ax + At x) b.
2
(3.15)
1
1
(A(x + h) + At (x + h)) b = f (x) + (Ah + At h)
2
2
f (h)
h2 bh; or bh b h
2 (
)
f (h)
h h
b
quand h +
2
On en dduit lexistence et lunicit de x
qui minimise f . On a aussi :
f (
x) = 0 f (
x) = infn f
IR
Par la question 1. x
est donc lunique solution du systme A
x = b.
3.3.1
Mthodes de descente
168
CHAPITRE 3. OPTIMISATION
en passant la limite lorsque tend vers 0, on dduit que (0) 0, c..d. f (x) w 0.
2. Soit w = f (x) = 0. On veut montrer quil existe 0 > 0 tel que si ]0, 0 ] alors f (x + w) < f (x) ou
encore que () < (0) o est la fonction dfinie en 1 ci-dessus. On a : (0) = f (x) w = |f (x)|2 < 0.
est continue, il existe 0 > 0 tel que si [0, 0 ] alors () < 0. Si ]0, 0 ] alors () (0) =
Comme
(t)dt
< 0, et on a donc bien () < (0) pour tout ]0, 0 ], ce qui prouve que w est une direction de
0
descente stricte en x.
Initialisation :
Itration n :
x0 E,
xn connu, (n 0)
wn = f (xn ),
xn+1 = xn + wn .
(3.16)
Thorme 3.20 (Convergence du gradient pas fixe). Soient E = IR n et f C 1 (E, IR) On suppose que :
1. > 0 tel que (f (x) f (y)) (x y) x y2 , (x, y) E 2 ,
2. M > 0 tel que f (x) f (y) M x y, (x, y) E 2 ,
alors :
1. f est strictement convexe,
2. f (x) + quand |x| +,
3. il existe un et un seul x
E tel que f (
x) = inf f (consquence de 1. et 2.),
E
2
4. si 0 < < 2 alors la suite (xn )nIN construite par (3.16) converge vers x
lorsque n + .
M
Initialisation : x0 IR n .
Itration n :
xn connu.
On calcule wn = f (xn ).
(3.17)
On choisit n 0 tel que
f (xn + n wn ) f (xn + wn ) 0.
On pose xn+1 = xn + n wn .
Analyse numrique I, tl-enseignement, L3
169
CHAPITRE 3. OPTIMISATION
Les questions auxquelles on doit rpondre pour sassurer du bien fond de ce nouvel algorithme sont les suivantes :
1. Existetil n tel que f (xn + n wn ) f (xn + wn ), 0 ?
2. Comment calculeton n ?
3. La suite (xn )nIN construite par lalgorithme convergetelle ?
La rponse aux questions 1. et 3. est apporte par le thorme suivant :
La dmonstration de ce thorme fait lobjet de lexercice 94. On en donne ici les ides principales.
1. On utilise lhypothse f (x) + quand |x| + pour montrer que la suite (xn )nIN construite par
(3.17) existe : en effet, xn connu,
1er cas : si f (xn ) = 0, alors xn+1 = xn et donc xp = xn p n,
2me cas : si f (xn ) = 0, alors wn = f (xn ) est une direction de descente stricte.
Dans ce deuxime cas, il existe donc 0 tel que
f (xn + wn ) < f (xn ), ]0, 0 ].
(3.18)
IR
+
inf f (xn + wn ).
[0,M ]
[0,M ]
170
CHAPITRE 3. OPTIMISATION
Algorithme du gradient pas variable Dans ce nouvel algorithme, on ne prend pas forcment le paramtre
optimal pour , mais on lui permet dtre variable dune itration lautre. Lalgorithme scrit :
Initialisation : x0 IR n .
On
prend
>
0
tel
que
f
(x
+
w
)
<
f
(x
).
n
n
n n
n
On pose xn+1 = xn + n wn .
3.3.2
La mthode du gradient conjugu a t dcouverte en 1952 par Hestenes et Steifel pour la minimisation de fonctionnelles quadratiques, cest- -dire de fonctionnelles de la forme
f (x) =
1
Ax x b x,
2
o A Mn (IR) est une matrice symtrique dfinie positive et b IR n . On rappelle (voir section (3.2.2) et
exercice (89)) que f (
x) = infn f A
x = b.
IR
Dfinition 3.23 (Vecteurs conjugus). Soit A Mn (IR) une matrice symtrique dfinie positive,
1. Deux vecteurs v et w de IR n \ {0} sont dits A-conjugus si Av w = w Av = 0.
2. Une famille (w(1) , . . . , w(p) ) de IR n \ {0} est dite A-conjugue si w(i) Aw(j) = 0 pour tout couple
(i, j) {1, . . . , p}2 tel que i = j.
Proposition 3.24. Soit A Mn (IR) une matrice symtrique dfinie positive, (w(1) , . . . , w(p) ) une famille de IR n ,
alors :
1. si la famille (w(1) , . . . , w(p) ) est A-conjugue alors elle est libre ;
2. dans le cas o p = n, si la famille (w(1) , . . . , w(n) ) est A-conjugue alors cest une base de IR n .
D MONSTRATION Le point 2. est immdiat ds quon a dmontr le point 1. Supposons donc que (w(1) , . . . , w(p) )
est
A-conjugue,
i.e. w(i) = 0, i et w(i) Aw(j) = 0 si i = j ; soit (i )i=1,...,p IR, supposons que
pune famille
p
(i)
(i)
w
=
0,
on
a
donc
Aw(j) = 0 et donc j w(j) Aw(j) = 0. Or w(j) Aw(j) = 0 car w(j) = 0 et
i
i=1
i=1 i w
A est symtrique dfinie positive. On en dduit que j = 0 pour j = 1, . . . , p. La famille (w(1) , . . . , w(p) ) est donc libre.
171
CHAPITRE 3. OPTIMISATION
Proposition 3.25. Soit A Mn (IR) une matrice symtrique dfinie positive, b IR n et f une fonction dfinie de
1
IR n dans IR n par f (x) = Ax x b x. On suppose que la suite (x(k) )n est dfinie par :
2
Initialisation x(0) IR n
Itration n
x(k+1) = x(k) + n w(k) o
1) w(k) = 0 est une direction de descente stricte en x(k)
2) n est optimal dans la direction w(k) .
(0)
Si la famille (w , . . . , w(n1) ) est une famille A-conjugue alors x(n) = x
avec A
x = b.
D MONSTRATION Soit w(k) direction de descente stricte en x(k) et n optimal dans la direction w(k) ; alors n > 0
et f (x(k+1) ) w(k) = 0, cest--dire
(Ax(k+1) b) w(k) = 0
(3.20)
On va montrer que
(Ax(n) b) w(p) = 0, p {0, . . . , n 1}.
Comme (w(0) , . . . , w(n1) ) est une base de IR n , on en dduit alors que Ax(n) = b, cest--dire x(n) = x
. Remarquons
dabord grce (3.20) que (Ax(n) b) w(n1) = 0. Soit maintenant p < n 1. On a :
Ax(n) b = A(x(n1) + n1 w(n1) ) b = Ax(n1) b + n1 Aw(n1) .
On a donc en itrant,
Ax(n) b = Ax(p+1) b + n1 Aw(n1) + . . . + p+1 Aw(p+1) , p 1
. On en dduit que
n1
Comme les directions wi sont conjugues, on a donc (Ax(n) b) w(p) = 0 pour tout p = 0 . . . , n 1 et donc Ax(n) = b.
Le rsultat prcdent suggre de rechercher une mthode de minimisation de la fonction quadratique f selon le
principe suivant : Pour x(0) . . . x(k) connus, w(0) , . . . , w(k1) connus, on cherche w(k) tel que :
1. w(k) soit une direction de descente stricte en x(k) ,
2. w(k) soit A-conjugu avec w(p) pour tout p < n.
Si on arrive trouver w(k) on prend alors x(k+1) = x(k) + n w(k) avec n optimal dans la direction w(k) . La
proprit prcdente donne x(n) = x
avec A
x = b.
Dfinition 3.26 (Mthode du gradient conjugu). Soit A Mn (IR) une matrice symtrique dfinie positive,
1
b IR n et f (x) = Ax x b x.
2
Initialisation
auquel
cas
lalgorithme
sarrte.
Itration 1 n n 1 :
(3.21)
(0)
(k)
(0)
(k1)
On
suppose
x
,
.
.
.
,
x
et
w
,
.
.
.
,
w
connus
et
on
pose
r(k) = b Ax(k) .
auquel
cas
lalgorithme
sarrte.
CHAPITRE 3. OPTIMISATION
1
Ax x b x alors
2
r(k) Aw(k1)
.
w(k1) Aw(k1)
Montrons maintenant que w(k) est une direction de descente stricte en x(k) . On a :
w(k) (f (x(k) ))
Or w(k1) f (x(k) ) = 0 car n1 est le paramtre de descente optimal en x(k1) dans la direction w(k1) , on a donc :
w(k) f (x(k) ) = |f (x(k) )|2 = |r(k) |2 > 0
ceci donne que w(k) est une direction de descente stricte en x(k) On peut choisir n > 0 optimal en x(k) dans la direction
w(k) , et le calcul de n (similaire celui de ltape dinitialisation) donne
r(k) w(k)
.
Aw(k) w(k)
= x(k) + n w(k) . Remarquons que ce choix de n entrane que
n =
r(k) w(k1) = 0.
(3.22)
(3.23)
Pour pouvoir appliquer la proposition 3.25, il reste montrer que la famille w(0) , . . . , w(k) est A-conjugue. Ceci est
lobjet de la proposition 3.29 qui suit. Grce cette proposition, on obtient que si r(k) = 0, n = 0, . . . , n 1, la famille
(w(0) , . . . , w(n1) ) est donc A-conjugue, et w(k) est une direction de descente stricte en x(k) pour tout n n 1. On
.
en dduit par la proposition 3.25 que x(n) = x
La dmonstration de la proposition 3.29 que lon vient dutiliser se fait par rcurrence, et ncessite les petits
rsultats prliminaires noncs dans le lemme suivant :
r(k) r(k)
,
w(k) Aw(k)
173
(3.24)
(3.25)
r(k) r(k1) = 0,
(3.26)
n1 =
D MONSTRATION
CHAPITRE 3. OPTIMISATION
r(k) r(k)
,
r(k1) r(k1)
(3.27)
1. Comme n est le paramtre optimal dans la direction w(k) , on sait (voir (3.22)) que
r(k) w(k)
.
Aw(k) w(k)
(k)
(k)
(k1)
(k)
(k)
Or par dfinition, w
= r + n1 w
, et donc w r
= r(k) r(k) + n1 w(k1) r(k) . Il ne reste plus
(k1)
(k)
remarquer que w
r = 0 en raison de loptimalit de n1 (voir (3.23)). On en dduit que
n =
n =
r(k) r(k)
.
w(k) Aw(k)
2. Par dfinition, x(k) = x(k1) + n1 w(k1) , donc Ax(k) = Ax(k1) + n1 Aw(k1) , ce qui entrane r(k) =
r(k1) + n1 Aw(k1) .
3. Par dfinition, et grce (3.25), on a :
r(k) r(k1) = r(k1) r(k1) + n1 Aw(k1) r(k1) .
Or w(k1) = r(k1) + n1 w(n2) , et donc r(k1) = w(k1) n1 w(n2) . On en dduit que
r(k) r(k1) = r(k1) r(k1) n1 Aw(k1) w(k1) n1 n1 Aw(k1) w(n2) .
Or Aw(k1) w(n2) = 0 et par (3.24), on a r(k1) r(k1) n1 Aw(k1) w(k1) = 0.
4. Par dfinition,
r(k) Aw(k1)
n1 = (k1)
.
w
Aw(k1)
Or par (3.25), on a :
1
Aw(k1) =
(r(k1) r(k) ).
n1
On conclut grce (3.26) et (3.24).
Proposition 3.29. Sous les hypothses et notations de la dfinition 3.26, soit n IN tel que 1 n n, si r(q) = 0
pour 0 q n, les proprits suivantes sont vrifies :
1. r(k) w(q) = 0, q = 0, . . . , n 1,
2. Vect(r(0) , . . . , r(k) ) = Vect(r(0) , . . . , An r(0) ),
3. Vect(w(0) , . . . , w(k) ) = Vect(r(0) , . . . , An r(0) ),
4. w(k) Aw(q) = 0, q = 0, . . . , n 1,
5. r(k) r(q) = 0, q = 0, . . . , n 1,
o V ect(w(0) , . . . , w(k) ) dsigne lespace vectoriel engendr par les vecteurs w(0) , . . . , w(k) . En particulier, la
famille (w(0) , . . . , w(n1) ) est A-conjugue.
Lespace Vect(r(0) , . . . , An r(0) ) est appel espace de Krylov.
D MONSTRATION On dmontre les proprits 1. 5 par rcurrence.
Etudions tout dabord le cas n = 1. Remarquons que r(1) w(0) = 0 en vertu de (3.23) (on rappelle que cette proprit
dcoule du choix optimal de 0 ).
On a grce (3.25) :
r(1) = r(0) 0 Aw(0) = r(0) 0 Ar(0) ,
174
CHAPITRE 3. OPTIMISATION
n+1
k Ak r(0) =
k=0
k=0
Or grce la proprit 1. on sait que r(k+1) w(q) = 0, q n, et donc r(k+1) V ect(w(0) , w(1) . . . , w(k) ). On a donc
n+1 = 0, et on peut donc crire
n
1
An+1 r(0) =
(r(k+1)
k Ak r(0) ) V ect(r(0) , r(1) . . . , r(k+1) ),
n+1
k=0
1
An+1 r(0) =
(r(k+1)
k Ak r(0) ).
n+1
k=0
(3.28)
Or w Aw
= 0 pour tout q n 1 par hypothse de rcurrence. De plus, toujours par hypothse de rcurrence,
w(q) V ect(r(0) , Ar(0) . . . , Aq r(0) ), et donc
(k)
(q)
175
CHAPITRE 3. OPTIMISATION
5. Il reste montrer que r(k+1) r(q) = 0 pour tout q n. Pour q = n, on la dmontr dans le lemme 3.28. Pour
q n 1, on a
r(k+1) r(q) = (r(k) n Aw(k) ) r(q) = r(k) r(q) n Aw(k) r(q) .
Or r(k) r(q) = 0 par hypothse de rcurrence, et Aw(k) r(q) = w(k) Ar(q) ; or Ar(q) V ect(r(0) , . . . , r(q) et
w(k) r(k) = 0 pour tout k n 1 par hypothse de rcurrence 1. On en dduit que r(k+1) r(q) = 0.
Ceci termine la dmonstration de la proposition (3.29).
1
By y L1 b y.
2
176
CHAPITRE 3. OPTIMISATION
On peut gnraliser le principe de lalgorithme du gradient conjugu une fonction f non quadratique. Pour cela,
on reprend le mme algorithme que (3.21), mais on adapte le calcul de n1 et n .
Itration n :
A x(0) , . . . , x(k) et w(0) , . . . , w(k1) connus, on calcule r(k) = f (x(k) ).
Si r(k) = 0 alors Ax(k) = b et donc x(k) = x
auquel cas lalgorithme sarrte.
Si r(k) = 0, on pose w(k) = r(k) + n1 w(k1) o n1 peut tre choisi de diffrentes manires :
1re mthode (FletcherReeves)
n1 =
2me mthode (PolakRibire)
n1 =
r(k) r(k)
,
r(k1) r(k1)
On pose alors x(k+1) = x(k) + n w(k) , o n est choisi, si possible, optimal dans la direction w(k) .
La dmonstration de la convergence de lalgorithme de PolakRibire fait lobjet de lexercice 101 page 185.
En rsum, la mthode du gradient conjugu est trs efficace dans le cas dune fonction quadratique condition
de lutiliser avec prconditionnement. Dans le cas dune fonction non quadratique, le prconditionnement ne se
trouve pas de manire naturelle et il vaut donc mieux rserver cette mthode dans le cas n petit".
3.3.3
Si de plus f est convexe alors on a g(x) = 0 f (x) = infn f. Dans ce cas dquivalence, on peut employer la
IR
mthode de Newton pour minimiser f en appliquant lalgorithme de Newton pour chercher un zro de g = f .
On a D(f ) = Hf o Hf (x) est la matrice hessienne de f en x. La mthode de Newton scrit dans ce cas :
{
Initialisation x(0) IR n ,
(3.29)
Itration n
Hf (x(k) )(x(k1) x(k) ) = f (x(k) ).
Remarque 3.31. La mthode de Newton pour minimiser une fonction f convexe est une mthode de descente. En
effet, si Hf (xn ) est inversible, on a x(k+1) x(k) = [Hf (x(k) )]1 (f (x(k) )) soit encore x(k+1) = x(k) +n w(k)
o n = 1 et w(k) = [Hf (x(k) )]1 (f (x(k) )). Si f est convexe, Hf est une matrice symtrique positive
(dj vu). Comme on suppose Hf (x(k) ) inversible par hypothse, la matrice Hf (x(k) ) est donc symtrique dfinie
positive.
Donc w(k) est alors une direction de descente stricte si w(k) = 0 (donc f (x(k) ) = 0). On en dduit que
w(k) f (x(k) ) = [Hf (x(k) )]1 f (x(k) ) f (x(k) ) > 0
ce qui est une condition suffisante pour que w(k) soit une direction de descente stricte.
La mthode de Newton est donc une mthode de descente avec w(k) = Hf (x(k) )(f (x(k) )) et n = 1.
On peut aussi remarquer, en vertu du thorme 2.16 page 129, que si f C 3 (IR n , IR), si x
est tel que f (
x) = 0
et si Hf (
x) = D(f )(
x) est inversible alors il existe > 0 tel que si x0 B(
x, ), alors la suite (x(k) )n est
lorsque n +. De plus, daprs la proposition 2.13, il existe > 0 tel que
bien dfinie par (3.29) et x(k) x
|x(k+1) x
| |x(k) x
|2 pour tout n IN.
Remarque 3.32 (Sur limplantation numrique). La convergence de la mthode de Newton est trs rapide, mais
ncessite en revanche le calcul de Hf (x), qui peut savrer impossible ou trop coteux.
177
CHAPITRE 3. OPTIMISATION
On va maintenant donner des variantes de la mthode de Newton qui vitent le calcul de la matrice hessienne.
Proposition 3.33. Soient f C 1 (IR n , IR), x IR n tel que f (x) = 0, et soit B Mn (IR) une matrice
symtrique dfinie positive ; alors w = Bf (x) est une direction de descente stricte en x.
D MONSTRATION On a : w f (x) = Bf (x) f (x) < 0 car B est symtrique dfinie positive et f (x) = 0
donc w est une direction de descente stricte en x. En effet, soit la fonction de IR dans IR dfinie par () = f (x + w).
Il est clair que C 1 (IR, IR), () = f (x + w) w et (0) = f (x) w < 0. Donc 0 > 0 tel que () < 0
si ]0, 0 [. Par le thorme des accroissements finis, () < (0) ]0, 0 [ donc w est une direction de descente
stricte.
Mthode de Broyden La premire ide pour construire une mthode de type quasi Newton est de prendre comme
direction de descente en x(k) le vecteur w(k) = (B (k) )1 (f (x(k) )) o la matrice B (k) est cense approcher
Hf (x(k) ) (sans calculer la drive seconde de f ). On suppose x(k) , x(k1) et B (k1) connus. Voyons comment on
peut dterminer B (k) . On peut demander par exemple que la condition suivante soit satisfaite :
f (x(k) ) f (x(k1) ) = B (k) (x(k) x(k1) ).
(3.30)
Ceci est un systme n quations et n n inconnues, et ne permet donc pas de dterminer entirement la matrice
B (k) si n > 1. Voici un moyen possible pour dterminer entirement B (k) , d Broyden. On pose s(k) = x(k)
x(k1) , on suppose que s(k) = 0, et on pose y (k) = f (x(k) ) f (x(k1) ). On choisit alors B (k) telle que :
{ (k) (k)
B s = y (k)
(3.31)
B (k) s = B (k1) s, s s(k)
On a exactement le nombre de conditions quil faut avec (3.31) pour dterminer entirement B (k) . Ceci suggre la
mthode suivante :
Initialisation Soient x(0) IR n et B (0) une matrice symtrique dfinie positive. On pose
w(0) = (B (0) )1 (f (x(0) ));
alors w(0) est une direction de descente stricte sauf si f (x(0) ) = 0.
On pose alors
x(1) = x(0) + (0) w(0) ,
o (0) est optimal dans la direction w(0) .
Itration n On suppose x(k) , x(k1) et B (k1) connus, (n 1), et on calcule B (k1) par (3.31). On pose
w(k) = (B (k) )1 (f (x(k) )).
On choisit (k) optimal en x(k) dans la direction w(k) , et on pose x(k+1) = x(k) + (k) w(k) .
Le problme avec cet algorithme est que si la matrice est B (k1) symtrique dfinie positive, la matrice B (k) ne
lest pas forcment, et donc w(k) nest pas forcment une direction de descente stricte. On va donc modifier cet
algorithme dans ce qui suit.
Mthode de BFGS La mthode BFGS (de Broyden 2 , Fletcher 3 , Goldfarb 4 et Shanno 5 ) cherche construire
B (k) proche de B (k1) , telle que B (k) vrifie (3.30) et telle que si B (k1) est symtrique dfinie positive alors
2. Broyden, C. G., The Convergence of a Class of Double-rank Minimization Algorithms, Journal of the Institute of Mathematics and Its
Applications 1970, 6, 76-90
3. Fletcher, R., A New Approach to Variable Metric Algorithms, Computer Journal 1970, 13, 317-322
4. Goldfarb, D., A Family of Variable Metric Updates Derived by Variational Means, Mathematics of Computation 1970, 24, 23-26
5. Shanno, D. F.,Conditioning of Quasi-Newton Methods for Function Minimization , Mathematics of Computation 1970, 24, 647-656
178
CHAPITRE 3. OPTIMISATION
B (k) est symtrique dfinie positive. On munit Mn (IR) dune norme induite par un produit scalaire, par exemple
(
)1/2
n
2
si A Mn (IR) et A = (ai,j )i,j=1,...,n on prend A =
. Mn (IR) est alors un espace de Hilbert.
i,j=1 ai,j
On suppose x(k) , x(k1) , B (k1) connus, et on dfinit
Cn = {B Mn (IR)|B symtrique, vrifiant (3.30)},
qui est une partie de Mn (IR) convexe ferme non vide. On choisit alors B (k) = PCn B (k1) o PCn dsigne la
projection orthogonale sur Cn . La matrice B (k) ainsi dfinie existe et est unique ; elle est symtrique daprs le
choix de Cn . On peut aussi montrer que si B (k1) symtrique dfinie positive alors B (k) lest aussi.
Avec un choix convenable de la norme sur Mn (IR), on obtient le choix suivant de B (k) si s(k) = 0 et f (x(k) ) = 0
(sinon lalgorithme sarrte) :
B (k) = B (k1) +
y (k) (y (k) )t
B (k1) s(k) (s(k) )t B (k1)
.
(s(k) )t y (k)
(s(k) )t B (k1) s(k)
(3.32)
On suppose
si s(k) = 0 et f (x(k) ) = 0,
(3.33)
Thorme 3.34 (Fletcher, 1976). Soit f C 2 (IR n , IR) telle que f (x) + quand |x| +. On suppose de
plus que f est strictement convexe (donc il existe un unique x
IR n tel que f (
x) = inf IR n f ) et on suppose que
la matrice hessienne Hf (
x) est symtrique dfinie positive.
Alors si x(0) IR n et si B (0) est symtrique dfinie positive, lalgorithme BFGS dfinit bien une suite x(k) et on a
x(k) x
quand n +
De plus, si x(k) = x
pour tout n, la convergence est super linaire i.e.
|
x(k+1) x
| 0 quand n +.
(k)
x x
179
CHAPITRE 3. OPTIMISATION
Pour viter la rsolution dun systme linaire dans BFGS, on peut choisir de travailler sur (B (k) )1 au lieu de
B (k) .
(3.34)
Remarquons que le calcul de la projection de PCn K (k1) peut seffectuer avec la formule (3.32) o on a remplac
B (k1) par K (k1) . Malheureusement, on obtient exprimentalement une convergence nettement moins bonne
pour lalgorithme de quasi-Newton modifi (3.34) que pour lalgorithme de BFGS (3.32).
3.3.4
Faisons le point sur les avantages et inconvnients des mthodes quon a vues sur loptimisation sans contrainte.
Mthodes de gradient : Ces mthodes ncessitent le calcul de f (x(k) ). Leur convergence est linaire (donc
lente).
1
Mthode de gradient conjugu : Si f est quadratique (c..d. f (x) = Ax x b x avec A symtrique dfinie
2
positive), la mthode est excellente si elle est utilise avec un prconditionnement (pour n grand). Dans le
cas gnral, elle nest efficace que si n nest pas trop grand.
Mthode de Newton : La convergence de la mthode de Newton est excellente (convergence localement quadratique) mais ncessite le calcul de Hf (x(k) ) (et de f ((k) )). Si on peut calculer Hf (x(k) ), cette mthode est
parfaite.
Mthode de quasi Newton : Lavantage de la mthode de quasi Newton est quon ne calcule que f (x(k) ) et pas
Hf (x(k) )). La convergence est super linaire. Par rapport une mthode de gradient o on calcule w(k) =
f (x(k) ), la mthode BFGS ncessite une rsolution de systme linaire : w(k) = (B (k) )1 (f (x(k) )).
QuasiNewton modifi :
Pour viter la rsolution de systme linaire dans BFGS, on peut choisir de travailler sur (B (k) )1 au lieu de
B (k) , pour obtenir lalgorithme de quasi Newton (3.34). Cependant, on perd alors en vitesse de convergence.
Comment faire si on ne veut (ou peut) pas calculer f (x(k) ) ? On peut utiliser des mthodes sans gradient",
c..d. quon choisit a priori les directions w(k) . Ceci peut se faire soit par un choix dterministe, soit par un
choix stochastique.
Un choix dterministe possible est de calculer x(k) en rsolvant n problmes de minimisation en une dimension despace. Pour chaque direction i = 1, . . . , n, on prend w(n,i) = ei , o ei est le i-me vecteur de la
base canonique, et pour i = 1, . . . , n, on cherche IR tel que :
(k)
(k)
(k)
(k)
(k)
f (x1 , x2 , . . . , , . . . , x(k)
n ) f (x1 , x2 , . . . , t, . . . , xn ), t IR.
3.3.5
Exercices
180
CHAPITRE 3. OPTIMISATION
(3.35)
(3.36)
1. Montrer que
f (y) f (x) f (x) (y x) +
|y x|2 , x, y IR n .
2
2. Montrer que f est strictement convexe et que f (x) quand |x| . En dduire quil existe un et un
seul x IR n t.q. f (x) f (x) pour tout x IR n .
3. Soient ]0, (2/M 2 )[ et x0 IR n . Montrer que la suite (xn )nIN dfinie par xn+1 = xn f (xn )
(pour n IN) converge vers x.
Exercice 93 (Mise en oeuvre de GPF, GPO). Corrig en page 189.
On considre la fonction f : IR 2 IR dfinie par f (x1 , x2 ) = 2x21 + x22 x1 x2 3x1 x2 + 4.
1. Montrer quil existe un unique x
IR 2 tel que x
= minxIR 2 f (x) admet un unique minimum, et le calculer.
2. Calculer le premier itr donn par lalgorithme du gradient pas fixe (GPF) et du gradient pas optimal
(0)
(0)
(GPO), en partant de (x1 , x2 ) = (0, 0), pour un pas de = .5 dans le cas de GPF.
Exercice 94 (Convergence de lalgorithme du gradient pas optimal). Suggestions en page 188. Corrig dtaill
en page 190
Soit f C 2 (IR n , IR) t.q. f (x) quand |x| . Soit x0 IR n . On va dmontrer dans cet exercice la
convergence de lalgorithme du gradient pas optimal.
1. Montrer quil existe R > 0 t.q. f (x) > f (x0 ) pour tout x
/ BR , avec BR = {x IR n , |x| R}.
2. Montrer quil existe M > 0 t.q. |H(x)y y| M |y|2 pour tout y IR n et tout x BR+1 (H(x) est la
matrice hessienne de f au point x, R est donn la question 1).
3. (Construction de la" suite (xn )nIN de lalgorithme du gradient pas optimal.) On suppose xn connu (n
N ). On pose wn = f (xn ). Si wn = 0, on pose xn+1 = xn . Si wn = 0, montrer quil existe > 0 t.q.
f (xn +wn ) f (xn +wn ) pour tout 0. On choisit alors un n > 0 t.q. f (xn +n wn ) f (xn +wn )
pour tout 0 et on pose xn+1 = xn + n wn .
On considre, dans les questions suivantes, la suite (xn )nIN ainsi construite.
4. Montrer que (avec R et M donns aux questions prcdentes)
(a) la suite (f (xn ))nIN est une suite convergente,
(b) xn BR pour tout n IN,
(c) f (xn + wn ) f (xn ) |wn |2 + (2 /2)M |wn |2 pour tout [0, 1/|wn |].
(d) f (xn+1 ) f (xn ) |wn |2 /(2M ), si |wn | M .
),
(e) f (xn+1 ) + f (xn ) |wn |2 /(2M ), avec M = sup(M, M
= sup{|f (x)|, x BR }.
M
5. Montrer que f (xn ) 0 (quand n ) et quil existe une sous suite (nk )kIN t.q. xnk x quand
k et f (x) = 0.
6. On suppose quil existe un unique x IR n t.q. f (x) = 0. Montrer que f (x) f (x) pour tout x IR n et
que xn x quand n .
Exercice 95 (Application du GPO).
Soit A Mn (IR) et J la fonction dfinie de IR n dans IR par J(x) = eAx , o dsigne la norme euclidienne
sur IR n .
2
181
CHAPITRE 3. OPTIMISATION
|f (xk )|2
,
2M
182
CHAPITRE 3. OPTIMISATION
Initialisation :
Itration n :
x(0) E,
x(k) connu, (n 0)
(k+1)
Calculer x1
tel que, pour tout IR,
(k+1)
(k)
(k)
(k)
(k)
(k)
(k)
f (x1
, x2 , x3 , . . . , xn ) f (, x2 , x3 , . . . , xn ),
(k+1)
Calculer x2
tel que, pour tout IR,
(k+1)
(k+1)
(k)
(k)
(k+1)
(k)
(k)
f (x1
, x2
, x3 , . . . , xn ) f (x1
, , x3 , . . . , xn ),
...
(3.37)
(k+1)
xk
Calculer
tel que, pour tout IR,
(k+1)
(k+1)
(k+1)
(k)
(k)
f (x1
, . . . , xk1 , xk
, x(k+1) , . . . , xn )
(k+1)
f (x1
...
(k+1)
(k)
(k)
, . . . , xk1 , , x(k+1) , . . . , xn ),
(k+1)
Calculer xn
tel que, pour tout IR,
(k+1)
(k+1)
(k+1)
(k+1)
(k+1)
(k+1)
, . . . , xn1 , ).
) f (x1
, . . . , xn1 , xn
, x2
f (x1
(k+1)
2. Pour n IN et 1 k N , soit k
(k+1)
(s) = f (x1
(k+1)
(k)
(k+1)
(s) = inf k
sIR
(s).
En dduire que la suite (x(k) )nIN construite par lalgorithme (3.37) est bien dfinie.
Dans toute la suite, on note la norme euclidienne sur IR n et (|) le produit scalaire associ. Pour i = 1, . . . , n,
on dsigne par i f la drive partielle de f par rapport la i-me variable.
(k)
(k)
3. Soit (x(k) )nIN la suite dfinie par lalgorithme (3.37). Pour n 0, on dfinit x(n+1,0) = x(k) = (x1 , . . . , xn )t ,
(k+1)
(k+1)
(k)
(k)
et pour 1 k n, x(n+1,k) = (x1
, . . . , xk
, xk+1 , . . . , xn )t (de sorte que x(n+1,n) = x(k+1) ).
(a) Soit n IN. Pour 1 k n, montrer que k f (x(n+1,k) ) = 0, pour k = 1, . . . , n. En dduire que
f (x(n+1,k1) ) f (x(n+1,k) )
(n+1,k1)
x
x(n+1,k) 2 .
2
(k)
x x(k+1) 2 .
2
En dduire que limn+ x(k) x(k+1) = 0 et que, pour 1 k n, limn+ x(n+1,k) x(k+1) = 0.
4. Montrer que
x
(k+1)
1
x
) 12
|k f (x
(k+1)
)|
k=1
5. Montrer que les suites (x(k) )nIN , et (x(n+1,k) )nIN , pour k = 1, . . . , n, sont bornes.
Analyse numrique I, tl-enseignement, L3
183
CHAPITRE 3. OPTIMISATION
Montrer que
|k f (x(k+1) )| 0 lorsque n +.
(On rappelle que k f (x(n+1,k) ) = 0.)
Conclure quant la convergence de la suite(x(k) )nIN lorsque n +.
6. On suppose dans cette question que f (x) = 12 (Ax|x) (b|x). Montrer que dans ce cas, lalgorithme (3.37) est
quivalent une mthode itrative de rsolution de systmes linaires quon identifiera.
7. On suppose dans cette question que n = 2. Soit g la fonction dfinie de IR 2 dans IR par : g(x) = x21 + x22
2(x1 + x2 ) + 2|x1 x2 |, avec x = (x1 , x2 )t .
(a) Montrer quil existe un unique lment x = (x1 , x2 )t de IR 2 tel que g(x) = inf xIR 2 g(x).
(b) Montrer que x = (1, 1)t .
(c) Montrer que si x(0) = (0, 0)t , lalgorithme (3.37) appliqu g ne converge pas vers x. Quelle est lhypothse
mise en dfaut ici ?
Exercice 98 (Mise en oeuvre de GC).
On considre la fonction f : IR 2 IR dfinie par f (x1 , x2 ) = 2x21 + x22 x1 x2 3x1 x2 + 4.
1. Montrer quil existe un unique x
IR 2 tel que x
= minxIR 2 f (x) admet un unique minimum, et le calculer.
(0)
(0)
2. Calculer le premier itr donn par lalgorithme du gradient conjugu, en partant de (x1 , x2 ) = (0, 0),
pour un pas de = .5 dans le cas de GPF.
Exercice 99 (Gradient conjugu pour une matrice non symtrique). Corrig dtaill en page 195
Soit n IN, n 1. On dsigne par la norme euclidienne sur IR n , et on munit lensemble Mn (IR) de la
norme induite par la norme , . Soit A Mn (IR) une matrice inversible. On dfinit M Mn (IR) par
M = At A. On se donne un vecteur b IR n , et on sintresse la rsolution du systme linaire
Ax = b; .
(3.38)
(3.39)
2. On rappelle que le conditionnement dune matrice C Mn (IR) inversible est dfini par cond(C) =
CC 1 (et dpend donc de la norme considre ; on rappelle quon a choisi ici la norme induite par
la norme euclidienne).
(a) Montrer que les valeurs propres de la matrice M sont toutes strictement positives.
(b) Montrer que cond(A) = n1 , o n (resp. 1 ) est la plus grande (resp. plus petite) valeur propre de
M.
3. Ecrire lalgorithme du gradient conjugu pour la rsolution du systme (3.39), en ne faisant intervenir que
les matrices A et At (et pas la matrice M ) et en essayant de minimiser le nombre de calculs. Donner une
estimation du nombre doprations ncessaires et comparer par rapport lalgorithme du gradient conjugu
crit dans le cas dune matrice carr dordre n symtrique dfinie positive.
Exercice 100 (Gradient conjugu prconditionn par LLt ).
Soit A Mn (IR) une matrice symtrique dfinie positive, et b IR n . Soit L une matrice triangulaire infrieure
inversible, soit B = L1 A(Lt )1 et b = L1 b.
1. Montrer que B est symtrique dfinie positive.
2. Justifier lexistence et lunicit de x IR n tel que Ax = b, et de y IR n tel que By = b. Ecrire x en
fonction de y.
Analyse numrique I, tl-enseignement, L3
184
CHAPITRE 3. OPTIMISATION
r
0 = wr(0) A
.
w
(0)
Pour n > 1, on suppose y (0) , . . . , y (k) et w
(0) , . . . , w
(k1) connus, et on pose : r(k) = b By (k) . Si r(k) = 0,
r(k)
r (k)
on calcule : w
(k) = r(k) + n1 w
(k1) avec n1 = r(k1)
et on pose alors : y (k+1) = y (k) + n w
(k) avec
r (k1)
n =
r(k)
r (k)
,
w
(k) B w
(k)
3. En utilisant le cours, justifier que la famille y (k) ainsi construite est finie. A quoi est gale sa dernire valeur ?
Pour n IN, on pose : x(k) = Lt y (k) (avec Lt = (L1 )t = (Lt )1 ), r(k) = b Ax(k) , w(k) = Lt w
(k) et
(k)
t 1 (k)
s = (LL ) r .
4. Soit n > 0 fix. Montrer que :
(a)
n1 =
s(k) r(k)
,
s(k1) r(k1)
(b)
n =
(c)
(d)
s(k) r(k)
,
w(k) Aw(k)
5. On suppose que la matrice LLt est une factorisation de Choleski incomplte de la matrice A. Ecrire lalgorithme du gradient conjugu prconditionn par cette factorisation, pour la rsolution du systme Ax = b.
Exercice 101 (Mthode de Polak-Ribire). Suggestions en page 188, corrig en page 196
Dans cet exercice, on dmontre la convergence de la mthode de Polak-Ribire (mthode de gradient conjugu
pour une fonctionnelle non quadratique) sous des hypothses simples" sur f .
Soit f C 2 (IR n , IR). On suppose quil existe > 0, t.q. |y|2 H(x)y y |y|2 pour tout x, y IR n .
(H(x) est la matrice hessienne de f au point x.)
1. montrer que f est strictement convexe, que f (x) quand |x| et que le spectre VP(H(x)) de
H(x) est inclus dans [, ] pour tout x IR n .
On note x lunique point de IR n t.q. f (x) f (x) pour tout x IR n (lexistence et lunicit de x est donn
par la question prcdente). On cherche une approximation de x en utilisant lalgorithme de Polak-Ribire :
initialisation. x(0) IR n . On pose g (0) = f (x(0) ). Si g (0) = 0, lalgorithme sarrte (on a x(0) = x).
Si g (0) = 0, on pose w(0) = g (0) et x(1) = x(0) + 0 w(0) avec 0 optimal" dans la direction w(0) .
itration. x(k) , w(k1) connus (n 1). On pose g (k) = f (x(k) ). Si g (k) = 0, lalgorithme sarrte (on a
x(k) = x). Si g (k) = 0, on pose n1 = [g (k) (g (k) g (k1) )]/[g (k1) g (k1) ], w(k) = g (k) + n1 w(k1)
et x(k+1) = x(k) + n w(k) avec n optimal" dans la direction wn . (Noter que n existe bien.)
On suppose dans la suite que g (k) = 0 pour tout n IN.
2. Montrer (par rcurrence sur n) que g (k+1) w(k) = 0 et g (k) g (k) = g (k) w(k) , pour tout n IN.
3. On pose
J (k) =
0
Montrer que g
(k+1)
=g
(k)
+ n J
(k)
(k)
et que n = (g (k) w(k) )/(J (k) w(k) w(k) ) (pour tout n IN).
4. Montrer que |w(k) | (1 + /)|g (k) | pour tout n IN. [Utiliser, pour n 1, la question prcdente et la
formule donnant n1 .]
5. Montrer que x(k) x quand n .
Exercice 102 (Algorithme de quasi Newton).
Corrig dtaill en page 198
185
CHAPITRE 3. OPTIMISATION
Soit A Mn (IR) une matrice symtrique dfinie positive et b IR n . On pose f (x) = (1/2)Ax x b x pour
x IR n . On rappelle que f (x) = Ax b. Pour calculer x IR n t.q. f (x) f (x) pour tout x IR n , on va
utiliser un algorithme de quasi Newton, cest--dire :
initialisation. x(0) IR n .
itration. x(k) connu (n 0. On pose x(k+1) = x(k) n K (k) g (k) avec g (k) = f (x(k) ), K (k) une matrice
symtrique dfinie positive dterminer et n optimal" dans la direction w(k) = K (k) g (k) . (Noter que n existe
bien.)
Partie 1. Calcul de n . On suppose que g (k) = 0.
1. Montrer que w(k) est une direction de descente stricte en x(k) et calculer la valeur de n (en fonction de
K (k) et g (k) ).
2. On suppose que, pour un certain n IN, on a K (k) = (H(x(k) ))1 (o H(x) est la matrice hessienne de f
en x, on a donc ici H(x) = A pour tout x IR n ). Montrer que n = 1.
3. Montrer que la mthode de Newton pour calculer x converge en une itration (mais ncessite la rsolution
du systme linaire A(x(1) x(0) ) = b Ax(0) . . . )
Partie 2. Mthode de Fletcher-Powell. On prend maintenant K (0) = Id et
K (k+1) = K (k) +
s(k) (s(k) )t
(K (k) y (k) )(K (k) (y (k) )t
, n 0,
s(k) y (k)
K (k) y (k) y (k)
(3.40)
En dduire que K (k+1) est symtrique dfinie positive. [On rappelle (ingalit de Cauchy-Schwarz)
que, si K est symtrique dfinie positive, on a (Kx y)2 (Kx x)(Ky y) et lgalit a lieu si et
seulement si x et y sont colinaires.]
2. On suppose que g (k) = 0 si 0 n n 1. Montrer (par rcurrence sur n, avec la question prcdente) que
s(0) , . . . , s(n1) sont des vecteurs A-conjugus et non-nuls et que K (n) As(i) = s(i) si i < n. En dduire
que K (n) = A1 , n = 1 et x(n+1) = A1 b = x.
Exercice 103 (Mthodes de GaussNewton et de quasilinarisation). Corrig dtaill en page 201
186
CHAPITRE 3. OPTIMISATION
Soit f C 2 (IR n , IR P ), avec n, P IN . Soit C MP (IR) une matrice relle carre dordre P , symtrique
dfinie positive, et d IR P . Pour x IR n , on pose
J(x) = (f (x) d) C(f (x) d).
On cherche minimiser J.
I Proprits dexistence et dunicit
(a) Montrer que J est borne infrieurement.
(b) Donner trois exemples de fonctions f pour lesquels les fonctionnelles J associes sont telles que lon
ait :
i. existence et unicit de x
IR n qui ralise le minimum de J, pour le premier exemple.
ii. existence et non unicit de x
IR n qui ralise le minimum de J, pour le second exemple.
iii. non existence de x
IR n qui ralise le minimum de J, pour le troisime exemple.
(On pourra prendre N = P = 1.)
II Un peu de calcul diffrentiel
(a) On note Df et D2 f les diffrentielles dordre 1 et 2 de f . A quels espaces appartiennent Df (x),
D2 f (x) (pour x IR n ), ainsi que Df et D2 f ? Montrer que pour tout x IR n , il existe M (x)
MP,n (IR), o MP,n (IR) dsigne lensemble des matrices relles P lignes et n colonnes, telle que
Df (x)(y) = M (x)y pour tout y IR n .
(b) Pour x IR n , calculer J(x).
(c) Pour x IR n , calculer la matrice hessienne de J en x (quon notera H(x)). On suppose maintenant
que M ne dpend pas de x ; montrer que dans ce cas H(x) = 2M (x)t CM (x).
III Algorithmes doptimisation
Dans toute cette question, on suppose quil existe un unique x
IR n qui ralise le minimum de J, quon
cherche calculer de manire itrative. On se donne pour cela x0 IR n , et on cherche construire une suite
(xn )nIN qui converge vers x
.
(a) On cherche calculer x
en utilisant la mthode de Newton pour annuler J. Justifier brivement cette
procdure et crire lalgorithme obtenu.
(b) Lalgorithme dit de Gauss-Newton" est une modification de la mthode prcdente, qui consiste
approcher, chaque itration n, la matrice jacobienne de J en xn par la matrice obtenue en ngligeant
les drives secondes de f . Ecrire lalgorithme ainsi obtenu.
(c) Lalgorithme dit de quasilinarisation" consiste remplacer, chaque itration n IN, la minimisation de la fonctionnelle J par celle de la fonctionnelle Jn , dfinie de IR n dans IR, et obtenue partir
de J en effectuant un dveloppement limit au premier ordre de f (x) en xn , c..d.
Jn (x) = (f (xn ) + Df (xn )(x xn ) d) C(f (xn ) + Df (xn )(x xn ) d).
i. Soit n 0, xn IR n connu, Mn = M (xn ) MP,n (IR), et x IR n . On pose h = x xn .
Montrer que
Jn (x) = J(xn ) + Mnt CMn h h + 2Mnt C(f (xn ) d) h.
ii. Montrer que la recherche du minimum de Jn est quivalente la rsolution dun systme linaire
dont on donnera lexpression.
iii. Ecrire lalgorithme de quasilinarisation, et le comparer avec lalgorithme de Gauss-Newton.
187
CHAPITRE 3. OPTIMISATION
188
CHAPITRE 3. OPTIMISATION
1
0
f (x +
f (y) f (x) =
0
On a donc :
cestdire :
t(yx)2
t|y x|2 dt =
0
|y x|2 > 0 si y = x.
2
(3.41)
2. On dduit de la question 1 que f est strictement convexe. En effet, grce la question 1, pour tout (x, y)
E 2 , f (y) > f (x) + f (x) (y x) ; et daprs la premire caractrisation de la convexit, voir proposition
3.8. On en dduit que f est strictement convexe.
Montrons maintenant que f (y) + quand |y| +.
Grce au thorme 2.3 page 119, on sait que h est strictement contractante si 0 < <
f (
x) = 0 donc f (
x) = inf f car f est convexe .
E
]
[
]
4x1 x2 3
4 1
f (x) =
et Hf =
2x2 x1 1
1 2
189
CHAPITRE 3. OPTIMISATION
La fonction f vrifie
les hypothses
du thorme 3.37 dexistence et dunicit du minimum. En particulier la
[
]
4 1
hessienne Hf =
est s.d.p., car Hf xx = (4x1 x2 )x1 +(x1 +2x2 )x2 = (x1 x2 )2 +3x21 +x22 > 0
1 2
sauf pour x1 = x2 = 0. Le minimum est obtenu pour
1 f (x1 , x2 ) = 4x1 x2 3 = 0
2 f (x1 , x2 ) = 2x2 x1 1 = 0
cest--dire x
1 = 1 et x
2 = 1. Ce minimum est f (
x1 , x
2 ) = 2.
2. Lalgorithme du gradient pas fixe scrit :
Initialisation :
Itration n :
x(0) E,
x(k) connu, (n 0)
w(k) = f (x(k) ),
x(k+1) = x(k) + w(k) .
A la premire itration, on a f (0, 0) = (3, 1) et donc w0 = (3, 1). On en dduit x(1) = (3, 2) = (3/2, 1)
et f (x(1) ) = 5/2..
Lalgorithme du gradient pas optimal scrit :
Initialisation : x(0) IR n .
Itration n :
x(k) connu.
(0)
(0)
() = f (x + w ) w(0) =
= 3(11 3) + ( 1) = 32 10.
1
1
5
5
(1)
. On obtient alors x(1) = x(0) + 0 w(0) = ( 15
) = 2.4375, ce qui est,
On en dduit que 0 = 16
16 , 16 ), et f (x
comme attendu, mieux quavec GPF.
190
CHAPITRE 3. OPTIMISATION
a) Montrons que la suite (f (xn ))nIN est convergente. La suite (f (xn ))nIN vrifie
f (xn+1 ) f (xn ).
De plus f (x) + lorsque |x| + donc f est borne infrieurement. On en conclut que la suite
(f (xn ))nIN est convergente.
b) Montrons que xn BR n IN. On sait que si x
/ BR alors f (x) > f (x0 ). Or la suite (f (xn ))nIR
est dcroissante donc f (xn ) f (x0 ) n, donc xn BR , n IN.
c) Montrons que f (xn + wn ) f (xn ) |wn |2 +
2
1
M |wn |2 , [0,
]. Soit dfinie de IR +
2
|wn |
2
(
), o ]0, [.
2
Si [0,
1
] on a
|wn |
|xn + wn | |xn | +
1
|wn |
|wn |
R + 1,
donc xn + wn BR+1 et par la question 2,
H(xn + wn )wn wn M |wn |2 .
On a donc bien
() = f (xn + wn ) f (xn ) |wn |2 +
2
M |wn |2 .
2
|wn |2
si |wn | M .
2M
Comme le choix de n est optimal, on a
1
].
|wn |
2
1
M |wn |2 = (), [0,
].
2
|wn |
191
(3.42)
CHAPITRE 3. OPTIMISATION
1
M
1
).
|wn |
Comme on a suppos |wn | M , on a donc
1
1
f (xn+1 ) f (xn )
|wn |2
|wn |2
|wn |2
+
= f (xn )
.
M
2M
2M
|wn |2
|wn |2
.
2M
|wn |2
. On aura alors le rsultat souhait.
2M
2
1
M |wn |2 , [0,
].
2
|wn |
2
2
[f
(x
)
|w
|
+
f (xn+1 ) min
M |wn |2 ]
n
n
2
[0, |w1 | ] |
{z
}
n
Pn ()
(
Or Pn
1
|wn |
1
] et le minimum est donc atteint pour =
|wn |
)
= f (xn ) |wn | +
f (xn )
M
|wn |
f (xn )
2
2
|wn |2
.
2M
(3.43)
Mais daprs la question 5), on peut extraire de la suite (xnk )k une soussuite qui converge, ce qui contredit (3.43). Donc la suite (xn )nIN converge.
192
CHAPITRE 3. OPTIMISATION
Comme lalgorithme (3.37) procde n minimisations de ce type chaque itration, on en dduit que la suite
(x(k) )nIN construite par cet algorithme est bien dfinie.
(k+1)
(k+1)
(k+1)
Or x(n+1,k1) x(n+1,k) = xk
f (x(n+1,k1) ) f (x(n+1,k) )
(n+1,k1)
|x
x(n+1,k) |2 .
2
f (x(n+1,k1) ) f (x(n+1,k) ).
k=1
f (x(k) ) f (x(k+1) )
k=1
(k+1)
Or x(n+1,k1)) x(n+1,k) = xk
n
ek , et (ek )kn est une base orthonorme. On peut donc crire que
|x(n+1,k1)) x(n+1,k) |2
k=1
k=1
n
= |
= |
(k)
(k+1)
)ek |2
(k)
(k+1)
)ek |2
|(xk xk
(xk xk
k=1
n
k=1
= |x(k) x(k+1) |2 .
On en dduit que
f (x(k) ) f (x(k+1) )
Analyse numrique I, tl-enseignement, L3
(k)
|x x(k+1) |2 .
2
193
CHAPITRE 3. OPTIMISATION
n+
De plus, pour 1 k n,
|x(n+1,k) x(k+1) |2
(k)
(k)
|(x
=k
n
= |
(x
(k+1)
)e |2
(k+1)
)e |2
=k
= |
=k
(k)
|x
x(k+1) |2 .
) 12
|k f (x(k+1) )|2
k=1
5. Par les questions 1 et 2 de lexercice 92, on sait que la fonction f est croissante linfini. Donc il existe R > 0 tel
que si |x| > R alors f (x) > f (x0 ). Or, la suite (f (xn ))nIN tant dcroissante, on a f (xn )) f (x0 ) pour tout n,
et donc |xn | R pour tout n. Par la question 3(b), on sait que pour tout k 1, limn+ |x(n+1,k) x(k+1) | = 0,
ce qui prouve que les suites (x(n+1,k) )nIN , pour k = 1, . . . , n, sont galement bornes.
Comme limn+ |x(n+1,k) x(k+1) | = 0, on a pour tout > 0, lexistence de N IN tel que |x(n+1,k)
x(k+1) | < si n N . Comme f C 1 (IR, IR), la fonction k f est uniformment continue sur les borns
(thorme de Heine), et donc pour tout > 0, il existe > 0 tel que si |x y| < alors |k f (x) k f (y)| .
On a donc, pour n N : |k f (x(n+1,k) ) k f (x(k+1) )| , ce qui dmontre que :
|k f (x(k+1) )| 0 lorsque n +.
On en conclut par le rsultat de la question 4 que x(k) x
lorsque n +.
6. On a vu a lexercice 89 que dans ce cas, f (x) = 12 (A + At )x b. Lalgorithme 3.37 est donc la mthode de
Gauss Seidel pour la rsolution du systme linaire 12 (A + At )x = b.
7 (a) La fonction g est strictement convexe (car somme dune fonction strictement convexe : (x1 , x2 ) x21 + x22 ,
dune fonction linaire par morceaux : (x1 , x2 ) 7 2(x1 + x2 ) + 2|x1 x2 |. et croissante linfini grce aux
termes en puissance 2. Il existe donc un unique lment x = (x1 , x2 )t de IR 2 tel que g(x) = inf xIR 2 g(x).
7 (b) Soit > 0. On a, pour tout x IR, x () = g(x, x + ) = x2 + (x + )2 4x, qui atteint (pour tout x) son
minimum pour = 0. Le minimum de g se situe donc sur laxe x = y. Or (x) = g(x, x) = 2x2 4x atteint son
minimum en x = 1.
7 (c) Si x(0) = (0, 0)t , on vrifie facilement que lalgorithme (3.37) appliqu g est stationnaire. La suite ne
converge donc pas vers x. La fonction g nest pas diffrentiable sur la droite x1 = x2 .
Analyse numrique I, tl-enseignement, L3
194
CHAPITRE 3. OPTIMISATION
Corrig de lexercice 99 page 184 (Gradient conjugu pour une matrice non symtrique)
1. Comme A est inversible, At lest aussi et donc les systmes (3.38) et (3.39) sont quivalents.
2 (a) La matrice M est symtrique dfinie positive, car A est inversible et M = AAt est symtrique. Donc ses
valeurs propres sont strictement positives.
1
2 (b) On a cond(A) = AA1 . Comme la norme est ici la norme euclidienne, on a : A = ((At A)) 2 et
1
1
A1 = (((A1 )t A1 )) 2 = ((AAt )1 )) 2 . On vrifie facilement que M = At A et At A ont mmes valeurs
propres et on en dduit le rsultat.
3. Ecrivons lalgorithme du gradient conjugu pour la rsolution du systme (3.39)
Initialisation
auquel
cas
lalgorithme
sarrte.
r(0) r(0)
.
2) Si r(0) = 0, alors on pose w(0) = r(0) , et on choisit 0 = t
A Aw(0) w(0)
(1)
(0)
(0)
On pose alors x = x + 0 w .
Itration 1 n n 1 :
r(k) = At b At Ax(k) .
auquel
cas
lalgorithme
sarrte.
r(k) r(k)
r (k) r (k)
avec n1 = r(k1)
et on pose n = t
.
(k1) .
r
A Aw(k) w(k)
(k+1)
(k)
(k)
On pose alors x
= x + n w .
Si on implmente lalgorithme sous cette forme, on a intrt calculer dabord b = At b et M = At A pour
minimiser le nombre de mutliplications matrice matrice et matrice vecteur. Au lieu du cot de lalgorithme initial,
qui est en 2n3 + O(n2 ), on a donc un cot en 3n3 + O(n2 ).
Maintenant si on est optimiste, on peut esprer converger en moins de n itrations (en fait, cest malheureusement
rarement le cas), et dans ce cas il est plus conomique dcrire lalgorithme prcdent sous la forme suivante.
Initialisation
r(0) r(0)
(0)
(0)
(0) (0)
(0)
.
2)
Si
r
=
0,
alors
on
pose
w
=
r
,
y
=
Aw
et
on
choisit
y (0) y (0)
(1)
(0)
(0)
On pose alors x = x + 0 w .
Itration 1 n n 1 :
auquel
cas
lalgorithme
sarrte.
r(k) r(k)
r (k) r (k)
avec n1 = r(k1)
et on pose n = (k) (k) avec y (k) = Aw(k) .
(k1) .
r
y y
195
CHAPITRE 3. OPTIMISATION
On peut facilement vrifier que dans cette version, on a un produit matrice vecteur en plus chaque itration, donc
le cot est le mme pour n itrations, mais il est infrieur si on a moins de n itrations.
Remarque : Cette mthode sappelle mthode du gradient conjugu applique aux quations normales. Elle est
facile comprendre et programmer. Malheureusement, elle ne marche pas trs bien dans la pratique, et on lui
prfre des mthodes plus sophistiques telles sue la mthode "BICGSTAB" ou "GMRES".
Corrig de lexercice 101 page 185 (Mthode de Polak-Ribire)
1. Montrons que f est strictement convexe et croissante linfini. Soit la fonction de IR dans IR dfinie par
(t) = f (x + t(y x)).
On a C 2 (IR, IR), (0) = f (x) et (1) = f (y), et donc :
(t)dt.
(1 t) (t)dt.
(3.44)
Or (t) = (x + t(y x)) (y x) et donc (t) = H(x + t(y x))(y x) (y x). On a donc par
hypothse (t) |y x|2 .
On dduit alors de 3.44 que
f (y) f (x) + f (x) (y x) +
|y x|2 .
2
(3.45)
Lingalit 3.45 entrane la stricte convexit de f et sa croissance linfini (voir dmonstration de la convergence du gradient pas fixe, exercice 92).
Il reste montrer que lensemble VP(H(x)) des valeurs propres de H(x) est inclus dans [, ]. Comme f
C 2 (IR, IR), H(x) est symtrique pour tout x IR, et donc diagonalisable dans IR. Soit VP(H(x)) ; il
existe donc y IR n , y = 0 tel que H(x)y = y, et donc y y y y y y, VP(H)(x)). On
en dduit que VP(H(x)) [, ].
2. Montrons par rcurrence sur n que g (k+1) w(k) = 0 et g (k) g (k) = g (k) w(k) pout tout n IN.
Pour n = 0, on a w(0) = g (0) = f (x(0) ).
Si f (x(0) ) = 0 lalgorithme sarrte. Supposons donc que f (x(0) ) = 0. Alors w(0) = f (x(0) ) est
une direction de descente stricte. Comme x(1) = x(0) + 0 w(0) o 0 est optimal dans la direction w(0) , on
a g (1) w(0) = f (x(1) ) w(0) = 0. De plus, on a videmment g (0) w(0) = g (0) g (0) .
Supposons maintenant que g (k) w(k1) = 0 et g (k1) g (k1) = g (k1) w(k1) , et montrons que g (k+1)
w(k) = 0 et g (k) g (k) = 0.
Par dfinition, on a :
w(k) = g (k) + n1 w(k1) , donc
w(k) g (k) = g (k) g (k) + n1 w(k1) g (k) = g (k) g (k)
par hypothse de rcurrence. On dduit de cette galit que w(k) g (k) > 0 (car g (k) = 0) et donc w(k) est
une direction de descente stricte en x(k) . On a donc f (x(k+1) ) w(k) = 0, et finalement g (k+1) w(k) = 0.
3. Par dfinition, g (k) = f (x(k) ) ; or on veut calculer g (k+1) g (k) = f (x(k+1) ) + f (x(k) ). Soit
la fonction de IR dans IR dfinie par :
(t) = f (x(k) + t(x(k+1) x(k) )).
Analyse numrique I, tl-enseignement, L3
196
CHAPITRE 3. OPTIMISATION
On a donc :
(1) (0) =
g (k+1) g (k)
1
=
(t)dt.
0
Calculons : (t) = H(x(k) + t(x(k+1) x(k) ))(x(k+1) x(k) ). Et comme x(k+1) = x(k) + n w(k) , on
a donc :
g (k+1) g (k) = n Jn w(k) .
(3.46)
De plus, comme g (k+1) w(k) = 0 (question 1), on obtient par (3.46) que
n =
g (k) w(k)
Jn w(k) w(k)
(3.47)
n1 =
|g (k1) |
,
|w(k1)|
197
).
CHAPITRE 3. OPTIMISATION
Montrons dabord que la suite (f (x(k) ))nIN converge. Comme f (x(k+1) ) = f (x(k) + n w(k) )
f (x(k) + w(k) ) 0, on a donc en particulier f (x(k+1) ) f (x(k) ). La suite (f (x(k) ))nIN est
donc dcroissante. De plus, elle est minore par f (
x). Donc elle converge, vers une certaine limite
IR, lorsque n tend vers +.
La suite (x(k) )nIN est borne : en effet, comme f est croissante linfini, il existe R > 0 tel que si
|x| > R alors f (x) f (x(0) ). Or f (x(k) ) f (x(0) ) pout tout n IN, et donc la suite (x(k) )nIN est
incluse dans la boule de rayon R.
Montrons que f (x(k) ) 0 lorsque n +.
On a, par dfinition de x(k+1) ,
f (x(k+1) ) f (x(k) + w(k) ), 0.
En introduisant la fonction dfinie de IR dans IR par (t) = f (x(k) + tw(k) ), on montre facilement
(les calculs sont les mmes que ceux de la question 1) que
2 (k) 2
|w | , 0.
2
Comme f (x(k) ) w(k) = g (k) w(k) = |g (k) |2 (question 2) et comme |w(k) | |g (k) |(1 +
(question 4), on en dduit que :
+ (1 +
2
) .
f (x(k+1) ) f (x(k) )
1 (k) 2
|g | ,
4
do on dduit que
|g (k) |2 4(f (x(k) ) f (x(k+1) ) 0
n+
On a donc f (x
(k)
) 0 lorsque n +.
La suite (x )nIN tant borne, il existe une soussuite qui converge vers x IR n , comme f (x(k) )
0 et comme f est continue, on a f (x) = 0. Par unicit du minimum (f est croissante linfini et
strictement convexe) on a donc x = x
.
Enfin on conclut la convergence de toute la suite par un argument classique (voir question 6 de
lexercice 94 page 181).
(k)
198
CHAPITRE 3. OPTIMISATION
g (k) w(k)
.
Aw(k) w(k)
=
=
k=i+1
n1
As(k) s(i) ,
k=i+1
=
Analyse numrique I, tl-enseignement, L3
199
0
Universit dAix-Marseille, R. Herbin, 18 novembre 2013
CHAPITRE 3. OPTIMISATION
Par hypothse de Aconjugaison de la famille (s(i) )i=1,k1 on dduit alors facilement des deux
galits prcdentes que g (k) s(i) = 0. Comme on a montr que g (k) s(i) = 0 si et seulement si
s(k) As(i) = 0, on en conclut que la famille (s(i) )i=1,...,n est Aconjugue, et que les vecteurs
s(i) sont non nuls.
2. Montrons que K (k+1) est symtrique. On a :
(K (k+1) )t = (K (k) )t +
(s(k) (s(k) )t )t
[(K (k) y (k) )(K (k) y (k) )t ]t
= K (k+1) ,
s(k) y (k)
K (k) y (k) y (k)
(3.48)
s(k) (s(k) )t
(K (k) y (k) )(K (k) y (k) )t
x
x x.
s(k) y (k)
K (k) y (k) y (k)
Or s(k) (s(k) )t x x = s(k) (s(k) x) x = (s(k) x)2 , et de mme, (K (k) y (k) )(K (k) y (k) )t x x =
(K (k) y (k) x)2 . On en dduit que
K (k+1) x x = K (k) x x +
En remarquant que y (k) = As(k) , et en rduisant au mme dnominateur, on obtient alors que
K (k+1) x x =
CHAPITRE 3. OPTIMISATION
Montrons maintenant que K (k+1) est symtrique dfinie positive. Comme K (k) est symtrique dfinie
positive, on a grce lingalit de Cauchy-Schwarz que (K (k) y (k) x)2 (K (k) x x)(K (k) y (k) )
avec galit si et seulement si x et y (k) sont colinaires. Si x nest pas colinaire y (k) , on a donc donc
clairement
K (k+1) x x > 0.
Si maintenant x est colinaire y (k) , i.e. x = y (k) avec IR + , on a, grce au fait que y (k) = As(k) ,
(k)
(s(k) x)2
As(k) )2
2 (s
=
201
CHAPITRE 3. OPTIMISATION
(b) Comme C ne dpend pas de x, on a J(x) = M (x)C(f (x) d) + (f (x) d)CM (x).
(c) Pour x IR n , calculer la matrice hessienne de J en x (quon notera H(x)). On suppose maintenant
que M ne dpend pas de x ; montrer que dans ce cas H(x) = 2M (x)t CM (x).
III Algorithmes doptimisation
Dans toute cette question, on suppose quil existe un unique x
IR n qui ralise le minimum de J, quon
cherche calculer de manire itrative. On se donne pour cela x0 IR n , et on cherche construire une suite
(xn )nIN qui converge vers x
.
(a) On cherche calculer x
en utilisant la mthode de Newton pour annuler J. Justifier brivement cette
procdure et crire lalgorithme obtenu.
(b) Lalgorithme dit de Gauss-Newton" est une modification de la mthode prcdente, qui consiste
approcher, chaque itration n, la matrice jacobienne de J en xn par la matrice obtenue en ngligeant
les drives secondes de f . Ecrire lalgorithme ainsi obtenu.
(c) Lalgorithme dit de quasilinarisation" consiste remplacer, chaque itration n IN, la minimisation de la fonctionnelle J par celle de la fonctionnelle Jn , dfinie de IR n dans IR, et obtenue partir
de J en effectuant un dveloppement limit au premier ordre de f (x) en xn , c..d.
Jn (x) = (f (xn ) + Df (xn )(x xn ) d) C(f (xn ) + Df (xn )(x xn ) d).
i. Soit n 0, xn IR n connu, Mn = M (xn ) MP,n (IR), et x IR n . On pose h = x xn .
Montrer que
Jn (x) = J(xn ) + Mnt CMn h h + 2Mnt C(f (xn ) d) h.
ii. Montrer que la recherche du minimum de Jn est quivalente la rsolution dun systme linaire
dont on donnera lexpression.
iii. Ecrire lalgorithme de quasilinarisation, et le comparer avec lalgorithme de Gauss-Newton.
Dfinitions
Ce problme est un problme de minimisation avec contrainte (ou sous contrainte") au sens o lon cherche u qui
minimise f en astreignant u a tre dans K. Voyons quelques exemples de ces contraintes (dfinies par lensemble
K), quon va expliciter laide des p fonctions continues, gi C(E, IR) i = 1 . . . p.
1. Contraintes galits. On pose K = {x E, gi (x) = 0 i = 1 . . . p}. On verra plus loin que le problme de
minimisation de f peut alors tre rsolu grce au thorme des multiplicateurs de Lagrange (voir thorme
3.41).
2. Contraintes ingalits. On pose K = {x E, gi (x) 0 i = 1 . . . , p}. On verra plus loin que le problme
de minimisation de f peut alors tre rsolu grce au thorme de KuhnTucker (voir thorme 3.45).
Programmation linaire. Avec un tel ensemble de contraintes K, si de plus f est linaire, cest--dire
quil existe b IR n tel que f (x) = b x, et les fonctions gi sont affines, cest--dire quil existe bi IR n
et ci IR tels que gi (x) = bi x + Ci , alors on dit quon a affaire n problme de programmation
linaire". Ces problmes sont souvent rsolus numriquement laide de lalgorithme de Dantzig, invent
vers 1950.
202
CHAPITRE 3. OPTIMISATION
3.4.2
2. Si K est un sous-ensemble ferm de E, et si f est croissante linfini, cestdire que f (x) + quand
|x| +, alors
x K tel que f (
x) = inf f
K
D MONSTRATION
1. Si K est un sous-ensemble ferm born de E, comme f est continue, elle atteint ses bornes sur K, do lexistence
de x
.
2. Si f est croissante linfini, alors il existe R > 0 tel que si x > R alors f (x) > f (0) ; donc inf f = inf f , o
K
KBR
BR dsigne la boule de centre 0 et de rayon R. Lensemble K BR est compact, car intersection dun ferm et dun
compact. Donc, par ce qui prcde, il existe x
K tel que f (
x) = inf f = inf f .
KBR
BR
Thorme 3.36 (Unicit). Soit E = IR n et f C(E, IR). On suppose que f est strictement convexe et que K est
convexe. Alors il existe au plus un lment x
de K tel que f (
x) = inf f .
K
Supposons que x
et =
= =
x soient deux solutions du problme (3.49), avec x
x
1
1 =
Alors f ( 12 x
+ 12 =
)
<
f
(
x
)
+
f
(
)
=
inf
f
.
On
aboutit
donc
une
contradiction.
x
K
2
2 x
D MONSTRATION
Des thormes dexistence 3.35 et dunicit 3.36 on dduit immdiatement le thorme dexistence et dunicit
suivant :
Thorme 3.37 (Existence et unicit). Soient E = IR n , f C(E, IR n ) une fonction strictement convexe et K un
sous ensemble convexe ferm de E. Si K est born ou si f est croissante linfini, cestdire si f (x) +
quand x +, alors il existe un unique lment x
de K solution du problme de minimisation (3.49), i.e. tel
que f (
x) = inf f
K
Remarque 3.38. On peut remplacer E = IR n par E espace de Hilbert de dimension infinie dans le dernier
thorme, mais on a besoin dans ce cas de lhypothse de convexit de f pour assurer lexistence de la solution
(voir cours de matrise).
203
CHAPITRE 3. OPTIMISATION
1. Si x
K alors f (
x) = 0.
2. Si K est convexe, alors f (
x) (x x
) 0 pour tout x K.
D MONSTRATION
1. Si x
K, alors il existe > 0 tel que B(
x, ) K et f (
x) f (x) x B(
x, ). Alors
on a dj vu (voir preuve de la Proposition 3.10 page 163) que ceci implique f (
x) = 0.
2. Soit x K. Comme x
ralise le minimum de f sur K, on a : f (
x + t(x x
)) = f (tx + (1 t)
x) f (
x) pour
tout t ]0, 1], par convexit de K. On en dduit que
f (
x + t(x x
)) f (
x)
0 pour tout t ]0, 1].
t
En passant la limite lorsque t tend vers 0 dans cette dernire ingalit, on obtient : f (
x) (x x
) 0.
3.4.3
(3.50)
g1
g1
, ,
x1
xn
.
Dg(u) = ,
.,
,
g
gp
p
, ,
x1
xn
et que rang (Dg(u)) min(n, p). De plus, si rang (Dg(u)) = p, alors les vecteurs (Dgi (u))i=1...p sont linairement indpendants dans IR n .
tiable en u
et dim(Im(Dg(
u)) = p (ou rang (Dg(
u)) = p), alors :
il existe (1 , . . . , p )t IR p telsquef (
u) +
i gi (
u) = 0.
i=1
D MONSTRATION Pour plus de clart, donnons dabord une ide gomtrique" de la dmonstration dans le cas n = 2
et p = 1. On a dans ce cas f C 1 (IR 2 , IR) et K = {(x, y) IR 2 g(x, y) = 0}, et on cherche u K tel que f (u) = inf f.
K
Traons dans le repre (x, y) la courbe g(x, y) = 0, ainsi que les courbes de niveau de f . Si on se promne" sur la courbe
g(x, y) = 0, en partant du point P0 vers la droite (voir figure 3.1), on rencontre les courbes de niveau successives de f et
204
CHAPITRE 3. OPTIMISATION
g(x) = 0
f (x) = 1
f (x) = 2
f (x) = 3
f (x) = 4
x
f (x) = 5
205
CHAPITRE 3. OPTIMISATION
Dautre part, le thorme des fonctions implicites (voir note de bas de page 205) entrane lexistence de > 0 et > 0
tels que pour tout w BG (w,
) il existe un unique v BF (
v , ) tel que g(w, v) = 0. On note v = (w) et on dfinit
ainsi une application C 1 (BG (w,
), BF (
v , )).
On dduit alors de (3.51) que :
f(w,
(w))
f(w, (w))), w BG (w,
),
et donc
f (
u) = f (w
+ (w))
f (w + (w)), w BG (w,
).
En posant (w) = f(w, (w)), on peut donc crire
(w)
= f(w,
(w))
(w), w BG (w,
).
On a donc, grce la proposition 3.39,
D(w)
= 0.
(3.52)
Par dfinition de , de f et de g , on a :
D(w)
= D1 f(w,
((w))
+ D2 f(w,
(w))D(
w).
[D2 g(w,
((w))]
1 D1 g(w,
((w))w
= 0, pour tout w G.
(3.53)
D2 f (w,
((w))z
D2 f (w,
((w))
[D2 g(w,
((w))]
1 D2 g(w,
((w))z
= 0, z F.
(3.54)
p
i=1
Df (
u)x + Dg(
u)x = 0,
i gi (
u) = 0, avec = (1 , . . . , p ).
Remarque 3.42 (Utilisation pratique du thorme de Lagrange). Soit f C 1 (IR n , IR), g = (g1 , . . . , gp )t avec
gi C(IR n , IR) pour i = 1, . . . , p., et soit K = {u IR n , gi (u) = 0, i = 1, . . . , p}.
Le problme quon cherche rsoudre est le problme de minimisation (3.49) quon rappelle ici :
{
u
K
f (
u) = inf f
K
gi
f
(
u) +
i
= 0, j = 1, . . . n,
(3.55)
xj
x
j
i=1
gi (
u) = 0, i = 1, . . . , p.
Le systme (3.55) est un systme non linaire de de (n + p) quations et (n + p) inconnues (
x, . . . , x
n , i . . . p ).
Ce systme sera rsolu par une mthode de rsolution de systme non linaire (Newton par exemple).
Remarque 3.43. On vient de montrer que si x
solution de (3.49) et Im(Dg(
x)) = IR p , alors x
solution de (3.55).
est solution de (3.49).
Par contre, si x
est solution de (3.55), ceci nentrane pas que x
Des exemples dapplication du thorme des multiplicateurs de Lagrange sont donns dans les exercices 105 page
208 et 106 page 208.
206
3.4.4
CHAPITRE 3. OPTIMISATION
Contraintes ingalits
Thorme 3.45 (KuhnTucker). Soit f C(IR n , IR), soit gi C 1 (IR n , IR), pour i = 1, . . . , p, et soit K =
{x IR n , gi (x) 0 i = 1 . . . p}. On suppose quil existe x
solution de (3.49), et on pose I(
x) = {i
{1, . . . , p}; |gi (
x) = 0}. On suppose que f est diffrentiable en x
et que la famille (de IR n ) {gi (
x), i I(
x)}
est libre. . Alors il existe une famille (i )iI(x) IR + telle que
f (
x) +
i gi (
x) = 0.
iI(
x)
Remarque 3.46.
1. Le thorme de Kuhn-Tucker sapplique pour des ensembles de contrainte de type ingalit. Si on a une contraite de type galit, on peut videmment se ramener deux contraintes de type ingalit
en remarquant que {h(x) = 0} = {h(x) )} {h(x) 0}. Cependant, si on pose g1 = h et g2 = h,
on remarque que la famille {g1 (
x), g2 (
x)} = {h(
x), h(
x)} nest pas libre. On ne peut donc pas
appliquer le thorme de Kuhn-Tucker sous la forme donne prcdemment dans ce cas (mais on peut il
existe des versions du thorme de Kuhn-Tucker permettant de traiter ce cas, voir Bonans-Saguez).
2. Dans la pratique, on a intrt crire la conclusion du thorme de Kuhn-Tucker (i.e. lexistence de la
famille (i )iI(x) ) sous la forme du systme de n + p quations et 2p inquations rsoudre suivant :
f
(
x
)
+
i gi (
x) = 0,
i=1
i gi (
x) = 0, i = 1, . . . , p,
g
(
x
)
0, i = 1, . . . , p,
i 0, i = 1, . . . , p.
i = 1 . . . p gi (
x) 0 i = 1 . . . p
i 0
3.4.5
Exercices
K = {|x| 1} ; (ii)
K = {|x| 1} ; (iv)
207
K = {|x| = 1}
K = {|x| > 1}.
(3.56)
CHAPITRE 3. OPTIMISATION
x
= (
x1 , x
2 )t K
f (
x1 , x
2 ) f (x1 , x2 ), (x1 , x2 )t K,
(3.57)
= K [0, 1]2 , K et f tant obtenus la question 1. En dduire que le problme de minimisation de laire
o K
admet au moins une solution.
3. Calculer Dg(x) pour x K et en dduire que si x est solution de (3.57) alors x = (1/2, 1/2). En dduire que
le problme (3.57) admet une unique solution donne par x
= (1/2, 1/2).
Exercice 106 (Fonctionnelle quadratique).
1
Ax x b x, o A Mn (IR) est une matrice symtrique
2
n
dfinie positive et b IR . On suppose que la contrainte g est une fonction linaire de IR n dans IR, cest--dire
g(x) = d x c o c IR et d IR n , et que d = 0. On pose K = {x IR n , g(x) = 0} et on cherche rsoudre
le problme de minimisation (3.49).
1. Montrer que lensemble K est non vide, ferm et convexe. En dduire que le problme (3.49) admet une unique
solution.
2. Montrer que si x
est solution de (3.49), alors il existe IR tel que y = (
x, )t soit lunique solution du
systme :
A
d
x
=
(3.58)
dt
0
c
Exercice 107 (Minimisation sans drivabilit).
Soient A Mn (IR) une matrice s.d.p., b IR n , j : IR n IR une fonction
n continue et convexe, valeurs
positives ou nulles (mais non ncessairement drivable, par exemple j(v) = j=1 i |vi |, avec i 0 pour tout
i {1, . . . , n}). Soit U une partie non vide, ferme convexe de IR n . Pour v IR n , on pose J(v) = (1/2)Av v
b v + j(v).
1. Montrer quil existe un et un seul u tel que :
u U, J(u) J(v), v U.
(3.59)
2. Soit u U , montrer que u est solution de (3.59) si et seulement si (Au b) (v u) + j(v) j(u) 0,
pour tout v U .
Exercice 108 (Utilisation du thorme de Lagrange).
1. Pour (x, y) IR 2 , on pose : f (x, y) = y, g(x, y) = x2 + y 2 1. Chercher le(s) point(s) o f atteint son
maximum ou son minimum sous la contrainte g = 0.
n
2. Soit a =(a1 , . . . , an ) IR n , a = 0. Pour x = (x1 , . . . , xn ) IR n , on pose : f (x) = i=1 |xi ai |2 ,
n
g(x) = i=1 |xi |2 . Chercher le(s) point(s) o f atteint son maximum ou son minimum sous la contrainte
g = 1.
208
CHAPITRE 3. OPTIMISATION
209
CHAPITRE 3. OPTIMISATION
K
x2
f (
x1 , x
2 ) f (x1 , x2 ) (x1 , x2 ) K
(3.60)
2. Comme x1 et x2 sont tous deux positifs, puisque leur somme doit tre gale 1, ils sont forcment tous deux
est un convexe ferme born, la
infrieurs 1. Il est donc quivalent de rsoudre (3.60) ou (3.57). Lensemble K
fonction f est continue, et donc par le thorme 3.35 page 203, il existe au moins une solution du problme (3.57)
(ou (3.60)).
3. Calculons g : g(x) = (1, 1)t , donc rang Dg(x, y) = 1. Par le thorme de Lagrange, si x = (x1 , x2 )t est
solution de (3.60), il existe IR tel que
{
f (
x, y) + g(
x, y) = 0,
x
+ y = 1.
Or f (
x, y) = (
x,
y )t , et g(
x, y) = (1, 1)t . Le systme prcdent scrit donc :
y+=0
x+=0
x
+ y = 1.
On a donc
x
= y =
1
.
2
210
e=
A
t
CHAPITRE 3. OPTIMISATION
Mn+1 (IR), y =
c
IR tel que Bz = 0. Alors
dt
]
IR n+1 et
]
IR n+1 , avec x IR n et
]
= 0.
2x = 0,
2y = 0,
(1 x y) = 0,
1 x y 0,
0.
211
CHAPITRE 3. OPTIMISATION
Proposition 3.47 (Projection sur un convexe ferm). Soit E un espace de Hilbert, muni dune norme . induite
par un produit scalaire (., .), et soit K un convexe ferm non vide de E. Alors, tout x E, il existe un unique
x0 K tel que x x0 x y pour tout y K. On note x0 = pK (x) la projection orthogonale de x sur
K. On a galement :
x0 = pK (x) si et seulement si (x x0 , x0 y) 0, y K.
Dans le cadre des algorithmes de minimisation avec contraintes que nous allons dvelopper maintenant, nous
considrerons E = IR n , f C 1 (IR n , IR) une fonction convexe, et K ferm convexe non vide. On cherche
calculer une solution approche de x
, solution du problme (3.49).
Algorithme du gradient pas fixe avec projection sur K (GPFK) Soit > 0 donn, on considre lalgorithme
suivant :
Algorithme (GPFK)
Initialisation : x0 K
Itration :
xn connu
xn+1 = pK (xn f (xn ))
o pK est la projection sur K dfinie par la proposition 3.47.
Lemme 3.48. Soit (xn )n construite par lalgorithme (GPFK). On suppose que xn x quand n + . Alors x est
solution de (3.49).
D MONSTRATION Soit pK : IR n K IR n la projection sur K dfinie par la proposition 3.47. Alors pK est
continue. Donc si
xn x quand n + alors x = pK (x f (x)) et x K (car xn K et K est ferm).
La caractrisation de pK (x f (x)) donne dans la proposition 3.47 donne alors :
(x f (x) x/x y) 0 pour tout y K, et comme > 0, ceci entrane (f (x)/x y) pour tout y K. Or f
est convexe donc f (y) f (x) + f (x)(y x) pour tout y K, et donc f (y) f (x) pour tout y K, ce qui termine
la dmonstration.
D MONSTRATION
1. La condition 1. donne que f est strictement convexe et que f (x) + quand |x| +. Comme K est convexe
ferm non vide, il existe donc un unique x
solution de (3.49).
212
CHAPITRE 3. OPTIMISATION
2. On pose, pour x IR n , h(x) = pK (x f (x)). On a donc xn+1 = h(xn ). Pour montrer que la suite (xn )nIN
converge, il suffit donc de montrer que h est strictement contractante ds que
2
0<<
.
(3.62)
M2
Grce au lemme 3.50 dmontr plus loin, on sait que pK est contractante. Or h est dfinie par :
h(x) = pK (h(x))
o h(x)
= x f (x).
On a dj vu que h est strictement contractante si la condition (3.62) est vrifie (voir thorme 3.20 page 169 et exercice
92 page 180), et plus prcisment :
|h(x)
h(y)|
(1 2 + M 2 2 )|x y|2 .
On en dduit que :
2
2
2
.
M2
Lemme 3.50 (Proprit de contraction de la projection orthogonale). Soit E un espace de Hilbert, la norme
et (, ) le produit scalaire, K un convexe ferm non vide de E et pK la projection orthogonale sur K dfinie par
la proposition 3.47, alors pK (x) pK (y) x y pour tout (x, y) E 2 .
D MONSTRATION
On a donc
pK (x) pK (y)2 =
=
213
CHAPITRE 3. OPTIMISATION
K=
[i , i ],
i=1,n
alors
(pK (y))i = max(i , min(yi , i )), i = 1, . . . , n
Dans le cas dun convexe K plus compliqu, ou dans le cas o K nest pas convexe, on peut utiliser des mthodes
de dualit introduites dans le paragraphe suivant.
3.5.2
Mthodes de dualit
f C 1 (IR n , IR),
gi C 1 (IR n , IR),
(3.63)
(3.64)
i gi (x),
(3.65)
i=1
(3.66)
On peut donc remarquer que M () ralise le minimum (en x) du problme sans contrainte, qui scrit, pour
IR p fix :
{
x IR n
(3.67)
L(x, ) L(y, ) pour tout x IR n ,
Lemme 3.53. Lapplication M de IR p dans IR dfinie par (3.66) est concave (ou encore lapplication -M est
convexe), cestdire que pour tous , IR p et pour tout t ]0, 1[ on a M (t + (1 t)) tM () + (1
t)M(u)
214
CHAPITRE 3. OPTIMISATION
D MONSTRATION
Soit x IR n , alors :
L(x, t + (1 t))
= f (x) + (t + (1 t))g(x)
= tf (x) + (1 t)f (x) + (t + (1 t))g(x).
On a donc L(x, t + (1 t)) = tL(x, ) + (1 t)L(x, ). Par dfinition de M , on en dduit que pour tout x IR n ,
L(x, t + (1 t)) tM () + (1 t)M ()
Or, toujours par dfinition de M ,
M (t + (1 t)) = inf n L(x, t + (1 t)) tM () + (1 t)M ().
xIR
(3.68)
Dfinition 3.54. Soit L : IR n IR p IR et (x, ) IR n C + . On dit que (x, ) est un point selle de L sur
IR n C + si
L(x, ) L(x, ) L(y, ) pour tout y IR et pour tout C + .
Proposition 3.55. Sous les hypothses (3.63), soit L dfinie par L(x, ) = f (x) + g(x) et (x, ) IR n C +
un point selle de L sur IR n C + .
alors
1. x
est solution du problme (3.64),
2. est solution de (3.68),
3. x
est solution du problme (3.67) avec = .
On admettra cette proposition.
Rciproquement, on peut montrer que (sous des hypothses convenables sur f et g), si est solution de (3.68), et
si x
solution de (3.67) avec = , alors (
x, ) est un point selle de L, et donc x
est solution de (3.64).
De ces rsultats dcoule lide de base des mthodes de dualit : on cherche solution de (3.68). On obtient ensuite
une solution x
du problme (3.64), en cherchant x
comme solution du problme (3.67) avec = (qui est un
problme de minimisation sans contraintes). La recherche de la solution du problme dual (3.68) peut se faire
par exemple par lalgorithme trs classique dUzawa, que nous dcrivons maintenant.
Algorithme dUzawa Lalgorithme dUzawa consiste utiliser lalgorithme du gradient pas fixe avec projection (quon a appel GPFK, voir page 212) pour rsoudre de manire itrative le problme dual (3.68). On
cherche donc C + tel que M () M () pour tout C + . On se donne > 0, et on note pC + la projection
sur le convexe C + (voir proposition 3.47 page 212). Lalgorithme (GPFK) pour la recherche de scrit donc :
Initialisation : 0 C+
Itration :
n+1 = pC+ (n + M (n ))
Pour dfinir compltement lalgorithme dUzawa, il reste prciser les points suivants :
1. Calcul de M (n ),
2. calcul de pC + () pour dans IR n .
215
CHAPITRE 3. OPTIMISATION
3.5.3
Exercices
|x|+
f (x) = +.
Soit K un sous ensemble non vide, convexe (cestdire tel que (x, y) K 2 , tx + (1 t)y K, t ]0, 1[),
et ferm de IR n . Soit une fonction continue de IR n dans [0, +[ telle que (x) = 0 si et seulement si x K.
Pour n IN, on dfinit la fonction fn par fn (x) = f (x) + n(x).
Analyse numrique I, tl-enseignement, L3
216
CHAPITRE 3. OPTIMISATION
f (
xn ) fn (
xn ) f (
xK ).
Trouver x
K K;
f (
xK ) f (x), x K,
o K IR n .
(a) On prend ici K =
Initialisation :
Itration n :
i=1,n [ai , bi ],
x K,
f (x) f (x), x K,
(3.69)
x(0) E,
x(k) connu, (n 0)
(k+1)
[a1 , b1 ] tel que :
Calculer x1
(k)
(k)
(k)
(k)
(k)
(k)
(k+1)
, x2 , x3 , . . . , xn ) f (, x2 , x3 , . . . , xn ), pour tout [a1 , b1 ],
f (x1
(k+1)
Calculer x2
[a2 , b2 ] tel que :
(k)
(k)
(k+1)
(k)
(k)
(k+1)
(k+1)
, , x3 , . . . , xn ),
, x3 , . . . , xn ) f (x1
, x2
f (x1
pour tout [a2 , b2 ],
...
(k+1)
Calculer xk
[ak , bk ], tel que :
(k+1)
(k+1)
(k)
(k)
(k+1)
f (x1
, . . . , xk1 , xk
, x(k+1) , . . . , xn )
(k+1)
f (x1
(k+1)
(k)
(k)
...
(k+1)
Calculer xn
[an , bn ] tel que :
(k+1)
(k+1)
(k+1)
(k+1)
(k+1)
(k+1)
f (x1
, x2
, . . . , xn1 , xn
) f (x1
, . . . , xn1 , ),
pour tout [an , bn ].
(3.70)
Montrer que la suite x construite par lalgorithme (3.70) est bien dfinie et converge vers x lorsque n tend
vers +, o x K est tel que f (x) f (x) pour tout x K.
(k)
(b) On prend maintenant n = 2, f la fonction de IR 2 dans IR dfinie par f (x) = x21 + x22 , et K = {(x1 , x2 )t
IR 2 ; x1 +x2 2}. Montrer quil existe un unique lment x = (x1 , x2 )t de K tel que f (x) = inf xIR 2 f (x).
Dterminer x.
217
CHAPITRE 3. OPTIMISATION
(0)
Initialisation : x(k) E,
Itration n :
x connu, (n 0)
(k+1)
(k)
Calculer x1
2 x2 tel que :
(k+1)
(k)
(k)
(k)
f (x1
, x2 ) f (, x2 ), pour tout 2 x2 ,
(k+1)
(k)
Calculer x2
2 x1 tel que :
(k+1)
(k+1)
(k+1)
(k)
f (x1
, x2
) f (x1
, ), pour tout 2 x1 .
(3.71)
Montrer (ventuellement graphiquement) que la suite construite par lalgorithme ci-dessus ne converge vers
x que si lune des composantes de x(0) vaut 1.
Exercice 114 (Convergence de lalgorithme dUzawa).
Soient n 1 p IN . Soit f C 1 (IR n , IR) une fonction telle que
> 0, (f (x) f (y)) (x y) |x y|2 , x, y IR n .
Soit C Mp,n (IR) (C est donc une matrice, lments rels, ayant p lignes et n colonnes) et d IR p . On note
D = {x IR n , Cx d} et C + = {u IR p , u 0}.
On suppose D = et on sintresse au problme suivant :
x D, f (x) f (y), y D.
(3.72)
(3.73)
Dans la suite, on note xu cette solution. Montrer que xu est aussi lunique lment de IR n t.q. f (xu ) +
C t u = 0.
4. On admet que le thorme de Kuhn-Tucker sapplique ici (cf. cours). Il existe donc u C + t.q. f (x) +
C t u = 0 et u (Cx d) = 0. Montrer que (x, u) est un point selle de L sur IR n C + , cest--dire :
L(x, v) L(x, u) L(y, u), (y, v) IR n C + .
(3.74)
Pour u IR p , on pose M (u) = L(xu , u) (de sorte que M (u) = inf{L(x, u), x IR n }). On considre
alors le problme suivant :
u C + , M (u) M (v), v C + .
(3.75)
5. Soit (x, u) IR C + un point selle de L sur IR C + (cest--dire L(x, v) L(x, u) L(y, u), pour
tout (y, v) IR n C + ). Montrer que x = x = xu (on rappelle que x est lunique solution de (3.72) et
xu est lunique solution de (3.73)) et que u est solution de (3.75). [On pourra commencer par montrer, en
utilisant la premire ingalit, que x D et u (Cx d) = 0.]
n
Montrer que f (x) + C t u = 0 et que u = PC + (u + (Cx d)), pour tout > 0, o PC + dsigne
loprateur de projection orthogonale sur C + . [on rappelle que si v IR p et w C + , on a w = PC + v
((v w) (w z) 0, z C + ).]
Analyse numrique I, tl-enseignement, L3
218
CHAPITRE 3. OPTIMISATION
6. Dduire des questions 2, 4 et 5 que le problme (3.75) admet au moins une solution.
7. Montrer que lalgorithme du gradient pas fixe avec projection pour trouver la solution de (3.75) scrit (on
dsigne par > 0 le pas de lalgorithme) :
Initialisation. u0 C + .
Itrations. Pour uk C + connu (k 0). On calcule xk IR n t.q. f (xk ) + C t uk = 0 (montrer quun tel
xk existe et est unique) et on pose uk+1 = PC + (uk + (Cxk d)).
Dans la suite, on sintresse la convergence de la suite (xk , uk )kIN donne par cet algorithme.
8. Soit t.q. 0 < < 2/C2 avec C = sup{|Cx|, x IR n t.q. |x| = 1}. Soit (x, u) IR n C + un
point selle de L sur IR n C + (cest--dire vrifiant (3.74)) et (xk , uk )kIN la suite donne par lalgorithme
de la question prcdente. Montrer que
|uk+1 u|2 |uk u|2 (2 C2 )|xk x|2 , k IR n .
En dduire que xk x quand k .
Montrer que la suite (uk )kIN est borne et que, si u
est une valeur dadhrence de la suite (uk )kIN , on a
f (x) + C t u
= 0. En dduire que, si rang(C)=p, on a uk u quand k et que u est lunique lment
de C + t.q. f (x) + C t u = 0.
219
Chapitre 4
Equations diffrentielles
4.1 Introduction
On sintresse ici la rsolution numrique dquations diffrentielles avec conditions initiales (ou problme de
Cauchy) :
{
x (t) = f (x(t), t) t > 0,
(4.1)
x(0) = x
0 .
o f est une fonction de IR n IR valeurs dans IR n , avec n 1. Linconnue est la fonction x de IR dans IR n .
Souvent, t reprsente le temps, et on cherche donc x fonction de IR + valeurs dans IR n . On a donc affaire
un systme diffrentiel dordre 1. De nombreux exemples de problmes scrivent sous cette forme. Citons entre
autres les lois qui rgissent la cintique dun ensemble de ractions chimiques, ou encore les quations rgissant
la dynamique des populations. Notons quun systme diffrentiel faisant intervenir des diffrentielles dordre suprieur peut toujours scrire sous la forme (4.1). Prenons par exemple lquation du second ordre dcrivant le
comportement de lamortisseur dune voiture :
my + cy + ky = 0,
y(0) = x
0 ,
(4.2)
y (0) = 0.
o m est la masse de la voiture, c le coefficient damortissement et k la force de rappel. Linconnue y est le
dplacement de lamortisseur par rapport sa position dquilibre. Pour se ramener un systme dordre 1, on
pose x1 = y, x2 = y , et le systme amortisseur scrit alors, avec comme inconnue x = (x1 , x2 )t :
(
)
{
x2 ,
x (t) = f (x(t), t),
1
avec f (x, t) =
.
(4.3)
x(0) = (
x0 , 0)t ,
(cx2 + kx1 )
m
On rappelle que par le thorme de Cauchy-Lipschitz, si f C 1 (IR n IR, IR n ) alors il existe TM > 0 et
x C 2 ([0, TM [, IR n ) solution maximale de (4.1), cestdire que x est solution de (4.1) sur [0, TM [, et que sil
existe > 0 et y C 2 ([0, [, IR n ) solution de (4.1) sur [0, [ alors TM et y = x sur [0, [. De plus, par le
thorme dexplosion en temps fini, si TM < + alors |x(t)| + quand t TM .
Remarque 4.1 (Hypothse sur f ). On rappelle dabord quune fonction de IR dans IR est dite lipschitzienne si
A > 0, MA IR + tel que , (x, y) IR, |(x) (y)| MA |x y|.
(4.4)
Par exemple, toute fonction linaire est lipschitzienne, et la fonction valeur absolue lest aussi. Mais la fonction
x 7 x2 ne lest pas. Il est donc utile dintroduire la notion plus faible suivante : on dit quune fonction de IR
dans IR est dite lipschitzienne sur les borns si
2
A > 0, MA IR + tel que (x, y) BA
|(x) (y)| MA |x y|.
220
(4.5)
4.1. INTRODUCTION
Par exemple la fonction x 7 x2 est lipschitzienne sur les borns, mais la fonction x 7
explose en 0).
On peut se servir de cette notion pour affaiblir lhypothse sur f pour avoir existence et unicit dune solution
maximale de (4.1) ; on remplace lhypothse f C 1 (IR n IR, IR n ) par f C(IR n IR, IR n ) lipschitzienne
sur les borns", cestdire qui vrifie :
A > 0, MA IR + tel que t [0, T [, (x, y) BA BA ,
|f (x, t) f (y, t)| MA |x y|.
(4.6)
o |.| dsigne une norme sur IR n et BA la boule de centre 0 et de rayon A. Il est clair que si f C 1 (IR n
IR, IR n ) alors f vrifie (4.6), alors quelle nest videmment pas forcment globalement lipschitzienne (prendre
f (x) = x2 pour sen convaincre). De mme la proprit (4.6) est encore vrifie si f est C 1 par morceaux",
proprit toutefois dlicate dmontrer dans le cas gnral.
Exemple 4.2. On suppose n = 1 ; soit la fonction f dfinie par f (z, t) = z 2 . On considre le problme de
Cauchy :
{
dx
(t) = x2 (t)
dt
x(0) = 1
La fonction f est de classe C 1 , donc lipschitzienne sur les borns (mais pas globalement lipschitzienne). On peut
donc appliquer le thorme de Cauchy-Lipschitz qui nous donne existence et unicit dune solution maximale. On
1
cherche alors calculer une solution locale. Un calcul simple donne x(t) = 1t
, et cette fonction tend vers +
lorsque t tend vers 1 . On en dduit que le temps maximal de la solution est TM = 1, et on a donc comme solution
1
maximale x(t) = 1t
t [0, 1[.
Exemple 4.3. Supposons que f C 1 (IR n IR, IR n ), et soit x la solution maximale de (4.1) sur [0, TM [. On
suppose que pour tout 0 < T < +, il existe aT > 0 et bT > 0 tels que
|f (z, t)| aT |z| + bT z IR n , t [0, T ]
On a donc : x (t) aT |x(t)| + bT pour tout t, en intgrant entre 0 et t, on obtient :
x(t) aT
|x(s)|ds + +bT t + x
0 ,
0
et donc :
|x(t)| aT
|x(s)|ds + |bT |T + |
x0 |, t [0, T [.
0
On peut alors appliquer le lemme de Gronwall 1 la fonction t 7 |x(t)|. On obtient que : |x(t)| (|bT |T +
|
x0 |)eaT t pour tout t [0, T [. On en dduit que x reste borne sur tout intervalle [0, T ], T IR. Le temps
dexistence TM est donc gal +.
Dans de nombreux cas, il nest pas possible dobtenir une expression analytique de la solution de (4.1). Lobjet
de ce chapitre est de prsenter des mthodes pour obtenir des solutions (numriques) approches de la solution de
(4.1). Plus prcisment, on adopte les notations et hypothses suivantes :
1. On rappelle que le lemme de Gronwall permet de dire que si C([0, T ], IR + ) est telle que (t)
> 0 alors (t) et pour t [0, T ].
221
t
0
(s)ds + , avec 0,
4.1. INTRODUCTION
Notations et hypothses :
on
se donne T ]0, TM [, on cherche calculer x sur [0, T ],
o
x C 1 ([0, T ], IR n ) est solution de (4.1).
On pose hk = tk+1 tk , k = 0, . . . , n 1,
k ,
valeur approche de x(tk ) = x
et on appelle ek = x
k xk lerreur de discrtisation.
(4.7)
On cherche alors une mthode qui permette le calcul de xk , pour k = 1, . . . , n, et telle que la solution approche
ainsi calcule converge, en un sens dfinir, vers la solution exacte. On cherchera de plus valuer lerreur de
discrtisation ek , et plus prcisment, obtenir des estimations derreur de la forme |ek | Ch , o C ne dpend
que de la solution exacte (et pas de h) ; donne alors lordre de la convergence.
On tudiera ici les mthodes de discrtisation des quations diffrentielles dits schma un pas" qui scrivent
sous la forme suivante :
Dfinition 4.4 (Schma un pas). Avec les hypothses et notations (4.7), on appelle schma un pas pour la
rsolution numrique de (4.1), un algorithme de construction des valeurs (xk )k=1,n qui scrit sous la forme
suivante :
x donn (approximation de x
0 )
0
(4.8)
xk+1 xk = (xk , tk , hk ), k = 0, . . . n 1,
hk
o est une fonction de IR n IR + IR + valeurs dans IR.
xk
Dans la dfinition du schma (4.8), il est clair que le terme xk+1
est obtenu en cherchant une approximation
hk
de x (tk ) et que (xk , tk , hk ) est obtenu en cherchant une approximation de f (xk , tk ). Le schma numrique est
dfini par cette fonction .
Exemples :
1. Schma dEuler explicite Le schma dEuler explicite est dfini par (4.8) avec la fonction trs simple
suivante :
(xk , tk , hk ) = f (xk , tk ).
(4.9)
2. Schma Euler implicite
x donn
(4.10)
On remarque que dans le schma dEuler implicite, le calcul de xk+1 nest pas explicite, il est donn de
manire implicite par (4.8) (do le nom du schma). La premire question se poser pour ce type de
schma est lexistence de xk+1 . On montrera au thorme 4.15 que si lhypothse suivante est vrifie :
D1 f (y, t)z z 0 y IR n , z IR n , t 0,
222
(4.11)
alors xk+1 calcul par (4.10) est bien dfini en fonction de xk , tk , et hk . On peut donc bien crire le schma
(4.10) sous la forme (4.8) avec
xk+1 xk
= (xk , tk , hk ),
hk
bien que la fonction ne soit dfinie ici quimplicitement et non explicitement. Sous lhypothse (4.11), ce
schma entre donc bien dans le cadre des schmas (4.8) tudis ici ; nanmoins, une proprit supplmentaire
dite de stabilit inconditionnelle", est vrifie par ce schma. Cette proprit peut savrer trs importante
en pratique et justifie une tude spare (voir section 4.6).
xk+1 xk
(xk , tk , hk ).
hk
(4.12)
(4.13)
Donnons maintenant une condition ncessaire sur pour que le schma (4.8) soit consistant.
Proposition 4.6 (Caractrisation de la consistance). Sous les hypothses et notations (4.7), si C(IR n IR +
IR + , IR n ) et si (z, t, 0) = f (z, t) pour tout z IR n et pour tout t [0, T ], alors le schma (4.8) est consistant.
D MONSTRATION
tk
On en dduit que
Rk =
x(tk+1 ) x(tk )
1
(xk , tk , hk ) =
hk
hk
tk+1
tk
Soit > 0, comme f est continue et (xk , tk , 0) = f (xk , tk ), il existe 1 tel que si hk 1 alors : |(xk , tk , hk )
f (xk , tk )| . On a donc par ingalit triangulaire,
tk+1
1
|Rk | +
|f (x(s), s) f (xk , tk )|ds.
hk tk
La fonction s 7 f (x(s), s) est continue et donc uniformment continue sur [tk , tk+1 ]. Il existe donc 2 tel que si h 2 ,
alors
tk+1
1
|f (x(s), s) f (xk , tk )|ds .
hk tk
On a ainsi montr que si h min(1 , 2 ), alors |Rk | 2, ce qui termine la preuve de la proposition.
Notons que pour obtenir une consistance dordre p > 1, il est ncessaire de supposer que la solution x de (4.1) est
dans C p (IR + , IR n ).
223
Dfinition 4.7 (Stabilit). Sous les hypothses (4.7), on dit que le schma (4.8) est stable sil existe h > 0 et
R IR + tels que xk BR pour tout k = 0, . . . , n et pour tout h [0, h [, o BR dsigne la boule de centre 0 et
de rayon R. On dit que le schma est inconditionnellement stable si de plus, h = +.
k=0,...,n
k=0,...,n
Nous donnons prsent une notion de stabiit souvent utilise dans les ouvrages classiques, mais qui ne semble
pas tre la plus efficace en termes danalyse derreur (voir remarque 4.14.
Dfinition 4.9 (Stabilit par rapport aux erreurs). Sous les hypothses et notations (4.7), on dit que le schma (4.8)
est stable par rapport aux erreurs sil existe h IR + et K IR + dpendant de x
0 , f et (mais pas de h) tels
que si h h et si
xk+1 = xk + hk (tk , xk , hk ),
pour k = 0, . . . , n 1,
(4.14)
yk+1 = yk + hk (tk , yk , hk ) + k ,
o (k )kIN IR + est donne, alors
|xk yk | K(|x0 y0 | +
k1
i=0
On peut alors noncer le thorme de convergence suivant, dont la dmonstration, trs simple, fait partie de lexercice 120 page 232.
Thorme 4.10 (Convergence). Sous les hypothses et notations (4.7), on suppose que le schma (4.8) est stable
par rapport aux erreurs au sens de la dfinition 4.9 et quil est consistant dordre p au sens de la dfinition 4.12.
Alors il existe K IR + ne dpendant que de x
0 , f et (mais pas de h) tel que |ek | Khp + |e0 |, pour tout
k = 0, . . . , n.
Comme on la dit dans la remarque 4.14, ce thorme est dune porte moins gnrale que le thorme 4.12 car il
nest pas toujours facile de montrer la stabilit par rapport aux erreurs, en dehors de la condition suffisante donne
dans la proposition qui suit, et qui est rarement vrifie en pratique.
224
Proposition 4.11 (Condition suffisante de stabilit). Sous les hypothses et notations (4.7), une condition suffisante
pour que le schma (4.8) soit stable par rapport aux erreurs est que
h > 0, M > 0; (x, y) IR n IR n , h < h , t [0, T ],
|(x, t, h) (y, t, h)| M |x y|.
(4.15)
La dmonstration de cette proposition est laisse en exercice (exercice 120 page 232).
(4.16)
o BA dsigne la boule de rayon A. (Noter que cette hypothse sur est semblable lhypothse (4.6)
Lipschitz sur les borns" faite sur f dans la remarque 4.1 page 220).
Alors il existe h > 0 (h h ), > 0, et K > 0 (ne dpendant que de f ,
x0 ,T ,h ,MA ) tels que si
0 < h h et |e0 | ,
alors
1. le schma est stable", au sens o xk B2A pour tout k = 0, . . . n, avec A = max{|x(t)|, t [0, T ]} <
+.
2. le schma converge, et plus prcisment, on a lestimation derreur suivante : |ek | K(hp + |e0 |), pour
tout k = 0, . . . , n. (En particulier si e0 = 0 on a |ek | Khp donc ek tend vers 0 au moins comme hp .)
D MONSTRATION Soit x C 1 ([0, T ], IR n ) solution de (4.1), et soit A = max{|x(t)|, t [0, T ]} < + (car x est
continue et [0, T ] est compact). On a donc x
k BA = {y IR n , |y| A}.
On va parachuter" ici un choix de et h qui permettront de montrer le thorme par rcurrence sur k, on montrera dans
la suite de la dmonstration pourquoi ce choix convient. On choisit :
A
1. h > 0 tel que CeT (M2A +1) (h )p , o M2A est la constante de Lipschitz de sur B2A dans lhypothse
2
(4.16),
A
2. > 0 tel que eT M2A .
2
On va maintenant montrer par rcurrence sur k que si h h et |e0 | , alors :
{
|ek | k hp + k |e0 |,
,
(4.17)
xk B2A ,
avec k = Cetk M2A (1 + h0 ) . . . (1 + hk1 ) et k = etk M2A .
(4.18)
Si on suppose (4.17) vraie, on peut terminer la dmonstration du thorme : en effet pour x 0, on a 1 + x e , et donc :
x
225
(4.19)
Comme xk B2A et x
k BA , en utilisant la proprit (4.16) de , on a
|(
xk , tk , hk ) (xk , tk , hk )| M2A |
xk xk |.
De plus, comme le schma (4.8) est suppos consistant dordre p, on a |Rk | Chp . On peut donc dduire de (4.19) que
|ek+1 | |ek |(1 + M2A hk ) + hk Chp ,
et, en utilisant lhypothse de rcurrence (4.17) :
|ek+1 | (1 + hk M2A )(k hp + k |e0 |) + hk Chp .
Comme 1 + u eu pour tout u 0, ceci entrane
|ek+1 |
k+1 hp + k+1 |e0 |,
o
k+1 = k ehk M2A + Chk et k+1 = k ehk M2A = etk+1 M2A . Or
k = Cetk M2A (1 + h0 ) + (1 + hk1 ) C,
et donc
A
A
+
2
2
car on a choisi h et pour !. . . On a donc finalement |xk+1 | A + A, cestdire xk+1 B2A .
On a donc bien montr (4.17) pour tout k = 0, . . . n. Ce qui donne la conclusion du thorme.
p
Remarque 4.13. Dans le thorme prcdent, on a montr que xk B2A pour tout k = 1, . . . n. Ceci est un
rsultat de stabilit (cestdire une estimation sur la solution approche ne dpendant que des donnes T , x
0 , f
et (ne dpend pas du pas de discrtisation h)) conditionnelle, car on a suppos pour le dmontrer que h h ,
o h ne dpend que de T , x
0 , f et .
Remarque 4.14 (Sur la dmonstration du thorme de convergence).
Dans la plupart des ouvrages danalyse numrique, la convergence des schmas de discrtisation des quations
diffrentielles est obtenue partir de la notion de consistance et de la notion de stabilit par rapport aux erreurs
(vue au paragraphe prcdent, voir dfinition 4.9, et souvent appele stabilit tout court). Il est en effet assez facile
Analyse numrique I, tl-enseignement, L3
226
4.4. EXEMPLES
de voir (cf exercice 120 page 232) que si le schma (4.8) est consistant dordre p et stable par rapport aux erreurs
comme dfini dans la dfinition 4.9, alors il est convergent, et plus prcisment, |ek | K(hp + |e0 |), pour tout
k = 0, . . . , n.
Il y a deux avantages utiliser plutt le thorme prcdent. Dune part, ce thorme est dune porte trs gnrale
et sapplique facilement de nombreux schmas, comme on le verra sur des exemples (voir section 4.4).
Dautre part la preuve de convergence par la notion de stabilit par rapport aux erreurs prsente un dfaut majeur : la seule condition suffisante quon connaisse en gnral pour montrer quun schma est stable par rapport
aux erreurs est que la fonction (., t, h) soit globalement lipschitzienne pour tout t [0, T ] et pour tout h [0, h ]
(voir proposition 4.11). Ceci revient dire, dans le cas du schma dEuler explicite par exemple, que f est globalement lipschitizienne. Cette hypothse est trs forte et rarement vrifie en pratique. Bien sr, comme la solution
x de (4.1) est borne sur [0, T ], x vit dans un compact et on peut toujours modifier f sur le complmentaire de ce
compact pour la rendre globalement lipschitzienne. Cependant, cette manipulation ncessite la connaissance des
bornes de la solution exacte, ce qui est souvent loin dtre facile obtenir dans les applications pratiques.
4.4 Exemples
On se place sous les hypothses (4.7) et on tudie le schma (4.8). On donne quatre exemples de schmas de la
forme (4.8) :
Exemple 1 Euler explicite On rappelle que le schma scrit (voir (4.9)) :
xk+1 xk
= f (xk , tk ),
hk
On a donc (xk , tk , hk ) = f (xk , tk ).
On peut montrer (voir exercice 119 page 232) que :
si f C 1 (IR n IR + , IR n ), le schma est consistant dordre 1,
le thorme 4.12 sapplique |ek | K(h + |e0 |) pour h < h . (La convergence est assez lente, et le
schma nest stable que conditionnellement.)
Exemple 2 Euler amlior Le schma scrit :
xk+1 xk
=f
hk
(
)
hk
hk
xk +
f (xk , tk ), tk +
= (xk , tk , hk )
2
2
(4.20)
1
1
xk+1 xk
= f (xk , tk ) + [f (xk + hk f (xk , tk ), tk+1 )].
hk
2
2
(4.21)
tk+1
partir des formules dintgration numrique pour le calcul approch des intgrales. Le schma RK4 sobtient
partir de la formule dintgration numrique de Simpson :
A xk connu,
227
xk,0
xk,1
xk,2
xk,3
xk+1 xk
hk
= xk
hk
f (xk,0 , tk )
2
hk
hk
= xk +
f (xk,1 , tk +
)
2
2
hk
= xk + hk f (xk,2 , tk +
)
2
1
1
hk
= f (xk,0 , tk ) + f (xk,1 , tk +
)
6
3
2
hk
1
1
) + f (xk,3 , tk+1 )
+ f (xk,2 , tk +
3
2
6
= (xk , tk , hk )
= xk +
On peut montrer (avec pas mal de calculs. . . ) que si x C 4 ([0, T ]) alors le schma est consistant dordre 4.
Le thorme 4.12 sapplique et |ek | K(h4 + |e0 |), pour h h .
4.5.1
Limplicite gagne...
(4.22)
(On a donc n points de discrtisation.) La valeur xk est cense tre une approximation de x(tk ) = etk , et de fait,
on remarque que pour n = Th , on a
xn = (1 h)T /h eT quand h 0.
Lorsquon cherche par exemple obtenir le comportement de la solution dune quation diffrentielle dans les
grands temps", on peut tre amen utiliser des pas de discrtisation relativement grands. Ceci peut tre aussi le
cas dans des problmes de couplage avec dautres quations, les chelles de temps" des quations pouvant tre
trs diffrentes pour les diffrentes quations. Que se passe-t-il dans ce cas ? Dans le cas de notre exemple, si on
prend h = 2, on obtient alors xk = (1)k , ce qui nest clairement pas une bonne approximation de la solution.
Un des problmes majeurs est la perte de la positivit de la solution. Dans un problme dorigine physique o x
serait une concentration ou une densit, il est indispensable que le schma respecte cette positivit. On peut noter
que ceci nest pas en contradiction avec le thorme 4.12 qui donne un rsultat de convergence (i.e. de comportement lorsque h tend vers 0). Dans lexemple prsent, le schma dEuler explicite (4.22) ne donne pas une solution
approche raisonnable pour h grand.
228
Si on essaye maintenant de calculer une solution approche laide du schma dEuler implicite (4.10), on obtient
1
xk+1 = xk hxk+1 , c..d. xk+1 =
xk et donc
1+h
1
xk =
, k = 0, . . . n, avec nh = T.
(1 + h)k
Dans ce cas, la solution approche reste proche" de la solution exacte, et positive, mme pour des pas de discrtisation grands. On pourrait en conclure un peu htivement que le schma implicite est meilleur" que le schma
explicite. On va voir dans lexemple qui suit quune telle conclusion est peu rapide.
4.5.2
Limplicite perd...
1
xk .
1h
On remarque dune part que le schma implicite nest pas dfini pour h = 1, et que dautre part si h est proche de 1
(par valeurs suprieures ou infrieures), la solution approche explose". De plus pour les valeurs de h suprieures
1, on perd la positivit de la solution (pour h = 2 par exemple la solution approche oscille entre les valeurs +1
et -1).
Dans le cadre de cet exemple, le choix explicite semble donc plus appropri.
4.5.3
Match nul
En conclusion de ces deux exemples, il semble que le meilleur" schma nexiste pas dans labsolu. Le schma de
discrtisation doit tre choisi en fonction du problme ; ceci ncessite une bonne comprhension du comportement
des schmas en fonction des problmes donns, donc une certaine exprience. . .
229
D MONSTRATION
1. Soit la fonction dfinie de [0, 1] valeurs dans IR n par (t) = f ((1 t)y + tz) ; en
1
crivant que (1) (0) = 0 (s)ds, et en utilisant lhypothse (4.11), on dduit que :
(f (y, t) f (z, t), (y z)) 0, y, z IR n , t [0, T ].
(4.23)
y xk
= f (y, tk + hk ). A xk
hk
n
n
et tk fixs, soit F la fonction de IR + IR valeurs dans IR dfinie par F (h, y) = y xk hf (y, tk + h). On
considre alors lquation
F (h, y) = 0.
(4.24)
Supposons que sup I = H < +. Montrons dabord que H est atteint. Soit (hn )nIN I telle que hn H
lorsque n +, alors la suite (yn )nIN dfinie par yn = xk + hn f (yn , tk + hn ) est borne : en effet,
yn = xk + hn (f (yn , tk + hn ) f (0, tk + h)) + hn f (0, tk + h),
en prenant le produit scalaire des deux membres de cette galit avec yn et en utilisant (4.23) et lingalit de
Cauchy-Schwarz, on obtient que :
|yn | |xk | + H|f (0, tk + h)|.
Il existe donc une sous-suite (ynk )kIN qui converge vers un certain Y lorsque n +. Par continuit de f , on a
Y = xk + Hf (Y, tk + H), et donc H = max I.
Montrons maintenant que H ne peut pas tre gal sup I. On applique pour cela le thorme des fonctions implicites
F dfinie en (4.24). On a bien F (H, Y ) = 0, et D2 F (H, Y ) = Id HD1 f (Y, tk + H) est inversible grce
lhypothse (4.11). Donc il existe un voisinage de (H, Y ) sur lequel (4.24) admet une solution, ce qui contredit le
fait que H = sup I.
2. La dmonstration de 2 se fait alors par rcurrence sur k. Pour k = 0 la relation est immdiate. Lhypothse de
rcurrence scrit
tk
|ek | |e0 | + h
|x (s)|ds.
0
|Rk |
tk+1
|x (s)|ds.
tk
On a donc :
ek+1 = x
k+1 xk+1 = x
k xk + hk (f (
xk+1 , tk+1 ) f (xk+1 , tk+1 )) + hk Rk ,
et donc
ek+1 ek+1 = ek ek+1 + hk Rk ek+1 + hk (f (
xk+1 , tk+1 ) f (xk+1 , tk+1 )) ek+1 .
Grce lhypothse (4.11) ceci entrane (par (4.23)) que
|ek+1 | |ek | + h|Rk |,
230
4.7. EXERCICES
et donc
tk
|ek+1 | |e0 | + h
|x (s)|ds +
tk+1
|x (s)|ds = |e0 | + h
tk
tk+1
|x (s)|ds.
Remarque 4.16 (Stabilit inconditionnelle du schma Euler implicite). Le schma dEuler implicite (4.10) est
inconditionnellement stable, au sens o la suite (xk )k=0,...,n est majore indpendamment de h. En effet :
|ek | |e0 | + T
|x (s)|ds = ,
|xk | |
xk | + max{|x(s)|, s [0, T ]} + = .
4.7 Exercices
Exercice 115 (Condition de Lipschitz et unicit). Corrig en page 239
Pour a 0, on dfinit la fonction a : IR + IR + par : a (x) = xa . Pour quelles valeurs de a la fonction a
est-elle lipschitzienne sur les borns ?
On considre le problme de Cauchy suivant :
y (t) = a (y(t)), t [0, +[
y(0) = 0.
(4.25)
Montrer que si a est lipschitzienne sur les borns alors le problme de Cauchy (4.25) admet une solution unique,
et que si a nest pas lipschitzienne sur les borns alors le problme de Cauchy (4.25) admet au moins deux
solutions.
Exercice 116 (Fonctions lipschitziennes sur les borns).
Les fonctions suivantes sont elles lipschitziennes sur les borns ?
1.
2.
3.
1 : IR IR
231
4.7. EXERCICES
Une famille de sardines tranquillement installes dans les eaux du Frioul a une population qui crot selon la loi de
Malthus, p (t) = 4p(t) o t est exprim en jours. A linstant t = 0, un groupe de bonites voraces vient sinstaller
dans ces eaux claires, et se met attaquer les pauvres sardines. Le taux de perte chez ces dernires slve
104 p2 (t) par jour, o p(t) est la population des sardines au temps t. De plus, au bout dun mois de ce traitement,
suite au dgazement intempestif dun super tanker au large du phare du Planier, les sardines dcident dmigrer
vers des eaux plus claires au rythme de 10 pour cent de la population par jour (on supposera que les bonites sont
insensibles au gas oil, et donc que le nombre de bonites reste constant...).
1. Modifier la loi de Malthus pour prendre en compte les deux phnomnes.
2. En supposant qu t = 0 le nombre de sardines est de 1 million, calculer le nombre de sardines pour t > 0. Quel
est le comportement de p(t) linfini ?
Exercice 119 (Consistance et ordre des schmas). Corrig en page 240
On reprend les hypothses et notations (4.7).
1. On suppose que f C 1 (IR n IR + , IR n ). Montrer que le schma dEuler explicite scrit (4.9)) est consistant et convergent dordre 1.
2. On suppose que f C 1 (IR n IR + , IR n ). Montrer que les schmas dEuler amlior (4.4), et de Heun (4.4)
sont consistants et convergents dordre 2.
3. On suppose que f C 4 (IR n IR + , IR n ).Montrer que le schma RK4 est consistant et convergent dordre
4 (pour les braves. . . )
4. On suppose que f C 1 (IR n IR + , IR n ).Montrer que le schma dEuler implicite est consistant dordre 1.
Exercice 120 (Stabilit par rapport aux erreurs et convergence). Corrig donn en page 241
On se place sous les hypothses et notations (4.7) page 222, et on considre le schma (4.8) page 222 pour la
rsolution numrique de lquation diffrentielle (4.1) page 220.
1. Montrer que si le schma (4.8) est stable par rapport aux erreurs au sens de la dfinition 4.9 page 224, et
quil est consistant dordre p au sens de la dfinition 4.5 page 223, alors il existe K IR + ne dpendant que
de x
0 , f et (mais pas de h) tel que |ek | Khp + |e0 |, pour tout k = 0 . . . n. En dduire que si e0 = 0 le
schma converge.
2. Montrer que si est globalement lipschitzienne, c..d. si
h > 0, M > 0; (x, y) IR n IR n , h < h , t [0, T ],
|(x, t, h) (y, t, h)| M |x y|,
alors le schma est stable par rapport aux erreurs.
Exercice 121 (Schma dordre 2).
Soit f C 2 (IR n IR, IR n ), n 1, x
0 IR n , et soit x solution maximale de (E) (dfinie sur [0, TM [) :
{
dx
(t) = f (x(t), t), t > 0,
dt
x(0) = x
0 .
(E)
On se donne T ]0, TM [, et une discrtisation de [0, T ], dfinie par n IN et (t0 , t1 , . . . , tn ) IR n+1 tels que
0 = t0 < t1 < . . . < tn = T. On pose hk = tk+1 tk , k = 0, . . . , n 1.
On considre le schma de discrtisation
{
x0 donn (approximation de x
0 ),
xk+1 xk
1
=
[f
(x
,
t
)
+
f
(x
k
k
k + hk f (xk , tk ), tk+1 )], k = 0, . . . n 1,
hk
2
pour la rsolution numrique de lquation diffrentielle (E). Montrer que ce schma est convergent dordre 2.
232
4.7. EXERCICES
(4.26)
dx
(t) = f (x(t)), t IR + ,
dt
x(0) = x0 .
(4.27)
1. Montrer que lalgorithme du gradient pas fixe (de pas not ) pour trouver la solution de (4.26) (avec point
de dpart x0 ) est le schma dEuler explicite pour la rsolution approche de (4.27) (avec pas de temps ).
2. Montrer quil existe un unique x solution de (4.26).
3. Montrer que (4.27) admet une et une seule solution sur IR + et que cette solution converge vers x (solution
de (4.26)) quand t .
4. Expliciter le cas f (x) = (1/2)Ax x b x avec A symtrique dfinie positive et b IR n .
Exercice 123 (Mthode de Taylor). Corrig en page 243
Soit f C (IR IR, IR), et x
0 IR, on considre le problme de Cauchy (4.1), dont on cherche calculer la
solution sur [0, T ], o T > 0 est donn. On se donne un pas de discrtisation h = Tn , avec n 1.
Dans toute la suite, on note x(k) la drive dordre k de x, ik f la drive partielle dordre k de f par rapport la
i-me variable, ik j f la drive partielle de f dordre k par rapport la i-me variable et dordre par rapport
la j-me variable (on omettra les symboles k et lorsque k = 1 ou = 1).
On dfinit f (m) C (IR IR, IR) par
f (0) = f, (
)
f (m+1) = 1 f (m) f + 2 f (m) , pour m 0.
(4.28)
1. Montrer que pour tout m IN, la solution x du problme de Cauchy (4.1) satisfait :
x(m+1) (t) = f (m) (x(t), t).
2. Calculer f (1) et f (2) en fonction des drives partielles 1 f , 2 f ,1 2 f , 12 f , 22 f , et de f .
On dfinit pour p 1 la fonction p de IR IR valeurs dans IR par
p (y, t, h) =
p1
j=0
hj
f (j) (y, t).
(j + 1)!
(4.29)
3. Montrer que dans le cas p = 1, le systme (4.29) dfinit un schma de discrtisation vu en cours, dont on
prcisera le nom exact.
4. On suppose, dans cette question uniquement, que f (y, t) = y pour tout (y, t) IR IR, et que x
0 = 1.
4.a/ Calculer p (y, t, h) en fonction de y et h.
233
4.7. EXERCICES
k
p
j
h
, pour k = 1, . . . , n.
4.b/ Montrer que xk =
j!
j=0
4.c/ Montrer que |xk x(tk )|
hp
t k e tk .
(p + 1)!
5. On revient au cas gnral f C (IR IR, IR). Montrer que le schma (4.29) est consistant dordre p. Montrer
> 0, et C > 0 ne dpendant que de x
alors |xk x(tk )| Chp ,
quil existe h
0 , T et f , tels que si 0 < h < h,
pour tout k = 0, . . . , n + 1.
Exercice 124 (Schma dEuler implicite).
Soit f C 1 (IR, IR) telle que f (y) < 0 pour tout y ]0, 1[ et f (0) = f (1) = 0. Soit y0 ]0, 1[. On considre le
problme suivant :
y (t)
y(0) =
f (y(t)), t IR + ,
(4.30)
y0 .
(4.31)
Question 1.
1.1 Soit T IR + ; on suppose que y C 1 ([0, T [, IR) est solution de (4.30)-(4.31). Montrer que 0 < y(t) < 1
pour tout t [0, T [ (On pourra raisonner par labsurde et utiliser le thorme dunicit).
1.2 Montrer quil existe une unique fonction y C 1 ([0, +[, IR) solution de (4.30)-(4.31) et que y est une
fonction strictement positive et strictement dcroissante.
Dans les questions suivantes on dsigne par y cette unique solution dfinie sur [0, +[.
Question 2.
2.1 Montrer que y admet une limite IR lorsque t +.
2.2 Montrer que = 0 . (On pourra remarquer que, pour tout t 0, on a y(t + 1) = y(t) +
t+1
t
f (y(s))ds).
Question 3. Soit y0 ]0, 1[, on cherche approcher la solution exacte de (4.30)-(4.31) par le schma dEuler
implicite de pas h IR + , qui scrit :
yn+1 = yn + hf (yn+1 ), n IN.
(4.32)
234
4.7. EXERCICES
y(t) Cet , t 0.
4.3 Montrer quil existe C IR + t.q. la solution du schma dEuler implicite construite la question 3 vrifie :
yn C
1 )n
, n IN.
1 + h
(4.33)
(4.34)
(4.35)
avec f C 1 ((IR + )2 , IR 2 ).
2. Les questions suivantes sont facultatives : elles permettent de montrer que le systme (4.35) admet une
solution maximale x C 1 ([0, +[, (IR + )2 ). Le lecteur press par le temps pourra admettre ce rsultat et
passer la question 3.
(a) Montrer quil existe > 0 et x C 1 ([0, [, (IR + )2 ) solution de (4.35) (on pourra utiliser, ainsi que
dans la question suivante, le fait que f est lipschitzienne sur tout pav [, A]2 avec 0 < A < +).
(b) Soit > 0, montrer quil existe au plus une solution de (4.35) appartenant C 1 ([0, [, (IR + )2 ).
(c) Montrer que le systme (4.35) admet une solution maximale x C 1 ([0, +[, (IR + )2 ). (Cette question
est difficile : il faut raisonner par labsurde, supposer que T < +, montrer que dans ce cas x nest
pas solution maximale. . . )
(d) Montrer que la solution maximale x vrifie x C ([0, +[, (IR + )2 ).
3. On considre le schma suivant de discrtisation du systme (4.33)-(4.34) : soit k le pas de discrtisation,
choisi tel que 0 < k < 21 .
(k+1)
(k)
x1
(k)
(k) (k+1)
x1
= x1 x1 x2
,
(k+1)k (k)
(k+1)
x2
x
x2
(4.36)
= 2 (k) ,
(0)
(0)
x1 = a, x2 = b.
(k)
(k)
(a) Montrer par rcurrence sur n que les suites (x1 )nIN et (x2 )nIN donnes par (4.36) sont bien
dfinies, dcroissantes et strictement positives.
(b) Montrer que le schma numrique (4.36) scrit sous la forme
x(k+1) x(k)
= (x(k) , k),
k
(4.37)
(k)
235
4.7. EXERCICES
(c) (Consistance)
Soit T > 0. Pour n IN, on note tn = nk. Montrer quil existe C(T ) IR + tel que
x(tn+1 ) x(tn )
(k)
= (x(tn ), k) + Rk , pour tout n tel que nk T,
k
(4.38)
(k)
(4.39)
(e) (Convergence)
Soit T > 0. Montrer quil existe D(T ) IR + tel que
|x(k) x(tn )| D(T )k, pour tout n tel que nk T.
(4.40)
(4.41)
(4.42)
y(0) = y (0) .
(4.43)
1
(f (0, t)2 + y2 ).
2
(4.44)
236
4.7. EXERCICES
On se propose de calculer une solution approche de y sur [0, T ]. Pour cela, on considre une discrtisation de
lintervalle [0, T ] de pas constant, not h, avec h = Tn , o n IN . Pour k = 0, . . . , n, on note tk = kh, et on se
propose dtudier lalgorithme suivant, o 0 1.
y0 IR n est donn
(4.45)
(4.46)
(4.47)
y k+1 y k
f (
yk,1 , tk,1 )
h
(4.49)
(4.50)
(4.51)
(4.52)
(4.53)
(4.54)
(4.55)
8. Montrer que si 12 , on a :
1
ek e0 + C3 (h2 + ( )h), k = 1, . . . , n.
2
Analyse numrique I, tl-enseignement, L3
237
(4.56)
4.7. EXERCICES
(4.57)
(4.58)
(4.59)
(4.60)
et en dduire que
yk zk y0 z0 +
k1
i .
(4.61)
i=0
t > 0,
(4.62)
(4.63)
t > 0,
(4.64)
238
4.8. CORRIGS
4.8 Corrigs
Corrig de lexercice 115 page 231 (Condition de Lipschitz et unicit)
Pour a 1, la fonction a : IR + IR + dfinie par : a (x) = xa est continment diffrentiable, et sa drive est
a (x) = axa1 . Elle est donc lipschitzienne sur les borns. Si a = 0, la fonction a est constante et gale 1, et
donc encore lipschitzienne sur les borns.
Soit maintenant a ]0, 1[, supposons que soit lipschitzienne sur les borns. Alors, pour tout A > 0, il existe
MA > 0 tel que |a (x)| MA |x|. Ceci entrane que la fonction x 7 | ax(x) | est borne sur B(0, A). Mais
| ax(x) | = |xa1 | + lorsque x 0. Ceci montre que la fonction a nest pas lipachitzienne sur les borns si
a ]0, 1[.
Par le thorme de Cauchy-Lipschitz, si a est lipschitzienne sur les borns, alors le problme (4.25) admet une
unique solution qui est la solution constante et gale zro.
Si a nest pas lipschitzienne sur les borns, i.e. si a ]0, 1[, la fonction nulle est encore solution du problme
(4.25), mais on peut obtenir une autre solution dfinie par (calcul lmentaire de sparation de variable) :
1
1
2
A partir de T = 30, le taux diminue en raison de lmigration, soit 101 p(t). On a donc :
{
t > 30
p2 (30) = p1 (30).
cestdire :
t > 30
p2 (30) = p1 (30).
Analyse numrique I, tl-enseignement, L3
239
4.8. CORRIGS
qui sont du type "Bernoulli". En supposant que x ne sannule pas (ce quon vrifiera a posteriori) on divise par x2 ,
on pose z = x1 , et on obtient
z (t) = az(t) + b
1
z(0) =
x0
Notons quon suppose x0 = 0. Si x0 = 0, la solution unique est x(t) 0 t IR + , par le thorme de
Cauchy-Lipschitz. On cherche une solution sous la forme : z(t) = C(t)eat . On a donc z (t) = C (t)eat
aC(t)eat = C (t)eat az(t). Pour que z soit solution, il faut donc que :
C (t)eat = b, soit encore C (t) = beat .
(
)
On en dduit que C(t) = ab eat + K o K IR. La fonction z est donc de la forme z(t) = ab e+at + K . On
dtermine K laide de la condition initiale z(0) = x10 , ce qui entraine ab + K = x10 , soit K = ab + x10 . On en
dduit que la solution de (4.8) scrit
)
(
b
b
1
+
eat ,
z(t) =
x0
a
a
aprs avoir vrifi que cette fonction ne sannule pas (ce quon avait suppos pour pouvoir la calculer). On a donc :
x(t) = (
1
x0
b
a
1
)
eat
b
a
10 4
e
+ 4
x30 = x(30),
t 30.
x(t) = ( 1 104 )1 3.9t 104
x30
3.9
3.9
(
)
hk
hk
xk +
f (xk , tk ), tk +
2
2
240
4.8. CORRIGS
Soit x
k = x(tk ) la solution exacte de lquation diffrentielle x (t) = f (x(t), t) (avec condition initiale
x(0) = x0 ) en tk . En remarquant que f (
xk , tk ) = x (tk ), on a :
(
)
hk
hk
hk
1
f (
xk , t k ) = x
k +
x (tk ) = x tk +
h2k x (k ),
x
k +
2
2
2
8
]
[
avec k tk , tk + h2k . En posant X = f (
xk + h2k f (
xk , tk ), tk + h2k ), on remarque que X = f (x(tk +
hk
hk
1 2
2 ) 8 h x (k ), tk + 2 ) et donc quil existe k IR tel que :
X = f (x(tk +
hk
hk
1
hk
), tk +
) h2k x (k )1 f (k , tk +
).
2
2
8
2
On en dduit que
hk
1
hk
) h2k x (k )1 f (k , tk +
)
2
8
2
De plus, par dveloppement de Taylor dordre 2, on a :
x
k
hk
k+1 x
x (tk +
) Ch2
hk
2
X = x (tk +
(4.65)
xk
hk
hk
Rk = xk+1
f
(
x
+
f
(
x
,
t
),
t
+
)
k
k
k
k
hk
2
2
hk
1 2
2
h x(k )1 f (k , tk + ) + Ch
h2k
x (k ).
2
h2k
x(k ).
2
Or 21 (f (
xk , tk ) + f (
xk+1 tk+1 )) = 12 (x (tk+1 ) + x (tk )) et par dveloppement de Taylor, il existe C IR
ne dpendant que de x tel que
hk
1
)| Ch2 .
| (x (tk+1 ) + x (tk )) x (tk +
2
2
En utilisant nouveau (4.65), on en dduit que lerreur de consistance est dordre 2 ( condition que x soit
trois fois drivable . . .).
Corrig de lexercice 120 page 232 (Stabilit par rapport aux erreurs et convergence)
1. Par dfinition du schma (4.8) et de lerreur de consistance (4.12), on a :
xk+1
x
k+1
Analyse numrique I, tl-enseignement, L3
= xk + hk (xk , tk , hk )
=x
k + hk (
xk , tk , hk ) + hk Rk .
241
4.8. CORRIGS
Comme le schma (4.8) est suppos stable par rapport aux donnes, on a en prenant yk = x
k et k = hk Rk dans
(4.14) page 224 :
k1
ek+1 K(|x0 x
0 | +
|hi Ri |) pour tout k = 0, . . . , n 1.
i=0
Comme le schma est consistant dordre p, on a Ri Chp et donc par lingalit prcdente : ek+1 K|e0 | +
p ) o C R+ ne dpend que de f ,T , x
Ch
0 (et pas de h). On en dduit que le schma est convergent dordre p.
2. Soient (xk )k=0,...,n1 et (yk )k=0,...,n1 vrifiant (4.14), cestdire :
xk+1 = xk + hk (xk , tk , hk ),
pour k = 0, . . . , n 1,
yk+1 = yk + hk (yk , tk , hk ) + k ,
alors grce lhypothse sur le caractre lipschitzien de , on a :
|xk+1 yk+1 | (1 + hk M )|xk yk | + |k | ehk M |xk yk | + |k |.
On en dduit par rcurrence sur k que
|xk yk | etk M |e0 | +
k1
i=0
|i |),
i=0
avec K = eT M . On a donc ainsi montr que le schma (4.8) est stable par rapport aux erreurs.
Exercice 122 page 233 (Algorithme du gradient pas fixe et schma dEuler)
1. Lalgorithme du gradient pas fixe scrit :
pour x0 donn, et xn connu, n 0, wn = f (xn ) et xn+1 = xn + wn .
Lalgorithme dEuler explicite pour la rsolution de lquation x (t) = f (x(t)) avec x(0) = x0 , et pour le pas
de discrtisation scrit :
x0 = x(0),
xn+1 xn
= f (x(tn ))
242
4.8. CORRIGS
4. Dans le cas f (x) = 12 Ax x b x, o A est s.d.p., il est facile de voir que la fonctionnelle f vrifie les
hypothses de lexercice. On a f (x) = Ax b, et donc x(t) tend vers A1 b. Lalgorithme scrit dans ce cas :
xn+1 = xn (Ax b).
Corrig de lexercice 123 page 233 (Mthode de Taylor)
1. Soit x solution du problme de Cauchy (4.1). Montrons par rcurrence que
x(m+1) (t) = f (m) (x(t), t).
Pour m = 0, on a x(1) (t) = f (x(t), t) = f (0) (x(t), t). Supposons que
x(p+1) (t) = f (p) (x(t), t) pour p = 0, . . . , m,
et calculons x(m+2) (t). On a
x(m+2) (t)
p1
j=0
hj
f (y, t).
(j + 1)!
p1
j=0
Supposons que
xk =
p1
p
hj
hj
hj
x
0 = 1 + h
=
.
(j + 1)!
(j + 1)! j=0 (j + 1)!
j=0
hj
j=0
j!
k
pour k = 1, . . . , ,
p1 j
h
j=0
j!
x =
hj
j=0
j!
x ,
243
4.8. CORRIGS
=
=
(
(
p
hj
j=0 j!
)k
eh R(h)
)k
p+1
h
. On a donc
avec 0 < R(h) < eh (p+1)!
xk
avec a =
R(h)
eh
(
)k
= ek h 1 R(h)
h
e
= ek h(1 a)k ,
Comme k 1 et a ]0, 1[, on en dduit (par rcurrence sur k) que (1 a)k 1 ka. On a donc
0x
k xk kaekh ketk
hp+1
hp
tk etk
.
(p + 1)!
(p + 1)!
hj
hj1 (j1)
= x
k +
f
(
xk , tk ) + Ck,h hp+1 ,
j!
j=1
=
hj1
j=1
p1
j=0
j!
f (j1) (
xk , tk ) + Ck,h hp
hj
f (j) (
xk , tk ) + Ck,h hp
(j + 1)!
= p (
xk , tk , h) + Ck,h hp .
Le schma est donc consistant dordre p. Il suffit alors dappliquer le thorme 4.12 page 225 (car p est de classe
> 0 et C > 0 ne dpendant que de x
C donc lipschitzienne sur les borns) pour obtenir lexistence de h
0 , T et
alors |xk x(tk )| Chp , pour tout k = 0, . . . , n + 1.
f , tels que si 0 < h < h,
Corrig de lexercice 125 page 235 (Mthodes semi-implicite et explicite)
1.
(k+1)
(k)
x1
x1
(k)
(k) (k+1)
= x1 x1 x2
,
(k+1)k (k)
(k+1)
x
x2
x2
= 2 (k) ,
x1
(0)
(0)
x1 = a, x2 = b.
244
(4.66)
4.8. CORRIGS
(0)
(0)
x2 =
(1)
(1)
1
1+
(0)
k
a
b,
(1)
donc x2 est bien dfini, et 0 < x2 < x2 = b. Or x1 = a k(a + ab) et comme a et b appartiennent
(1)
(0)
]0, 1[, on a a + ab ]0, 2[, et comme 0 < k < 1/2, on en dduit que 0 < x1 < x1 = a.
Supposons que les suites soient bien dfinies, dcroissantes et strictement positives jusquau rang n, et
vrifions-le au rang n + 1. On a
(k+1)
x2
1
1+
(k)
x2 ,
(4.67)
(k)
x1
(k+1)
(k)
(k+1)
< b.
(4.68)
(k+1)
kx2
(4.69)
x1 x2
x1 (1 +
)
x1 + k ,
(x, k) =
x2
x1 + k
(k)
(k)
(4.70)
et on vrifie bien que C ((IR + )2 IR + , IR 2 ) (en fait est de classe C sur IR 2+ IR + \ {0}
(k)
(k)
IR + {0}.) et que (x, 0) = f (x). Ceci montre que pour (x1 , x2 ) (IR + )2 et k > 0, le couple
(k+1)
(k+1)
) est bien dfini par (4.36) de manire unique.
, x2
(x1
x(tn+1 ) x(tn )
x (tn )| k max |x |,
k
[0,T ]
et
|(x(tn ), k) (x(tn ), 0)| k max |D2 (x(t), t)|.
[0,T ]
(k)
C(T ). Comme de plus (x(tn ), 0) = f (x(tn ), on en dduit par ingalit triangulaire que |Rk | C(T )k.
4. (Stabilit)
(k)
(i) Soit T > 0. De (4.68) et du fait que 0 < x2 < b on dduit que
(k+1)
x1
(k)
x1 (1 k kb),
(0)
x1 x1 (1 k kb)n ,
Donc pour tout entier n tel que nk T , on a n
T
(k)
x1 (1 k kb) k .
245
T
k,
4.8. CORRIGS
(ii) On a (1 k kb) k = exp( Tk ln(1 k kb)), et ln(1 k kb) est quivalent k kb dans un
T
voisinage de k = 0. On en dduit que (1 k kb) k e(1+b)T lorsque k 0.
T
La fonction dfinie par (k) = (1 k kb) k est continue, strictement positive sur [0, 1/2], et
sa limite lorsque k tend vers 0 est minore par un nombre strictement positif. Donc la fonction est
T
elle-mme minore par un nombre strictement positif. On en dduit que inf 0<k< 21 (1 k kb) k > 0.
(k)
(iii) Daprs les rsultats des questions 3 (a) et 3 (d) (ii), on a a(T ) x1 a, pour tout n tel que nk T ,
T
avec a(T ) = inf 0<k< 12 (1 k kb) k .
En utilisant ce rsultat (et la question 3 (a)), on dduit alors de (4.67) que
(k+1)
x2
et donc que
(k)
x2
1
1+
(k)
k
a(T )
) Tk
1
1+
x2 ,
k
a(T )
(0)
x2 ,
x1
x1
(k)
(k) (k)
= x1 x1 x2 ,
(k+1)k (k)
(k)
x2
x2
x2
(4.71)
=
(k)
x1
(0)
(0)
x1 = a, x2 = b.
(k)
(k)
Supposons x1 > 0 et x2 > 0 pour tout n. La premire quation de (4.36) donne alors que
(k+1)
x1
(k+1)
(k)
x1
k
(k)
= x1 ,
(k)
(k)
et donc x1
< (1 k)x1 . On en dduit par rcurrence que x1 < (1 k)n a 0 lorsque n 0 (on
supposera que k < 1 pour que le schma soit bien dfini. Donc pour un pas de temps k donn, il existe n tel
(k)
que x1 k. Or pour cette valeur de n,
(k+1)
x2
(k)
= x2 (1
246
k
(k)
x1
) 0,
4.8. CORRIGS
247