Approximation et évolution - Méthodes numériques

Avant de rentrer dans le vif du sujet, donnons quelques références. L'algèbre linéaire est l'un des sujets sur lesquels il existe le plus de livre, et la plupart comportent un chapitre sur les problèmes de moindres carrés. En français, citons le livre [14]. En anglais, le classique est [8], une référence encyclopédique sur les problèmes de moindres carrés est [2]. D'autres livres moins complets, mais plus abordables, sont [21], [20] et [5].

Nous précisons dans ce paragraphe l'interprétation statistique des problèmes de moindres carrés, ainsi que les renseignements que l'on peut en tirer pour quantifier a posteriori la solution obtenue. Il n'est pas dans notre objet d'entrer dans le détail des probabilités ou des statistiques. Nous renvoyons aux nombreux ouvrages sur le sujet (quelques références en liaison directe avec notre sujet sont [7, 17, 18, 19]).

Le point de départ est de supposer que les erreurs observées sont aléatoires. Dans le " modèle linéaire standard ", on fait l'hypothèse que les observations sont entachées d'une erreur aléatoire, et que les erreurs sont à moyenne nulle, sont indépendantes, et ont toutes la même variance ?2.

Comment analyser a posteriori la qualité de la solution d'un problème de moindres carrés ? Nous nous bornerons à donner un résultat simple sur l'espérance et la variance de x. Notons que nous ne faisons aucune hypothèse sur la distribution des erreurs, autre que celles données ci-dessus en (1.4). En particulier, il n'est pas nécessaire de supposer que les erreurs suivent une loi normale.

La décomposition en valeurs singulières (singular value décomposition en anglais, souvent abrégée SVD) est devenue depuis quelques dizaines d'années un outil fondamental pour étudier un nombre croissant de problèmes linéaires. La décomposition a été découverte il y a plus de cent ans par Beltrami, mais n'est devenu un outil numérique que depuis la fin des années 1960, quand G. Golub a montré comment on pouvait la calculer de façon stable et (raisonnablement) efficace.