Cours de régréssion linéaire

Dans l'illustration ci-dessus, l'image est une représentation graphique d'une base de données d'un organisme de crédit automobile.

Cette société veut utiliser ses données afin de prédire le budget qu'un client est prêt à investir pour l'achat d'une nouvelle voiture.

Les données se regroupent en un ruban assez étroit. Il est possible de faire passer au mieux une courbe de nuage de points à travers ce nuage de points et de considérer que cette courbe est un modèle est un modèle approximatif mais satisfait la réalité.

Nous avons provisoirement ignoré la difficulté liée au fait que la base de données ne contient pas qu'un échantillon de la population (les clients potentiels) et considéré qu'elle contient l'intégralité de cette population.

De même, nous allons définir la vraie fonction f(x) construite (et non son estimation f*(x) construite par l'analyse à l'aide d'un échantillon).

Même ces causes d'incertitude levées, la prédiction ne peut être parfaite.

Dans l'exemple précédent, l'âge à lui seul servait à déterminer le comportement d'un client. D'autres variables pourraient être prises en compte pour minimiser les erreurs sur la prédiction des valeurs des y (budgets). Ainsi on pourra penser à inclure dans la fonction de régression des variable comme : le sexe, le revenu annuel, le nombre d'enfants. Etc.

La régression est une méthode statistique très utilisée pour analyser la relation d'une variable avec une autre ou avec plusieurs. On a recours à une estimation des paramètres inconnus du modèle de régression par un ajustement mathématique du modèle spécifié en fonction des données récoltées à partir d'un ensemble de valeurs expérimentales qui peuvent être représentées par des points dans un graphe. On cherche à calculer la courbe qui produit le mieux les variations et la grandeur étudiée.

C'est-à-dire qu'elle s'ajuste au mieux au nuage de points.

La régression est donc l'opération qui consiste à ajuster une droite ou une courbe mathématique le plus près possible d'un certain nombre de points observés.

Il existe deux méthodes principales de calcul des paramètres d'un modèle de régression