Analyse des régressions linéaires

L'analyse des régressions multiples consiste à estimer les contributions respectives des variables X_1, X_2, .. X_i, X_p d'un tableau de mesures T(n,p) à la valeur d'une variable quantitative X_jde ce tableau, renommée Y. Les variables X_1, X_2, .. X_i, X_psont qualifiées de variables explicatives potentielles -- ou variables exogènes (²); Y est qualifiée de variable à expliquer -- ou variable endogène. On trouvera une application de cette méthode dans Economie des territoires (Méta analyse du coefficient multiplicateur de la base économique des territoires).

Dans ce but, pour chaque objet oi de T(n,p), on cherche les coefficients mutiplicateurs a₁,a₂,...a_i, a_p, qui, affectés aux valeurs des variable X_1, X_2, .. X_i, X_p -- permettraient en sommant les produits a₁X₁, a₂X₂ ... d'obtenir une valeur aussi proche que possible -- à la valeur ε_iprés -- de la valeur observée Y_i.

On obtient ainsi n équations -- qualifiées d'équations de régression, qui s'écrivent :

y₁ = a0 + a₁x_1;1 + · · · + a_px_1;p + ε ₁

y₂ = a0 + a₁x_2,1 + · · · + a_px_2,;p + ε ₂

...

y_n = a0 + a₁x_n,1 + · · · + a_px_n,;p + ε _n

Ce qui peut être résumé par la présentation matricielle comme suit :

où y_i est la i-ème observation de la variable Y ; X_i;j est la i-ème observation de la j-ème variable ; ε_i

nommée "erreur d'estimation", résume les informations manquantes qui permettrait d'expliquer linéairement les valeurs de Y à l'aide des p variables X_j. Soit encore de manière plus compacte par y=Xa + ε

Le travail consiste donc à chercher les valeurs des p composantes du vecteur des régresseurs a = {a_1,a₂,a_i,... a_p} qui minimisent la somme des carrés des résidus (∑(y_i−a0−a₁x_1;1−...−a_px_1;p) ²

Ce qui s'écrit sous forme matricielle : a = (X'X)^-1 X'Y , avec X' = transposée de X ;

X'X = matrice de variance des variables exogènes = matrice des corrélations entre Y et X_1, X_2, .. X_i, X_p.

L'évaluation globale de la pertinence du modèle de prédiction s'appuie sur l'équation d'analyse de variance SCT = SCE + SCR, où:

SCT, somme des carrés totaux, traduit la variabilité totale de l'endogène ;

SCE, somme des carrés expliqués, traduit la variabilité expliquée par le modèle ;

SCR, somme des carrés résiduels correspond à la variabilité non-expliquée par le modèle.

Le coefficient de détermination R²= SCE/SCT=1-SCR/SCT permet de traduire la variance expliquée par le modèle. R=sqrt(R²) est le coefficient de corrélation multiple. Toutefois, le R ² ne permet pas de savoir si le modèle est statistiquement pertinent pour expliquer les valeurs de y. Dans ce but, on se réfère au test de Fisher : F=(R2/p)/((1-R2)/(n-p-1)).