Estimación del modelo de regresión lineal

Si utilizamos la notación matricial, la ecuación del modelo puede escribirse como:

Y= X \cdot \beta + \epsilon

donde:

Y=\left(\begin{array}{c}  y_1 \\  \vdots\\ y_n \end{array} \right)

X=\left(\begin{array}{ccccc}  x_{11} & \ldots & x_{i1} & \ldots & x_{K1}\\  \vdots & \ddots & \vdots & \ddots & \vdots\\  x_{1j} & \ldots & x_{ij} & \ldots & x_{Kj}\\  \vdots & \ddots & \vdots & \ddots & \vdots\\  x_{1n} & \ldots & x_{in} & \ldots & x_{Kn}\end{array} \right)

\beta=\left(\begin{array}{c}  \beta_1 \\ \vdots\\  \beta_K \end{array} \right)

\epsilon=\left(\begin{array}{c}  \epsilon_1 \\  \vdots\\ \epsilon_n \end{array} \right)

Partiendo de esta definición matricial, los estimadores de mínimos cuadrados ordinarios (MCO) para los parámetros del modelo (\beta_i) pueden obtenerse haciendo uso de la siguiente expresión:

\hat{\beta} = \left( X^t X \right)^{-1} X^t Y

Teniendo en cuenta que este vector de parámetros no incluye el término independiente, \hat{\beta_0} para calcularlo debemos usar:

\hat{\beta_0} = \bar{Y} - \hat{\beta_1} \cdot  \bar{X_1} - \hat{\beta_2} \cdot  \bar{X_2} \vdots - \hat{\beta_K} \cdot  \bar{X_K}

Propiedades algebraicas de los estimadores de mínimos cuadrados

  • Hacen que la línea de regresión muestral pase por el centro de gravedad de las variables que intervienen, es decir, por sus valores medios Y, X1,…, Xk .
  • Hacen que los residuos tenga media 0, supuesto clave cuando componemos el modelo de regresión lineal en desviaciones a las medias.
  • Conforman residuos de regresión no correlacionados con los regresores.
  • Conforman residuos de regresión no correlacionados con la estimación de la variable que queremos explicar.
  • El valor medio de las n estimaciones de Y coinciden con su valor medio observado.
  • Son insesgados y eficientes (de varianza mínima).