Теорема Гаусса-Маркова.

Предположим, что:

1. Y=XB+E;

2. X – детерминированная матрица, имеет максимальный ранг k+1

3. М(ε)=0; V(ε)=М(εεT)=σ2In.

Тогда оценка метода наименьших квадратов является наиболее эффективной (в смысле наименьшей дисперсии) оценкой в классе линейных (по y) несмещенных оценок.

2.3 Анализ вариации зависимой переменной в регрессии. Коэффициенты R2 и скорректированный

Для регрессионной модели известны следующие величины дисперсий:

где – значение зависимой переменной по исходным данным, - значение зависимой переменной, вычисленное по регрессионной модели, - среднее значение зависимой переменной, определенное по исходным статистическим данным. Для указанных дисперсий справедливо равенство

Как и в случае регрессионной модели с одной с одной независимой переменной, вариацию можно разбить на две части: объясненную регрессионным уравнением и необъясненную ( т.е. связанную с ошибками ε):

( 5 )

Или в векторной форме:

( 6 )

Третье слагаемое в (6) равно нулю в случае, если константа, т.е. вектор , принадлежит линейной оболочке векторов .

В самом деле,

т.к. Поэтому верно равенство

(7)

Записывая (7) в отклонениях получим теорему Пифагора:

(8)

Определим коэффициент детерминации как

Отметим, что коэффициент R2 корректно определен только в том случае, если константа, т.е. вектор , принадлежит линейной оболочке векторов . В этом случае R2 принимает значения из интервала [0,1].

Коэффициент R2 показывает качество подгонки регрессионной модели к наблюденным значениям yt.

Если R2=0, то регрессия на не улучшает качество предсказания yt по сравнению с тривиальным предсказанием

Другой крайний случай R2=1 означает точную подгонку: все et=0, т.е. все точки наблюдений удовлетворяют уравнению регрессии.

Пример другого обозначения: Для модели регрессии вида , где , рассчитаны дисперсии , , , тогда величина коэффициента детерминации рассчитывается по формуле или

В какой степени допустимо использовать критерий R2 для выбора между несколькими регрессионными уравнениями? Следующие два замечания побуждают не полагаться только на значение R2.

1. R2, вообще говоря, возрастает при добавлении еще одного регрессора.

2. R2 изменяется даже при простейшем преобразовании зависимой переменной, поэтому сравнивать по значению R2 можно только регрессии с одинаковыми зависимыми переменными.

Если взять число регрессоров равным числу наблюдений, всегда можно добиться того, что R2=1, но это вовсе не будет означать наличие содержательной (имеющей экономический смысл) зависимости у от регрессоров.



Попыткой устранить эффект, связанный с ростом R2 при возрастании числа регрессоров, является коррекция R2 на число регрессоров.

Скорректированным (adjusted) R2 называется

Заметим, что нет никакого существенного оправдания именно такого способа коррекции.

Свойства скорректированного R2:

1.

2.

3. но может принимать значения < 0.

В определенной степени использование скорректированного коэффициента детерминации , более корректно для сравнения регрессий при изменении количества регрессоров.

Скорректированный коэффициент детерминации применяется для оценки реальной тесноты связи между результатом и факторами и сравнения моделей с разным числом параметров

В классической множественной линейной регрессии абсолютным показателем силы связи результата с фактором является коэффициент при соответствующем факторе.

Коэффициенты линейной модели множественной регрессии называют коэффициентами условно-чистой регрессии. Они показывают на сколько единиц в среднем изменится результат при изменении фактора на 1 при фиксированном уровне других факторов, включенных в модель

В классической множественной линейной регрессии относительным показателем силы связи результата с фактором является коэффициент эластичности

Коэффициенты эластичности показывают на сколько процентов в среднем изменится результат при изменении фактора на 1% и значениях других факторов, фиксированных на средних уровнях.

В множественной регрессии показателями тесноты связи являются: коэффициент множественной корреляции и коэффициент множественной детерминации.


3055316324645108.html
3055384599247166.html
    PR.RU™