Линейный множественный регрессионный анализ

Дата: 15.05.2014

		

МИНИСТЕРСТВО
ОБРАЗОВАНИЯ И НАУКИ УКРАИНЫ

ХЕРСОНСКИЙ
НАЦИОНАЛЬНЫЙ УНЕВЕРСИТЕТ

КАФЕДРА
ЭКОНОМИЧЕСКОЙ КИБЕРНЕТИКИ

Реферат

по
дисциплине: „Методы анализа данных”

на
тему: „Линейный множественный регрессионный анализ”

Выполнил:

Студент
гр. 4ЭК2

Приходько
Е.А.

Проверил:

Преподаватель

Больова
Г.А.

Херсон — 2008

Содержание

1. 
Регрессионный
анализ

2. 
Основы линейного
регрессионного анализа

3. 
Множественная
линейная регрессия

4. 
Линейный
множественный регрессионный анализ

1. 
Регрессионный
анализ

Если расчёт
корреляции характеризует силу связи между двумя переменными, то регрессионный
анализ служит для определения вида этой связи и дает возможность для
прогнозирования значения одной (зависимой) переменной отталкиваясь от значения
другой (независимой) переменной. Для проведения линейного регрессионного
анализа зависимая переменная должна иметь интервальную (или порядковую) шкалу.
В то же время, бинарная логистическая регрессия выявляет зависимость
дихотомической переменной от некой другой переменной, относящейся к любой
шкале. Те же условия применения справедливы и для пробит-анализа. Если
зависимая переменная является категориальной, но имеет более двух категорий, то
здесь подходящим методом будет мультиномиальная логистическая регрессия можно
анализировать и нелинейные связи между переменными, которые относятся к
интервальной шкале. Для этого предназначен метод нелинейной регрессии.

2.
Основы линейного регрессионного анализа

Раздел
многомерного статистического анализа, посвященный восстановлению зависимостей,
называется регрессионным анализом. Термин «линейный регрессионный
анализ» используют, когда рассматриваемая функция линейно зависит от
оцениваемых параметров (от независимых переменных зависимость может быть
произвольной). Теория оценивания неизвестных параметров хорошо развита именно в
случае линейного регрессионного анализа. Если же линейности нет и нельзя перейти
к линейной задаче, то, как правило, хороших свойств от оценок ожидать не
приходится. Продемонстрируем подходы в случае зависимостей различного вида.
Если зависимость имеет вид многочлена (полинома)

Линейный множественный регрессионный анализ

то
коэффициенты многочлена могут быть найдены путем минимизации функции

Линейный множественный регрессионный анализ

Функция от t
не обязательно должна быть многочленом. Можно, например, добавить периодическую
составляющую, соответствующую сезонным колебаниям.

Хорошо
известно, например, что инфляция (рост потребительских цен) имеет четко
выраженный годовой цикл — в среднем цены быстрее всего растут зимой, в декабре
— январе, а медленнее всего (иногда в среднем даже падают) летом, в июле —
августе.

Пусть для
определенности

Линейный множественный регрессионный анализ

тогда
неизвестные параметры могут быть найдены путем минимизации функции

Линейный множественный регрессионный анализ

Пусть I(t)
индекс инфляции в момент t. Принцип стабильности условий приводит к
гипотезе о постоянстве темпов роста средних цен, т.е. индекса инфляции. Таким
образом, естественная модель для индекса инфляции – это

Линейный множественный регрессионный анализ

Эта модель не
является линейной, метод наименьших квадратов непосредственно применять нельзя.
Однако если прологарифмировать обе части предыдущего равенства:

Линейный множественный регрессионный анализ

то получим
линейную зависимость, рассмотренную в первом пункте настоящей главы.

Независимых
переменных может быть не одна, а несколько. Пусть, например, по исходным данным
Линейный множественный регрессионный анализ требуется
оценить неизвестные параметры a и b в зависимости

Линейный множественный регрессионный анализ

где Линейный множественный регрессионный анализ  —
погрешность. Это можно сделать, минимизировав функцию

Линейный множественный регрессионный анализ

Зависимость
от х и у не обязательно должна быть линейной. Предположим, что из
каких-то соображений известно, что зависимость должна иметь вид

Линейный множественный регрессионный анализ

тогда для
оценки пяти параметров необходимо минимизировать функцию

Линейный множественный регрессионный анализ

Более
подробно рассмотрим пример из микроэкономики. В одной из оптимизационных
моделей поведения фирмы используется т.н. производственная функция f(K,L), задающая
объем выпуска в зависимости от затрат капитала K и труда L. В
качестве конкретного вида производственной функции часто используется так
называемая функция Кобба-Дугласа

Линейный множественный регрессионный анализ

Однако откуда
взять значения параметров Линейный множественный регрессионный анализ  и Линейный множественный регрессионный анализ ? Естественно предположить, что
они — одни и те же для предприятий отрасли. Поэтому целесообразно собрать
информацию Линейный множественный регрессионный анализ где
fk — объем выпуска на k-ом предприятии, Kk
объем затрат капитала на k-ом предприятии, Lk
объем затрат труда на k-ом предприятии (в кратком изложении здесь не
пытаемся дать точных определений используемым понятиям из экономики
предприятия). По собранной информации естественно попытаться оценить параметры Линейный множественный регрессионный анализ  и Линейный множественный регрессионный анализ . Но они входят
в зависимость нелинейно, поэтому сразу применить метод наименьших квадратов
нельзя. Помогает логарифмирование:

Линейный множественный регрессионный анализ

Следовательно,
целесообразно сделать замену переменных

Линейный множественный регрессионный анализ

а затем
находить оценки параметров Линейный множественный регрессионный анализ  и Линейный множественный регрессионный анализ , минимизируя функцию

Линейный множественный регрессионный анализ

Найдем
частные производные:

Линейный множественный регрессионный анализ   Линейный множественный регрессионный анализ

Приравняем
частные производные к 0, сократим на 2, раскроем скобки, перенесем свободные
члены вправо. Получим систему двух линейных уравнений с двумя неизвестными:

Линейный множественный регрессионный анализ

Линейный множественный регрессионный анализ

Таким
образом, для вычисления оценок метода наименьших квадратов необходимо найти
пять сумм:

Линейный множественный регрессионный анализ

Для
упорядочения расчета этих сумм может быть использована таблица типа той, что
применялась в первом пункте настоящей главы. Отметим, что рассмотренная там
постановка переходит в разбираемую сейчас при

Линейный множественный регрессионный анализ

Подходящая
замена переменных во многих случаях позволяет перейти к линейной зависимости.
Например, если

Линейный множественный регрессионный анализ

то замена z=1/y
приводит к линейной зависимости z = a + bx. Если y=(a+bx)2,
то замена Линейный множественный регрессионный анализ  приводит
к линейной зависимости z = a + bx.

3. Множественная линейная регрессия

В общем
случае в регрессионный анализ вовлекаются несколько независимых переменных.
Это, конечно же, наносит ущерб наглядности получаемых результатов, так как
подобные множественные связи в конце концов становится невозможно представить
графически.

В случае
множественного регрессионного анализа речь идёт необходимо оценить коэффициенты
уравнения

у = b11+b22+…
+ bnn+а,

где n —
количество независимых переменных, обозначенных как х1 и хn,
а — некоторая константа.

Переменные,
объявленные независимыми, могут сами коррелировать между собой; этот факт
необходимо обязательно учитывать при определении коэффициентов уравнения
регрессии для того, чтобы избежать ложных корреляций.


4. Линейный множественный
регрессионный анализ

В практике
часто возникают ситуации, когда функция отзыва (цели) Y зависит не от
одного, а от многих факторов. Установление формы связи в таких случаях
начинают, как правило с рассмотрения линейной регрессии такого вида:

Линейный множественный регрессионный анализ

В таком
случае результаты наблюдений должны быть представлены уравнениями, полученными
в каждом из п опытов:

Линейный множественный регрессионный анализ  (1)

или в виде
матрицы результатов наблюдений:

Линейный множественный регрессионный анализ

где п
количество опытов; k — количество факторов.

Для решения
системы уравнений (1) необходимо, чтобы количество опытов было не меньше

k + 1, т.е. п  Линейный множественный регрессионный анализ  k + 1.

Заданием
множественного регрессионного анализа является построение такого уравнения прямой
k-мерном пространстве, отклонение результатов наблюдений Линейный множественный регрессионный анализ  от которой были бы
минимальными. Используя для этого метод наименьших квадратов, получаем систему
нормальных уравнений:

Линейный множественный регрессионный анализ

которую
представим в матричной форме

(ХТХ)В = XTY,
(2)

где В
— вектор-столбец коэффициентов уравнения регрессии;

X — матрица значений
факторов;

Y — вектор-столбец функции
отзыва;

XТ — транспонированная матрица
X.

При Линейный множественный регрессионный анализ  = 1, Линейный множественный регрессионный анализ , они соответственно равны:

Линейный множественный регрессионный анализ   Линейный множественный регрессионный анализ   Линейный множественный регрессионный анализ

Линейный множественный регрессионный анализ

Перемножив правую
и левую часть уравнения (2) на обратную матрицу (ХТХ) — 1,
получим при:

Линейный множественный регрессионный анализ

Линейный множественный регрессионный анализ

Линейный множественный регрессионный анализ

Каждый коэффициент
уравнения регрессии вычисляется по формуле:

Линейный множественный регрессионный анализ

где Линейный множественный регрессионный анализ  — элементы обратной
матрицы (ХТХ) — 1.

Для проверки
значимости уравнения регрессии необходимо при заданных значениях ( Линейный множественный регрессионный анализ ) провести несколько
экспериментов, чтобы получить некоторое среднее значение функции Y. В этом
случае экспериментальный материал представляется, например, в виде табл. 1.

Таблица 1

Уровни
факторов

Значения
функции Y при параллельных исследованиях

Исследуемое
среднее значение Линейный множественный регрессионный анализ

x1

x2

y1

y2

y3

1 1,0 0,2 18,2 18,6 18,7 18,5
2 2,0 0,4 21,6 23,4 23,7 22,9
3 2,5 0,3 22,0 23,0 22,5 22,5

Число параллельных
исследований должно быть больше трёх Линейный множественный регрессионный анализ .

Проверка
значимости уравнения регрессии проводится по F-критерию. Для этого вычисляется
остаточная дисперсия

Линейный множественный регрессионный анализ

и Линейный множественный регрессионный анализ -статистика

Линейный множественный регрессионный анализ

которая сравнивается
с табличным значением Линейный множественный регрессионный анализ  при уровне
значимости α и числе ступеней свободы

k1 = п — 1,
k2 = п – k — 1.

Гипотеза про
значимость уравнения регрессии принимается при условии:

Линейный множественный регрессионный анализ

Значимость коэффициентов
регрессии проверяется по t-критерию.

Статистика Линейный множественный регрессионный анализ  сравнивается с табличным
значением Линейный множественный регрессионный анализ  при уровне значимости
α и числе степеней свободы

k1 = п – k — 1.

Наклонная коэффициента
регрессии:

Линейный множественный регрессионный анализ

где Линейный множественный регрессионный анализ  — диагональный элемент
матрицы (ХТХ) — 1.

Доверительный
интервал для коэффициентов регрессии определяется по формуле:

Линейный множественный регрессионный анализ

где В
— значение коэффициента регрессии в генеральной совокупности.

Список
использованной литературы

1. Александров В.В., Алексеев А.И., Горский Н.Д. Анализ
данных на ЭВМ (на примере системы СИТО). – М.: Финансы и статистика, 1990.

2. Блюмин С.Л., Суханов В.Ф., Чеботарев С.В. Экономический
факторный анализ: Монография. – Липецк: ЛЭГИ, 2004.

3. Рогальский Ф.Б., Курилович Я.Е., Цокуренко А.А.
Математические методы анализа экономических систем. Книга 1. – К.: Наукова думка,
2001.

4. Рогальский Ф.Б., Цокуренко А.А. Математические методы
анализа экономических систем. Книга 2. – К.: Наукова думка, 2001.

Скачать реферат

Метки:
Автор: 

Опубликовать комментарий