Задача регрессии подразумевает предсказание числа

Регрессионный анализ — основы, этапы и примеры задач

Общая информация

Метод моделирования пар данных и исследования их свойств представляет собой раздел математической статистики, который используют для выявления статистических закономерностей, объединяющих ряд величин. При этом некоторые данные являются случайными. Анализируя зависимости, исследователь может построить модель регрессии.

Полученные данные — основа регрессионного анализа и база для дальнейшего изучения, которое основывается на том, что между числами всегда существуют известные или скрытые связи. Первые получаются путём вычислений с помощью формул, а вторые необходимо прогнозировать и объяснять, иначе не получится изменять их так, как нужно для решения различных задач. Корреляционно-регрессионный анализ позволяет обнаружить скрытые зависимости и представить их в виде математических выражений. Цели, для которых используются формулы:

С помощью аналитики выводят коэффициент корреляции, который означает силу связей. Чем она существеннее, тем легче создать регрессионную модель. В статистике этот метод является основным. Этапы регрессионного анализа располагаются в таком порядке:

• собирают данные;
• подвергают их предварительной обработке;
• выбирают вид уравнения;
• рассчитывают коэффициент;
• строят функцию;
• проверяют правильность расчётом с помощью наблюдений.

Метод проведения

В теории описать уравнение регрессии можно только при условии, что известен закон, по которому распределяются результативные значения функции y при заданных параметрах аргумента x. На практике учёные не располагают знанием такой закономерности, поэтому приходится подбирать подходящие варианты аппроксимаций (близких значений) для неизвестной функции.

Взаимоотношение между истинной функцией, модельной регрессией и её оценкой можно рассмотреть на примере. Для этого нужно сделать допущение. Пусть показатель и аргумент связаны следующим образом: у=2х 1,5+o. В этой формуле o представляет собой случайное значение величины, распределяемой в соответствии с нормальным законом. Необходимо сделать ещё 2 допущения: d o- o 2 и M o= 0.

Тогда уравнение, описывающее функцию регрессии, примет такой вид: f (х) = М (у/х) = 2х i 1,5+ o. Чтобы при наличии исходных данных получить максимально точные значения функции регрессии и результирующего показателя, используют метод наименьших квадратов. При вычислениях минимизируют квадрат величины, на которую результативное значение отклоняется от модельного. Получают такое выражение: o (y i) — f (х i)2 > min. Это среднеквадратичная регрессия.

Дальнейшие действия проводят с использованием метода наименьших модулей. Получают следующее выражение: y-f (xj) — min. Оно описывает медианную регрессию.

Работа в таблицах Ms Excel

В информатике анализ данных позволяет разрабатывать и исследовать алгоритмы и методы, с помощью которых добывается информация из сведений, полученных экспериментальным путём. Исследования удобно проводить в Ms Excel, однако нужно учитывать, что работать в режиме онлайн с этим приложением не получится. Средства, которые можно использовать для анализа с помощью этого инструмента:

• построение сводных таблиц;
• объединение данных;
• частичное и полное суммирование;
• подведение итогов в автоматическом режиме;
• структуризация данных, представленных на отдельных листах;
• проверка значений в книгах и листах на ошибки;
• применение карт;
• создание диаграмм;
• обработка значений с использованием функций и формул;
• выборочный анализ разными способами, включая сценарии, поиск решения, выбор параметра и другие.

Инструменты, встроенные в Microsoft Excel, позволяют решать инженерные и статистические задачи высокого уровня сложности. Чтобы выполнить анализ, указывают входные данные и задают нужные параметры. Программа анализирует значения, применяя ту макрофункцию, которая подходит в этой ситуации. Результаты отображаются в специальных ячейках. Затем, применяя другие инструменты, данные можно вывести в виде графиков или диаграмм.

Графический вид удобен тем, что позволяет быстро обнаружить ошибки: они отображаются как нетипичные отклонения кривых. В таблицах найти неточности бывает сложно, так как списки бывают довольно большими. Кроме того, графики дают возможность не только проиллюстрировать информацию, но и проконтролировать корректность исходных данных. В некоторых случаях только графическое отображение позволяет правильно интерпретировать, обобщить и проанализировать информацию.

Множественный анализ

Общее назначение этого метода состоит в том, чтобы определить, как изменяется зависимая переменная, когда на неё воздействуют несколько факторов. Это легко понять на примере. Цена товара изменяется, подвергаясь влиянию ряда индикаторов. В виде равенства это можно представить так: изменение цены = a * RSI + b * MACD + с. Выражение будет корректным только в том случае, если между независимым и зависимыми значениями есть корреляция.

Компоненты выражения связаны между собой, поэтому при удалении одного значение остальных может измениться. Коэффициенты a и b применяются для демонстрации вклада каждого независимого значения.

Уравнение показывает, как взаимодействуют его части в идеале. На практике реальные показатели отличаются от прогнозируемых, а разницу между ними именуют остатком. С помощью множественного анализа исследуют количественные показатели, причём их может быть сколько угодно. Для определения и изучения качественных значений, у которых нет переходных параметров, применяют другие инструменты.

Этапы и виды

Множественный анализ выполняют в несколько этапов. Сначала формулируют задачу и разрабатывают гипотезы с учётом специфики анализируемых явлений. Дальнейшая работа ведётся в таком порядке:

• Определяют объясняющие и зависимые переменные.
• Собирают статистическую информацию отдельно для каждого компонента, участвующего в анализе.
• Формулируют гипотезу, допускающую, какой будет связь: линейной, множественной, простой, нелинейной.
• Рассчитывают числовые значения для тех компонентов уравнения, относительно которых это возможно.
• Оценивают степень точности анализа.
• Выполняют интерпретацию результатов и сравнивают их с гипотезой. Оценивают, насколько полученные значения являются правдоподобными и корректными.
• Прогнозируют, какие значения может принимать зависимый компонент.

Метод регрессионного анализа позволяет не только прогнозировать величины, но и классифицировать их. Предполагаемые значения вычисляются так: в уравнение на место независимых переменных подставляются числовые параметры, которые заведомо известны.

Классификация результатов

Для классификации результатов проводят линию регрессии. Она разделяет множество на 2 части: в одной находятся значения, которые больше нуля, в другой — меньше. Так данные на шкале распределяются по 2 классам. В свою очередь, регрессия подразделяется на несколько видов:

• Парная. Так называется регрессия, в которой, наряду с незначимыми, есть доминирующий фактор x. Пример регрессионного анализа: в каждом регионе есть некоторое количество занятых людей (x) и собирается некоторая сумма налогов (y). Y зависит от доминирующего компонента x. Присутствуют и другие факторы, но их значимость гораздо ниже.
• Обратная. Она заключается в том, что сначала составляют максимально полное уравнение, а затем последовательно исключают из него отдельные члены, каждый раз оценивая, насколько уменьшилась остаточная дисперсия. В итоговом уравнении останутся только те компоненты, которые оказали наиболее весомый вклад на её уменьшение.
• Нелинейная. Этот вид анализа применяется, когда зависимость одной переменной от других не является линейной. Пример: засолённость почвы до определённого предела не оказывает влияния на урожайность культур. После достижения определённых значений это влияние начинает проявляться нелинейно. Зависимость можно представить в виде функции. Их существует несколько видов: показательные, логарифмические, тригонометрические, степенные, гауссова и кривые Лоренца.
• Множественная. Бывает необходима, когда нужно рассчитать влияние множества независимых переменных на результативный признак. При этом присутствует фактор E — стохастический параметр, включающий влияние неучтённых компонентов.
• Линейная. Используется для анализа эластичности спроса, прогнозирования загруженности веб-сервисов, стоимости ценных бумаг, объёмов продаж и т. д.
• Логарифмически линейная. Применяется при моделировании реальных социально-экономических процессов, которые невозможно описать через линейную функцию.
• Гиперболическая. Она имеет вид у=b+а/х. В экономике её применяют для выявления зависимости объёма выпускаемой продукции от затрат топлива, сырья и материалов, а также для других целей. Классический пример — кривая Филлипса. График оказывает связь между приростом заработной платы и уровнем безработицы.

Регрессионный анализ позволяет с максимальной эффективностью и наименьшими усилиями использовать накопленный теоретико-прикладной потенциал, выдвигать и обосновывать идеи, ставить и решать задачи.

Источник

Основы анализа данных

Регрессионный анализ

Основная особенность регрессионного анализа: при его помощи можно получить конкретные сведения о том, какую форму и характер имеет зависимость между исследуемыми переменными.

Последовательность этапов регрессионного анализа

Рассмотрим кратко этапы регрессионного анализа.

1. Формулировка задачи. На этом этапе формируются предварительные гипотезы о зависимости исследуемых явлений.
2. Определение зависимых и независимых (объясняющих) переменных.
3. Сбор статистических данных. Данные должны быть собраны для каждой из переменных, включенных в регрессионную модель.
4. Формулировка гипотезы о форме связи (простая или множественная, линейная или нелинейная).
5. Определение функции регрессии (заключается в расчете численных значений параметров уравнения регрессии)
6. Оценка точности регрессионного анализа.
7. Интерпретация полученных результатов. Полученные результаты регрессионного анализа сравниваются с предварительными гипотезами. Оценивается корректность и правдоподобие полученных результатов.
8. Предсказание неизвестных значений зависимой переменной.

При помощи регрессионного анализа возможно решение задачи прогнозирования и классификации. Прогнозные значения вычисляются путем подстановки в уравнение регрессии параметров значений объясняющих переменных. Решение задачи классификации осуществляется таким образом: линия регрессии делит все множество объектов на два класса, и та часть множества, где значение функции больше нуля, принадлежит к одному классу, а та, где оно меньше нуля, — к другому классу.

Задачи регрессионного анализа

Рассмотрим основные задачи регрессионного анализа: установление формы зависимости, определение функции регрессии , оценка неизвестных значений зависимой переменной.

Установление формы зависимости.

Характер и форма зависимости между переменными могут образовывать следующие разновидности регрессии:

• положительная линейная регрессия (выражается в равномерном росте функции);
• положительная равноускоренно возрастающая регрессия;
• положительная равнозамедленно возрастающая регрессия;
• отрицательная линейная регрессия (выражается в равномерном падении функции);
• отрицательная равноускоренно убывающая регрессия;
• отрицательная равнозамедленно убывающая регрессия.

Однако описанные разновидности обычно встречаются не в чистом виде, а в сочетании друг с другом. В таком случае говорят о комбинированных формах регрессии.

Определение функции регрессии.

Вторая задача сводится к выяснению действия на зависимую переменную главных факторов или причин, при неизменных прочих равных условиях, и при условии исключения воздействия на зависимую переменную случайных элементов. Функция регрессии определяется в виде математического уравнения того или иного типа.

Оценка неизвестных значений зависимой переменной.

Решение этой задачи сводится к решению задачи одного из типов:

• Оценка значений зависимой переменной внутри рассматриваемого интервала исходных данных, т.е. пропущенных значений; при этом решается задача интерполяции.
• Оценка будущих значений зависимой переменной, т.е. нахождение значений вне заданного интервала исходных данных; при этом решается задача экстраполяции.

Обе задачи решаются путем подстановки в уравнение регрессии найденных оценок параметров значений независимых переменных. Результат решения уравнения представляет собой оценку значения целевой (зависимой) переменной.

Рассмотрим некоторые предположения, на которые опирается регрессионный анализ.

Предположение линейности, т.е. предполагается, что связь между рассматриваемыми переменными является линейной. Так, в рассматриваемом примере мы построили диаграмму рассеивания и смогли увидеть явную линейную связь. Если же на диаграмме рассеивания переменных мы видим явное отсутствие линейной связи, т.е. присутствует нелинейная связь, следует использовать нелинейные методы анализа.

Предположение о нормальности остатков . Оно допускает, что распределение разницы предсказанных и наблюдаемых значений является нормальным. Для визуального определения характера распределения можно воспользоваться гистограммами остатков .

При использовании регрессионного анализа следует учитывать его основное ограничение. Оно состоит в том, что регрессионный анализ позволяет обнаружить лишь зависимости, а не связи, лежащие в основе этих зависимостей.

Регрессионный анализ дает возможность оценить степень связи между переменными путем вычисления предполагаемого значения переменной на основании нескольких известных значений.

Уравнение регрессии выглядит следующим образом: Y=a+b*X

При помощи этого уравнения переменная Y выражается через константу a и угол наклона прямой (или угловой коэффициент) b, умноженный на значение переменной X. Константу a также называют свободным членом, а угловой коэффициент — коэффициентом регрессии или B-коэффициентом.

В большинстве случав (если не всегда) наблюдается определенный разброс наблюдений относительно регрессионной прямой.

Остаток — это отклонение отдельной точки (наблюдения) от линии регрессии (предсказанного значения).

Для решения задачи регрессионного анализа в MS Excel выбираем в меню Сервис «Пакет анализа» и инструмент анализа «Регрессия». Задаем входные интервалы X и Y. Входной интервал Y — это диапазон зависимых анализируемых данных, он должен включать один столбец. Входной интервал X — это диапазон независимых данных, которые необходимо проанализировать. Число входных диапазонов должно быть не больше 16.

На выходе процедуры в выходном диапазоне получаем отчет, приведенный в таблице 8.3а — 8.3в.

Таблица 8.3а. Регрессионная статистика

Регрессионная статистика
Множественный R	0,998364
R-квадрат	0,99673
Нормированный R-квадрат	0,996321
Стандартная ошибка	0,42405
Наблюдения	10

Сначала рассмотрим верхнюю часть расчетов, представленную в таблице 8.3а, — регрессионную статистику.

Величина R-квадрат , называемая также мерой определенности, характеризует качество полученной регрессионной прямой. Это качество выражается степенью соответствия между исходными данными и регрессионной моделью (расчетными данными). Мера определенности всегда находится в пределах интервала [0;1].

В большинстве случаев значение R-квадрат находится между этими значениями, называемыми экстремальными, т.е. между нулем и единицей.

Если значение R-квадрата близко к единице, это означает, что построенная модель объясняет почти всю изменчивость соответствующих переменных. И наоборот, значение R-квадрата , близкое к нулю, означает плохое качество построенной модели.

В нашем примере мера определенности равна 0,99673, что говорит об очень хорошей подгонке регрессионной прямой к исходным данным.

множественный R — коэффициент множественной корреляции R — выражает степень зависимости независимых переменных (X) и зависимой переменной (Y).

Множественный R равен квадратному корню из коэффициента детерминации, эта величина принимает значения в интервале от нуля до единицы.

В простом линейном регрессионном анализе множественный R равен коэффициенту корреляции Пирсона. Действительно, множественный R в нашем случае равен коэффициенту корреляции Пирсона из предыдущего примера (0,998364).

Таблица 8.3б. Коэффициенты регрессии

Коэффициенты	Стандартная ошибка	t-статистика
Y-пересечение	2,694545455	0,33176878	8,121757129
Переменная X 1	2,305454545	0,04668634	49,38177965
* Приведен усеченный вариант расчетов

Теперь рассмотрим среднюю часть расчетов, представленную в таблице 8.3б. Здесь даны коэффициент регрессии b (2,305454545) и смещение по оси ординат, т.е. константа a (2,694545455).

Исходя из расчетов, можем записать уравнение регрессии таким образом:

Направление связи между переменными определяется на основании знаков (отрицательный или положительный) коэффициентов регрессии (коэффициента b).

Если знак при коэффициенте регрессии — положительный, связь зависимой переменной с независимой будет положительной. В нашем случае знак коэффициента регрессии положительный, следовательно, связь также является положительной.

Если знак при коэффициенте регрессии — отрицательный, связь зависимой переменной с независимой является отрицательной (обратной).

В таблице 8.3в. представлены результаты вывода остатков . Для того чтобы эти результаты появились в отчете, необходимо при запуске инструмента «Регрессия» активировать чекбокс «Остатки».

Таблица 8.3в. Остатки

Наблюдение	Предсказанное Y	Остатки	Стандартные остатки
1	9,610909091	-0,610909091	-1,528044662
2	7,305454545	-0,305454545	-0,764022331
3	11,91636364	0,083636364	0,209196591
4	14,22181818	0,778181818	1,946437843
5	16,52727273	0,472727273	1,182415512
6	18,83272727	0,167272727	0,418393181
7	21,13818182	-0,138181818	-0,34562915
8	23,44363636	-0,043636364	-0,109146047
9	25,74909091	-0,149090909	-0,372915662
10	28,05454545	-0,254545455	-0,636685276

При помощи этой части отчета мы можем видеть отклонения каждой точки от построенной линии регрессии. Наибольшее абсолютное значение остатка в нашем случае — 0,778, наименьшее — 0,043. Для лучшей интерпретации этих данных воспользуемся графиком исходных данных и построенной линией регрессии, представленными на рис. 8.3. Как видим, линия регрессии достаточно точно «подогнана» под значения исходных данных.

Следует учитывать, что рассматриваемый пример является достаточно простым и далеко не всегда возможно качественное построение регрессионной прямой линейного вида.

Осталась нерассмотренной задача оценки неизвестных будущих значений зависимой переменной на основании известных значений независимой переменной, т.е. задача прогнозирования.

Имея уравнение регрессии, задача прогнозирования сводится к решению уравнения Y= x*2,305454545+2,694545455 с известными значениями x. Результаты прогнозирования зависимой переменной Y на шесть шагов вперед представлены в таблице 8.4.

Таблица 8.4. Результаты прогнозирования переменной Y

x	Y(прогнозируемое)
11	28,05455
12	30,36
13	32,66545
14	34,97091
15	37,27636
16	39,58182

Таким образом, в результате использования регрессионного анализа в пакете Microsoft Excel мы:

• построили уравнение регрессии;
• установили форму зависимости и направление связи между переменными — положительная линейная регрессия, которая выражается в равномерном росте функции;
• установили направление связи между переменными;
• оценили качество полученной регрессионной прямой;
• смогли увидеть отклонения расчетных данных от данных исходного набора;
• предсказали будущие значения зависимой переменной.

Если функция регрессии определена, интерпретирована и обоснована, и оценка точности регрессионного анализа соответствует требованиям, можно считать, что построенная модель и прогнозные значения обладают достаточной надежностью.

Прогнозные значения, полученные таким способом, являются средними значениями, которые можно ожидать.

Выводы

В этой части лекции мы рассмотрели основные характеристики описательной статистики и среди них такие понятия, как среднее значение , медиана , максимум , минимум и другие характеристики вариации данных. Также было кратко рассмотрено понятие выбросов . Рассмотренные в лекции характеристики относятся к так называемому исследовательскому анализу данных, его выводы могут относиться не к генеральной совокупности, а лишь к выборке данных. Исследовательский анализ данных используется для получения первичных выводов и формирования гипотез относительно генеральной совокупности. Также были рассмотрены основы корреляционного и регрессионного анализа, их задачи и возможности практического использования.

Источник