Основы регрессионного анализа. 2

 
Реферат 
Основы регрессионного анализа  

Содержание

ВВЕДЕНИЕ

Для решения задач экономического анализа и прогнозирования очень часто используются статистические, отчетные или наблюдаемые данные. При этом полагают, что эти данные являются значениями случайной величины. Случайной величиной называется переменная величина, которая в зависимости от случая принимает различные значения с некоторой вероятностью. Закон распределения случайной величины показывает частоту ее тех или иных значений в общей их совокупности.

При исследовании взаимосвязей между экономическими показателями на основе статистических данных часто между ними наблюдается стохастическая зависимость. Она проявляется в том, что изменение закона распределения одной случайной величины происходит под влиянием изменения другой. Взаимосвязь между величинами может быть полной (функциональной) и неполной (искаженной другими факторами).

Пример  функциональной зависимости выпуск продукции и ее потребление в условиях дефицита.

Неполная  зависимость наблюдается, например, между стажем рабочих и их производительностью  труда. Обычно рабочие с большим  стажем трудятся лучше молодых, но под влиянием дополнительных факторов образование, здоровье и т.д. эта зависимость может быть искажена.

Раздел  математической статистики, посвященный  изучению взаимосвязей между случайными величинами, называется корреляционным анализом (от лат. correlatio соотношение, соответствие).

Основная задача корреляционного  анализа это установление характера и тесноты связи между результативными (зависимыми) и факторными (независимыми) (признаками) в данном явлении или процессе. Корреляционную связь можно обнаружить только при массовом сопоставлении фактов. Характер связи между показателями определяется по корреляционному полю. Если у зависимый признак, а х независимый, то, отметив каждый случай х (i) с координатами х и yi, получим корреляционное поле.

Теснота связи определяется с помощью коэффициента корреляции, который рассчитывается специальным образом и лежит в интервалах отминус единицы до плюс единицы.

Если  значение коэффициента корреляции лежит  в интервале от 1 до 0,9 по модулю, то отмечается очень сильная корреляционная зависимость. В случае если значение коэффициента корреляции лежит в интервале от 0,9 до 0,6, то говорят, что имеет место слабая корреляционная зависимость. Наконец, если значение коэффициента корреляции находится в интервале от – 0,6 до 0,6, то говорят об очень слабой корреляционной зависимости или полном ее отсутствии.

Таким образом, корреляционный анализ применяется  для нахождения характера и тесноты связи между случайными величинами. Не все факторы, влияющие на экономические процессы, являются случайными величинами. Поэтому при анализе экономических явлений обычно рассматриваются связи между случайными и неслучайными величинами. Такие связи называются регрессионными, а метод  математической статистики, их изучающий, называется регрессионным анализом. Рассмотрим, что представляет собой эта значимость. Обозначим  коэффициент детерминации, полученный при исключении из правой части уравнения переменной. При этом мы получим уменьшение объясненной дисперсии, на величину. Для оценки значимости включения переменной используется статистика, имеющая распределение Фишера при нулевом теоретическом приросте. Вообще, если из уравнения регрессии исключаются переменных, статистикой значимости исключения будет. Пошаговая процедура построения модели. Основным критерием отбора аргументов должно быть качественное представление о факторах, влияющих на зависимую переменную, которую мы пытаемся смоделировать. Очень хорошо реализован процесс построения регрессионной модели: на машину переложена значительная доля трудностей в решении этой задачи. Возможно построение последовательное построение модели добавлением и удалением блоков переменных.

1. Понятия и принципы регрессионного анализа

Целью регрессионного анализа является измерение связи между зависимой переменной и одной (парный регрессионный анализ) или несколькими (множественный) независимыми переменными. Независимые переменные называют также факторными, объясняющими, определяющими, регрессорами и предикторами. Зависимую переменную иногда называют определяемой, объясняемой, «откликом». Чрезвычайно широкое распространение регрессионного анализа в эмпирических исследованиях связано не только с тем, что это удобный инструмент тестирования гипотез. Регрессия, особенно множественная, является эффективным методом моделирования и прогнозирования.

Объяснение принципов работы с регрессионным анализом начнем с более простого — парного метода.

Парный регрессионный анализ

Первые действия при использовании регрессионного анализа будут практически идентичны предпринятым нами в рамках вычисления коэффициента корреляции. Три основных условия эффективности корреляционного анализа по методу Пирсона — нормальное распределение переменных, интервальное измерение переменных, линейная связь между переменными — актуальны и для множественной регрессии. Соответственно, на первом этапе строятся диаграммы рассеяния, проводится статистически-описательный анализ переменных и вычисляется линия регрессии. Как и в рамках корреляционного анализа, линии регрессии строятся методом наименьших квадратов.

Принципиальная идея регрессионного анализа состоит в том, что, имея общую тенденцию для переменных — в виде линии регрессии, — можно предсказать значение зависимой переменной, имея значения независимой.

Разность между исходным и предсказанным значениями называется остатком (с этим термином — принципиальным для статистики — мы уже сталкивались при анализе таблиц сопряженности).

Анализ соотношения исходных и предсказанных значений служит для оценки качества полученной модели, ее прогностической способности. Одним из главных показателей регрессионной статистики является множественный коэффициент корреляции К — коэффициент корреляции между исходными и предсказанными значениями зависимой переменной. В парном регрессионном анализе он равен обычному коэффициенту корреляции Пирсона между зависимой и независимой переменной. Чтобы содержательно интерпретировать множественный В, его необходимо преобразовать в коэффициент детерминации. Это делается так же, как и в корреляционном анализе — возведением в квадрат. Коэффициент детерминации Я-квадрат (К) показывает долю вариации зависимой переменной, объясняемую независимой (независимыми) переменными.

Чем больше величина коэффициента детерминации, тем выше качество модели.

Другим показателем качества модели является стандартная ошибка оценки. Это показатель того, насколько сильно точки «разбросаны» вокруг линии регрессии. Мерой разброса для интервальных переменных является стандартное отклонение. Соответственно, стандартная ошибка оценки — это стандартное отклонение распределения остатков. Чем выше ее значение, тем сильнее разброс и тем хуже модель.

Регрессионная статистика включает в себя также дисперсионный анализ. С его помощью мы выясняем: 1) какая доля вариации (дисперсии) зависимой переменной объясняется независимой переменной; 2) какая доля дисперсии зависимой переменной приходится на остатки (необъясненная часть); 3) каково отношение этих двух величин (/А-отношение). Дисперсионная статистика особенно важна для выборочных исследований — она показывает, насколько вероятно наличие связи между независимой и зависимой переменными в генеральной совокупности. Однако и для сплошных исследований (как в нашем примере) изучение результатов дисперсионного анализа небесполезно. В этом случае проверяют, не вызвана ли выявленная статистическая закономерность стечением случайных обстоятельств, насколько она характерна для того комплекса условий, в которых находится обследуемая совокупность, т. е. устанавливается не истинность полученного результата для какой-то более обширной генеральной совокупности, а степень его закономерности, свободы от случайных воздействий.

Если независимых переменных больше двух, мы не имеем возможности получить визуальное представление об их связи, в этом плане множественная регрессия менее «наглядна», нежели парная. При наличии двух независимых переменных данные бывает полезно отобразить на трехмерной диаграмме рассеяния. В профессиональных статистических пакетах программ (например, 81аИ8Иса) существует опция вращения трехмерной диаграммы, позволяющая хорошо визуально представить структуру данных.

При работе с множественной регрессией, в отличие от парной, необходимо определять алгоритм анализа. Стандартный алгоритм включает в итоговую регрессионную модель все имеющиеся предикторы. Пошаговый алгоритм предполагает последовательное включение (исключение) независимых переменных, исходя из их объяснительного «веса». Пошаговый метод хорош, когда имеется много независимых переменных; он «очищает» модель от откровенно слабых предикторов, делая ее более компактной и лаконичной.

Дополнительным условием корректности множественной регрессии (наряду с интервальностью, нормальностью и линейностью) является отсутствие мультиколлинеарности — наличия сильных корреляционных связей между независимыми переменными.

Интерпретация статистики множественной регрессии включает в себя все элементы, рассмотренные нами для случая парной регрессии. Кроме того, в статистике множественного регрессионного анализа есть и другие важные составляющие.

Работу с множественной регрессией мы проиллюстрируем на примере тестирования гипотез, объясняющих различия в уровне электоральной активности по регионам России. В ходе конкретных эмпирических исследований были высказаны предположения, что на уровень явки избирателей влияют:

• национальный фактор (переменная «русское население»; опера-ционализирована как доля русского населения в субъектах РФ). Предполагается, что увеличение доли русского населения ведет к снижению активности избирателей;

• фактор урбанизации (переменная «городское население»; опера-ционализирована как доля городского населения в субъектах РФ, с этим фактором мы уже работали в рамках корреляционного анализа). Предполагается, что увеличение доли городского населения также ведет к снижению активности избирателей.

Дополнительная полезная статистика в анализе соотношения исходных и предсказанных значений зависимой переменной — расстояние Махаланобиса и расстояние Кука. Первое — мера уникальности случая (показывает, насколько сочетание значений всех независимых переменных для данного случая отклоняется от среднего значения по всем независимым переменным одновременно). Второе — мера влиятельности случая. Разные наблюдения по-разному влияют на наклон линии регрессии, и с помощью расстояния Кука можно сопоставлять их по этому показателю. Это бывает полезно при чистке выбросов (выброс можно представить как чрезмерно влиятельный случай).

Регрессионный анализ своей целью имеет вывод, определение (идентификацию) уравнения регрессии, включая статистическую оценку его параметров. Уравнение регрессии позволяет найти значение зависимой переменной, если величина независимой i или независимых переменных известна. Практически, речь идет о том, чтобы, анализируя множество точек на графике (т.е. множество статистических данных), найти линию, по возможности точно отражающую заключенную в этом множестве закономерность (тренд, тенденцию), линию регрессии.

  По  числу факторов  различают одно-, двух- и многофакторные  уравнения  регрессии.

     По  характеру  связи однофакторные  уравнения регрессии подразделяются на:

• линейные
• степенные
• показательные

Линейные взаимосвязи могут быть положительными или отрицательными. Если вы обнаружили, что количество поисково-спасательных операций увеличивается при возрастании среднесуточной температуры, такое отношение является положительным; имеется положительная корреляция. Другой способ описать эту положительную взаимосвязь - сказать, что количество поисково-спасательных операций уменьшается при уменьшении среднесуточной температуры. Соответственно, если вы установили, что число преступлений уменьшается при увеличении числа полицейских патрулей, данное отношение является отрицательным. Также, можно выразить это отрицательное отношение, сказав, что количество преступлений увеличивается при уменьшении количества патрулей. На рисунке ниже показаны положительные и отрицательные отношения, а также случаи, когда две переменные не связаны отношениями:

Корреляционные анализы, и связанные с ними графики, отображенные выше, показывают силу взаимосвязи между двумя переменными. С другой стороны, регрессионные анализы дают больше информации: они пытаются продемонстрировать степень, с которой 1 или более переменных потенциально вызывают положительные или негативные изменения в другой переменной.

Создание регрессионной модели представляет собой итерационный процесс, направленный на поиск эффективных независимых переменных, чтобы объяснить зависимые переменные, которые вы пытаетесь смоделировать или понять, запуская инструмент регрессии, чтобы определить, какие величины являются эффективными предсказателями. Затем пошаговое удаление и/или добавление переменных до тех пор, пока вы не найдете наилучшим образом подходящую регрессионную модель. Т.к. процесс создания модели часто исследовательский, он никогда не должен становиться простым «подгоном» данных. Он должен учитывать теоретические аспекты, мнение экспертов в этой области и здравый смысл. Вы должным быть способны определить ожидаемую взаимосвязь между каждой потенциальной независимой переменной и зависимой величиной до непосредственного анализа, и должны задать себе дополнительные вопросы, когда эти связи не совпадают.

2. Пространственные отношения

Регрессионный анализ позволяет моделировать, проверять и исследовать пространственные отношения и помогает объяснить факторы, стоящие за наблюдаемыми пространственными структурными закономерностями. Вы также можете захотеть понять, почему люди постоянно умирают молодыми в некоторых регионах страны, и какие факторы особенно влияют на особенно высокий уровень диабета. При моделирование пространственных отношений, однако, регрессионный анализ также может быть пригоден для прогнозирования. Моделирование факторов, которые влияют на долю выпускников колледжей, на пример, позволяют вам сделать прогноз о потенциальной рабочей силе и их навыках. Вы также можете использовать регрессионный анализ для прогнозирования осадков или качества воздуха в случаях, где интерполяция невозможна из-за малого количества станций наблюдения (к примеру, часто отсутствую измерительные приборы вдоль горных хребтов и в долинах).

2.1 Пространственная регрессия

Регрессия МНК (OLS) — это простой метод анализа с хорошо проработанной теорией, предоставляющий эффективные возможности диагностики, которые помогут вам интерпретировать результаты и устранять неполадки. Это также подходящая отправная точка для всех способов пространственного регрессионного анализа. Данный метод позволяет построить глобальную модель переменной или процесса, которые вы хотите изучить или спрогнозировать (уровень смертности/осадки). Он создает уравнение регрессии, отражающее происходящий процесс. Географически взвешенная регрессия (ГВР) - один из нескольких методов пространственного регрессионного анализа, все чаще использующегося в географии и других дисциплинах. Метод ГВР (географически взвешенная регрессия) создает локальную модель переменной или процесса, которые вы прогнозируете или изучаете, применяя уравнение регрессии к каждому пространственному объекту в наборе данных. При подходящем использовании, эти методы являются мощным и надежным статистическим средством для проверки и оценки линейных взаимосвязей.

Для пространственных данных характерно 2 свойства, которые затрудняют (не делают невозможным) применение традиционных (непространственных) методов, таких как МНК:

• Географические объекты довольно часто пространственно автокоррелированы. Это означает, что объекты, расположенные ближе друг к другу более похожи между собой, чем удаленные объекты. Это создает переоцененный тип систематических ошибок для традиционных моделей регрессии.

• География важна, и часто наиболее важные процессы нестационарны. Эти процессы протекают по-разному в разных частях области изучения. Эта характеристика пространственных данных может относиться как к региональным вариациям, так и к нестационарности.

Настоящие методы пространственной регрессии были разработаны, чтобы устойчиво справляться с этими двумя характеристиками пространственных данных и даже использовать эти свойства пространственных данных, чтобы улучшать моделирование взаимосвязей. Некоторые методы пространственной регрессии эффективно имеют дело с 1 характеристикой (пространственная автокорреляция), другие - со второй (нестационарность). В настоящее время, нет методов пространственной регрессии, которые эффективны с обеими характеристиками. Для правильно настроенной модели ГВР пространственная автокорреляция обычно не является проблемой.

2.2 Региональные вариации

Глобальные модели, подобные МНК, создают уравнения, наилучшим образом описывающие общие связи в данных в пределах изучаемой территории. Когда те взаимосвязи противоречивы в пределах территории изучения, МНК хорошо моделирует эти взаимосвязи. Когда те взаимосвязи ведут себя по-разному в разных частях области изучения, регрессионное уравнение представляет средние результаты, и в случае, когда те взаимосвязи представляют 2 экстремальных значения, глобальное среднее не моделирует хорошо эти значения. Когда ваши независимые переменные испытывают нестационарность (региональные вариации), глобальные модели не подходят, а необходимо использовать устойчивые методы регрессионного анализа. Идеально, вы сможете определить полный набор независимых переменных, чтобы справиться с региональными вариациями в ваших зависимых переменных. Если вы не сможете определить все пространственные переменные, вы снова заметите статистически значимую пространственную автокорреляцию в ваших отклонениях и/или более низкие, чем ожидалось, значения R-квадрат. К сожалению, вы не можете доверять результатам регрессии, пока все не устранено.

Существует как минимум 4 способа работы с региональными вариациями в МНК регрессионных моделях:

1. Включить переменную в модель, которая объяснит региональные вариации. Если вы видите, что ваша модель всегда "перепредсказывает" на севере и "недопредсказывает" на юге, добавьте набор региональных значений:1 для северных объектов, и 0 для южных объектов.

2. Используйте методы, которые включают региональные вариации в регрессионную модель, такие как географически взвешенная регрессия.

3. Примите во внимание устойчивые стандартные отклонения регрессии и вероятности, чтобы определить, являются ли коэффициенты статистически значимыми. Изменить/сократить размер области изучения так, чтобы процессы в пределах новой области изучения были стационарными (не испытывали региональные вариации).

2.3 Пространственная автокорреляция

Существует большая разница в том, как традиционные и пространственные статистические методы смотрят на пространственную автокорреляцию. Традиционные статистические методы видят ее как плохую вещь, которая должна быть устранена, т.к. пространственная автокорреляция ухудшает предположения многих традиционных статистических методов. Для географа или ГИС-аналитика, однако, пространственная автокорреляция является доказательством важности пространственных процессов; это интегральная компонента данных. Удаляя пространство, мы удаляем пространственный контекст данных; это как только половина истории. Пространственные процессы и доказательство пространственных взаимосвязей в данных представляют собой особый интерес, и поэтому пользователи ГИС с радостью используют инструменты пространственного анализа данных. Однако, чтобы избежать переоцененный тип систематических ошибок в вашей модели, вы должны определить полный набор независимых переменных, которые эффективно опишут структуру ваших данных. Если вы не можете определить все эти переменные, скорее всего, вы увидите существенную пространственную автокорреляцию среди отклонений модели. К сожалению, вы не можете доверять результатам регрессии, пока все не устранено. Используйте инструмент Пространственная автокорреляция, чтобы выполнить тест на статистически значимую пространственную автокорреляцию для отклонений в вашей регрессии.

Как минимум существует 3 направления, как поступать с пространственной автокорреляцией в невязках регрессионных моделей.

• Изменять размер выборки до тех пор, пока не удастся устранить статистически значимую пространственную автокорреляцию. Это не гарантирует, что в анализе будет полностью устранена проблема пространственной автокорреляции, но она значительно меньше, когда пространственная автокорреляция удалена из зависимых и независимых переменных. Это традиционный статистический подход к устранению пространственной автокорреляции и только подходит, если пространственная автокорреляция является результатом избыточности данных.
• Изолируйте пространственные и непространственные компоненты каждой входящей величины, используя методы фильтрации в пространственной регрессии. Пространство удалено из каждой величины, но затем его возвращают обратно в регрессионную модель в качестве новой переменной, отвечающей за пространственные эффекты/пространственную структуру. ArcGIS в настоящее время не предоставляет возможности проведения подобного рода анализа.
• Внедрите пространственную автокорреляцию в регрессионную модель, используя пространственные эконометрические регрессионные модели. Пространственные эконометрические регрессионные модели будут добавлены в ArcGIS в следующем релизе.

Однако, МНК надежен и эффективен, если ваши данные и регрессионная модель удовлетворяют всем предположениям, требуемым для этого метода (смотри таблицу внизу). Пространственные данные часто нарушают предположения и требования МНК, поэтому важно использовать инструменты регрессии в союзе с подходящими инструментами диагностики, которые позволяют оценить, является ли регрессия подходящим методом для вашего анализа, а приведенная структура данных и модель может быть применена.

3. Этапы создания регрессионной модели

Регрессионный анализ используется для понимания, моделирования, прогнозирования и объяснения сложных явлений. Он помогает ответить на такие вопросы, как "Почему в США есть города, в которых оценки по тестам намного больше средних по стране?" и "Почему существуют области в городе с высоким уровнем грабежей домов?" Вы можете использовать регрессионный анализ, например, для объяснения ожирения среди детей с помощью набора связанных переменных, таких как доход, образование и доступность здоровой пищи.

Обычно регрессионный анализ позволяет ответить на эти вопросы и принять соответствующие меры. Если, например вы обнаружите, что степень ожирения среди детей меньше в школах, в которых на обед подаются свежие фрукты и овощи, вы сможете использовать эту информацию для принятия решений о программах питания в школах. Аналогично, если знать переменные, описывающие высокий уровень преступлений, можно прогнозировать будущие преступления и более эффективно выделять ресурсы для их предотвращения.

Однако, не всегда получается легко найти набор независимых переменных, с помощью которых можно ответить на ваши вопросы или объяснить сложное явление, которое вы пытаетесь смоделировать. Ожирение среди детей, уровень преступности, школьные оценки и почти все, что вы захотите смоделировать с помощью регрессионного анализа — это все очень сложные явления, которые редко дают простые ответы.

При запуске инструмента регрессии по методу наименьших квадратов вы получаете набор средств диагностики, позволяющих узнать, правильно ли вы настроили модель, которой можно доверять. Ниже описываются шесть проверок, которые необходимо пройти, чтобы быть уверенным в своей модели. Эти проверки и методы, которые можно использовать для решения распространенных задач регрессионного анализа — это ресурсы, которые действительно могут значительно облегчить вашу работу.

Приступая к работе

Выбор переменной, которую требуется изучить, спрогнозировать или смоделировать — это ваша первая задача. Эту переменную называют зависимой переменной. Ожирение среди детей, уровень преступности, школьные оценки — это зависимые переменные, моделируемые в примерах, приведенных ранее.

Затем необходимо решить, какие факторы могут объяснить вашу зависимую переменную. Такие переменные называют независимыми. В примере с ожирением среди детей независимыми переменными могут быть доход, образование и доступность здоровой пищи. Вам нужно провести собственные исследования, чтобы определить все существенные независимые переменные.

После выбора зависимых и независимых переменных вы можете приступать к анализу. Всегда начинайте анализ с использования инструмента Наименьшие квадраты (OrdinaryLeastSquares) или Исследовательская регрессия (ExploratoryRegression), так как они выполняют важные диагностические проверки и позволяют понять, нашли ли вы полезную модель или вам нужно еще потрудиться.

Инструмент OLS создает несколько выходных объектов, в том числе карту невязок регрессии и итоговый отчет. На карте невязок регрессии отображаются недооценки и переоценки вашей модели. Анализ этой карты — важный шаг при поиске хорошей модели. Итоговый отчет, в основном, числовой и содержит данные обо всех диагностических методах, используемых при прохождении шести проверок, описанных далее.

Шесть проверок

Проверка 1. Помогают ли эти независимые переменные моей модели?

Изучив теорию и существующие исследования, вы получите набор потенциальных независимых переменных. Для каждой переменной могут существовать понятные причины для включения в модель. Но после запуска модели вы обнаружите, что некоторые независимые переменные являются статистически значимыми, а другие — нет.

Как узнать, какие независимые переменные являются статистически значимыми? Инструмент OLS вычисляет коэффициент для каждой независимой переменной в модели и выполняет статистический тест, чтобы определить, помогает ли эта переменная модели или нет. Статистический тест вычисляет вероятность того, что значение коэффициента фактически равно нулю. Если коэффициент равен нулю (или очень близок к нему), связанная независимая переменная не помогает вашей модели. Если, с другой стороны, статистический тест возвращает малую вероятность (p-значение) для определенной независимой переменной, это указывает, что коэффициент вряд ли будет равен нулю (вероятность этого мала). Если вероятность меньше 0,05, звездочка рядом с вероятностью в отчете OLS указывает, что связанная независимая переменная важна для вашей модели (другими словами, ее коэффициент статистически значим с уровнем уверенности 95%). Итак, вы ищете независимые переменные, связанные со статистически значимыми вероятностями (ищите переменные со звездочками).

Инструмент OLS вычисляет вероятность и устойчивую вероятность для каждой независимой переменной. При обработке пространственных данных отношения, моделируемые в области изучения, часто изменяются. Эти отношения называют нестационарными. При наличии нестационарых отношений можно доверять только устойчивым вероятностям при оценке статистической значимости независимой переменной.

Как узнать, являются ли отношения в вашей модели нестационарными? В итоговый отчет OLS включен еще один статистический тест, статистика Кенкера (стьюдентизированнаяКенкером статистика Бреуша-Пагана). Звездочка рядом с p-значением Кенкера указывает на то, что моделируемые отношения содержат статистически значимую нестационарность, поэтому следует принять во внимание устойчивые вероятности.

Обычно независимые переменные удаляются из модели, если не являются статистически значимыми. Однако, если теория говорит, что переменная очень важна, или определенная переменная является стержнем для вашего анализа, вы можете сохранить ее, даже если она статистически не значима.

В процессе поиска правильной модели OLS вы, скорее всего, опробуете различные независимые переменные. Помните, что коэффициенты независимых переменных (и их статистическая значимость) могут радикально изменяться в зависимости от переменных, включенных в модель.

Проверка 2. Соответствуют ли отношения ожиданиям?

Важно не только определить, помогает ли независимая переменная вашей модели, но и также проверить знак (+/-), связанный с каждым коэффициентом, чтобы отношения соответствовали вашим ожиданиям. Знак коэффициента независимой переменной определяет, являются ли отношения положительными или отрицательными. Предположим, вы моделируете уровень преступности, и одна из независимых переменных — это средний доход в районе. Если коэффициент переменной дохода отрицательный, это значит, что уровень преступности уменьшается при увеличении дохода в районе (отрицательные отношения). Если вы моделируете ожирение среди детей и у переменной доступности фастфуда положительный коэффициент, это означает, что степень ожирения увеличивается при повышенном доступе к фастфуду (положительные отношения).

При создании списка потенциальных независимых переменных необходимо для каждой из них включить ожидаемые отношения (положительные или отрицательные). Следует также не доверять моделям с отношениями, не соответствующими теории и/или здравому смыслу. Предположим, вы создаете модель для прогнозирования частоты лесных пожаров, а ваша модель регрессии вернула положительный коэффициент для переменной осадков. Вероятно, не следует ждать увеличения числа лесных пожаров с большим количеством дождей.