Анализ таблиц сопряженности

Физико-математический факультет

КУРСОВАЯ РАБОТА

по дисциплине: «Методы прикладной статистики для социологов»

на тему:

«Анализ таблиц сопряженности»

2014

Оглавление

ВВЕДЕНИЕ

Способы обработки числовой информации изучены достаточно хорошо и известны практически всем исследователям, в то же время проблеме обработки данных, имеющих нечисловую, а качественную природу, уделяется достаточно мало внимания. Это является первым моментом актуальности работы. Следующий фактор, отражающий актуальность, состоит в том, что основная задача исследователя, занимающегося обработкой данных, сводится к выявлению закономерностей из случайностей, а выявление закономерности, то есть связи между переменными, и последующей оценки ее силы является актуальной задачей прикладной статистики.

При обработке качественной информации особую роль играют категоризированные переменные, то есть те, которые могут принимать только два значения. Для таких переменных существует достаточно много способов выявления связи с помощью аппарата таблиц сопряженности как средства представления совместного распределения двух переменных, предназначенного для исследования связи между ними, но, к сожалению, среди них нет универсального. В связи с этим в зависимости от значений частот приходится использовать тот или иной критерий проверки связи, то есть существует проблема анализа всех способов выявления связи между категориальными переменными и модификации некоторых из них.

Объектом исследования выступает таблица сопряженности как наиболее универсальное средство изучения статистических связей, так как в ней могут быть представлены переменные с любым уровнем измерения, как абсолютные, так и относительные частоты (в долях или процентах). Таблицы сопряженности позволяют измерить связи между кросстабулированными переменными. Относительные частоты могут рассчитываться по отношению к маргинальной частоте по строке, к маргинальной частоте по столбцу, к объему выборки.

Предметом исследования является анализ таблиц сопряжённости. Основным средством анализа выступает логарифмически-линейная модель. Если учтены все важные признаки, то естественно предположить, что частота в некоторой ячейке пропорциональна произведению частот самих признаков, образующих эту ячейку. Тогда получится модель, линейная относительно логарифма частоты. Именно такой подход позволяет использовать аналитические данные для проверки гипотезы о наличии связи между двумя признаками, а также для измерения тесноты связи.

Полученные результаты могут иметь компьютерную и аналитическую реализацию, когда особое внимание уделяется процессу обработки информации через практическое внедрение кросстабуляции и аппарата таблиц сопряженности.

Целью работы является выяснение возможностей аппарата таблиц сопряженности для выявления связи между качественными переменными.

Поставленная цель определяет необходимость решения следующих задач.

1. Провести анализ некоторых способов выявления связей между качественными переменными.
2. Исследовать условия зависимости и независимости категориальных переменных в таблице сопряженности.
3. Проверить согласованность классических способов выявления и оценки силы связи между категориальными переменными.

Для решения поставленных задач в работе использовались аналитические методы исследования прикладной статистики, статистики объектов нечисловой природы, описательный метод.

В результате выявлены теоретические и практические особенности использования известных способов установления связи между качественными переменными. Определены ограничения на значения частот таблиц сопряженности для эффективного применения различных критериев выявления и оценки силы связи между качественными переменными.

Работа состоит из введения, трех глав, заключения, списка использованных источников.

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, приводятся методы исследований и заявлены результаты работы.

Глава первая носит теоретико-аналитический характер. В ней приведен обзор классических способов социологического исследования, статистических наблюдений, выявления и оценки связей между категоризированными переменными в таблицах сопряженности.

Во второй главе дается общее понятие кросс табуляции и особенностей ее применений в различных областях человеческого знания, в том числе и в области социологии. При этом особое внимание уделяется применению аппарата таблиц сопряженности как достаточно наглядного и универсального инструмента выявления зависимости между качественными переменными. Рассматриваются особенности использования различных критериев проверки связи между категоризованными переменными.

Далее представлены современные методы анализа тесноты взаимосвязи между качественными переменными. Представлен поиск закономерностей для качественных данных через применение критериев проверки и оценки силы связи, в основе которых лежит метод хи-квадрат.

Практическая часть представлена примерами использования таблиц сопряженности для статистического социологического анализа.

Заключение содержит выводы по теме работы.

Список использованных источников представлен перечнем трудов по теме исследования и смежным темам.

Глава 1. Место таблиц сопряженности в структуре социологического исследования

 Развитие социологии обязательно предполагает развитие эмпирических исследований, обогащающих теорию и позволяющих разрабатывать механизмы регулирования социальных процессов.

Социологические исследования обеспечивают обратную связь, дополняя статистическую информацию конкретными данными об интересах и запросах, мнениях и настроениях людей, о жизненных планах, уровне и качестве жизни, ценностных установках. Особенность такого развития обусловлена тем, что статистические методы и построенный на их основе анализ данных в социологии и их реализация на компьютерных моделях является мощным средством для решения прикладных. Анализ и обобщение результатов социологического исследования позволяют предсказать возможные варианты развития социальных процессов и явлений.

Частотные таблицы являются основным способом представления статистических данных. Они используются (рассчитываются и анализируются) практически в любом эмпирическом исследовании. Это не случайно. Средства изучения статистических закономерностей (а именно такие закономерности и пытается найти социолог на основе изучения частотных таблиц), предлагаемые современной наукой, так или иначе базируются на положениях математической статистики, объектом изучения которой служат случайные величины, предметом - параметры их распределений. Все те закономерности, которые мы можем найти с помощью математической статистики, по существу фигурируют в виде наборов параметров распределений случайных величин. Частотные же таблицы являются, строго говоря, выборочными представлениями одномерных и многомерных случайных величин (в выборочных исследованиях вместо термина «случайная величина» используется термин «признак» или его синонимы - «величина», «характеристика», «переменная»). Таким образом, опора на анализ частотных таблиц, к чему побуждает социолога здравый смысл, в действительности оправдывается тем серьезным изучением понятия статистической закономерности, которое осуществлялось в течение нескольких столетий в рамках математической статистики.

Важность анализа частотных таблиц давно осознана учеными. В настоящее время имеется большое количество методов соответствующего плана. К сожалению, далеко не все из них активно задействованы в нашей социологии (парадоксальным выглядит то обстоятельство, что среди весьма слабо используемых в широкой отечественной практике методов есть и очень интересные алгоритмы, разработанные советскими и российскими исследователями).

1. Особенности статистического исследования

Статистика имеет дело, прежде всего с количественной стороной явлений и процессов общественной жизни. Одной из характерных особенностей статистики является то, что при изучении количественной стороны общественных явлений и процессов она всегда отображает качественные особенности исследуемых явлений, т.е. изучает количество в неразрывной связи, единстве с качеством.

Свой предмет статистика изучает при помощи определённых категорий, т.е. понятий, которые отражают наиболее общие и существенные свойства, признаки, связи и отношения предметов и явлений объективного мира.

Особенностью статистического исследования является то, что в нём изучаются только варьирующие признаки, т.е. признаки, принимающие различные значения (для атрибутивных, альтернативных признаков) или имеющие различные количественные уровни у отдельных единиц совокупности.

Основными свойствами статистической информации являются ее массовость и стабильность. Первая черта связана с особенностями предмета исследования статистики как науки, а вторая связана с тем, что однажды собранная информация остается неизменной и, следовательно, имеет способность устаревать. Поэтому и выводы о состоянии и развитии явления, сделанные на основе анализа информации, полученной несколько лет назад, могут быть неполными и даже неверными.

1.2. Краткая история статистических методов. 

Типовые примеры раннего этапа применения статистических методов описаны в Ветхом Завете (см., например, Книгу Чисел). Там, в частности, приводится число воинов в различных племенах. С математической точки зрения дело сводилось к подсчету числа попаданий значений наблюдаемых признаков в определенные градации.

Сразу после возникновения теории вероятностей (Паскаль, Ферма, 17 век) вероятностные модели стали использоваться при обработке статистических данных. Например, изучалась частота рождения мальчиков и девочек, было установлено отличие вероятности рождения мальчика от 0,5, анализировались причины того, что в парижских приютах эта вероятность не та, что в самом Париже, и т.д. Имеется достаточно много публикаций по истории теории вероятностей с описанием раннего этапа развития статистических методов, к лучшим из них относится очерк.

В 1794 г. (по другим данным - в 1795 г.) К.Гаусс разработал метод наименьших квадратов, один из наиболее популярных ныне статистических методов, и применил его при расчете орбиты астероида Церера - для борьбы с ошибками астрономических наблюдений. В Х1Х веке заметный вклад в развитие практической статистики внес бельгиец А.Кетле, на основе анализа большого числа реальных данных показавший устойчивость относительных статистических показателей, таких, как доля самоубийств среди всех смертей. Интересно, что основные идеи статистического приемочного контроля и сертификации продукции обсуждались академиком Петербургской АН М.В.Остроградским (1801-1862) и применялись в российской армии ещё в середине Х1Х веке. Статистические методы управления качеством и сертификации продукции сейчас весьма актуальны.

Современный этап развития статистических методов можно отсчитывать с 1900 г., когда англичанин К. Пирсон основан журнал «Biometrika». Первая треть ХХ в. прошла под знаком параметрической статистики. Разрабатывались методы, основанные на анализе данных из параметрических семейств распределений, описываемых кривыми семейства Пирсона. Наиболее популярным было нормальное (гауссово) распределение. Для проверки гипотез использовались критерии Пирсона1, Стьюдента2, Фишера3. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента.

Разработанную в первой трети ХХ в. теорию анализа данных называем параметрической статистикой, поскольку ее основной объект изучения - это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона4, задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо веских причин, по которым распределение результатов конкретных наблюдений должно входить в то или иное параметрическое семейство. Исключения хорошо известны: если вероятностная модель предусматривает суммирование независимых случайных величин, то сумму естественно описывать нормальным распределением; если же в модели рассматривается произведение таких величин, то итог приближается логарифмически нормальным распределением, и т.д. Однако подобных моделей нет в подавляющем большинстве реальных ситуаций, и приближение реального распределения с помощью кривых из семейства Пирсона или его подсемейств - чисто формальная операция.

Классический подход к анализу взаимосвязи с введением дополнительных, контрольных переменных в социологии и сопредельных дисциплинах получил название метода уточнения. Метод уточнения был детально разработан в 1940—1950-е гг. П. Лазарсфельдом, С. Стауффером, П. Кендалл и их сотрудниками для анализа элементарных таблиц сопряженности и взаимосвязей номинальных признаков. Однако общая логика этого подхода используется и в более сложных техниках статистического анализа, и при изучении количественных данных.

1.3. Статистическое наблюдение как метод статистического исследования и процесс

Статистическое наблюдение выступает как один из главных методов статистики и как одна из важнейших стадий статистического исследования. Важность этого этапа исследования определяется тем, что использование только объективной и достаточно полной информации, полученной в результате статистического наблюдения, на последующих этапах исследования в состоянии обеспечить научно обоснованные выводы о характере и закономерностях развития изучаемого объекта. Статистическое наблюдение от начальной до завершающей стадии-получения итоговых материалов должно быть тщательно продуманным и четко организованным.

Статистические наблюдения в практике статистики осуществляются с помощью двух основных организационных форм: формы отчетности и формы специально организованного наблюдения.

Основными факторами, влияющими на выбор вида, формы и способа статистического наблюдения являются

• цели и задачи наблюдения,
• специфика наблюдаемого объекта,
• срочность представления результатов,
• наличие подготовленных кадров,
• возможность применения технических средств сбора и обработки данных.

Сам процесс проведения статистического наблюдения состоит из пяти последовательных этапов.

Вначале необходима программно-методологическая подготовка проведения наблюдения. На этом этапе определяются цели и объекты наблюдения, признаки, подлежащие регистрации, разрабатываются документы для сбора данных, определяются методы и средства получения данных.

Далее происходит организационная подготовка проведения наблюдения, для которой подразумеваются такие виды работ, как подбор и подготовка кадров; составление календарного плана работ по подготовке и проведению статистического наблюдения, обработка материалов для использования в статистического наблюдении.

Затем необходимо выбрать форму, способ и вид статистического наблюдения. Важнейшим этапом в проведении статистического наблюдения – является сбор данных наблюдения, накапливание статистической информации;

Предпоследним этапом проведения статистического наблюдения является контроль данных статистического наблюдения.

Результаты, полученные в ходе статистического наблюдения, подвергают контролю со стороны их достоверности, полноты и возможности допущенных ошибок или неточностей.

Существуют следующие требования, которым должно отвечать статистическое наблюдение:

1) наблюдаемые явления должны иметь ценность и выражать определенные социально–экономические типы явлений;

2) сбор статистических данных должен обеспечить полноту фактов, которые рассматриваются в изучаемом вопросе;

3) для того чтобы обеспечить достоверность статистических данных, нужно тщательно и всесторонне проверить качество собираемых объектов – это является одной из самых важнейших характеристик статистического наблюдения;

4) для того чтобы создать хорошие условия для получения объективных материалов, необходимо научно организовать статистическое наблюдение.

И, наконец, последним шагом статистического наблюдения является процесс формулирования выводов и предложений по проведению статистического наблюдения.

1.4. Статистические таблицы как средство наглядного и компактного представления цифровой информации

Результаты сводки и группировки материалов статистического наблюдения, как правило, излагаются в виде таблиц. Таблица является наиболее рациональной, наглядной и компактной формой представления статистического материала. Однако не всякая таблица является статистической. Таблица умножения, опросный лист социологического обследования и т.д. могут носить табличную форму, но не являться статистическими таблицами.

Статистическая таблица от других табличных форм отличается тем, что содержит результаты подсчета эмпирических данных; является итогом сводки первоначальной информации.

Таким образом, статистической называется таблица, которая содержит сводную числовую характеристику исследуемой совокупности по одному или нескольким существенным признакам, взаимосвязанным логикой экономического анализа.

Табличная форма представления числовой информации - это такая, при которой число располагается на пересечении четко сформулированного заголовка по вертикальному столбцу, называемому графой, и сформулированного названия по соответствующей горизонтальной полосе - строке.

Таким образом, внешне таблица представляет собой пересечение граф и строк, которые формируют ее остов. Каждое пересечение образует клетку таблицы. Размер таблицы определяется произведением числа строк на число граф.

Статистическая таблица содержит три вида заголовков: общий, верхние и боковые. Общий заголовок отражает содержание всей таблицы (к какому месту и времени она относится), располагается над ее макетом по центру и является внешним заголовком.

Верхние заголовки характеризуют содержание граф, а боковые - строк. Они являются внутренними заготовками.

Остов таблицы, заполненный заголовками, образует ее макет. Если на пересечении граф и строк записать цифры, то получается полная статистическая таблица.

В случае необходимости таблицы могут сопровождаться примечанием, используемым с целью пояснения заголовков, методики расчета некоторых показателей, источников информации и т.д.

По логическому содержанию таблица представляет собой статистическое предложение, основными элементами которого являются подлежащее и сказуемое.

Подлежащим статистической таблицы называется объект, характеризующийся цифрами. Это могут быть отдельные единицы совокупности (фирмы, объединения) в порядке их перечня или сгруппированные по каким-либо признакам. Обычно подлежащее таблицы дается в левой части, в наименовании строк.

Сказуемое статистической таблицы образует система показателей, которые характеризуют объект изучения, т.е. подлежащее таблицы. Сказуемое формирует верхние заголовки и составляет содержание граф с логически последовательным расположением показателей слева направо.

Расположение подлежащего и сказуемого может меняться местами, что зависит от достижения каждым исследователем в отдельности наиболее полного и лучшего способа прочтения и анализа исходной информации об исследуемой совокупности.

 В практике экономико-статистического анализа используются различные виды статистических таблиц, отличающихся различным строением подлежащего и сказуемого, структурой и соотношением признаков, формирующих их.

В зависимости от структуры подлежащего и группировки в нем единиц объекта различают статистические таблицы простые и сложные, а последние, в свою очередь, подразделяются на групповые и комбинационные.

1.4.1. Простая статистическая таблица

В простой таблице в подлежащем дается простой перечень каких-либо объектов или территориальных единиц, т.е. в подлежащей нет группировки единиц совокупности. Простые таблицы бываю монографическими и перечневыми. Монографические таблицы характеризуют не всю совокупность единиц изучаемого объекта, а только одну какую-либо группу из него, выделенную по определенному, заранее сформулированному признаку.

Простыми перечневыми называются таблицы, подлежащее которых содержит перечень единиц изучаемого объекта по различному признаку - видовому, территориальному, временному и т.д.

Простые таблицы содержат лишь описательные сведения. Они не дают возможность выявить социально-экономические типы изучаемых явлений, их структуру, а также взаимосвязи и взаимозависимости между характеризующими их признаками.

Эти задачи более полно решаются с помощью групповых, и особенно комбинационных таблиц.

1.4.2. Групповая статистическая таблица (сложная)

Групповыми называются статистические таблицы, подлежащие которых содержит группировку единиц совокупности по одному количественному или атрибутивному признаку.

Простейшим видом групповых таблиц являются атрибутивные и вариационные ряды распределения. Групповая таблица может быть более сложной, если в сказуемом приводится не только число единиц в каждой группе, но и ряд других важных показателей, количественно и качественно характеризующих группы подлежащего. Такие таблицы часто используются в целях сопоставления обобщающих показателей по группам, что позволяет делать определенные практические выводы.

1.4.3. Комбинационная статистическая таблица (сложная)

Для более полной характеристики сложных социально-экономических явлений бывает недостаточно провести группировку по одному признаку. Изучаемые объекты обычно характеризуются многими свойствами, многими признаками, часто взаимосвязанными. Для того чтобы раскрыть эти связи и полнее охарактеризовать типы явлений, прибегают к сложной группировке по двум и более признакам. При статистической сводке материалов сложной группировки применяется комбинационная таблица.

Комбинационными называются статистические таблицы, подлежащее которых содержит группировку единиц совокупности одновременно по двум и более признакам каждая из групп, построенная по одному признаку, разбита в свою очередь на подгруппы по какому-либо другому признаку и т. д.

В сказуемом статистической таблицы, как уже говорилось, приводятся показатели, которые являются характеристикой изучаемого объекта. Эту характеристику можно давать небольшим числом показателей или целой системой показателей.

Статистические таблицы различаются по простой или сложной разработке. При простой разработке сказуемого показатель, определяющий его, не подразделяется на подгруппы, и итоговые значения получаются путем простого суммирования значений по каждому признаку отдельно независимо друг от друга. Сложная разработка сказуемого предполагает в сказуемом комбинацию одного признака с другим

Разработка сказуемого дает больше информации, чем простая разработка. Однако сложная разработка сказуемого может привести к увеличению размерности статистической таблицы, что, в свою очередь, снижает ее наглядность, ухудшает чтение и анализ.

Поэтому исследователь при построении статистических таблиц должен руководствоваться оптимальным соотношением показателей сказуемого и учитывать как положительные, так и отрицательные моменты сложной разработки показателей сказуемого.

Таблица должна быть компактной и содержать только те исходные данные, которые непосредственно отражают исследуемое социально-экономическое явление в статике и динамике и необходимы для познания его сущности.

1.4.5. Матрица

В анализе данных наряду со статистическими таблицами применяются и другие виды таблиц, одним из которых является матрица.

Матрицей называется прямоугольная таблица числовой информации, состоящая из m строк и n столбцов. Таким образом матрица имеет размерность m х n: где а ij - элемент матрицы, стоящий на пересечении i-й строки и j-го столбца.

Различают два вида матриц:

• прямоугольную (размерность от m х п);
• квадратную.

Если число строк строго равно числу столбцов (m = n), то матрица называется квадратной порядка n. Квадратная матрица порядка n называется диагональной (D), если все элементы, стоящие вне главной диагонали (d1, d2, …, dn),равны нулю. Если в диагональной матрице D все di = 1, то матрица называется единичной, при di = 0 - нулевой.

Матрицы и анализ явлений и процессов на их основе составляют базу матричного моделирования и позволяют исследовать взаимосвязи между экономическими объектами.

Таблицы-матрицы широко применяются на практике, например в экономике, в виде балансово-нормативных моделей отражающих соотношение результатов производства, нормативов производственных затрат и т.д. Успешно используют матрицы и в межотраслевом балансе, системе национального счетоводства и т.д.

1.4.6. Таблица сопряженности

Таблицей сопряженности называется таблица, которая содержит сводную числовую характеристику изучаемой совокупности по двум и более атрибутивным (качественным) признакам или комбинации количественных и атрибутивных признаков.

Таблицы сопряженности получили наибольшее распространение при изучении социальных явлений и процессов: общественного мнения, уровня и образа жизни, общественно-политического строя и т.д.

Наиболее простым видом таблиц сопряженности является таблица частот 2x2 (табл. 3.2).

Построение данной таблицы исходит из предположения, что ответы респондентов или анализируемые атрибутивные признаки будут принимать только два значения: А1 и А2, В1 и В2. Внутреннее цифровое наложение таблицы представляют частоты (fij)обладающие одновременно i -м (i = 1, 2) значением одного (А) и j -м (j = 1,2) значением (Вj) другого качественного признака.

Итоговая графа и строка содержат информацию о количественном распределении совокупности соответственно по А и Ватрибутивным признакам.

Для более полного описания и анализа явлений и процессов, характеризуемых атрибутивными признаками, используютсятаблицы сопряженности большей размерности:

где i = 1,2,..., k - число вариантов значений (например, ответов респондентов и т.д.) одного признака (например, признака А), 
j =1,2,…, n - число вариантов значений другого признака (В) (см. табл. 3.2).

Принцип взаимной сопряженности наиболее эффективен при выявлении и оценке взаимосвязей и взаимозависимостей между социальными явлениями и процессами.

Таким образом, групповая статистическая таблица содержит группировку единиц совокупности по одному - количественному или атрибутивному – признаку, комбинационная статистическая таблица содержит группировку единиц совокупности одновременно по двум и более признакам. Матрица — прямоугольная таблица числовой информации, состоящая из m строк и n столбцов. Простая таблица - таблица, в подлежащем которой дается простой перечень объектов или территориальных единиц. Статистическая таблица – это способ рационального изложения и обобщения данных о социально-экономических явлениях при помощи цифр, расположенных в определенном порядке. Таблица сопряженности - таблица, которая содержит сводную числовую характеристику изучаемой совокупности по двум и более атрибутивным признакам или комбинации количественных и атрибутивных признаков.

1.5. Анализ таблицы как метод научного исследования

Анализ таблицы как метод научного исследования путем разбиения предмета изучения на части делится на структурный и содержательный.

Структурный анализ предполагает анализ строения таблицы, характеристику представленных в таблице следующих сведений: