Программные средства, автоматизирующие статистическую обработку данных

Оглавление

Введение

В современных условиях наблюдается  постоянный рост интенсивности информационных потоков и объемов обрабатываемой информации. Это требует непрерывного обновления знаний о состоянии предметной области и перспектив развития. [1]

Без адекватных технологий анализа  информации (данных) человек оказывается  беспомощным в жестокой информационной среде. Статистика позволяет компактно  описать данные, понять их структуру, провести классификацию, увидеть закономерности в хаосе случайных явлений.

Для будущего учителя очень важно  уметь анализировать результаты своей педагогической деятельности, а также грамотно планировать, проводить  психолого-педагогические эксперименты и обрабатывать их результаты.

Для педагога-исследователя полезно  и необходимо знать, где, когда и  как методы математической статистики могут примняться на практике для  анализа данных психолого-педагогического  исследования. [2]

Одним из обязательных этапов любого исследования является статистический анализ данных. Продолжительное время анализ данных был уделом специалистов, так как это требовало серьезной предварительной подготовки. С появлением и совершенствованием современных программ обработки данных статистическая обработка поднялась на новый уровень. Теперь исследователь может и не иметь математической подготовки. Достаточно оперировать статистическими понятиями и, самое главное, правильно выбрать метод анализа. Все осуществимо благодаря компьютеру и новейшим программам. [3]

В связи с вышеизложенным, мы считаем, что тема нашей работы актуальна.

Математическая статистика как метод научного исследования

Математическая статистика – наука, разрабатывающая математические методы систематизации и использования  статистических данных для научных и практических выводов. Во многих своих разделах математическая статистика опирается на теорию вероятностей, позволяющую оценить надёжность и точность выводов, делаемых на основании ограниченного статистического материала. [4]

Как метод научного исследования, математическая статистика сложилась достаточно давно. Сам термин статистика происходит от латинского слова «status» - состояние. В XVIII веке, когда статистика только начала оформляться в научную дисциплину, этот термин связывался с системой описания фактов, характеризующих состояние государства. В настоящее время статистика включает в себя следующие три раздела: [5]

• сбор статистических сведений каких-либо массовых совокупностей ;
• статистическое исследование полученных данных, выяснение закономерностей, которые могут быть установлены на основе данных массового наблюдения;
• разработка приемов статистического наблюдения и анализа статистических данных.

Последний раздел и составляет содержание математической статистики. Совокупность значений какого-то признака объекта называется генеральной совокупностью, а основной задачей математической статистики является выяснение вероятностных свойств генеральной совокупности (распределение, числовые характеристики и т.д.). Полное исследование генеральной совокупности практически невозможно, поэтому обычно рассматривают только некоторые ее объекты, т.е. делают выборку, с помощью которой по вероятностным свойствам оценивают генеральную совокупность. [5]

Гуманитарные и естественные науки  в процессе исследования широко применяют методы статистики для сбора, обработки и анализа данных. Для разработки предмета статистики применяются специальные приемы и методы, совокупность которых образует методологию статистики. [6]

Статистическая методология –  это система приемов, способов и методов, направленных на изучение количественных закономерностей, проявляющихся в структуре, динамике и взаимосвязях социально-экономических явлений. [6]

Общей основой статистического  метода познания является диалектический метод, согласно которому общественные явления и процессы рассматриваются в развитии взаимной связи и причинной обусловленности.

Статистика опирается на такие  диалектические категории, как количество и качество, причинность и закономерность, индивидуальное и общее.

В процессе исследования статистика может использовать и другие общенаучные методы:

• Аналогия — перенесение свойств одного объекта на другой.
• Гипотезы — научно обоснованные предположения о возможных причинных связях между явлениями.

Статистические методы используются комплексно. Применение конкретных методов предопределяется поставленными задачами и зависит от характера исходной информации. [6]

Методы статистического исследования

Статистическое исследование –  это научно организованный по единой программе сбор, сводка и анализ данных (фактов) о социально-экономических, демографических и других явлениях и процессах общественной жизни в государстве с регистрацией их наиболее существенных признаков в учётной документации. [10]

Статистическое исследование состоит  из трёх стадий:

• сбор первичной статистической информации (наблюдение);
• сводка и группировка;
• обработка статистических показателей.

Наблюдение как начальный этап исследования связано со сбором исходных данных об изучаемом вопросе. Оно  свойственно многим наукам. С помощью массового научно обоснованного наблюдения получают первичную информацию об отдельных фактах изучаемого явления. При этом применяют метод массового статистического наблюдения, обеспечивающий полноту и репрезентативность полученной информации.

Статистическое наблюдение является первой стадией статистического исследования, представляющей собой научно организованный сбор данных об изучаемых явлениях и процессах общественной жизни. В результате статистического наблюдения должна быть получена объективная, сопоставимая, полная информация, позволяющая в последующих этапах исследования обеспечить научно-обоснованные выводы о характере и закономерностях развития изучаемого явления.

Статистическая сводка – комплекс последовательных операций по первичной  обработке данных с целью выявления типичных черт и закономерностей, присущих изучаемому явлению.

Статистическая сводка является следующим  после статистического наблюдения этапом статистической работы. Её задача заключается в том, чтобы привести собранную информацию и материалы в определённый порядок, систематизировать и на этой основе дать сводную характеристику всей изучаемой совокупности – множества единиц, обладающих массовостью, типичностью, качественной однородностью и наличием вариации. [7]

Различают сводку простую и сложную. При простой сводке производится подсчёт общих итогов по изучаемой совокупности. При сложной сводке производится группировка единиц наблюдения, подсчёт итогов по каждой группе и по всей совокупности, и представление результатов группировки в виде статистических таблиц.

Сводка называется децентрализованной, если единое руководство работой  осуществляется из центра, а непосредственная работа проводится на местах (обычно используется при обработке статистической отчётности). Если же сбор и обработка данных проводится в одном месте, то сводка называется централизованной. Такая сводка обычно используется для обработки материалов единовременных статистических обследований.

Проведению статистической сводки и группировки предшествует разработка программы статистического наблюдения, состоящая из нескольких этапов: выбор группировочного признака, разработка системы статистических показателей.

Статистическая сводка должна проводиться  по определённой программе и плану:

• выбор группировочного признака;
• определение порядка формирования групп;
• разработка системы статистических показателей для характеристики отдельных групп и совокупности в целом;
• разработка макетов статистических таблиц для представления результатов сводки.

Чаще всего простые итоговые сводки дают слишком общие представления об изучаемом явлении. Поэтому статистический материал подвергается группировке.

Группировка – это метод, при  котором вся исследуемая совокупность разделяется на группы по какому-то существенному признаку. Признак, по которому осуществляется группировка, называется группировочным признаком или основанием группировки.

Выбор группировочного признака зависит  от цели данной группировки и предварительного анализа явления. В зависимости  от степени сложности массового  явления и задач анализа группировки могут производиться по одному или нескольким признакам:

• Группировка называется простой, если она производится только по одному признаку;
• Группировка называется сложной или комбинированной, если она производится по двум или более признакам.

С помощью группировки можно выявить влияние отдельных единиц на средние итоговые показатели. Группировка является основой для последующей сводки и анализа данных.

В зависимости от задач исследования различают типологические, структурные  и аналитические группировки. [6]

Типологическая группировка –  представляет собой разделение исследуемой  совокупности на однородные группы;

Структурная группировка – группировка, в которой происходит разделение однородной совокупности на группы, характеризующие ее структуру по какому-то варьирующему признаку. Анализ статистических данных структурных группировок, взятых за ряд периодов, показывает изменение структуру изучаемых явлений, то есть структурные сдвиги. Структурные группировки используют с целью исследования состава и структуры совокупности данных, а также с целью изучения тех изменений в этой совокупности, которые имеют место в соответствии с выбранным имеющимся признаком.

Аналитическая группировка позволяет  выявить взаимосвязи между изучаемыми явлениями и их признаками. Аналитические группировки используются для исследования взаимных связей, существующих между показателями, характеризующими рассматриваемую совокупность данных. В этих условиях один из показателей является обобщающим, результативным, а другие показатели рассматриваются как факторы, влияющие на обобщающий показатель.

Сводка и группировка материала  представляет собой расчленение  всей массы случаев на однородные группы и подгруппы, подсчет итогов в каждой группе и оформление полученных результатов в виде статистических таблиц.

В процессе обработки статистических показателей осуществляется анализ результатов для получения обоснованных выводов о состоянии изучаемого объекта и закономерностях его развития. Для этого применяются обобщающие статистические показатели: абсолютные, относительные и средние величины, вариации и статистические индексы. Выявляются причинно-следственные связи, закономерности, оценивается эффективность и возможности экономических и социальных явлений.

Отличительными чертами статистического исследования являются целенаправленность, организованность, массовость, системность, сопоставимость, документированность, контролируемость, практичность.

В целом статистическое исследование должно:

• иметь общественно-полезную цель и всеобщую значимость;
• относится к предмету статистики в конкретных условиях его места и времени;
• Выражать статистический вид учета (а не бухгалтерский и не оперативный);
• Проводиться по заранее разработанной программе с ее научно обоснованным методологическим и другим обеспечением;
• Осуществлять сбор массовых данных (фактов), в которых отражается вся совокупность причинно-следственных и других факторов, разносторонне характеризующих явление;
• Регистрироваться в виде учетных документов установленного образца;
• Гарантировать отсутствие ошибок наблюдения или же сводить их к возможному минимуму;
• Предусматривать определенные критерии качества и способы контроля собранных данных, обеспечивая их достоверность, полноту и содержательность;
• Ориентироваться на экономически эффективную технологию сбора и обработки данных;
• Быть надежной информационной базой для всех последующих этапов статистического исследования и всех пользователей статистической информацией.

Исследования, не удовлетворяющие  этим требованиям, статистическими  не являются. Не являются статистическими  исследования, например, наблюдения и  исследования: матери за играющим ребенком (личный вопрос); зрителей за театральной постановкой (нет учетной документации по зрелищу); научного работника за физико-химическими опытами с их измерениями, расчетами и документальной регистрацией (не массово-общественные данные); врача за больными с ведением медицинских карточек (оперативный учет); бухгалтера за движением денежных средств на банковском счете предприятия (бухгалтерский учет); журналистов за общественной и личной жизнедеятельностью государственных лиц или иных знаменитостей (не предмет статистики). [10]

Математическая статистика в психологии и педагогике

Специфика статистической обработки  результатов психолого-педагогических исследований заключается в том, что анализируемая база данных характеризуется  большим количеством показателей  различных типов, их высокой вариативностью под влиянием неконтролируемых случайных явлений, необходимостью учета объективных и субъективных факторов, сложностью корреляционных связей между переменными выборками. [8]

Психолого-педагогические исследования можно разбить на три группы. Первая - это номинальные переменные (пол, возраст и другие анкетные данные и т.д.). Арифметические операции над такими величинами лишены смысла, так что результаты описательной статистики (выборочные средние, дисперсия) к таким величинам не применимы. Классический способ их анализа - разбиение на классы относительно тех или иных номинальных признаков и проверка значимых различий по классам. Вторая группа данных имеет количественную шкалу измерения, но эта шкала является порядковой (ординальной). При анализе ординальных переменных используются как разбиение на подвыборки, так и ранговые технологии (например, нахождение ранговой корреляции). Третья группа - количественные переменные, отражающие степень выраженности замеряемого показателя, - это успеваемость, тесты Амтхауэра, Кеттелла и другие оценочные тесты. При работе с выборками этой группы применимы все стандартные виды анализа, и при достаточно большом объеме выборки их распределение обычно близко к нормальному.

Одной из главных целей исследования является анализ изменений, происходящих в процессе обучения, оценка значимости и направленности этих изменений и выявление основных факторов, влияющих на процесс. При этом возможны два подхода. Можно рассматривать длительность обучения и вычислять его корреляцию с интересующими нас индивидуальными характеристиками испытуемого. Однако проводимые исследования показывают, что в процессе профессионализации изменяются зачастую не сами показатели, а структура взаимосвязей между ними. Поэтому более предпочтительным методом является разбиение данных на группы (подвыборки), их самостоятельный, а затем сравнительный анализ и проверка значимости различий в группах.

С помощью математической статистики выявляется обоснованность заключений педагогических исследований. Целью  экспериментального исследования является, как правило, проверка эффективности того или иного педагогического подхода к решению поставленной в исследовании задачи. Педагогический эксперимент традиционно проводится в три этапа.

На первом (констатирующем) этапе проводится анализ педагогических условий, сложившихся в современной практике на обозначенной проблеме, и диагностическое исследование участников. Выделяются контрольные и экспериментальные группы примерно равной численности и уровня подготовленности. Результаты констатирующего этапа должны свидетельствовать о нерешенности (искомой осознанности, недостаточном осмыслении) проблемы.

На втором (формирующем) этапе эксперимента реализуются обозначенные педагогические условия. В рамках реализации педагогических, учебно-методических условий студентам экспериментальной группы предлагаются программы по формированию умений и навыков умения работы с информацией, организации учебного процесса и самостоятельной работы, их контроля.

На третьем (контрольном) этапе проводится повторное диагностическое исследование качества обучения в контрольной и экспериментальной группах. Полученные результаты сопоставляются с данными констатирующего этапа эксперимента, делаются выводы. Особое внимание уделяется обоснованности выводов при использовании того или иного критерия достоверности на заданном уровне значимости.

Рассмотрим классификацию психолого-педагогических задач и предлагаемых методов  их решений, а также опишем наиболее часто встречающиеся алгоритмы. [8] Большинство методов построены на понятных для педагогов преобразованиях.

Таблица 1. Классификация психологических и педагогических задач и методов их решения

Алгоритм применения критерия Q Розенбаума для оценки между двумя выборками по уровню признака

1. Проверить, выполняются ли ограничения: n₁, , .
2. Упорядочить значения отдельно в каждой выборке по степени возрастания признака. Считать выборкой 1 ту, значения в которой предположительно больше.
3. Определить максимальное значение в выборке 2.
4. Подсчитать количество S₁ значений в выборке 1, которые больше максимальных значений в выборке 2.
5. Определить минимальное значение в выборке 1.
6. Подсчитать количество S₂ значений в выборке 2, которые меньше минимального значения выборки 1.
7. Подсчитать эмпирическое значение .
8. По таблице приложения 3 определить критические значения Q_кр для данных n₁ и n₂. Если , то H₀ отвергается.

Пример 1. Можно ли считать эффективными результаты педагогического эксперимента по изменению показателей психологической защищённости старших подростков до и после эксперимента:

Решение.

1. n₁=n₂=18.
2. Выборкой 1 считаем средние значения защищенности после эксперимента.
3. Максимальное значение в выборке до эксперимента равно 3,2.
4. S₁=12.
5. Минимальное значение в выборке 1 равно 2,5.
6. S₂=2.
7. .
8. По приложению 3 при n₁=n₂=18 и p=0,01 находим Q_кр=9.

Поскольку Q_эмп=14 > Q_кр=9, то H₀ отклоняется и можно считать эффективными результаты эксперимента.

Алгоритм применения критерия U Манна - Уитни для оценки различий между двумя малыми выборками  по уровню признака

1. Перенести все данные испытуемых на индивидуальные карточки, пометив карточки 1-й выборки одним цветом, а 2-й - другим.
2. Разложить все карточки в единый ряд по степени возрастания признака и проранжировать в таком порядке.
3. Вновь разложить карточки по цвету на две группы.
4. Подсчитать сумму рангов отдельно по группам и проверить, совпадает ли общая сумма рангов с расчетной.
5. Определить большую из двух ранговых сумм .
6. Вычислить значение U: , где n_i - количество испытуемых в i- выборке (i=1, 2), n_x - количество испытуемых в группе с большей суммой рангов.
7. Определить критическое значение U_кр (по табл прил 1). Если U_эмп > U_кр, то H₀ принимается.

Пример 1. Индивидуальные значения невербального интеллекта в выборках студентов специальности история и иностранный язык (n₁=12) и история и психология (n₂=11) приведены в таблице. Подсчитаем ранговые суммы по выборкам студентов исторического факультета.

Общая сумма рангов: 127,5 + 148,5 = 351 =

T_x = 148,5

По таблице находим U_кр для n₁=12 и n₂=11

U_эмп=49,5 > U_кр=38 (p=0,05)

Ответ: гипотеза H₀ = {студенты группы история и психология не превосходят студентов группы история и иностранный язык по уровню невербального интеллекта} принимается.

Алгоритм применения критерия Т Вилкоксона для сопоставления двух показателей испытуемых

1. Составить список испытуемых.
2. Вычислить разность между индивидуальными значениями во 2-м и 1-м замерах («после» – «до»). Определить, что будет считаться «типичным» сдвигом, и сформулировать гипотезу.
3. Найти абсолютные величины разностей.
4. Проранжировать абсолютные величины разностей, начиная с меньшего значения.
5. Отметить ранги, соответствующие сдвигам в «нетипичном» направлении, подсчитать сумму этих рангов .
6. Определить критические значения T_кр для данного n (по таблице прил 2). Если , то сдвиг в «типичную» сторону по интенсивности достоверно преобладает.
7. Критерий применяется для сопоставления показателей, измеренных в двух разных условиях на одной и той же выборке испытуемых.

Пример 2. 12 участников тренинга партнерского общения дважды («до» и «после») оценивали у себя уровень владения аргументацией. Получены данные по 10-балльной шкале.

T_эмп = 4,5+9 = 13,5

n=12

T попадает в зону неопределенности, следовательно, H₀ отвергается.

Алгоритм применения критерия тенденций L Пейджа для сопоставления трёх и более показателей испытуемых

1. Проранжировать индивидуальные значения каждого испытуемого, полученные ими в 1-м, 2-м, 3-м и т.д. замерах.
2. Просуммировать ранги по условиям, в которых осуществлялись замеры. Проверить совпадение общей суммы рангов с расчетной.
3. Расположить все условия в порядке возрастания их ранговых сумм в таблицах.
4. Определить эмпирическое значение L_эмп по формуле , где T_j – сумма рангов по данному условию; j – порядковый номер, приписанный в упорядоченной последовательности условий.
5. По таблице приложения 4 определить критические значения L_кр для данного количества испытуемых n и данного количества условий c.
6. Если , то тенденция принимается.

Пример 3. Установлено, что испытуемые по-разному относятся к наказаниям, которые совершают по отношению к их детям разные люди. Определить тенденцию согласия о допустимости телесных наказаний по результатам оценки степени согласия в психогенном эксперименте, в котором получены следующие результаты:

Решение. Проранжируем индивидуальные ранги каждого испытуемого по 3 условиям и запишем их в правые три колонки таблицы, а суммы рангов запишем в нижней строке. Проверим, что общая сумма рангов совпадает с расчетной

Определим эмпирическое значение критерия:

.

Найдем в приложении   критическое значение L_кр для n=12 испытуемых, количества условий c=3 и уровня значимости Поскольку L_эмп=160,5<156=L_кр, то высказанная тенденция отклоняется.

Алгоритм применения критерия λ Колмогорова-Смирнова для сопоставления эмпирического и теоретического (другого эмпирического) распределений

1. Записать в таблицу наименование разрядов и полученные эмпирические частоты в два столбца.
2. Подсчитать эмпирические относительные частоты и занести их в 3 и 4-й столбцы.
3. Подсчитать накопленные эмпирические относительные частоты: ,

Полученные суммы записать в 5-й и 6-й столбцы.

4. Записать в 7-й столбец абсолютные величины разностей .
5. Определить .
6. Подсчитать значения критерия λ по формуле .
7. По таблице приложения 5 определить, какому уровню статистической значимости p соответствует λ_эмп.

Если  (=0,05) или (=0,01), то различия между распределениями существенны на соответствующем уровне значимости.

Пример 4. В проективной методике Х. Хекхаузена испытуемому последовательно предъявляются 6 картин. Всякий раз он сначала рассматривает картину в течение 20 секунд, а затем в течение 5 минут пишет по ней рассказ. При обследовании 113 студентов были получены эмпирические распределения словесных формулировок, отражающих мотивы «надежда на успех» и «боязнь неудачи», которые приведены в таблице.