Методы теории вероятностей и математической статистики в задачах исследования стилистических особенностей текстов

 
 
 
 
 
 

Методы  теории вероятностей и математической статистики в задачах   исследования стилистических особенностей текстов 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

            Содержание

            Введение 3

            Глава 1 4

            Глава 2 12

                      Таблица взаимной энтропии 13

            Глава3 15

                      Случайная величина 15

                      Закон распределения случайной величины 16

                      Вариационный  ряд 18

                      Гистограмма распределения вероятности 18

                      Математическое  ожидание 20

                      Дисперсия случайной величины 21

                      Энтропия 21

                      Взаимная  энтропия 23

           Вывод 24

           Список  используемой литературы 25 
 
 
 
 
 
 
 
 
 
 
 
 
 

             Введение

                      Цель  работы: формирование у студентов навыков практической работы с современными информационными системами и технологиями в одной из наиболее динамично развивающихся областей современной лингвистики, где математика и информатика – два неотъемлемых инструмента исследователя.

            В данной работе мною будет проведён лингвистический  анализ трёх произведений Толстого.  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

            Глава 1

            Л.Н.Толстой «Война и мир» том 2 часть 1

            

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

             Л.Н.Толстой  «Война и мир» том 2 часть 2

            

             
 

            Л.Н.Толстой «Война и мир» том 4 часть 1

            

             
 

             Л.Н.Толстой  «Война и мир» том 4 часть 2

            

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

            Л.Н.Толстой «Анна  Каренина» том 1 часть 1

              
 
 
 
 
 

             Л.Н.Толстой  «Анна Каренина» том 1 часть 2

              
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

           Глава 2

           Сравнивая полученные результаты по второму тому «Войны и Мира» приходим к неожиданным  результатам. Математическое ожидание длины предложений в первой части  тома составляет М =13,4955  а математическое ожидание длины второй части этого же тома М=15,41667  что на 2 целых больше первого. Такая же ситуация возникает с областью отклонения от среднего принимаемого значения. То есть дисперсией D = 2,09062 для первой части и D= 6,089173. Этот факт может говорить о том, что между написанием первой половины тома и второй прошло некоторое время, или же сам автор уже после написания романа возвращался ко второй половине тома и корректировал его. Это легко можно увидеть, если сравнить с данными по четвёртому тому, а именно  М(1)=16,75726 и М(2)=16,23659, где разница между ожидаемыми длинами предложений незначительна, как впрочем, и дисперсия D(1) = 6,978726 и D(2)=6,74775. В то же время энтропия( мера хаотичности) отличается незначительно:

H(том 2 часть 1) = 5,268026

H(том 2 часть2)= 5,337842

H(том 4 часть 1)= 5,032997

H(том 4 часть2)= 5,180913

           Особенностью написания  романа «Война и мир» в том, что  Толстой использовал уже написанные им ранее рассказы. Таким образом, если предположить, что первая половина второго тома содержит материалы, наработанные Толстым в период с 1856 (он сам указывал на эту дату), то становится объясним тот факт, что к окончанию написания романа (четвёртого тома) стилистика написания Толстого изменилась. Таким образом, период написания романа (датирован 1863—1869 годами) был более продолжительный, нежели принято считать.

           Роман Анна Каренина был  написан в период 1873 по 1877 годы. Разница между первой и второй частями первого тома «Анны Каренина», не столь очевидная как в случае с первой частью второго тома «Войны и мира», но всё же присутствует (М(1)= 13,29671 и М(2)=14,70848). Разница указывает на длительность периода написания произведения. 

Таблица взаимной энтропии

 

 

1. На каждом Листе создаём таблицу, подобную вышеуказанной, с той разницей, что на Листе1 отсутствует столбец с названием 1, на Листе 2 отсутствует столбец 2, и так далее (ведь вычислить взаимную энтропию необходимо для пары текстов, а взаимную энтропию для текста относительно самого себя считать не надо).
2. Для вычисления взаимной энтропии используем формулу, подобную данной =$B2*LOG($B2/ЛистХ!$B2;2), где Х - это номер текста относительно которого считается взаимная энтропия. Находим сумму каждого получившегося столбца и переносим его в Таблицу Взаимной Энтропии.

Выводы:

Если  проанализировать таблицу взаимной энтропии, то можно определить пару текстов максимально похожую друг на друга и ту пару, которая максимально разнится (по распределению СВ - длины предложений). Та пара текстов наиболее  похожа друг на друга, чьё значение минимально в данной таблице. Таким образом это пара текстов 6\4 – вторая часть первого тома «Анны Карениной» и вторая часть четвёртого тома «Войны и мир». Максимально отличающейся друг от друга парой текстов является (по результату анализа) пара 5\3: первая часть первого тома «Анны Карениной» и первая часть четвёртого тома «Войны и мир». Максимальное различие объясняется тем, что книги написаны с разницей примерно в 10 лет. Так же можно предположить? что Толстой вкладывал разную эмоциональную нагрузку и смысл в четвёртом томе «Войны и мира» нежели в  первом томе «Анны Карениной». Из результатов работы видно, что на всех этапах своего творчества Толстой тяготел к использованию пространных предложений со сложной стилистикой: нам он известен своими предложениями - «глыбами». Последнее подтверждается и в нашем исследовании при анализе вариационного ряда, гистограммы и результатов вычисления M, D, H.

Глава 3

1. Случайная величина

           Случайная величина — это величина, которая принимает в результате опыта одно из множества значений, причем появление того или иного значения этой величины до её измерения нельзя точно предсказать.

           Если каждому элементарному  событию поставить в соответствие число , для которого выполняется условие:  то считается, что заданы вероятности элементарных событий . Вероятность события, как счётного подмножества пространства элементарных событий, определяется как сумма вероятностей тех элементарных событий, которые принадлежат этому событию. Требование счётности важно, так как, иначе сумма будет не определена.

           Случайные величины могут принимать дискретные, непрерывные  и дискретно-непрерывные значения. Соответственно случайные величины классифицируют на дискретные, непрерывные  и дискретно-непрерывные (смешанные).

           Дискретной  называется случайная величина, которая может принимать конечное или счетное множество значений (счетным называют множество, элементы которого можно пронумеровать).

           Непрерывной СВ называют случайную величину, возможные значения которой сплошь заполняют некоторый числовой интервал.

           Дискретная СВ может принимать возможные значения с различными вероятностями. Чтобы охарактеризовать дискретную случайную величину в статистическом смысле, необходимо указать вероятности всех ее значений.

           Свойства.

           1)Математическое ожидание числа есть само число.

           M[a] = a

• — константа;

     2)Математическое ожидание линейно, то есть

           M[aX + bY] = aM[X] + bM[Y],

           где X,Y — случайные  величины с конечным математическим ожиданием, а  — произвольные константы;

           3) Математическое ожидание сохраняет неравенства;

           4) Математическое ожидание не зависит от поведения случайной величины на событии вероятности нуль, то есть если X = Y почти наверное, то

           M[X] = M[Y].

           5) Математическое ожидание произведения двух независимых случайных величин X,Y равно произведению их математических ожиданий

           M[XY] = M[X]M[Y].

2. Закон распределение случайной величины

           Кумуляти́вная фу́нкция распределе́ния (или просто функция  распределения) в теории вероятностей однозначно задаёт распределение случайной  величины или случайного вектора.

           Пусть дано вероятностное  пространство , и на нём определена случайная величина X с распределением . Тогда функцией распределения случайной величины X называется функция , задаваемая формулой:

 

Если случайная  величина X дискретна, то есть её распределение  однозначно задаётся функцией вероятности