Основы теории информации

Новосибирский государственный педагогический  университет

 Факультет ИФМИЭО

Кафедра информатики и дискретной математики 
 
 
 
 
 
 
 
 
 
 
 
 

КУРСОВАЯ  РАБОТА

Основы теории информации. 
 
 
 
 
 
 
 
 
 

  Выполнила:

Студентка  4 курса

ОЗО  ИФМИЭО

Специальность: информатика

Ботяновская Н.В. 
 
 

Научный руководитель:

Трофимова С.В. 
 
 
 
 
 
 

Новосибирск – 2011

Оглавление

Введение

1. Теория информации.
2. Понятие информации и информационных процессов.
3. Свойства, виды и формы представления информации.
4. Подходы к измерению информации. Формула Хартли и формула Шеннона.

Заключение.

Список  литературы.

Приложения. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Введение. 

    В условиях развития информационного  общества, постоянного роста использования  информационных технологий все большее  значение приобретает способность человека грамотно представлять информацию. Изучение вопросов представления информации становится неотъемлемой частью общеобразовательной подготовки ученика к жизни. Сформированные умения представлять информацию важны в любой области знания, в практической деятельности. 

    Понятие информация является одним из фундаментальных  в современной науке вообще и  базовым для информатики. Информацию наряду с веществом и энергией рассматривают в качестве важнейшей  сущности мира, в котором мы живем. Однако, если задаться целью формально определить понятие «информация», то сделать это будет чрезвычайно сложно.

    По  современным представлениям информация является одной из исходных категорий  мироздания наряду с материей и энергией. Эти категории взаимосвязаны  между собой; усмотреть такие связи можно как в природных явлениях, так и в явлениях и процессах. Примерами природных явлений, в которых проявляются связи между материей, энергией и информацией, могут служить:

• переход из кристаллического состояния твердого тела в жидкое – в нем, наряду с материальными преобразованиями и энергетическими затратами, происходит потеря информации относительно расположения атомов;
• передача наследственных признаков в живой природе посредством информации, заключенной в молекулы ДНК;
• условные и безусловные рефлексы – это информация, которая появилась и сохраняется в мозге животного благодаря материальным и энергетическим воздействиям внешней среды.

    Примерами связей материя – энергия –  информация в обществе людей являются:

• любое производство, включающее материальную составляющую, энергетические ресурсы, необходимые для преобразования материальных объектов;
• подготовка новых членов общества – образование – информационный процесс, требующий как материального, так и энергетического обеспечения;
• управление в любой сфере состоит в выработке решений на основе имеющейся информации.

    Можно утверждать, что значимость информации по отношению к остальным категориям возрастает. Именно по этой причине дальнейшее развитие человечества связывают с построением и переходом к новой формации – информационному обществу.

     Таким образом, тема данной работы является актуальной, так как теория информации имеет большое значение в различных  областях человеческого знания, но требует внимательного изучения с целью возможности ее применения в различных ситуациях.

     Целью данной работы является изучение основных понятий теории информации.

     В соответствии с целью, в работе были поставлены следующие задачи:

     -    дать общую характеристику информации;

     - изучить комбинаторный подход  к количественному определению информации;

     - изучить вероятностный подход  к количественному определению  информации;

    - исследовать алгоритмический подход  к количественному определению  информации. 
 
 
 
 
 
 

    Теория  информации.

    Теория  информации как самостоятельная  дисциплина возникла в ходе решения следующей задачи: обеспечить надежную и эффективную передачу информации от источника к приемнику при условии, что передаче этой препятствуют помехи.

    Теория  информации является математической теорией с высокой степенью общности. Она основывается на теории случайных событий, для описания которых применяются понятия вероятность и энтропия. В рамках самой теории вводится понятие информация и устанавливается ее мера – бит. Строится теория информации подобно другим теориям в математике: сначала аксиоматически определяются исходные понятия, а затем из них путем рассуждений доказывается справедливость новых положений или теорем – именно таким путем шел основоположник данной теории Клод Шеннон.

    Как и любая математическая теория, теория информации применима для решения конкретных задач практики. Математическое понятие информации связано с возможностью ее количественного измерения. При этом в теории информации обосновывается энтропийный подход, когда количество информации в сообщении определяется тем, насколько уменьшается неопределенность исхода случайного события. Сообщение несет полную информацию о событии, если оно целиком снимает исходную неопределенность. Важными для передачи и хранения являются количественные характеристики информации и способы их оценки – именно их теория информации и устанавливает.

    Таким образом, теория информации применима  для решения лишь тех практических задач, в которых допустимо игнорирование  смысловой стороны информации. 
 
 
 
 
 
 

    Понятие информации и информационных процессов.

    Термин  «информация»  во многих научных дисциплинах ассоциируется с понятиями сведения, знания, данные, известие, сообщение, управление и др. Общим во всех перечисленных примерах является то, в них существенным и значимым для использования является содержательная сторона информации.

    Информация  – категория нематериальная. Следовательно, для существования и распространения в материальном мире она должна быть обязательно связана с какой-либо материальной основой – без нее информация не может проявиться, передаваться, сохраняться.

    Материальный  объект или среда, которые служат для представления или передачи информации, называют материальным носителем.

    Материальным  носителем информации может быть бумага, воздух, лазерный диск, электромагнитное поле и т.д. При этом хранение информации связано с некоторой характеристикой носителя, которая не меняется с течением времени, например намагниченные области поверхности диска или буква на бумаге, а передача информации – наоборот, с характеристикой, которая изменяется с течением времени, например амплитуда колебаний звуковой волны.

    Изменение характеристики носителя, которое используется для представления информации, называется сигналом, а значение этой характеристики, отнесенное к некоторой шкале  измерений, называется параметром сигнала.

    В таблице приведены примеры процессов, используемых для передачи информации, и связанных с ними сигналов.

    Однако  одиночный сигнал не может содержать  много информации. Поэтому для передачи информации используется ряд следующих друг за другом сигналов. Последовательность сигналов называется сообщением.

    Таким образом, от источника к приемнику  информация передается в виде сообщений. Сообщение выступает в качестве материальной оболочки для представления информации при передаче. Следовательно, сообщение служит переносчиком информации, а информация является содержанием сообщения.

    Следующее понятие – информационный процесс. Термин «процесс» применяется в  тех случаях, когда некоторое качество, характеризующее систему или объект, меняется с течением времени в результате внешних воздействий или каких-то внутренних причин.

    Информационный  процесс – это изменение с  течением времени содержания информации или представляющего его сообщения.

    Виды  информационных процессов:

• создание новой информации;
• преобразование информации (обработка);
• хранение информации;
• уничтожение информации;
• передача информации (распространение).

    С передачей информации связаны следующие  понятия – источник и приемник информации.

    Источник  информации – это субъект или  объект, порождающий информацию и  представляющий ее виде сообщения.

    Приемник  информации – это субъект или  объект, принимающий сообщение и  способный правильно его интерпретировать.

               Источники и приемники информации могут быть одушевленными (человек, животное) или неодушевленными (технические устройства, природные явления). 
 
 

    Свойства, виды и формы представления  информации.

      Информация  является частью окружающего нас  мира, т.е. его объектом. И как любой объект информация должна обладать некоторыми свойствами, позволяющими отличать ее от других объектов.

      Можно привести немало разнообразных свойств  информации. Связано это с тем, что в разных науках существует свое определение понятия информации. Соответственно и свойства информации рассматриваются с точки зрения каждой научной дисциплины. Для информатики наиболее важными  представляются следующие свойства: объективность, полнота, достоверность, адекватность, доступность и актуальность.

      Все перечисленные свойства представлены в виде следующей таблицы: 

      Одна  и та же информация при различных  обстоятельствах обладает разными  свойствами. И в ходе информационного  процесса человек или техническое  устройство отбирает из всего потока информации только ту, которая обладает свойствами, наиболее приемлемыми в данной ситуации.

    Передача  информации производится с помощью  сигналов, а самим сигналом является изменение некоторой характеристики носителя с течением времени. При этом в зависимости от особенностей изменения этой характеристики с течением времени выделяют два типа сигнала:

1. Непрерывный, если его параметр может принимать любое значение в пределах некоторого интервала.

Z – значение параметра сигнала, а – время, то зависимость Z(t) будет непрерывной функцией. 

   Z

                                            T

Примерами непрерывных сигналов являются речь и музыка, изображение, показание  термометра и др.

2. Дискретный, если его параметр может принимать конечное число значений в пределах некоторого интервала.

  Z

                                                            T

    Дискретные  сигналы могут быть описаны дискретным и конечным множеством значений параметров Z. Примерами устройств, использующих дискретные сигналы, являются часы, цифровые измерительные приборы, книга, табло и др.

    Важнейшим различием непрерывных и дискретных сигналов является то, что дискретные сигналы можно обозначить, то есть приписать каждому из конечного чисел возможные значения сигнала знак, который будет отличать данный сигнал от другого. 

Подходы к измерению информации.

Формула Хартли и формула  Шеннона.

I ПОДХОД.  Неизмеряемость информации в быту (информация как новизна)

ПРИМЕР

    Вы  получили какое-то сообщение, например, прочитали статью в любимом журнале. В этом сообщении содержится какое-то количество информации. Как оценить, сколько информации Вы получили? Другими словами, как измерить информацию? Можно ли сказать, что чем больше статья, тем больше информации она содержит?

    Разные  люди, получившие одно и то же сообщение, по-разному оценивают его информационную ёмкость, то есть количество информации, содержащееся в нем. Это происходит оттого, что  знания людей о событиях, явлениях, о которых идет речь в сообщении, до получения сообщения были различными. Поэтому те, кто знал об этом мало, сочтут, что получили много информации, те же, кто знал больше, могут сказать, что информации не получили вовсе. Количество информации в сообщении, таким образом, зависит от того, насколько ново это сообщение для получателя.

    В таком случае, количество информации в одном и том же сообщении  должно определяться отдельно для каждого получателя, то есть иметь субъективный характер. Но субъективные вещи не поддаются сравнению и анализу, для их измерения трудно выбрать одну общую для всех единицу измерения.

    Таким образом, с точки зрения информации как новизны, мы не можем однозначно и объективно оценить количество информации, содержащейся даже в простом сообщении. Что же тогда говорить об измерении количества информации, содержащейся в научном открытии, новом музыкальном стиле, новой теории общественного развития.

    Поэтому, когда информация рассматривается как новизна сообщения для получателя, не ставится вопрос об измерении количества информации.

    II ПОДХОД - объемный. Измерение информации в технике (информация как сообщения в форме знаков или сигналов, хранимые, передаваемые и обрабатываемые с помощью технических устройств).

    В технике, где информацией считается  любая хранящаяся, обрабатываемая или  передаваемая последовательность знаков, сигналов, часто используют простой способ определения количества информации, который может быть назван объемным. Он основан на подсчете числа символов в сообщении, то есть связан только с длиной сообщения и не учитывает его содержания.

    Длина сообщения зависит от числа знаков, употребляемых для записи сообщения. Например, слово “мир” в русском алфавите записывается тремя  знаками, в английском – пятью  (peace), а в КОИ-8 – двадцатью четырьмя битами (111011011110100111110010).  
 

ПРИМЕР

    В вычислительной технике применяются  две стандартные единицы измерения: бит (англ. binary digit - двоичная цифра) и байт (byte).

    Конечно, будет правильно, если  сказать: “В слове “Рим” содержится 24 бита информации, а в сообщении  «Миру мир!» – 72 бита”. Однако, прежде, чем измерить информацию в битах, нужно определить количество символов в этом сообщении. Нам привычней работать с символами, машине – с кодами. Каждый символ в настоящее время в вычислительной технике кодируется 8-битным или 16-битным кодом. Поэтому, для удобства была введена более «крупная» единица информации в технике (преимущественно в вычислительной) – байт. Теперь  легко подсчитать количество информации в техническом сообщении – оно совпадает с количеством символов в нем.

    Поскольку компьютер предназначен для обработки больших объемов информации, то используют производные единицы.

1 килобайт = 1 Кб (1 Kb)= 2¹⁰ байт = 1024 байта

1 мегабайт = 1 Мб (1 Mb)= 2 ²⁰ байт = 2 ¹⁰ Кбайт

1 Гигабайт = 1 Гб (1 Gb)= 2 ³⁰ байт = 2 ²⁰ Кбайт =2 ¹⁰ Мбайт

1 Терабайт (1 Тb)= 2 ⁴⁰ байт = 2 ³⁰ Кбайт =2 ²⁰ Мбайт=2 ¹⁰ Гбайт

1 Петабайт (Pb)=2 ⁵⁰ байт =2⁴⁰ Кбайт=2 ³⁰ Мбайт=2 ²⁰ Гбайт=2 ¹⁰ Тбайт

1 Эксабайт (Pb)=2 ⁶⁰ байт =2⁵⁰ Кбайт=2 ⁴⁰ Мбайт=2 ³⁰ Гбайт=2 ²⁰ Тбайт =2 ¹⁰ Пбайт  

    III ПОДХОД - вероятностный. Измерение информации в теории информации (информация как  снятая неопределенность)

    Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.

    За единицу количества информации принимают выбор одного из двух равновероятных сообщений («да» или «не»”, «1» или «0»). Она также названа бит.

ПРИМЕРЫ.

    1. Книга лежит на одной из двух полок - верхней или нижней. Сообщение о том, что книга лежит на верхней полке, уменьшает неопределенность ровно вдвое и несет 1 бит информации.

    2. Сообщение о том, как упала монета после броска – «орлом» или «решкой», несет один бит информации.

    3. В соревновании участвуют 4 команды. Сообщение о том, что третья команда набрала большее количество очков, уменьшает первоначальную неопределенность ровно в четыре раза (дважды по два) и несет два бита информации.

    Приближенно можно считать, что количество информации в сообщении о каком-то событии совпадает с количеством вопросов, которые необходимо задать и с ответом, на которые могут быть лишь «да» или «нет», чтобы получить ту же информацию. Причем событие, о котором идет речь, должно иметь равновероятные исходы.   

    Таким образом, с точки зрения на информацию как на снятую неопределенность количество информации зависит от вероятности получения данного сообщения. Причем, чем больше вероятность события, тем меньше количество информации в сообщении о таком событии.

    Другими словами, количество информации в сообщении о каком-то событии зависит от вероятности свершения данного события.

    Научный подход к оценке сообщений был  предложен еще в 1928 году Р.Хартли. Расчетная формула имеет вид:

I = log₂ N   или   2^I = N,

где       N - количество равновероятных событий (число возможных выборов),           

I - количество  информации.

Если N = 2 (выбор из двух возможностей), то I = 1 бит.

    Бит выбран в качестве единицы количества информации потому, что принято считать, что двумя двоичными словами исходной длины k или словом длины 2k можно передать в 2 раза больше информации, чем одним исходным словом. Число возможных равновероятных выборов при этом увеличивается в 2^k раз, тогда как I удваивается.

    Иногда  формула Хартли записывается иначе. Так как наступление каждого  из N возможных событий имеет одинаковую вероятность  p = 1 / N, то N = 1 / p и формула имеет вид

I = log₂ (1/p) = - log₂ p

    Познакомимся с общим случаем вычисления количества информации в сообщении об одном из N, но уже неравновероятных событий. Этот подход был предложен К.Шенноном в 1948 году.

    Пусть имеется строка текста, содержащая тысячу букв. Буква «о» в тексте встречается примерно 90 раз, буква «р» ~ 40 раз, буква «ф» ~ 2 раза, буква «а» ~ 200 раз. Поделив 200 на 1000, мы получим величину 0.2, которая представляет собой среднюю частоту, с которой в рассматриваемом тексте встречается буква «а». Вероятность появления буквы «а» в тексте (p_a)можем считать приблизительно равной 0.2. Аналогично, p_р = 0.04, p_ф = 0.002, р_о = 0.09.

    Далее поступаем согласно К.Шеннону. Берем  двоичный логарифм от величины 0.2 и  называем то, что получилось количеством  информации, которую переносит одна-единственная буква «а» в рассматриваемом тексте. Точно такую же операцию проделаем для каждой буквы. Тогда количество собственной информации, переносимой одной буквой равно

h_i = log₂ 1/p_i = - log₂ p_i,

где p_i - вероятность появления в сообщении i-го символа алфавита.

    Удобнее в качестве меры количества информации пользоваться не значением h_{i ,} а средним значением количества информации, приходящейся на один символ алфавита