«информация» и «энтропия»

Введение 

     Термин  «информация» замечателен тем, что, существующему с давних пор бытовому понятию, К.Шенноном [1] был придан математически точный смысл. Неопределенно-бытовой смысл этого термина уже научного. Теория информации как самостоятельная научная дисциплина была основана американским ученым К.Шенноном в конце 40-х годов 20-го века. Предложенная им теория основывалась на фундаментальном понятии количественной меры неопределенности – энтропии – и связанного с нею понятия – количества информации.

     Информация и энтропия характеризуют сложную систему с точки зрения упорядоченности и хаоса, причем если информация — мера упорядоченности, то энтропия — мера беспорядка. Эта мера простирается от максимальной энтропии, т.е. хаоса, полной неопределенности до высшего уровня порядка.

     Популярность энтропии связана с её важными свойствами: универсальностью и аддитивностью. Со своей стороны, информация оказалась характеристикой степени зависимости некоторых переменных. Её можно сравнить с корреляцией, но если корреляция характеризует лишь линейную связь переменных, информация характеризует любую связь. Тип связи может быть каким угодно и неизвестным исследователю.

     Информацию можно рассматривать как отрицательную энтропию, тогда энтропия и информация смотрятся, как понятия одного уровня. Однако, это не так: в отличие от энтропии информация – общенаучное понятие, приближающееся по своему значению к философской категории.

     В данном реферате мы дадим определения энтропии и информации, рассмотрим этапы развития энтропии, взаимосвязь энтропии и информации, сравнение энтропии с информацией. 
 

Понятия «информация» и «энтропия» в контексте фундаментальной  мировоззренческой  и методологической проблемы

     Клаузиус  в 1865 году, исследуя необратимые процессы, ввел понятие об энтропии, в 1872 году Больцман предложил статистическую интерпретацию данной концепции. С тех пор об энтропии написано очень много, более того в наши дни существует устойчивая тенденция, направленная на применение информационно-энтропийного подхода к лингвистическим, биологическим, экономическим и военным системам. Однако, как пишет Дж. Кальоти, «кажется невероятным, чтобы кто-нибудь смог изучить все, что известно об энтропии и неопределенности, и это порождает потребность избавиться от неопределенности, связанной с энтропией, чтобы получить, таким образом, полную информацию о том, что по определению служит мерой неопределенности» [2]. При этом можно встретить различные точки зрения по поводу возможной корреляции между энтропией и информацией, начиная от глубоко укоренившегося скептицизма до убежденности в правильности данной концепции.

     Как уже отмечалось, создателем вероятностного фундамента теории энтропии был австрийский  ученый Людвиг Больцман. Заслуга его  заключалась не только в привлечении аппарата теории вероятностей к исследованию энтропийных процессов. Главная идея Л. Больцмана заключалась в том, что сущность энтропии отражает невидимое состояние микроскопических тел. Способ, описания возможности осуществления определенного распределения взаимодействующих частиц системы, Больцман выразил с помощью введенной им вероятностной формулы энтропии: 

     Исходя  из парадигмы современного естествознания, следует, что отправной точкой к познанию понятий «информация» и «энтропия» служит понятие «неопределенность». История развития понятия «неопределенности» долгое время не раскрывала его подлинного смысла, поэтому и в науке, и в практике оно не играло никакой существенной роли. И только с возникновением математической теории информации и установлением одного из самых основных принципов квантовой механики – принципа неопределенности к понятию «неопределенность» стал проявляться все возрастающий интерес. В настоящее время выяснение общенаучного статуса понятия «неопределенность» в основном обусловлено тем, что оно непосредственно выводится из взаимосвязи философских категорий. При этом понятию «неопределенность» прямой противоположностью является понятие «определенность», которая исторически всегда была на первом плане философского анализа. Смысл категории «определенность» сводится к выяснению, насколько богато данное явление различными свойствами, а быть определенным означает обладать определениями [3]. Философский анализ связи категорий определенности и неопределенности позволяет выделить аспект этих понятий, отображающих направленность развития. Процесс развития по Гегелю заключается в выявлении все новых и новых определений, что равнозначно движению от простого к сложному, от абстрактного к конкретному, а значит, от неопределенного к определенному (имеется в виду не абсолютные значения данных категорий, а относительные). При этом многие авторы [3, 4] указывают на связь категории неопределенности с категорией движения. «Признание существования объективных неопределенностей содержится уже в диалектическом понимании движения как нахождения тела и «здесь» и «не здесь». Движение по самой своей сущности есть явная неопределенность, и сущность движения выражается известной диалектической формулой «и да и нет» [4]. «Итак, неопределенность – это понятие, отражающее момент тождества противоположности в противоречивости движения» [5].

     Таким образом, непосредственная связь категории  «неопределенность» с категорией движения дает основание считать подход к определению понятия «неопределенность» через противоречивость движения основным. Использование других категорий диалектики в определении неопределенности необходимо лишь для раскрытия тех или иных дополнительных сторон, граней, смысловых оттенков этого понятия. Учитывая, что энтропия — это теоретико-информационная мера степени неопределенности случайной величины, а мера информации определяется через ее диалектическую противоположность, в качестве которой выступает неопределенность.

     Тогда рассматривая энтропию как меру неопределенности состояния некоторой системы, становится очевидным, что в результате получения  сведений неопределенность системы  может быть уменьшена. Чем больше объем полученных сведений, тем больше будет информация о системе, тем менее неопределенным будет ее состояние. Естественно поэтому количество информации измерять уменьшением энтропии той системы, для уточнения состояния которой предназначены сведения. Следовательно, формула определения информации имеет вид 

где: H_max – максимальная энтропия системы;

H_p– энтропия, описывающая состояние системы после получения количества информации, равного p.

     Таким образом, во многих процессах, приводящих к увеличению порядка в структуре  формирующих систем, происходит накопление информации, количество которой определяется с помощью функции 

     Однако  следует отметить, что приведенные  определения не удовлетворительны  с принципиальных позиций, так как  они не являются определениями. На вопрос, что такое информация или энтропия, они не отвечают, дают лишь метод  их вычисления. Напомним, что гносеологический подход к выбору типа определения, в соответствии с условием простоты, относится и к выбору целесообразного для решения поставленной задачи определения из эффективных (указывающих способ построения или распознавания определяемых объектов) или неэффективных определений. В данном случае целесообразность диктует применения эффективных определений, удовлетворяющих логическим и методологическим правилам. Учитывая основные правила введения определений, приведем эффективное вербальное определение (определение понятия через другие понятия, смысл или значение; смысл понятия о некотором объекте – это признак этого объекта, отображаемый в понятии; значение понятия – это те предметы, которые входят в его объем [6]) сначала информации, затем энтропии.

     Информация  – это упорядоченное (через принцип  тождества и различия) отображение, позволяющее качественно или  количественно охарактеризовать (раскрыть) объективные свойства как материальных, так и реализованных духовных систем (где виды упорядоченности – это структуры и законы композиции). Конструктивное значение категории системы в данном определении состоит в том, что она выступает средством исследования противоречий и закономерностей их динамики (эволюции) на различных уровнях – относительно существа вещей, с учетом таких их сторон как организация и целостность.

     В заключении отметим, что в контексте  изложенного, подход Больцман к определению  энтропии приобретает общенаучный  характер, применимый для различных  по своей сущности систем. Данное положение способствует пониманию того факта, что через понятия «энтропия» и «информация» стали определяться многие закономерности, при чем не только в микромире, но и в поведении макроскопических систем. В целом учитывая данную концепцию становятся пророческими слова Дж.К. Максвелла о том, что истинная логика нашего мира – правильный подсчет вероятностей. 
 
 
 

Информационная  энтропия 

     Понятие информационной энтропии определено Шенноном для случая дискретных данных. Это - величина, обозначающая количество информации, содержащееся в данном сообщении (или последовательности сигналов).

     По  Шеннону информация, снятая неопределенность. Точнее получение информации - необходимое  условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределённости — уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.

     Информационная  энтропия - мера хаотичности информации или мера внутренней неупорядоченности  информационной системы. Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении.

     Информационная  энтропия - мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

     Информационная  энтропия - неопределённость появления  какого-либо символа первичного алфавита. При отсутствия информационных потерь численно равна количеству информации на символ передаваемого сообщения. Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n-ого порядка) встречаются очень редко, то неопределённость ещё более уменьшается.

     Информационная  энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:

     Эта величина также называется средней энтропией сообщения. Величина   называется частной энтропией, характеризующей только i-e состояние.

     Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме).

     Представьте, что вы зашли в магазин и  попросили продать вам жевательную  резинку. Продавщица, у которой, скажем, 16 сортов жевательной резинки, находится  в состоянии неопределенности. Она  не может выполнить вашу просьбу без получения дополнительной информации. Если вы уточнили, скажем, - «Orbit», и из 16 первоначальных вариантов продавщица рассматривает теперь только 8, вы уменьшили ее неопределенность в два раза (забегая вперед, скажем, что уменьшение неопределенности вдвое соответствует получению 1 бита информации). Если вы, не мудрствуя лукаво, просто указали пальцем на витрине, - «вот эту!», то неопределенность была снята полностью. Опять же, забегая вперед, скажем, что этим жестом в данном примере вы сообщили продавщице 4 бита информации.

     Ситуация  максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N, 1/N, … 1/N}.

     Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.

     Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.

     Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.

     Единицы измерения энтропии:

     - если рассматривается физическая  система с двумя равновероятными  состояниями, тогда в формуле  основание log 2. Единицы измерения  биты.

     - если рассматривается физическая  система с числом n-равновероятных состояний, тогда в формуле основание log10. Единицы измерения диты.

     - если физическая система с  2,7 состояниями, то log е. единицы  измерения ниты.

     На  Рис. 1 показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)). Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны 0,5, нулевое значение энтропии соответствует случаям (p₀=0, p₁=1) и (p₀=1, p₁=0).

     Рисунок 1 - Поведение энтропии для случая двух альтернатив

     Количество  информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).

     Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.

     При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H_t + I_t = H.

     Рисунок 2 - Связь между энтропией и  количеством информации

     По  этой причине, формулы, которые будут  представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I, т.е. когда речь идет о полном снятии неопределенности, H в них может заменяться на I.

     Сведения  об информационной энтропии необходимы для повышения надёжности передачи сигналов. Именно на неё ориентируются при задании избыточной информации, передаваемой по линии связи. Избыточность - термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.).

     Чем меньше вероятность какого-либо события, тем большую неопределенность снимает  сообщение о его появлении и, следовательно, тем большую информацию оно несет.

     Впервые понятия энтропия и информация связал Шеннон в 1948 году. С его подачи энтропия стала использоваться как мера полезной информации в процессах передачи сигналов по проводам. Следует подчеркнуть, что под информацией Шеннон понимал сигналы нужные, полезные для получателя. Неполезные сигналы, с точки зрения Шеннона, это шум, помехи. Если сигнал на выходе канала связи является точной копией сигнала на входе, то это означает отсутствие энтропии. Отсутствие шума означает максимум информации.

     Взаимосвязь энтропии и информации нашло отражение  в формуле:

     H + Y = 1,

     где Н – энтропия, Y – информация.

     Этот  вывод количественно был обоснован  Бриллюэном.

     Исследуя  проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки двух основных направлений: теории информации, которая использует понятие вероятности и эргодическую теорию для изучения статистических характеристик данных и коммуникационных систем, и теории кодирования, в которой используются главным образом алгебраические и геометрические инструменты для разработки эффективных шифров.

     Известны  разные определения энтропии:

1. Поворот, превращение, опасное изменение чего-либо; необратимый процесс рассеивания энергии.
2. Направление, движение к беспорядку, хаосу и смерти,
3. В общей теории систем - естественное состояние закрытой системы, стремящейся исчерпать свою энергию и остановиться.

     Основные  свойства информации и энтропии 

     В простейшем бытовом понимании с  термином «информация» обычно ассоциируются  некоторые сведения, данные, знания и т.п. Информация передается в виде сообщений, определяющих форму и  представление передаваемой информации. Примерами сообщений являются музыкальное произведение; телепередача; команды регулировщика на перекрестке; текст, распечатанный на принтере; данные, полученные в результате работы составленной вами программы и т.д. При этом предполагается, что имеются «источник информации» и «получатель информации».

     Сообщение от источника к получателю передается посредством какой-нибудь среды, являющейся в таком случае «каналом связи». Так, при передаче речевого сообщения  в качестве такого канала связи можно рассматривать воздух, в котором распространяются звуковые волны, а в случае передачи письменного сообщения (например, текста, распечатанного на принтере) каналом сообщения можно считать лист бумаги, на котором напечатан текст.

     Человеку свойственно субъективное восприятие информации через некоторый набор ее свойств: важность, достоверность, своевременность, доступность, «больше-меньше» и т.д. Использование терминов «больше информации» или «меньше информации» подразумевает некую возможность ее измерения (или хотя бы количественного соотнесения). При субъективном восприятии измерение информации возможно лишь в виде установления некоторой субъективной порядковой шкалы для оценки «больше-меньше». При объективном измерении количества информации следует заведомо отрешиться от восприятия ее с точки зрения субъективных свойств, примеры которых перечислены выше. Более того, не исключено, что не всякая информация будет иметь объективно измеряемое количество.

     Чтобы сообщение было передано от источника к получателю необходима некоторая материальная субстанция — носитель информации. Сообщение, передаваемое с помощью носителя — сигнал. В общем случае сигнал — это изменяющийся во времени физический процесс. Та из характеристик процесса, которая используется для представления сообщений, называется параметром сигнала.

     В случае, когда параметр сигнала принимает  последовательное во времени конечное число значений (при этом все они  могут быть пронумерованы), сигнал называется дискретным, а сообщение, передаваемое с помощью таких сигналов — дискретным сообщением. Если же источник вырабатывает непрерывное сообщение (соответственно параметр сигнала — непрерывная функция от времени), то соответствующая информация называется непрерывной. Примеры дискретного сообщения — текст книги, непрерывного сообщения — человеческая речь, передаваемая модулированной звуковой волной; параметром сигнала в этом случае является давление, создаваемое этой волной в точке нахождения приемника — человеческого уха.

     Непрерывное сообщение может быть представлено непрерывной функцией, заданной на некотором интервале. Непрерывное сообщение можно преобразовать в дискретное (такая процедура называется дискретизацией). Из бесконечного множества значений параметра сигнала выбирается их определенное число, которое приближенно может характеризовать остальные значения. Для этого область определения функции разбивается на отрезки равной длины и на каждом из этих отрезков значение функции принимается постоянным и равным, например, среднему значению на этом отрезке. В итоге получим конечное множество чисел. Таким образом, любое непрерывное сообщение может быть представлено как дискретное, иначе говоря, последовательностью знаков некоторого алфавита.

     При анализе информации социального  происхождения на первый план могут выступить такие ее свойства как истинность, своевременность, ценность, полнота и т.д. Их невозможно оценить в терминах «уменьшение неопределенности» (вероятностный подход) или числа символов (объемный подход). Обращение к качественной стороне информации породило иные подходы к ее оценке. При аксиологическом подходе стремятся исходить из ценности, практической значимости информации, т.е. качественных характеристик, значимых в социальной системе. При семантическом подходе информация рассматривается как с точки зрения формы, так и содержания. При этом информацию связывают с тезаурусом, т.е. полнотой систематизированного набора данных о предмете информации. Отметим, что эти подходы не исключают количественного анализа, но он становится существенно сложнее и должен базироваться на современных методах математической статистики.

     Информацию  следует считать особым видом ресурса, при этом имеется в виду толкование «ресурса» как запаса неких знаний материальных предметов или энергетических, структурных или каких-либо других характеристик предмета. В отличие от ресурсов, связанных с материальными предметами, информационные ресурсы являются неистощимыми и предполагают существенно иные методы воспроизведения и обновления, чем материальные ресурсы. В связи с таким взглядом центральными становятся следующие свойства информации: запоминаемость, передаваемость, преобразуемость, воспроизводимость, стираемость.

     А теперь перечислим основные свойства энтропии:

1. Энтропия является неотрицательной вещественной величиной. Это так, поскольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен, а значение –pilog pi положительно.
2. Энтропия ограничена сверху значением 1.
3. Энтропия равна 0, только если одно из состояний имеет вероятность, равную 1 (полностью определенный источник).
4. Энтропия максимальна, когда все состояния источника равновероятны. При этом Hmax(UN) = log2 N.
5. Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая максимума при равенстве их вероятностей.
6. Энтропия объединения нескольких независимых источников информации равна сумме энтропий исходных источников.
7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, не учитывая содержательную сторону (семантику) состояний.
8. Энтропия как мера неопределенности согласуется  с экспериментальными психологическими данными. Время безошибочной реакции на последовательность случайно чередующихся равновероятных раздражителей растет с увеличением их числа так же, как энтропия, а при переходе к неравновероятным раздражителям, среднее время реакции снижается так же, как энтропия.

     Заключение 

     Подводя итог всему, что было сказано выше, сделаем вывод, что

1. Информация и энтропия характеризуют сложную систему с точки зрения упорядоченности и хаоса, причем если информация — мера упорядоченности, то энтропия — мера беспорядка.
2. Энтропия Шеннона количественно характеризует достоверность передаваемого сигнала и используется для расчета количества информации.                                
3. Полученная единица количества информации, представляющая собой выбор из двух равновероятных событий, получила название двоичной единицы, или бита.

Список  использованной литературы

     1. Спиркин А.Г. Философия. –М.: Гардарика, 1998.

     2. Кальоти Дж. От восприятия к  мысли –М.: Мир, 1998.

     3. Гегель Г.В. Энциклопедия философских  наук.– М.: Наука, 1977. – Т.1.

     4. Гречанова В.А. Неопределенность  и противоречивость в концепции  детерминизма. — Л.: ЛГУ, 1990.

     5. Готт В.С., Урсул А.Д. Определенность  и неопределенность как категории  научного познания. – М.: Наука, 1971.

     6. Петров Ю.А. Теория познания  – М.: Мысль, 1988.

     7. Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.