Энтропия и информация, их определение и анализ

    Тема 1: «Энтропия и  информация, их определение  и анализ» 
 
 
 
 
 

    Содержание:

 

   1. Функциональная  природа энтропии

    Понятие энтропии было введено Р. Клаузиусом, сформулировавшим второе начало термодинамики, согласно которому переход теплоты от более холодного тела к более теплому не может происходить без затраты внешней работы.

    Позднее Р. Больцман дал статистическую трактовку  энтропии через вероятность нахождения молекул идеального газа в некоторой  фиксированной ячейке фазового пространства. В этой трактовке, ставшей для нас привычной, понятие энтропии играет существенную роль как своеобразная мера упорядоченности физической системы.

    Сам факт, что изучение порядка оказывается  возможным в терминах случайных событий, весьма любопытен с методологической точки зрения. В самом деле, с понятием порядка, упорядоченности связывают обычно наличие строгой закономерности в расположении элементов системы, жесткой детерминации отношений и связей между ними. Порядок исключает хаос. Но вот оказывается, что упорядоченность можно оценить и измерить лишь при условии, что система будет описываться как статистический объект, в котором допускаются хаос и неразбериха. Другими словами, порядок предполагает хаос.

    Глубокая  связь между понятиями порядка и хаоса, организации и дезорганизации послужила сильнейшим стимулом к проведению целого ряда серьезных исследований понятия энтропии и ее роли как в области физических явлений, так и в мире живой природы.

    Энтропия  характеризует определенную направленность процесса в замкнутой системе. В соответствии со вторым началом термодинамики возрастанию энтропии соответствует направление теплового потока от более горячего тела к менее горячему. Непрерывное возрастание энтропии в замкнутой системе происходит до тех пор, пока температура не выровняется по всему объему системы. Наступает, как говорят, термодинамическое равновесие системы, при котором исчезают направленные тепловые потоки и система становится однородной.

    Абсолютное  значение энтропии зависит от целого ряда физических параметров. При фиксированном объеме энтропия увеличивается с увеличением температуры системы, а при фиксированной температуре увеличивается с увеличением объема и уменьшением давления. Нагревание системы сопровождается фазовыми превращениями и снижением степени упорядоченности системы, поскольку твердое тело переходит в жидкость, а жидкость превращается в газ. При охлаждении вещества происходит обратный процесс, упорядоченность системы возрастает. Эта упорядоченность проявляется в том, что молекулы вещества занимают все более определенное положение относительно друг друга. В твердом теле их положение фиксировано структурой кристаллической решетки (с точностью до колебательного процесса, интенсивность которого зависит от температуры тела).

    Следует подчеркнуть, что формальное определение  энтропии само по себе не опирается  на субстанциональные характеристики систем. Другими словами, вовсе не важно, из чего построена система. Зато важно, как она себя ведет: является ли ее поведение детерминированным, однозначно определенным или существенную роль играют случайные процессы. Легко поэтому понять, почему энтропия оказывается важной категорией также за пределами физики, в отраслях науки, где изучаются вероятностные процессы, в том числе в теории информации.

    Математическая  теория информации ведет свое летосчисление  от работ Н. Винера и К. Шеннона, появившихся  в конце 50-х гг. Теория была построена  на базе статистических методов. Понятие  энтропии играет в ней центральную  роль как мера информации, точнее, как мера неопределенности. Снятие неопределенности (уничтожение энтропии) трактуется как акт получения информации. Где появляется информация, там исчезает энтропия.

    Предположим, мы наблюдаем поведение некоторой  системы и нам известно, что в следующий момент (скажем, через 1 мин) система может оказаться в одном из N состояний с вероятностями соответственно р1, p2,..., PN, причем

    

    Обычное определение энтропии для этого случая:

    

    В следующий момент (в момент наблюдения) система будет в одном из N состояний  и энтропия обратится в нуль.

    Из  данного примера видно, что энтропия характеризует как бы меру неопределенности будущего события, будущего поведения системы. С этой точки зрения упорядоченность любой системы может трактоваться как мера предсказуемости ее будущего.

    Таким образом, говоря об энтропии, мы неявно определяем (и количественно измеряем) отношение системы к самой себе, взятой в другой момент (или другие моменты) времени. Энтропия выступает здесь как поведенческая характеристика системы, определенным образом взаимодействующей с наблюдателем. Полученная ситуация в известной степени сходна с той, которая возникает в квантовой механике, где истолкование вероятностного поведения микрочастиц связывается с особенностями макроскопических средств наблюдения/Аналогия усиливается если принять во внимание, что акт получения информации по своей природе дискретен и сводится к регистрации событий в терминах "да-нет". При получении информации энтропия исчезает скачком, напоминая акт мгновенного сжатия (редукция) волновой функции при попадании микрочастицы на регистрирующую фотопластинку. Не будем настаивать на том, что данная аналогия позволяет свести квантовомеханические процессы к информационным. Такое сведение было бы скорее всего неправильным. Во всяком случае, ясно одно: информационные процессы, как и квантовомеханические, имеют функциональную природу и должны рассматриваться прежде всего с позиции функционального подхода.

    Предположим теперь, что вероятности р1, p2,..., pN характеризуют поведение системы  в любой момент времени. Это могут  быть, например, предельные вероятности марковской цепи, достигшей равновесия. Предполагается, что над системой не проводится актов наблюдения. Но если такой акт проведен, то марковская цепь возвращается к исходному состоянию и вновь приходит к равновесию лишь по истечении достаточно большого количества времени. В течение этого времени ее энтропия возрастает от нулевого значения до максимальной величины Н, определяемой предельными вероятностями. В равновесии система ведет себя так, что с вероятностью pi пребывает в i-м состоянии. Образно выражаясь, она проводит в i-м состоянии pi-ю часть своего времени. Мы говорим, что Η; характеризует меру упорядоченности системы. Если бы все свое время система проводила в одном состоянии, то соблюдалось бы Η = 0, независимо от того, в каком из N состояний она фактически находилась.

    В качестве меры упорядоченности системы  удобно использовать введенную Шенноном величину "избыточности":

    R = 1 – H/Hmax

    При Η = 0 получаем R = 1. Если все состояния  системы одинаково предпочтительны, т.е. р1 = р2 = ... = PN = 1/N, то R = 0 (минимальная упорядоченность).

    В целях более наглядного представления  энтропию можно рассматривать как  измеренное в логарифмической шкале  число предпочтительных состояний  системы, т.е. совокупность состояний, в которых система пребывает подавляющую часть своего времени. Определим это число формулой n – 2Н. Число предпочтительных состояний n равно 1, если система проводит все свое время в одном состоянии (H = 0). При H = Hmax = log2N все состояния системы одинаково предпочтительны и n = N.

    С упорядоченностью системы нередко  связывают (или даже отождествляют) понятие организованности. Некоторые  авторы используют для оценки степени  организованности шенноновскую "избыточность" R. В одной из работ введены  даже три критерия. Наряду с критерием R, который авторы называют мерой относительной организованности, вводится также критерий абсолютной организованности системы, определяемый величиной Rабс = RHmax Третий критерий dH/dt вводится для оценки направления и скорости организационной эволюции системы. Следуя за Г. Ферстером, авторы делят системы (в соответствии со значением третьего критерия) на термодинамические (dH/dt > 0), механические (dH/dt = 0) и самоорганизующиеся (dH/dt < 0).

    Если  использовать формулу для числа  предпочтительных состояний, то легко показать, что упомянутый выше критерий абсолютной организованности Rабс определяет долю предпочтительных состояний относительно максимально возможного их числа:

    

    Увеличение  абсолютной организованности ведет  к резкому уменьшению доли состояний, в которых фактически пребывает  система. Так, стремясь повысить свою организованность, живые системы движутся в направлении  к своим предпочтительным состояниям, определяемым гомеостатическим равновесием.

    Следует, однако, отметить, что анализ конкретных организационных структур при помощи энтропийных критериев не привел к сколько-нибудь интересным результатам. И это, по-видимому, не случайно. Одна из причин заключается в том, что энтропия – слишком общая характеристика системы, не учитывающая специфических особенностей конкретных организационных структур. Имеются и другие причины более принципиального свойства. Одна из них – функциональная природа энтропии. Будучи функциональной характеристикой системы, энтропия, вообще говоря, не затрагивает внутренних структурных особенностей системы, а определяет черты ее поведения в целом. С этой причиной тесно связана вторая – зависимость величины энтропии от наблюдателя. Как уже говорилось, акт наблюдения приводит к понижению энтропии системы за счет превращения ее в информацию. В частности, марковская цепь, находящаяся в равновесии, переводится актом наблюдения в исходное (неравновесное) состояние. При этом энтропия обращается в нуль и мы, казалось бы, должны признать, следуя энтропийным оценкам организованности, что организация системы выросла до максимально возможного значения, хотя с системой как таковой ровным счетом ничего не произошло. По аналогичным соображениям нам пришлось бы признать, что фотография какой-либо статистической системы (например, газового облака) имеет гораздо более высокую организацию, чем сама система. Учитывая, что энтропия системы уменьшается при уменьшении температуры, можно прийти к абсурдному заключению, что труп человека, замерзшего в степи, более организован, чем живой человек.

    При приближении к абсолютному нулю всякое вещество, в соответствии с  известной теоремой Нернста, приходит в состояние с наименьшей энтропией. Причем энтропия не меняется ни при каких изменениях других термодинамических параметров. Упорядоченность вещества достигает при этом максимальной степени, но сказать то же самое об уровне его организованности, как мы интуитивно себе представляем это понятие, очевидно, нельзя.

    Оценка  упорядоченности с помощью энтропии также имеет свои особенности. Упорядоченность здесь оценивается лишь в смысле однозначной определенности состояний. Неподвижная груда кирпичей и построенный из кирпичей дом могут оказаться одинаково хорошо упорядоченными с точки зрения энтропийной оценки, поскольку в обоих случаях положение кирпичей фиксировано, однозначно определено.

    Действительное  значение энтропийные оценки приобретают  там, где к системам по тем или  иным причинам применяются статистические методы. В этом случае состояние системы, определяемое в терминах, описывающих систему параметров, приобретает известную неопределенность, которая может быть измерена с помощью энтропии. При определенных способах поведения систем эта неопределенность может возрастать или убывать. Максимальная неопределенность достигается в случае, когда все возможные состояния системы становятся равновероятными. Это легко доказывается чисто математически, применением методов оптимизации (например, с помощью метода множителей Лагранжа). С этой точки зрения тепловое равновесие в системах может рассматриваться как термодинамический оптимум по критерию Η; → max. Стремление замкнутых систем перейти в состояние термодинамического оптимума составляет смысл второго начала термодинамики.

    Отталкиваясь от термодинамических аналогов, мы привыкли думать, что увеличение энтропии всегда свидетельствует о деградации системы. Можно, однако, привести пример, когда деградация системы сопровождается не увеличением, а уменьшением энтропии. Причем это уменьшение вполне закономерно. Все зависит от того, в каких параметрах определено состояние системы и что мы вкладываем в понятие деградации.

    Предположим, что наш объект исследования –  это множество людей, проживающих  в условиях региональной замкнутости (например, на острове). И допустим, что мы интересуемся распределением населения по возрастам, т.е. хотим знать функцию n (τ), где n – число людей, имеющих возраст τ. Тогда вероятность, что наудачу взятый индивид имеет возраст τ, равна p (τ) = n(τ)/Ν;, где N – общая численность населения острова в некоторый начальный момент времени. Величина неопределенности, которую мы вводим в результате такого статистического подхода, определяется энтропией

    

    Предположим далее, что по каким-то причинам рождаемость  на острове постепенно падает. Тогда  численность населения острова  будет постепенно убывать, а средний  возраст населения постепенно увеличиваться. В конце концов на острове останутся  одни старики. Что же произойдет с энтропией? Легко убедиться, что она будет постепенно убывать, в пределе стремясь к нулю. Это уменьшение закономерно, если для падения рождаемости существуют какие-то веские причины.

    Если  бы вместо параметра "возраст" мы ввели другой параметр (например, "пол"), то получили бы иной аспект исследования, иную статистику. Тогда энтропия определялась бы в терминах вероятности, что наудачу взятый индивид имеет мужской (или женский) пол. Вполне возможно, что в этом случае тоже выполнялся бы закон уменьшения энтропии. Однако падения рождаемости для этого уже недостаточно. Дополнительно необходимо, чтобы средняя продолжительность жизни для разных полов была различной.

    Все эти примеры и рассуждения  были приведены  для того, чтобы  показать зависимость энтропийной оценки системы от позиции исследователя, от применяемых исследователем средств, от неопределенности, которая привносится в систему применяемыми средствами. Но если статистический аппарат и прочие понятийные средства определены, то характер изменения энтропии оказывается связанным с реальными процессами, происходящими в системе, и отражает объективные, не зависящие от исследователя факторы.

  2. Энтропия и информация  – их соотношение

    Еще в 1929 г. немецкий физик Сциллард, анализируя известный мысленный эксперимент с "демоном Максвелла", показал, что энтропия, теряемая газом за счет разделения молекул на медленные и быстрые, в точности равна информации, получаемой "демоном Максвелла". Другими словами, сумма энтропии и информации в системе "газ- наблюдатель" оказалась постоянной величиной.

    Это явилось своего рода сенсацией. В  самом деле, здесь мы сталкиваемся с довольно необычной ситуацией. Физическая характеристика становится мерой познания. Причем наблюдатель  узнаёт о системе ровно столько, сколько она теряет. Познавая систему, он изменяет ее, "нарушая" при этом второе начало термодинамики. Собственно говоря, такое нарушение действительно неизбежно, поскольку вмешательство наблюдателя, проводящего измерения в системе, нарушает ее замкнутость, а следовательно, исчезают условия, при которых бывает справедлив закон возрастания энтропии.

    Можно ли считать, что энтропия действительно  способна превращаться в информацию? Некоторые авторы настроены в  этом отношении весьма скептически, полагая, что физическая энтропия и энтропия в теории информации имеют лишь формальное и, следовательно, случайное сходство. Другие авторы прямо говорят о том, что энтропия переходит в информацию и что получение наблюдателем какой-либо информации о системе неизбежно приводит к эквивалентному снижению энтропии в этой системе.

    Большинство советских философов сходятся на том, что тесная взаимосвязь энтропии и информации не случайна. Вместе с  тем сейчас уже не вызывает сомнений, что понятие информации выходит  за рамки обычной статистической трактовки и не может быть сведено к энтропии. Его анализ требует более широкого подхода.

    Мнение  Л. Бриллюэна о том, что энтропия и информация не могут трактоваться порознь и всегда должны рассматриваться  совместно, в настоящее время  опровергнуто мощным потоком работ по "разнообразностной", семантической и прагматической концепциям информации. Как справедливо отмечает Б. В. Бирюков, статистическая трактовка информации в духе шенноновской теории "положила лишь начало работе по уточнению понятия информации". Это, впрочем, не означает, что анализ глубокой взаимосвязи между энтропией и информацией, проведенный Л. Бриллюэном, лишается смысла. Идея Л. Бриллюэна, пишет Б. В. Бирюков, "имела существенное значение для развития материалистической интерпретации информации (количества информации). Такая интерпретация направлена против спиритуалистских и неопозитивистских интерпретаций феномена информации". Дальнейшее развитие этой интерпретации продолжает оставаться актуальным и сейчас, в особенности если учесть, что дисциплины, в рамках которых строятся надлежащие экспликации анализируемых понятий (в данном случае теория Хартли-Шеннона), существенно помогают, как пишет Б. В. Бирюков, А. Д. Урсул и Г. Н. Поваров, философской мысли.

    Как бы ни менялись трактовки информации, теорию Хартли-Шеннона отменить нельзя. Так теория относительности Эйнштейна не отменяет механики Ньютона. Было бы опрометчиво спорить с тем, что в явлениях, связанных с превращением энтропии, мы сталкиваемся с феноменом информации. Пусть это лишь одно из проявлений информации, но оно весьма поучительно и многое может прояснить в проблемах, связанных с управлением (в дальнейшем мы надеемся это показать).

    Итак, если верно то, что процесс наблюдения приводит к снижению энтропии в статистической системе, то не означает ли это, что энтропия, будучи объективной, физической характеристикой системы, вместе с тем как-то отображает и наш уровень познания системы, задаваемый применяемыми статистическими средствами.

    Для того чтобы разобраться в этом вопросе, проанализируем характер использования в данном случае статистических методов. Предположим вначале, что применение функций распределения вероятностей для описания, скажем, идеального газа можно истолковать как нежелание физика следить за положением и скоростью каждой молекулы. (Подобным образом художник отказывается изображать каждый листочек на дереве, стараясь воссоздать на полотне вид кроны в целом.) При таком подходе газ становится локально неопределенной системой. Причем количество этой неопределенности может быть измерено при помощи энтропии. Получается, что энтропия как мера неопределенности системы – это своего рода цена, которую мы заплатили за желание получить лишь целостное представление о системе. Если бы мы провели опыт по измерению координат импульсов всех молекул газа, то полученный объем информации был бы в точности равен энтропии, поскольку неопределенность в этом случае полностью исчезла. Создается видимость, что энтропия газа обусловлена исключительно применением статистических методов. Известная доля истины в этом, безусловно, есть. Имеется, однако, ряд моментов, которые целесообразно в этой связи отметить.

    Во-первых, измерение состояний молекул  газа в какой-то момент времени не означает, что мы будем знать, где  окажутся молекулы в следующую минуту. Неопределенность последующих состояний газа остается. Через несколько соударений молекула вновь погружается в хаос и энтропия системы вырастает до прежнего значения. Другое дело, если бы мы попытались использовать наше знание для целенаправленного вмешательства в систему.

    Аналогичная ситуация имеет место и в эксперименте с "демоном Максвелла". Энтропия системы не понизилась бы, если бы "демон" ограничился только измерением, а  не производил дополнительную работу по открыванию и закрыванию отверстия, что привело к разделению молекул газа на быстрые и медленные.

    Таким образом, сам по себе процесс получения  информации о системе путем ее наблюдения не изменяет энтропии системы. Энтропия системы меняется (понижается) только в том случае, если над системой проводится какая-либо целенаправленная работа.

    Во-вторых, использование статистических методов  не прихоть исследователя. Стохастическое движение частиц газа – по своей  природе процесс объективный. Будущие  состояния частиц непредсказуемы не потому, что это трудно сделать в силу сложности поведения статистической системы. Они непредсказуемы потому, что в реальных статистических системах не действует принцип лапласовского детерминизма. Дело в том, что в природе не существует абсолютно замкнутых систем. Замкнутость всегда относительна. В механике абстракция замкнутости используется тогда, когда внешними воздействиями на систему по тем или иным причинам можно пренебречь. В статистических системах появляется дополнительная специфика. Отсутствие каких-либо внешних воздействий на систему как целое отнюдь не исключает того, что существует множество локальных взаимодействий с системой (на молекулярном уровне), которые в совокупности компенсируют друг друга и поэтому не приводят к макроскопическому эффекту. Статистическая система может быть замкнутой в макроскопическом смысле, но никогда не бывает изолированной в микроскопическом смысле. Отсюда и непредсказуемость в поведении молекул, а следовательно, неизбежность статистического подхода.

    Еще более сложная ситуация складывается в квантовомеханических системах, где невозможно одновременное измерение координат и импульсов в силу соотношения неопределенности Гейзеберга. Неопределенность здесь имеет более глубокую причину, связанную с корпускулярно-волновой природой квантовых объектов. Ограниченность лапласовского детерминизма становится уже теоретическим фактом, и возможности полностью снять неопределенность системы нет при любых средствах наблюдения. Таким образом, энтропийная характеристика статистических систем – это не просто плата за желание ограничиться лишь целостным (функциональным) аспектом рассмотрения. Она возникает с той же степенью необходимости, с какой оказывается здесь необходимым сам функциональный подход. Изъятие энтропии из системы возможно лишь в результате физического воздействия на систему, каким может быть процесс измерения, имеющий целью получить информацию о системе. Но это воздействие с самого начала должно быть устроено таким образом, чтобы соблюдались те особые требования, которые обычно предъявляются к процессу измерения: минимальное возмущающее действие на объект измерения, отсутствие эффектов последействий и т.д. В тех случаях, когда указанные требования не могут быть выполнены (для квантовых объектов это именно так), полученная информация имеет ограниченное значение в том смысле, что не может быть использована для предсказания последующего развития процесса, скажем для определения последующего поведения микрообъекта. Она имеет силу лишь для данного момента, как регистрирующая информация. Поэтому было бы неверно представлять себе дело так, что полученная информация о системе в конце концов снимает всю неопределенность и система перестает быть статистической. Но вполне может оказаться, что накопленная в результате различного рода измерений и экспериментов информация окажется достаточной для того, чтобы построить иные модели процесса, где будет сделан больший акцент на структурные характеристики системы. Построение новой теории потребует новой экспериментальной базы. Изменится цель измерений, изменятся и сами измерительные процедуры. Характер применяемых статистических методов станет иным.

    В этих новых условиях мы уже не сможем провести точное количественное сопоставление  величины энтропии, как она вычислялась  в прежней теории, с приростом объема информации о системе, который был получен в результате эволюции научного знания. Скорее всего такое сопоставление бессмысленно.

    Измерение информации требует более широкого подхода и несводимо к вычислению энтропии. Совпадение их в рамках статистической теории говорит о том, что существует нечто общее, что лежит в основе этих понятий. Это общее есть фактор неопределенности. Энтропия как математическая величина дает способ измерить, оценить эту неопределенность при условии, что последняя задается набором альтернатив, каждая из которых имеет определенную вероятность реализации.

    Для экспликации понятия количества информации тоже важно уметь измерить неопределенность. Однако способы задания  неопределенности могут быть различными. Если она задается набором альтернатив с соответствующими вероятностями, то количество информации может быть измерено с помощью энтропийных оценок. Если же неопределенность задается другим способом, то мера информации соответственно изменяется.

    Понятие информации не связано жестко с распределением вероятности в самой системе. Можно представить случай, когда о распределении вероятностей вообще трудно говорить. Тем не менее уместно говорить о получении информации. Например, объект, движущийся по законам классической механики, не является статистической системой и его будущее состояние в принципе полностью предсказуемо. Тем не менее для того, чтобы осуществить такое предсказание, необходимо провести точное измерение координат и импульса движущегося тела, т.е. получить определенную информацию о текущем состоянии системы. Здесь система – источник информации, но понятие физической энтропии к ней не применимо.

    Равным  образом трудно (хотя и возможно) говорить об энтропии научной книги  или художественного произведения, хотя и то и другое – богатые источники информации. Вряд ли кто рискнет заявить, что, читая книгу, он понижает ее энтропию, как это было в эксперименте Сцилларда. Во всяком случае, такое заявление означало бы, что мы попросту отказались понимать энтропию в ее узком, первоначальном, смысле, т.е. в смысле формул Больцмана и Шеннона, и перешли к более широкой трактовке.

    Попытки расширительного толкования энтропии имеют место в литературе. Вероятно, этого бы не произошло, не будь совпадения упомянутых формул. И действительно, убедившись однажды в таком совпадении, трудно удержаться от соблазна дальнейших обобщений, особенно если учесть высокую степень актуальности экспликации понятия информации. Заметим, однако, что при расширительной трактовке энтропия, в сущности, перестает быть количественной мерой неопределенности и становится скорее ее синонимом. Учитывая это обстоятельство, было бы, вероятно, целесообразно понимать энтропию лишь в узком смысле, ограничив область ее применения рамками теории вероятности.

    Особенность алгоритмического подхода в теории информации заключается в том, что используемая в нем количественная мера информации предполагает наличие двух множеств. Можно говорить лишь о количестве информации, содержащейся в одном множестве относительно другого. Информация выступает, следовательно, в форме отношения между множествами. Количество ее определяется как минимальная длина программы, однозначно преобразующая одно множество в другое.

    В рамках энтропийного подхода для  оценки количества информации потребовалось  бы, во-первых, определение мощности допустимого множества и, во-вторых, определение вероятности того, что элемент из этого множества является оптимальным (для каждого элемента). Если для простоты предположить конечность допустимого множества и равновероятность альтернативных вариантов (за отсутствием других гипотез), то количество информации будет равно логарифму от числа элементов допустимого множества. В какой-то мере это дает представление о сложности алгоритма, в особенности если учесть, что для общего случая дискретной оптимизационной задачи алгоритм решения близок к алгоритму прямого перебора.

  Список  литературы:

  1. Акимова Т.А., Хаскин В.В. Экология: Учебник для  вузов. -М.: ЮНИТИ, 1998. - 445 с. 
  2. Андерсон Дж. М. Экология и науки об окружающей среде: Биосфера, экосистемы, человек.- Л.: Гидрометеоиздат, 1985.
  3. Николис Г., Пригожий И. Познание сложного. М.: Мир. 1990.
  4. Курдюмов С.П., Князева Е.Н. Законы эволюции и самоорганизации сложных систем. М.: Наука, 1994.
  5. Капица С.П., Курдюмов С.П., Малинецкий Г.Г. «Синергетика и прогнозы будущего». М., Наука, 1997.
  6. Фейнман Р. Характер физических законов. М., Наука. 1987.
Энтропия и информация, их определение и анализ