Ирина Эланс

Автор который поможет с любыми образовательными и учебными заданиями

Характеристика непрерывных источников информации

СОДЕРЖАНИЕ

ВВЕДЕНИЕ 3

гЛАВА 1. непрерывныЕ источники информации. Случайные сигналы 5

1.1. Источники информации. Основные понятия. 5

1.2. Математическое описание случайных сигналов 7

1.3. Преобразование непрерывных сигналов в дискретные 10

Глава 2. основные характеристики Непрерывных источников информации 12

2.1. Количественная оценка информации 12

2.2. Количественная оценка информации непрерывного источника. Дифференциальная энтропия 15

2.3. Свойства дифференциальной энтропии 16

2.4. Совместная и условная дифференциальная энтропия 23

ЗАКЛЮЧЕНИЕ 29

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 30

ВВЕДЕНИЕ

Актуальность исследования состоит в том, что получение, передача, обработка и хранение информации – это наиболее динамично развивающиеся в последние десятилетия и перспективные области человеческой деятельности. Десятки тысяч крупных, средних и мелких фирм во всем мире, с годовым оборотом в сотни миллиардов долларов, занимаются исследованием, разработкой, производством, продажей и эксплуатацией разнообразных систем и устройств передачи информации [3, 4, 10, 17].

Информация является объектом хранения, передачи и преобразования. В теории и технике связи в первую очередь интересуются только свойствами информации при ее передаче. При этом под информацией понимают совокупность сведений о каких-либо явлениях, событиях и фактах, заранее неизвестных получателю [1, 2, 5–9].

Система передачи информации представляет собой совокупность технических средств и среды распространения сигналов, обеспечивающих передачу информации (сообщений) от источника к получателю [6–9, 12–16, 18–30].

Данные являются диалектической составной частью информации. Они представляют собой зарегистрированные сигналы. Данные могут нести в себе информацию о событиях, происходящих в материальном мире. Однако данные не тождественны информации. Как только данные начинают использовать в каких-либо практических целях, они превращаются в информацию. Исходя из этого, можно определить информацию как используемые данные.

Для получения информации нужен метод обработки данных. Информация – это продукт взаимодействия данных и адекватных им методов их обработки.

Любая система передачи информации включает в себя источник и получатель информации, а также канал связи. Источником информации является физический объект, формирующий сообщения. Получатель этих сообщений и является получателем информации. Исходным пунктом в такой системе является источник информации (сообщений). Его сообщения преобразуются в первичные сигналы, а затем, в передатчике, – во вторичные сигналы, удобные для передачи по линии связи (по форме, мощности, частоте или другим параметрам). Эти сигналы поступают в линию связи, в которой они ослабляются и подвергаются вредному воздействию посторонних мешающих воздействий – помех. Приемник осуществляет восстановление (извлечение) первичных сигналов из принятых колебаний, которые затем преобразуются в принимаемые сообщения. Из-за воздействия помех, восстановленные первичные сигналы и, следовательно, сообщения могут отличаться от переданных.

Понятно, что при разработке любой системы передачи информации важнейшими вопросами являются задачи определения информационных характеристик источников сообщений, что и определяет актуальность темы настоящей дипломной работы.

Предметом исследования является теория информации и информационные процессы

Объектом исследования данной дипломной работы являются непрерывные источники информации.

Целью дипломной работы является исследование непрерывных источники информации и их характеристика.

Основными задачами исследования являются:

– определение непрерывных источников информации;

– анализ методов математического описания непрерывных источников информации;

– изучение и оценка основных характеристик непрерывных источников информации;

– примеры расчета информационных характеристик непрерывных источников информации.

гЛАВА 1. непрерывныЕ источники информации. Случайные сигналы

1.1. Источники информации. Основные понятия.

Информация поступает в систему в форме сообщений. Под сообщением понимают совокупность знаков или первичных сигналов, содержащих информацию. Источник сообщений в общем случае образует совокупность источника информации (ИИ) (исследуемого или наблюдаемого объекта) и первичного преобразователя (ПП) (датчика, человека-оператора и т.п.), воспринимающего информацию о его состояниях или протекающем в нем процессе. Различают дискретные и непрерывные сообщения.

Дискретные сообщения формируются в результате последовательной выдачи источником отдельных элементов – знаков. Множество различных знаков называют алфавитом источника сообщений, а число знаков – объемом алфавита. В частности, знаками могут быть буквы естественного или искусственного языка, удовлетворяющие определенным правилам взаимосвязи. Распространенной разновидностью дискретных сообщений являются данные.

Непрерывные сообщения не разделимы на элементы. Они описываются функциями времени, принимающими непрерывное множество значений. Типичными примерами непрерывных сообщений могут служить речь, телевизионное изображение. В ряде систем связи непрерывные сообщения с целью повышения качества передачи преобразуются в дискретные.

Для передачи сообщения по каналу связи ему необходимо поставить в соответствие определенный сигнал. В информационных системах под сигналом понимают физический процесс, отображающий (несущий) сообщение. Преобразование сообщения в сигнал, удобный для передачи по данному каналу связи, называют кодированием в широком смысле слова. Операцию восстановления сообщения по принятому сигналу называют декодированием.

Так как число возможных дискретных сообщений при неограниченном увеличении времени стремится к бесконечности, а за достаточно большой промежуток времени весьма велико, то ясно, что создать для каждого сообщения свой сигнал практически невозможно. Однако, поскольку дискретные сообщения складываются из знаков, имеется возможность обойтись конечным числом образцовых сигналов, соответствующих отдельным знакам алфавита источника.

Для обеспечения простоты и надежности распознавания образцовых сигналов их число целесообразно сократить до минимума. Поэтому, как правило, прибегают к операции представления исходных знаков в другом алфавите с меньшим числом знаков, называемых символами. При обозначении этой операции используется тот же термин «кодирование», рассматриваемый в узком смысле. Устройство, выполняющее такую операцию, называют кодирующим или кодером (КД). Так как алфавит символов меньше алфавита знаков, то каждому знаку соответствует некоторая последовательность символов, которую назовем кодовой комбинацией. Число символов в кодовой комбинации называют ее значностью, число ненулевых символов – весом.

Аналогично, для операции сопоставления символов со знаками исходного алфавита используется термин «декодирование». Техническая реализация ее осуществляется декодирующим устройством или декодером (ДК). В простейшей системе связи кодирующее и декодирующее устройство могут отсутствовать.

Передающее устройство осуществляет преобразование непрерывных сообщений или знаков в сигналы, удобные для прохождения по конкретной линии связи (либо для хранения в некотором запоминающем устройстве). При этом один или несколько параметров выбранного носителя изменяют в соответствии с передаваемой информацией. Такой процесс называют модуляцией. Он осуществляется модулятором (МД). Обратное преобразование сигналов в символы производится демодулятором (ДМ).

Под линией связи понимают любую физическую среду (воздух, металл, магнитную ленту и т. п.), обеспечивающую поступление сигналов от передающего устройства к приемнику. Сигналы на выходе линии связи могут отличаться от переданных вследствие затухания, искажения и воздействия помех. Помехами называют любые мешающие возмущения, как внешние (атмосферные помехи, промышленные помехи), так и внутренние (источником которых является сама аппаратура связи), вызывающие случайные отклонения принятых сигналов от переданных. Эффект воздействия помех на различные блоки системы стараются учесть эквивалентным изменением характеристик линии связи. Поэтому источник помех условно относят к линии связи.

Из смеси сигнала и помех приемное устройство выделяет сигнал и посредством декодера восстанавливает Сообщение, которое в общем случае может отличаться от посланного. Меру соответствия принятого сообщения посланному называют верностью передачи. Обеспечение заданной верности передачи сообщений – важнейшая цель системы связи.

Принятое сообщение с выхода системы связи поступает к абоненту-получателю, которому была адресована исходная информация.

Совокупность средств, предназначенных для передачи сообщений, называют каналом связи. Для передачи информации от группы источников, сосредоточенных в одном пункте, к группе получателей, расположенных в другом пункте, часто целесообразно использовать только одну линию связи, организовав на ней требуемое число каналов. Такие системы называют многоканальными.

Непрерывный источник информации – это источник, который вырабатывает непрерывные сообщения (сигналы), являющиеся реализациями непрерывного случайного процесса [1–6].

1.2. Математическое описание случайных сигналов

Непрерывный случайный процесс (сигнал) – это функция времени t, которая при каждом фиксированном значении времени является непрерывной случайной величиной. Сечение случайного сигнала – это случайная величина , соответствующая фиксированному значению времени . Реализация (траектория) случайного сигнала – это неслучайная функция времени t, равным которой может оказаться случайный сигнал в результате i-го испытания. Множество отдельных реализаций образует ансамбль реализаций случайного сигнала .

Случайный сигнал в общем случае полностью описывается с помощью многомерной (m-мерной) плотности распределения вероятностей , где – аргументы плотности распределения связанные с соответствующими сечениями сигнала в фиксированные моменты времени .

Случайный сигнал называется стационарным в узком (строгом) смысле, если все его многомерные плотности распределения вероятностей любого порядка m инвариантны относительно сдвига по времени [2, 7, 12]. В частности, его одномерная плотность распределения не зависит от времени

двумерная плотность зависит только от разности аргументов

а m-мерная плотность распределения будет зависеть лишь от временных параметров , i = 2, 3, …, m:

Случайный сигнал называется стационарным в широком смысле, если его математическое ожидание, дисперсия и автокорреляционная функция инвариантны относительно сдвига по времени. У такого сигнала математическое ожидание и дисперсия постоянны во времени [2, 7, 12, 14 – 16]

; \* MERGEFORMAT ()

, \* MERGEFORMAT ()

а корреляционная функция зависит только от разности :

\* MERGEFORMAT ()

Автокорреляционная функция является четной функцией времени , при нулевом значении аргумента равна дисперсии и в соответствии с теоремой Винера–Хинчина связана с энергетическим спектром (спектральной плотностью мощности) стационарного случайного сигнала парой преобразований Фурье [2, 14 – 16]

; \* MERGEFORMAT ()

. \* MERGEFORMAT ()

Функция показывает, какая часть мощности стационарного случайного сигнала приходится на единицу полосы частот, является неотрицательной функцией частоты и имеет размерность энергии.

Сигнал, стационарный в узком смысле, всегда является стационарным в широком смысле. Обратное утверждение в общем случае неверно.

Стационарный случайный сигнал называется эргодическим в строгом смысле, если с вероятностью, равной единице, все его вероятностные характеристики могут быть получены по одной реализации сигнала. Практически часто интересуются не всеми, а только отдельными характеристиками процесса и вводят понятие эргодичности относительно этих характеристик. При этом аналоги соответствующих вероятностных характеристик сигнала определяются путем усреднения одной реализации на некотором интервале времени [0, T] и установления условий, при которых дисперсия получающихся средних значений стремится к нулю при .

1.3. Преобразование непрерывных сигналов в дискретные

Поступающую информацию можно хранить, передавать и обрабатывать в виде непрерывных или дискретных сигналов. Однако при существующих темпах развития информационной техники предпочтение отдается дискретным сигналам, поэтому сигналы от непрерывных источников, как правило, преобразуют в дискретные. Для конкретных задач исследования какого-нибудь объекта обычно требуется значительно меньше информации, чем ее поступает с датчиков в виде сигналов, которые изменяются во времени непрерывно. Поэтому можно ограничиться отсчетами, которые берут через определенные моменты времени.

Для этого каждый непрерывный сигнал подвергается операциям квантования по времени (дискретизации) и по уровню.

Дискретизация – это преобразование функции непрерывного времени в функцию дискретного времени, которая представляется некоторой совокупностью величин, что называют координатами, благодаря значениям которых исходная непрерывная функция может быть восстановлена с заданной точностью. В качестве координат часто выступают мгновенные значения функции, рассчитанные в определенные моменты времени.

Под квантованием подразумевают преобразование некоторой величины с непрерывной шкалой значений в величину, имеющую дискретную шкалу значений. Оно сводится к замене любого мгновенного значения одним из конечного множества разрешенных значений, называемых уровнями квантования.

Рациональное выполнение операций дискретизации и квантования при обработке информации средствами цифровой техники, в первую очередь ЭВМ и микропроцессорами, приводит к значительному экономическому эффекту как за счет снижения затрат на хранение и обработку получаемой информации, так и вследствие сокращения времени обработки информации, что ведет к улучшению качества управления.

Изменение вида сигнала u(t) (рис. 1, а) в результате проведения операции дискретизации показано на рис. 1,б), а в результате совместного проведения операций дискретизации и квантования – на рис. 1, в).

В данном случае количество уровней квантования равно 8. Обычно их значительно больше. Передача такого множества различных по уровню импульсов даже на небольшие расстояния применяется крайне редко. Если уровни пронумеровать, то их передача сведется к передаче чисел. Тогда, выразив эти числа в какой-либо системе счисления, можно обойтись меньшим множеством передаваемых сигналов. Как правило, дискретный сигнал преобразуется в последовательность чисел, выраженных в двоичном коде. Каждое дискретное значение сигнала представляется в этом случае последовательностью сигналов двух уровней. Наличие или отсутствие импульса на определенном месте интерпретируется единицей или нулем в соответствующем разряде двоичного числа. Цифровая форма представления сигнала u(t) (рис. 1, а) показана на рис. 1, г). Для восьми уровней достаточно трех двоичных разрядов. Импульсы старших разрядов расположены крайними справа.

Подача информации в цифровой форме облегчает унификацию операций ее преобразования на всех этапах обращения. Массовость изготовления типовых узлов и блоков, простота их настройки, отсутствие необходимости регулировки в процессе эксплуатации позволяют, в свою очередь, улучшить такие важнейшие технико-экономические показатели средств цифровой техники, как стоимость изготовления и эксплуатации, а также надежность.

Низкая стоимость и высокая надежность больших интегральных схем, естественно, являются мощными стимулами дальнейшего расширения областей использования цифровых сигналов.

Глава 2. основные характеристики Непрерывных источников информации

2.1. Количественная оценка информации

Рассмотрим дискретный источник информации, который может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Каждому состоянию источника ставится в соответствие условное обозначение в виде знака (буквы) из алфавита данного источника: u₁, u₂, ..., u_N.

Поскольку одни состояния выбираются источником чаще, а другие реже, то в общем случае он характеризуется полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу:

или (6)

причем

или (7)

Меру неопределенности выбора состояния источника можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость монотонного возрастания с увеличением возможностей выбора, т. е. числа возможных состояний источника N, причем недопустимые состояния (состояния с вероятностями, равными нулю) не должны учитываться, так как они не меняют неопределенности.

Степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, это приводит к уменьшению неопределенности. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния.

Это позволяет сформулировать следующее требование к искомой мере неопределенности Н(р₁ ... р_i ... р_N): она должна быть непрерывной функцией вероятностей состояний источника р₁ ... p_i ... р_N с соблюдением условия

Наибольшее ее значение 1 должно достигаться при равенстве вероятностей всех состояний.

Кроме того, Н(р₁…ρ_N) должна являться функционалом распределения вероятностей.

Мера неопределенности выбора дискретным источником состояния из ансамбля U, удовлетворяющая указанным условиям, была предложена американским ученым К. Шенноном [36]. Ее называют энтропией дискретного источника информации или энтропией конечного ансамбля:

(8)

где С – произвольное положительное число.

К. Шенноном высказано, а советским ученым Л. Я. Хинчиным математически строго доказано утверждение, что это единственный функционал, удовлетворяющий сформулированным условиям.

Ориентируясь на измерение неопределенности в двоичных единицах, основание логарифма принимают равным двум, а С= 1. Тогда из (8)

(9)

Мера К. Шеннона позволяет учесть статистические свойства источника информации.

Рассмотрим основные свойства энтропии, обратив внимание на то, что сформулированные условия для меры неопределенности выполняются.

Энтропия является вещественной и неотрицательной величиной, так как для любого i(1) р_i изменяется в интервале от 0 до 1, log p_i отрицателен и, следовательно, – p_i log p_i положительна.
Энтропия – величина ограниченная. Если вероятность стремится к 0, то и энтропия стремиться к 0.
Энтропия равна нулю только том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно, равны нулю. Это положение соответствует случаю, когда состояние источника полностью определено.
Энтропия принимает максимальное значение 1, если все состояния источника равновероятны.
Энтропия источника с двумя состояниями u₁ и u₂ изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей.

6. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропии исходных источников.

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля. При ее определении используют только вероятности состояний, полностью игнорируя их содержательную сторону. Поэтому энтропия не может служить средством решения любых задач, связанных с неопределенностью. Например, при использовании этой меры для оценки неопределенности действия лекарства, приводящего к полному выздоровлению больных в 90 % случаев и улучшению самочувствия в остальных 10 % случаев, она получится такой же, как и у лекарства, вызывающего в 90 % случаев смерть, а в 10 % – ухудшение состояния больных.

8. Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека, в частности реакции выбора. Установлено, что время безошибочной реакции на последовательность беспорядочно чередующихся равновероятных раздражителей (например, загорающихся лампочек) растет с увеличением их числа так же, как энтропия. Это время характеризует неопределенность выбора одного раздражителя.

Замена равновероятных раздражителей неравновероятными приводит к снижению среднего времени реакции ровно настолько, насколько уменьшается энтропия.

2.2. Количественная оценка информации непрерывного источника. Дифференциальная энтропия

Математическая модель непрерывного источника определяется статистическими характеристиками вырабатываемых им информационных сигналов.

Стационарный эргодический источник без памяти – это источник, вырабатывающий стационарный эргодический случайный сигнал , сечения которого в различные моменты времени являются статистически независимыми случайными величинами.

Энтропию одного сечения U сигнала на выходе стационарного эргодического источника можно найти, если разбить диапазон возможных значений случайной величины U на малые интервалы и ввести дискретную случайную величину , принимающую значения (i = 1, 2, …m) с вероятностями , где одномерная плотность вероятности случайной величины U; – среднее значение i-го интервала. При этом энтропия дискретной случайной величины в соответствии с классической формулой для энтропии дискретного источника без памяти [1, 2, 7, 12, 17, 19]

, \* MERGEFORMAT ()

где – независимые символы источника, вырабатываемые с вероятностями , может быть записана в виде

\* MERGEFORMAT ()

По мере уменьшения длины интервала свойства дискретной случайной величины все больше приближаются к свойствам непрерывной случайной величины U и поэтому предельный переход в формуле при приводит к выражению для энтропии сечения U:

. \* MERGEFORMAT ()

Первое слагаемое в правой части соотношения имеет конечное значение и полностью определяется видом одномерной плотности распределения сигнала . Второе слагаемое зависит только от величины интервала и при стремится к бесконечности [1 – 6, 20 – 21].

В качестве меры неопределенности непрерывного источника используется первое слагаемое в , которое называется дифференциальной (относительной, приведенной) энтропией и имеет вид [1 – 6, 20 – 21]

. \* MERGEFORMAT ()

2.3. Свойства дифференциальной энтропии

Дифференциальная энтропия имеет следующие свойства:

1. Дифференциальная энтропия не может служить абсолютной мерой неопределенности непрерывного источника. Однако при сравнении, например, абсолютных энтропий различных источников, энтропий отсчетов сигналов на входе и выходе канала связи и т. д. второе слагаемое в выражении при вычислении соответствующих разностей сокращается, и информационные свойства полностью определяются разностью соответствующих дифференциальных энтропий (отсюда и название – дифференциальная энтропия).

2. Дифференциальная энтропия является относительной мерой неопределенности, и ее значение зависит от масштаба случайной величины U, а следовательно, и от выбора единиц ее измерения. Так, при изменении масштаба в k раз, что соответствует переходу к случайной величине , дифференциальная энтропия составит

. \* MERGEFORMAT ()

Действительно, если U – непрерывная случайная величина с плотностью распределения и случайная величина V связана с U функциональной зависимостью

то при условии, что является монотонно возрастающей или убывающей функцией на всем участке изменения u, плотность распределения случайной величины V определяется выражением

, \* MERGEFORMAT ()

где – функция, обратная функции ; .

В соответствии с

обратная функция составляет

и, следовательно,

Таким образом, в соответствии с формулой ,

Подставляя полученное распределение в соотношение для дифференциальной энтропии, получаем

Проведя замену переменных , так что , , и выполняя интегрирование, из полученного выражения окончательно имеем

что совпадает с выражением .

3. Дифференциальная энтропия, в отличие от энтропии дискретного источника, наряду с нулевыми и положительными значениями также может принимать и отрицательные значения.

4) Дифференциальная энтропия не изменяется, если к случайной величине U прибавить некоторую постоянную величину c, т. е. при переходе к случайной величине дифференциальная энтропия составит

. \* MERGEFORMAT ()

Отсюда следует, что дифференциальная энтропия не зависит от значения математического ожидания случайной величины U, и случайные величины, отличающиеся только математическими ожиданиями, имеют одинаковые дифференциальные энтропии.

Для доказательства учтем, что в соответствии с этой формулой и, следовательно, , .

Поскольку из выражения вытекает, что , соотношение дает окончательный результат

5. Если единственным ограничением для случайной величины U является область ее возможных значений , то максимально возможной дифференциальной энтропией, равной

, \* MERGEFORMAT ()

обладает случайная величина с равномерным распределением вероятностей

\* MERGEFORMAT ()

6. Если ограничения на область определения случайной величины U отсутствуют, но ее дисперсия ограничена, то максимально возможной дифференциальной энтропией, равной

, \* MERGEFORMAT ()

обладает нормальная случайная величина с нормальной плотностью распределения вероятностей и любым, в частности нулевым, математическим ожиданием.

Для доказательства свойства используем метод вариационного исчисления.

Если требуется найти максимум (или минимум) интеграла

\* MERGEFORMAT ()

при дополнительных условиях

\* MERGEFORMAT ()

то функция , доставляющая экстремум интеграла , находится из решения уравнения Эйлера

, \* MERGEFORMAT ()

где – некоторые константы (неопределенные множители Лагранжа), которые определяются путем подстановки функции , являющейся решением уравнения , в равенства .

В данном случае требуется найти такую функцию , при которой интеграл в выражении

\* MERGEFORMAT ()

достигает максимума при ограничивающих условиях

и , \* MERGEFORMAT ()

где принято, что математическое ожидание .

Согласно – соответствующие функции имеют вид

, ,

их производные составляют

, , ,

а уравнение Эйлера задается соотношением

, \* MERGEFORMAT ()

из которого следует

. \* MERGEFORMAT ()

Для определения неизвестных и сначала подставим решение в первое условие :

. \* MERGEFORMAT ()

Отмечая, что величина должна быть отрицательной, поскольку в противном случае интеграл в расходится, и, используя табличное значение интеграла , из получаем

или

Тогда решение принимает вид

. \* MERGEFORMAT ()

Подставляя во второе условие и используя табличный интеграл , получаем

и, следовательно,

. \* MERGEFORMAT ()

Наконец, подставляя значение в , окончательно имеем

что соответствует нормальному распределению при .

Вычислить дифференциальную энтропию случайной величины U с нормальным распределением вероятностей .

Подставляя плотность под знак логарифма в формуле , получаем

\* MERGEFORMAT ()

Так как и в соответствии с формулой для дисперсии , из последнего выражения окончательно имеем

что совпадает с соотношением .