Каналы с непрерывным временем. Обратная теорема кодирования

 
 
 
 
 
 
 
 
 

Курсовая  работа по теории информации на тему:

 «Каналы  с непрерывным временем. Обратная  теорема кодирования» 
 
 
 
 

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

2008г

Содержание

 

Введение                                                                                                                3 

Классификация и характеристики каналов связи                                                  4                                                               

Каналы с непрерывным  временем                                                                         4 

Передача информации по непрерывному каналу                                                      7                                                     

Обратная теорема  кодирования                                                                             9 

Заключение                                                                                                          11 

Список литературы                                                                                              11 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 
 
 
 
 
 
 
 
 
 
 
 
 

1. Введение: 

  В данной курсовой работе я буду классифицировать и давать характеристику каналам связи. Главным образом, будут рассматриваться непрерывные каналы по входу и выходу с непрерывным временем и простая модель непрерывного канала. Это ограничение обусловлено, с одной стороны, тем, что результаты для нее могут быть получены достаточно простыми средствами, а с другой стороны – тем, что изучение именно этой простой модели позволяет наиболее наглядно пояснить постановку задачи и основные результаты, относящиеся к кодированию в непрерывных каналах. 

  Далее рассмотрим понятия и определения, которые  потребуются для дальнейшего  рассмотрения моей темы:

   Сначала  рассмотрим понятия и определения  которые потребуются для рассмотрения темы:

  Автокорреляционной  функцией случайного процесса z (t) называется      функция двух действительных переменных, определяемая  равенством

  Случайный процесс называется стационарным, если его автокорреляционная функция является функцией только

  Средняя взаимная информация между входом и  выходом на интервале (0,T), если она существует, определяется равенствами

  

    является неявной функцией  T и . Пропускная способность канала на единицу времени определяется равенством

  Где , а верхняя грань берётся по всем входным распределениям вероятностей, согласующимся с ограничениями на входе канала. Величина в скобках это максимум взаимной информации, которая может быть передана за время T. Но при данный предел может не существовать, и пропускная способность определена лишь в том случае когда этот предел существует.

  Неравенство Фано.

  Устанавливает связь между ненадёжностью передачи и средней вероятностью ошибки декодирования для кода G(n, R).    

  Две функции  и называются ортогональными, если

    где - функция, комплексно-сопряженная с .  Функция называется нормированной, если ее энергия

    равна 1. Ортонормальное множество определяется как

  множество функций  , ... , каждая из которых нормирована и

  каждая  пара которых ортогональна; таким  образом, для всех ,

  из множества  имеем 

    где  для и в других случаях.

    2.Классификация и характеристики каналов связи. 

    В системах передачи сообщений канал  связи, представляемый в самом общем виде, включает любую совокупность технических средств. Поэтому наряду с физической средой, предназначенной для распространения электромагнитных колебаний, к блокам канала связи относят кодеры, модуляторы, антенные устройства передатчика и т.д.  В зависимости от конкретного набора блоков системы и соответственно формы и характеристик входных и выходных сигналов канала передачи возникает необходимость в введении специальной классификации каналов.

    Абстрагируясь от конкретной физической природы сигналов и шумов на входе и на выходе различных блоков канала, введем следующие определения.

1. Канал называется дискретным по входу (по выходу), если множество входных (выходных) сигналов является счетным;
2. Канал называется непрерывным по входу (по выходу), если множество входных (выходных) сигналов является континуумом;
3. Канал называется дискретным по входу и непрерывный по выходу – если множество входных сигналов конечно, а множество выходных сигналов несчетно. Такие каналы называют еще полунепрерывными.
4. Канал носит название с дискретным временем, если сигналы на его входе и выходе представляют собой конечные или бесконечные последовательности некоторых ансамблей.

    4а.  Дискретный по входу и выходу  канал с дискретным временем  называется дискретным каналом.

5. Канал называется каналом с непрерывным временем – если сигналы на его входе и выходе являются непрерывными функциями времени.

     5а.   Непрерывный по входу и выходу  канал с непрерывным временем  называют непрерывным каналом. 

       3.Каналы с непрерывным временем

     Рассмотрим общую модель канала связи без предположений о наличии дискретизирующих устройств, как в реальных сигналах непрерывного канала, где они подвержены некоторой промежуточной обработке (т.е. дискретизации).

    Определение 3.1: Непрерывным каналом с непрерывным временем (или просто непрерывным каналом) называется канал, входные и выходные сигналы которого могут быть произвольными функциями времени. Если на входе канала фиксирована некоторая функция х(t) (некоторая реализация из множества входных сигналов канала), то выход канала является случайным процессом Y_х(t), статистические характеристики которого зависят от фиксированной функции х (t).

    Вообще  говоря, множество возможных входных  сигналов канала бесконечно и несчетно. Поэтому задание непрерывного канала в общем случае требует задания несчетного множества случайных процессов Y_х(t). Далее мы будем рассматривать так называемые каналы с аддитивным шумом, которые имеют существенно более простое описание.

    Определение 3.2: Непрерывным каналом с аддитивным шумом называется такой непрерывный канал, процесс Y_х(t) на выходе которого при любой фиксированной функции х(t) на  его входе определяется соотношением

    Y_x(t) = x(t) + Z(t),                                  (3.1)

где Z(t) — случайный процесс, не зависящий от х(t). Этот процесс называется шумовым процессом или просто шумом.

    Таким образом, непрерывный канал с  аддитивным шумом полностью определяется только одним случайным процессом, а именно шумом. При любой фиксированной  функции х(t), принадлежащей множеству входных сигналов канала, выходной сигнал отличается от шумового процесса только математическим ожиданием. Очевидно, что случайный процесс Y_х(t) имеет математическое ожидание, равное х(t), если шум Z(t) имеет нулевое математическое ожидание. В дальнейшем всегда предполагается, что шум имеет нулевое математическое ожидание. В противном случае, если m_z(t) ∆ M Z(t) ≠ 0, то можно полагать, что входным сигналом канала является функция х(t) + m_z(t), и тем самым перейти к случаю, когда шум в канале имеет пулевое среднее.

    Введем  теперь понятие кода для непрерывного канала непрерывного времени.

    Определение 3.3: Пусть u_i = u_i(t), i= 1,…,M, 0≤ t ≤ T — произвольные интегрируемые с квадратом функции, заданные на интервале [0,Т] (кодовые слова). Пусть Y^T —множество всех сигналов на выходе канала, образованное функциями у(t), заданными на том же интервале [О, Т], и A₁, …, A_M — непересекающиеся подмножества множества Y^T (решающие области). Кодом для непрерывного канала будем называть множество пар {u₁,A₁ ;…; u_M,A_M}. Если для каждого кодового слова u_i(t) имеет место неравенство:

                                       (3.2)

то будем  говорить, что код удовлетворяет ограничению P на среднюю мощность кодовых слов. Число

                                                 (3.3)

    называется  скоростью равномерного кодирования источника посредством кода с М кодовыми словами, при разбиении последовательности сообщений на блоки длины кода Т. Код длины T со скоростью R обозначается: G (T, R).

    Кодовые слова представляют собой сигналы, с помощью которых передаются сообщения, а множества А₁, …, А_М задают правило декодирования: если сигнал y(t) на выходе канала принадлежит множеству А_i, то принимается решение о том, что передавалось кодовое слово u_i.

    Для каждого кода определена вероятность ошибки при передаче слова u(t):

                                   (3.4)

Здесь определены средняя λ  и максимальная Λ.

    Пропускная  способность С  непрерывного канала при ограничении  на среднюю мощность сигналов на входе определяется аналогично пропускной способности непрерывных каналов с дискретным временем.

    Определение 3.4: Пропускной способностью непрерывного канала с дискретным временем при ограничении P на среднюю мощность входных сигналов называется максимальное число С такое, что для любого сколь угодно малого положительного δ и любого R < C существует код G (n, R), все слова которого удовлетворяют ограничению

                                          (3.5)

и максимальная вероятность ошибки которого удовлетворяет неравенству Λ ≤ δ.

    Дадим определение информационной емкости  канала, не вдаваясь в детали. Более  подробное обсуждение будет дано в случае каналов с аддитивным белым гауссовским шумом с  ограничением на полосу частот.

    Определение 3.5: Пусть Х_Т(t) — случайный процесс, заданный на интервале [0, Т]. Пусть для случайного процесса Х_т(t) на входе определена величина средней взаимной информации      в   единицу    времени     между случайными процессами на входе Х_T(t)) и на выходе Y_T(t), 0 ≤ t ≤ T, канала, соответственно. Число

                          (3.6)

где верхняя  грань разыскивается по всем T и по всем случайным процессам X_T (t),  обладающим ограниченной средней мощностью, т. е. таким, что:

                                           (3.7)

называется  информационной емкостью непрерывного канала при ограничении P на среднюю мощность входных сигналов. После того как мы дали определение информационной емкости, мы можем сформулировать и доказать обратную теорему кодирования.

    Докажем теперь, обратную теорему кодирования. Основным инструментом для её доказательства является неравенство Фано, которое  справедливо для различных каналов:

                          (3.8)

4. Передача информации по непрерывному каналу 
 

<

p>     Линии связи, основанные на использовании  аналоговых сигналов, имеют весьма широкую область практического  применения - это радио- и телевизионная связь, телефон и модем, различные телеметрические каналы и пр.  
 

 

Рис.1. Схема непрерывного канала передачи информации 

    Непрерывные  сигналы, поступающие в канал  связи из передатчика описываются  некоторой непрерывной функцией  времени Z(t). Ограничения на значения этой функции задаются величиной средней мощности передаваемых сигналов PZ. Другой характеристикой непрерывного канала, как и канала дискретного, является полоса пропускания – интервал частот сигналов, которые могут распространяться в данном канале n_min – n_max. Если по своему физическому смыслу Z является напряжением или силой электрического тока, то при неизменном электрическом сопротивлении канала связи PZ ~ <Z2>, т.е. мощность сигнала определяет его амплитуду и средний квадрат значения параметра сигнала.  

    Сигналы  на выходе канала Z'(t), поступающие  в приемник, также являются аналоговыми  и формируются они в результате  сложения сигналов на входе  канала и помех - их можно  описать некоторой непрерывной  функцией времени x(t); в результате:  

Z'(t) = Z(t) + x(t)                                                 (4.1) 

    Явный  вид функции помех заранее  неизвестен. Поэтому для количественного  описания прохождения сигналов  по непрерывному каналу приходится  принимать ту или иную модель  помех и модель канала. Наиболее распространенной является модель гауссовского канала: принимается, что помехи, будучи непрерывными случайными величинами, подчиняются нормальному (гауссовскому) статистическому распределению с математическим ожиданием (средним значением) равным нулю (m_x = 0):  

                                           (4.2) 

    Эта  функция имеет единственный параметр sx, квадрат которого называется  дисперсией sx2 = Dx и имеет смысл  средней мощности помех в канале  с единичным электрическим сопротивлением, т.е.  

                                                 

                                                                (4.3)             

    Если при этом выполняется условие, что в пределах полосы пропускания средняя мощность помех оказывается одинаковой на всех частотах, а вне этой полосы она равна нулю, то такие помехи называются белым шумом.  

    Не  в даваясь в математическую  сторону вывода, укажем, что основываясь  на аппарате, описывающем непрерывные  случайные величины, можно получить  выражение для информации, связанной с отдельным аналоговым сигналом, а на его основе вывести формулу для пропускной способности непрерывного канала. В частности, для принятой модели гауссовского канала с белым шумом получается выражение, которое также называется формулой Шеннона:

                                              (4.4)

где P_z– средняя мощность сигнала; P_x – средняя мощность помех, v_m - наибольшая частота в полосе пропускания.  

    Замечание.  Из (формулы 4.4) следует, что при фиксированной v_m пропускная способность определяется только отношением мощностей сигнала и помех. Ограничение пропускной способности непрерывного канала связано с тем, что любые используемые для связи сигналы имеют конечную мощность.  

    C = 0 только при P_z = 0. Т.е. непрерывный канал обеспечивает передачу информации даже в том случае, если уровень шумов превышают уровень сигнала – это используется для скрытой (неперехватываемой) передачи.  

    Повысить  пропускную способность непрерывного  канала можно за счет расширения  полосы пропускания.  

    Приведем  характеристики некоторых каналов  связи.  
 
 
 
 
 
 

Таблица 1. Характеристики некоторых каналов связи  

Из сопоставления  данных видно, что пропускная способность  телефонного канала связи совпадает  с пропускной способностью органов  слуха человека. Однако она существенно  выше скорости обработки информации человеком, которая составляет не более 50 бит/с. Другими словами, человеческие каналы связи допускают значительную избыточность информации, поступающей в мозг.  

    Мы  коснулись лишь одной (хотя  и наиболее часто применяемой)  модели непрерывного канала. В реальных каналах действие помех на входные сигналы может быть гораздо сложнее и, соответственно, гораздо хуже поддаваться математическому описанию.

5. Обратная теорема кодирования

 

    Теорема 1 (обратная теорема кодирования для непрерывных каналов при ограничении на среднюю мощность сигналов на входе).

    Пусть С*  - информационная емкость непрерывного канала при ограничении P на среднюю мощность сигналов на входе. Пусть  ε – произвольное положительное число  и R = C* + ε . Тогда найдется положительное число δ, зависящее от R, такое, что для всякого T и всякого кода G (T, R), удовлетворяющего ограничению P (см. формулу 3.2), средняя вероятность ошибки λ ≥ δ.

Доказательство:  Зафиксируем Т и рассмотрим некоторый код G (Т, R) при R = C* + ε, ε > 0, все слова которого удовлетворяют условию (см. формулу 3.2). Рассмотрим случайный процесс XT(t) на входе канала, для которого с вероятностью единица в качестве реализаций появляются кодовые слова u_i(t), i = 1, …, M; M = 2^RT, рассматриваемого кода. Будем считать, что вероятность каждой такой реализации равна 2^-RT. Так как каждая реализация процесса Х_T(t) удовлетворяет условию

                                     (5.1)

то и  сам процесс Хт(t) удовлетворяет  условию (3.7).           

Из определения информационной емкости имеем

                               (5.2)

                                                     

где U — ансамбль кодовых слов с равномерным распределением вероятностей, a W — ансамбль решений, для которого вероятности  

 

определены заданием канала. Второе неравенство есть следствие  невозрастания средней взаимной информации при преобразованиях. Теперь можно воспользоваться неравенством Фано, которое выполняется для  любого кода и для любого распределения вероятностей р(х) на кодовых словах.   

    Обозначим через λ_0n наименьший корень уравнения  

                                                  (5.3) 

    Тогда из неравенства Фано следует, что  средняя вероятность ошибки R для  кода G (T, R) удовлетворяет неравенству λ ≥ λ_0n. Легко увидеть, что λ_0n стремится к ε/R при n → ∞. Из свойств функции φ(λ) следует, что при M ≥ 1 число λ_0n остается положительным при всех n и λ_0n ≥ λ₀₁ > 0. Полагая λ₀₁ = δ, получим, что λ ≥ δ для любого кода G (T, R).  Теорема доказана.

 

    Наша  цель состоит в том, чтобы показать, что по крайней мере в некоторых  случаях, пропускная способность непрерывного какала равна его информационной емкости, а также в том, чтобы  указать метод вычисления информационной емкости. Для упрощения доказательств и для получения наглядных результатов ограничимся рассмотрением одного частного вида каналов, а именно непрерывных каналов с аддитивным белым гауссовским шумом и ограничением на полосу частот.

 

                

7. Заключение

 

      Я рассмотрели непрерывные каналы по входу и выходу с непрерывным временем и простую модель непрерывного канала.

 
 
 

8.Список литературы:

 

В.Д. Колесников, Г.Ш. Полтырев

«Курс теории информации»

Москва  «Наука» 1982  (п.4.3*)

 

А.С. Котоусов (стр.32-41)

«Теория информации»

«Радио  и связь» Москва 2003

 

С.И.Баскаков

«Радиотехнические цепи и сигналы»

Москва  «Высшая школа» 2000 (стр.170-181)