Информационные модели каналов связи

1. МОДЕЛИ КАНАЛОВ

Для того чтобы описать математически  модель канала, мы, во-первых, определим  множество возможных сигналов на входе канала (или просто входов канала), во-вторых, множество возможных  сигналов на выходе (или выходов канала) и, в-третьих, для каждого сигнала на входе вероятностную меру на множестве сигналов на выходе. Простейший класс моделей каналов образуют дискретные каналы без памяти; они определяются следующим образом. Входом является последовательность букв из конечного алфавита, пусть а₁ ...,а_к, выходом — последовательность букв из того же самого или другого алфавита, скажем b₁ ...,bj. Наконец, каждая буква выходной последовательности зависит статистически только от буквы, стоящей на соответствующей позиции во входной последовательности, и определяется заданной условной вероятностью P(bj\а_к), определенной для всех букв а_к алфавита на входе и всех букв bj алфавита на выходе. Примером может служить двоичный симметричный канал (рисунок),

который представляет собой дискретный канал без памяти с двоичными последовательностями на входе и выходе, в котором каждый символ последовательности на входе с некоторой фиксированной вероятностью 1 —р  воспроизводится на выходе канала правильно и с вероятностью р изменяется шумом на противоположный символ. В общем случае, в дискретном канале без памяти переходные вероятности исчерпывают собой все известные сведения о том, как сигнал на входе, взаимодействуя с шумом, образует сигнал на выходе.  В дальнейшем  будет описано, как дискретные каналы без памяти связаны   с реальными каналами.                                       

   Намного более широкий класс каналов (эти каналы будут называться каналами с памятью) образуют каналы, в которых сигналами на входе снова являются последовательности букв из конечных алфавитов, но в которых каждая буква последовательности на выходе может статистически зависеть не только от соответствующей буквы входной последовательности.

Другой  класс моделей каналов, которые  имеют более непосредственное сходство с физическими каналами, является класс, в котором как множество входных, так и множество выходных сигналов представляют собой множества функций времени и для каждой заданной функции на входе выход — случайный процесс. Частной моделью из этого класса, которая имеет большую теоретическую и практическую важность, является канал с аддитивным белым гауссовым шумом. Множеством сигналов на входе для такой модели является множество функций времени, удовлетворяющих заданному ограничению сверху на мощность, а сигналы на выходе — сумма сигнала на входе и белого гауссо-вого шума. При использовании этой модели для физического канала с затуханием в качестве входа в модели берется, естественно, сигнал на входе физического канала после его затухания в канале.

При передаче двоичных данных по каналу из рассмотренных  выше классов часто бывает удобно разделить как кодер для канала, так и декодер для канала на две части, как показано на рис. 1.3.2. Выходом кодера для дискретного канала на рис. 1.3.2 является последовательность букв из конечного алфавита а₁…а_к. Эти буквы производятся во времени с некоторой фиксированной скоростью (одна буква, например, за каждые т_с секунд). В каждом интервале т_с секунд модулятор дискретных данных (МДД) производит одну функцию из заданного множества функций s₁ (t),…s_K (t), определенных на интервале длины т_с. Какая именно из этих функций будет произведена, определяется буквой, поступающей на МДД в течение этого интервала: так, а₁ приводит к      s₁(t),а а₂ приводит к s₂(t) и т.д.

  Таким  образом, вся функция на входе  канала имеет вид                                                                                                                   

где последовательность i_n,n = —1, 0, 1, определяется соответствующими символами на входе МДД.

Демодулятор дискретных данных (ДДД) принимает поступающие  из канала функции и преобразует  их в последовательности букв конечного  алфавита, b_1…. bj, производя буквы вновь со скоростью одна буква за каждые т_с секунд. В простейшем случае каждая буква, выходящая из ДДД, является решением (возможно, что неправильным) о том, какая буква поступила на МДД в соответствующем временном интервале, и в этом случае алфавит b_1…bj будет совпадать с алфавитом на входе МДД. В более сложных случаях выход ДДД будет также содержать информацию о том, насколько правдоподобно решение; в этих случаях выходной алфавит ДДД будет больше, чем входной алфавит МДД.

    Как можно заметить из рис 1.3.2, совокупность МДД, канала, по которому передаются непрерывные сигналы, и ДДД может быть рассмотрена как дискретный канал; именно поэтому дискретные каналы играют большую роль при моделировании физических каналов. Если шум на последовательных интервалах по т_с секунд является независимым, что имеет место в случае аддитивного белого гауссового шума, то описанный выше дискретный канал является также каналом без памяти.

     Рассматривая кодирование и декодирование для класса дискретных каналов, мы, во-первых, получим некоторые результаты, касающиеся кодера и декодера для дискретного канала, входящего в систему, изображенную на рис. 1.3.2, и, во-вторых, сможем использовать эти результаты для того, чтобы в какой-то степени понять, как можно построить МДД и ДДД в такой системе.

     Одним из наиболее важных параметров канала является его пропускная способность. Пропускная способность определяется с помощью информационной меры, подобной той, которая была использована при рассмотрении источников, и пропускная способность интерпретируется как максимальное среднее количество информации (в битах в секунду), которое может быть передано по каналу. Оказывается, что пропускная способность недискретного канала может быть сколь угодно точно приближена пропускной способностью дискретного канала, который получается из исходного недискретного канала при соответствующем выборе модулятора дискретных данных и демодулятора дискретных данных.

     Важность понятия пропускной способности канала основана прежде всего на теореме кодирования для канала с шумами и ее обращении. Грубо говоря, эта теорема кодирования, справедливая для широкого класса каналов, утверждает, что если пропускная способность канала равна С бит в секунду и если двоичные данные поступают на вход кодера этого канала (см.рис) со скоростью (в двоичных символах в секунду) R < С, то с помощью соответствующим образом построенных кодера и декодера можно воспроизводить двоичные символы на выходе декодера со сколь угодно малой вероятностью ошибки. Этот результат точно сформулирован и доказан в гл. 5 для дискретного канала и в гл. 7 и 8 для недискретных каналов. Далеко идущее значение этой теоремы будет обсуждаться ниже в этом параграфе, однако до гл. 5 на интуитивном уровне можно сказать не так уж много. Если объединить этот результат с теоремой кодирования для источников, которая была указана в предыдущем параграфе, то найдем, что если дискретный источник имеет энтропию (в битах в секунду) меньшую, чем С, то выход источника может быть воспроизведен на приемном конце с произвольно малой вероятностью ошибки с помощью использования соответствующего кодирования и декодирования. Аналогично для недискретного источника, если R является минимальным числом двоичных символов в секунду, требующихся, чтобы воспроизвести выход источника с данным уровнем среднего искажения, и если R < С, то выход источника может быть передан по каналу и воспроизведен с этим уровнем искажения.

В не очень  строгой формулировке она утверждает, что если энтропия дискретного источника в битах в секунду больше, чем С, то независимо от кодирования и декодирования, использованных при передаче выхода источника по каналу, вероятность ошибки при воспроизведении выхода источника на приемном конце не может быть меньше, чем некоторое положительное число, которое зависит от источника и от С. Если R является минимальным числом двоичных символов в секунду, требуемых для воспроизведения источника с заданным уровнем среднего искажения, и если R> С, то независимо от кодирования и декодирования выход источника не может быть передан по каналу и воспроизведен с этим заданным уровнем среднего искажения.

Наиболее  удивительным и важным среди указанных  выше результатов является теорема кодирования для канала с шумами, которую мы обсудим сейчас более детально. Предположим, что требуется передать данные по дискретному каналу и что по каналу передается одна входная буква за каждые т_с секунд. Предположим также, что двоичные данные поступают на кодер для канала со скоростью R двоичных символов в секунду. Рассмотрим частный вид кодеров для канала, которые называются блоковыми кодерами; блоковый кодер работает следующим образом. Кодер накапливает двоичные символы на входе кодера в течение некоторого фиксированного интервала Т секунд, где Т является конструктивным параметром кодера. Во время этого интервала TR двоичных символов поступают на кодер (для простоты мы пренебрегаем здесь тем, что TR может не быть целым числом). Кодер можно представить себе как устройство, которое имеет список всех 2^TR возможных последовательностей TR двоичных символов и сопоставленного каждой из этих последовательностей кодового слова, состоящего из последовательности N = т/т_с букв на входе канала. При получении некоторой отдельной последовательности TR двоичных символов кодер отыскивает эту последовательность в списке и передает по каналу соответствующее кодовое слово из списка. Требуется Т секунд, чтобы передать N— буквенное кодовое слово по каналу, и за это время другая последовательность TR двоичных символов поступит на кодер и начнется передача следующего кодового слова. Простой пример такого кодера представлен на рис. 1.3.3. В этом примере, когда двоичная последовательность ООП... поступает на кодер, то 00 является входом кодера на первом интервале в Т секунд, и в конце этого интервала формируется кодовое слово а1а1а1 и передается за интервал времени в Т секунд. Аналогично 11 является входом кодера на втором интервале времени в Т секунд, и a1a₂a₃—соответствующим кодовым словом, передаваемым в течение третьего интервала времени.

      Декодер для такого блокового кодера работает аналогичным образом. Декодер накапливает N принятых символов, поступающих из канала и соответствующих переданному кодовому слову, и строит решения (возможно неправильные) относительно соответствующих TR двоичных символов, которые поступили на кодер. Можно считать, что эта процедура решения выполняется декодером с помощью списка всех возможных принимаемых последовательностей из N символов и соответствующей каждой из этих последовательностей последовательности из TR двоичных символов.

      Для данного дискретного канала и данной скорости R (в двоичных символах в секунду) поступления символов на кодер имеется свобода в выборе, во-первых, Т (или, что эквивалентно, свободе в выборе N = т/т_с), во-вторых, множества 2^ТR кодовых слов и, в-третьих, правила решения. Вероятность ошибки в декодированных двоичных данных, сложность системы и задержка при декодировании зависят от этих выборов. Для широкого класса каналов можно выбрать 2^TR кодовых слов и правило решения таким образом, что

Функция Е (R) является функцией R (числа двоичных символов в секунду, поступающих на кодер) и зависит от модели канала, но не зависит от Т. Показывается, что Е (R) убывает с ростом R,

но остается положительной при всех R меньших, чем пропускная способность (рис. 1.3.4). Оказывается, что приведенная выше граница для Р_е является довольно точной, и не является нецелесообразным рассмотрение ехр [—ТЕ (R)] в качестве оценки минимальной вероятности ошибки (по всем выборам 2^TR- кодовых слов и всем правилам решения), которая может быть достигнута при использовании блокового кодера с заданным временем Т. Таким образом, чтобы сделать Р_е малой, необходимо выбрать Т большим, и чем R ближе к С, тем больше должно быть Т.

Трудно  дать простые утверждения, касающиеся сложности и вероятности ошибки кодеров и декодеров. Однако, грубо говоря, не трудно заметить, что сложность увеличивается с ростом времени Т (для наилучших способов, приближенно линейно с Т), что Р_е убывает с ростом T при фиксированной R и что Т должно возрастать вместе с ростом R для достижения фиксированного значения Р _е. Следовательно, грубо говоря, имеется обменное соотношение между сложностью, скоростью и вероятностью ошибки. Чем ближе R к пропускной способности и чем меньше Р_е , тем требуется большая сложность кодера и декодера.

                                 2. Дискретный канал без памяти

   Рассмотрим  дискретный канал без памяти (ДКБП), входной алфавит которого X состоит из К целых чисел 0, 1, ..., К — 1 и выходной алфавит которого Y состоит из J целых чисел 0, 1, ..., J — 1. Использование целых чисел в качестве входных и выходных букв

упрощает  обозначения в некоторых последующих  рассмотрениях, а также вновь  подчеркивает то обстоятельство, что обозначения, принятые для входных и выходных букв, ни на что не влияют.

   Канал описывается переходными вероятностями  P(j\k), заданными для 0≤j≤J—1 и 0 ≤k≤K— 1. По определению, Р (j | k) является условной вероятностью приема целого числа j при условии, что задан вход канала — целое число к.

   Обозначим последовательность N букв на входе канала через х = (x1, ..., х_п, ..., хN), где х_п, 1≤n≤N,принимают значения из входного алфавита,   т. е. значения от 0 до К — 1. Аналогично, соответствующие последовательности выходных букв обозначим через y= (у 1, •••, yN),где yп принимают значения из выходного алфавита, т. е. значения от 0 до J — 1. Вероятность у_п при условии, что задано х_п, задается описанной выше переходной вероятностью Р (у_п \х_п).

   В силу того, что канал является каналом  без памяти, каждая выходная буква  в последовательности зависит только от соответствующей входной буквы и условная вероятность выходной последовательности у = (у₁ ..., уN) при условии, что задана входная последовательность х = (x1 ..., x_N), определяется равенством

Более формально это можно выразить следующим образом: канал является каналом без памяти, если существуют такие переходные вероятности Р (j\k), что (4.2.1) справедливо для всех N, всех у = (у₁ ..., y_N) и всех х = (х₁ ..., x_N).

Рис. 4.2.1. Переходные вероятности в двоичном симметричном канале. (Здесь и на некоторых последующих рисунках в десятичных дробях, целая часть которых равна нулю, нуль опускается.)

   Для примера использования указанных  выше обозначений рассмотрим двоичный симметричный канал, изображенный на рис. 4.2.1. Переходные вероятности для  рис. 4.2.1 задаются следующим образом: Р (0|0)=0,9  Р(1|0)=0,1, Р(0| 1)=0,1, Р(1|1)= 0,9  .

   Для последовательностей длины 2 равенство (4.2.1) дает: Р2(00|00) = (0,9) • (0,9) = 0,81, Р₂ (10 | 00) = (0,1) • (0,9) = 0,09 и т. д. Вероятность Р₂(00|00) обозначает вероятность приема двух нулей при условии, что были переданы два нуля.

   Отметим, что при описании канала ничего не было сказано о методе использования символов на входе канала. Если задать вероятностную меру на входных целых числах, обозначая через вероятность использования числа , то средняя взаимная информация между входом и выходом равна

   Вероятность приема числа   j была выписана в виде  

чтобы подчеркнуть, что она является функцией как распределения на входе, так  и переходных вероятностей канала.

   Так как относительные частоты букв на входе канала могут быть соответствующим  образом выбраны с помощью  кодера, то не должно быть удивительным то, что максимум I(X; Y) по входным вероятностям является величиной, которая имеет теоретико-информационный смысл. Пропускной способностью С дискретного канала без памяти (ДКБП) называется наибольшая средняя взаимная информация I (Х; Y), которая может быть передана по каналу при его однократном использовании, максимизированная по всем распределениям на входе:

Отметим, что в то время как I (Х; Y) является функцией как канала, так и распределения на входе, С является функцией только канала. Вычисление С включает в себя максимизацию по К переменным с двумя ограничениями: одно в виде неравенства ≥ 0 и другое в виде равенства = 1. Максимальное значение существует в силу того, что функция является непрерывной и максимизация производится в замкнутой ограниченной области векторного пространства.

Основополагающее  значение пропускной способности для  ДКБП обосновывается теоремой кодирования, которая утверждает, что данные могут  быть надежно переданы по каналу с  любой скоростью , меньшей пропускной способности. Заметим, что поразительным в теореме кодирования является слово «надежно». То, что информация может быть передана со скоростью, равной пропускной способности, является очевидным, так как для этого нужно лишь просто выбрать соответствующее распределение на входе. Пропускная способность может быть интерпретирована как максимальная средняя взаимная информация на букву, которая может быть передана для последовательности входов и выходов. Далее будет доказано обращение теоремы кодирования, т. е. что надежная передача невозможна для скоростей источника, превосходящих пропуск

3.Дискретные каналы с памятью.

Для дискретного  канала с памятью каждая буква  выходной последовательности статистически зависит как от соответствующего входа, так и от прошлых входов и выходов (здесь и в дальнейшем предполагается, что канал является каналом без предвосхищения, т. е. при заданном текущем входе и заданных входах и выходах в прошлом текущий выход статистически не зависит от будущих входов). Без потери общности последовательность входов и выходов вплоть до заданного момента может быть рассмотрена как состояние канала в этот момент. В этих понятиях статистическое поведение канала описывается совместной вероятностной мерой на выходной букве и состоянии в заданный момент при условии, что заданы текущая входная буква и предыдущее состояние.

   При построении математической модели физических каналов с памятью часто желательно рассматривать в качестве памяти канала некоторые имеющие физический смысл параметры (такие, как уровень замирания в линии передачи с медленными замираниями). В этих случаях канал продолжает описываться вероятностной мерой на выходе и состоянии при условии, что заданы вход и предыдущее состояние, но состояние, возможно, не определяется предыдущими входами и выходами.

    Для простоты исследования здесь будут  рассмотрены только каналы с дискретным конечным множеством состояний, т. е. каналы с конечным множеством возможных  состояний, вероятности которых  не зависят от времени. Точнее, дискретный канал с конечным множеством состояний имеет на входе последовательность х = ..., х-1 ,x₀, x₁ ..., на выходе последовательность y = ...,y-1,y0,y₁ ... и последовательность состояний s = ..., s-j, s₀, si, ... Входные буквы x_n принимают значения из алфавита {0, 1, ..., К— 1}, выходные буквы у_п принимают значения из алфавита {0, 1, ..., J — 1}, а состояния s_n — значения из множества {0, 1, ..., А — 1}. Статистически канал описывается условной вероятностью Р (у_п, s_n|x_n, s_n-1). Эта вероятность не зависит от п, и Р можно рассматривать просто как функцию четырех переменных, каждая из которых принимает целочисленные значения0 ≤y_n≤J-1,0≤sn≤A-1, 0≤ sn-1≤A-1,0≤xn≤K-1. Будем считать, что при условии, что заданы х_п и s_n-1пара у_п, s_n статистически независима от всех выходов, входов и состояний, предшествующих у_п, х_п и s_n_i соответственно.

Последующие примеры являются частными случаями каналов с конечным числом состояний (ККЧС), в которых имеется статистическая независимость между у_п и s_n, при условии, что заданы х_п и s-i, т. е. Р (y_n,s_n|x_n,s_n-1) = Р (y_n|x_n,s_n-1) q(s_n |х_п, s-i). Можно представить q с помощью графа, а Р с помощью обычных диаграмм, как это показано на рис. 4.6.1 и 4.6.2. На графах состояния изображены с помощью маленьких кружков. Направленные ребра обозначают переходы из одного состояния в другое; число на каждом ребре указывает вероятность перехода. Если вероятность перехода зависит от х_п, то значение х_п, соответствующее этой вероятности, дано в круглых скобках. Например, самое верхнее ребро на рис. 4.6.1 представляет переход из состояния 0 в состояние 1. Число, написанное на ребре, , является условной вероятностью перехода в состояние 1 при условии того, что задано предыдущее состояние 0 и задана 0 или 1 как текущая входная буква, т. е. q (sn |х_п, s_n-1)=  приsn-1=0, s_n = 1. Подобно этому самое верхнее ребро на рис. 4.6.2 указывает, что для этого ККЧС q (s_n|x_n, s_n-i) = 1 при s_n = 1, sn-i = 0, x_n = 1.

   Kанал можно представить себе как ДСК с зависящей от времени вероятностью ошибки, которая попеременно принимает значения и 0,3. Последовательность состояний, которая определяет эту вероят-

ность ошибки, является цепью Маркова. Эта модель не является полностью удовлетворительной моделью двоичной передачи данных по линии связи с замираниями отчасти в связи с тем, что ее, как не удивительно, трудно изучать, а отчасти потому, что каждый реальный канал оказывается требует отличную модель с конечным числом состояний (обычно с более чем двумя состояниями). 

   Канал, изображенный на рис. 4.6.2, является простой  моделью канала с межсимвольной  интерференцией. Можно заметить, что  значение состояния, принимаемое в какой-либо момент времени, совпадает со входом в этот момент. Таким образом, Р (у_n | х_n, sn-i) в этом случае дает вероятность текущего выхода при условии, что заданы текущий и предыдущий входы. Вероятность ошибки больше, когда х_п≠х_п-1 чем, когда х_п=х_п-1. Подсчитывая вероятность выхода при заданном текущем входе, находим, Р (у_п |х_п)=Q(0) Р (уn|х_п, 0) +Q (l) Р (уп|х_п, I), где Q — распределение вероятностей для x_n-i. Важно отметить, что Р (у_п|х_п) зависит от распределения на входе канала и, таким образом, не определяется полностью только каналом. Это вообще характерно для любого канала с конечным числом состояний, в котором последовательность состояний статистически зависит от входной последовательности.

Будем называть каналы, такие, как на рис. 4.6.1, каналами без межсимвольной  интерференции, а каналы, такие, как  на рис. 4.6.2, каналами, в которых имеется только память, связанная с межсимвольной интерференцией. В первом случае память возникает лишь из-за шума, а во втором случае — только из-за предыдущих входов. В общем ККЧС, конечно, присутствуют оба эффекта.

   . 

           4.Дискретные по времени каналы без памяти

   Дискретный  по времени канал без памяти задается произвольным входным пространством X, произвольным выходным пространством Y, и для каждого элемента X входного пространства условной вероятностной мерой на выходе Ру|х. Входом канала является последовательность букв входного пространства, выходом — последовательность букв выходного пространства и каждая выходная буква зависит вероятностно только от соответствующей входной буквы; эта зависимость задается вероятностной мерой Ру|х.

     Развиваемый здесь общий подход к изучению таких каналов состоит в том, чтобы ограничиться использованием конечного букв входного алфавита, скажем а1, а2 аk, и разбиением выходного

Пространства  на конечное множество непересекающихся событий, скажем В1 ..., Bj, объединение которых образует все выходное пространство. Тогда в принципе можно построить квантующее устройство, для которого входом в каждый момент времени является выход канала у, а выходом — событие Bj, содержащее у. Канал и квантующее устройство в совокупности образуют дискретный канал без памяти с переходными вероятностями PY|x (Bj|ak). Изучение первоначального канала будет основано на рассмотрении поведения всех таким образом полученных дискретных каналов без памяти. Такой подход имеет преимущество в том, что он тесно связан со способами физического использования канала и в легкости аналитического исследования.

   При изучении таких каналов возникает  новая проблема, связанная с ограничениями на входы канала. Рассмотрим канал, в котором выход канала образован суммой входа и независимой гауссовой случайной величины

Если  вход—гауссовская случайная величина с дисперсией Е то

При Е  произвольно большом количество информации I (Х|Y) становится сколь угодно большим и, выбирая сколь угодно большое множество входов, разнесенных сколь угодно далеко по амплитуде, видим, что, по существу, без кодирования может быть достигнута произвольно высокая скорость передачи при произвольно малой вероятности ошибки. Однако если рассмотреть эти входы как выборки переданных непрерывных сигналов, то можно заметить, что этот результат получается при использовании сколь угодно большой мощности. Для этого канала и для обширного класса каналов, связанных с этим примером, мы можем получить физически важные и математически интересные результаты, если зададим ограничения на входы канала. Простейшим при нашем подходе типом ограничений, накладываемых на вход канала, является ограничение на амплитуду: входной алфавит просто ограничен значениями х, меньшими или равными некоторому фиксированному числу А. Если входное пространство определено как интервал от — А до + А, то это ограничение можно не учитывать. Более общий и важный тип ограничения — ограничение на энергию. Cущность его состоит в том, что вход канала должен иметь среднеквадратическое значение, не большее некоторого фиксированного числа E. Этот тип ограничений касается не входного пространства, а относительных частот, с которыми различные входы могут быть использованы. Ограничение на энергию является естественным при представлении непрерывного по времени канала в виде параллельного соединения каналов с дискретным временем.

   В следующих параграфах сначала будет  проведено исследование каналов  без ограничений (или при наличии  амплитудных ограничений) на входы, затем каналов с ограничениями на входы и затем изучено несколько примеров, в том числе важный пример канала с аддитивным гауссовым шумом.

         5.ОТСУТСТВИЕ ОГРАНИЧЕНИЙ НА ВХОДЕ

   Как было показано, если ограничиться конечным множеством букв на входе и произвести разбиения на выходе, то общий дискретный по времени канал без памяти можно использовать как дискретный канал без памяти. Таким образом, любая вероятность ошибки, которая может быть достигнута с помощью кодирования в любом таком дискретном канале без памяти, может быть достигнута и в общем канале при использовании его как соответствующего дискретного канала.

   Для заданного дискретного по времени  канала без памяти пусть Xd — конечное множество входных букв канала (а1 ..., аk) с вероятностями Q (а1), ..., Q (аk). Пусть Yp— разбиение выходов канала на события В1 ..., Bj. Совместный ансамбль XdYp имеет совместное           распределение вероятностей Q (ак) PY|X (Bj | ak) и среднюю взаимную информацию (в натуральных единицах)

 Определим функцию E0 (p, Xd, Yp) с помощью равенства

   Cуществует блоковый код длины N с М= кодовыми словами, для которого при переходных вероятностях канала PY|х (Bj | ak) вероятность ошибки удовлетворяет неравенству для всех р, 0≤р≤1. Это приводит нас к определению показателя экспоненты случайного кодирования для данного дискретного по времени канала без памяти

Верхняя грань берется по всем конечным выборам входных букв, всем распределениям вероятностей входных букв, всем разбиениям выходного пространства и всем р, 0≤p≤l. Аналогично определяется пропускная способность канала (в натуральных единицах):

где верхняя грань определяется как и выше. 
 

6. ОГРАНИЧЕНИЯ НА ВХОДЕ

   Мы определили ограничение на энергию, как ограничение на среднеквадратическое значение входных сигналов. Здесь рассматривается несколько более общая задача. Пусть X — входное пространство дискретного по времени канала без памяти и пусть f (х) — действительная функция, определенная на входных буквах. Ограничение при использовании канала сводится к тому, что математическое ожидание f(х) меньше или равно некоторому фиксированному значению E. Если X—множество действительных чисел и f(x)=, то получается описанное выше ограничение на энергию. В более общем случае, например, X может быть классом функций х (t), а f(х) может быть dt или любым другим функционалом от x(t).