Контрольная работа по «Элементы теории информации»

МИНИСТЕРСТВО  ОБРАЗОВАНИЯ РЕСПУБЛИКИ БЕЛАРУСЬ

БЕЛОРУССКИЙ НАЦИОНАЛЬНЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ 

МЕЖДУНАРОДНЫЙ ИНСТИТУТ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ 

    Кафедра: "Программное обеспечение вычислительной техники и 

    автоматизированных  систем" 
 
 
 
 
 
 
 
 
 

КОНТРОЛЬНАЯ  РАБОТА 

по дисциплине «Элементы теории информации»

Вариант 38 
 
 
 
 
 
 

                                                Выполнил : ст. гр. 417327     Менделев М.А. 

                                                Проверил :                             Почебут М.В. 
 
 
 
 
 
 
 
 
 
 

Минск  2011

Содержание 
 

ЗАДАНИЕ 1…………………………………………………………………………...2

ЗАДАНИЕ 2…………………………………………………………………………...4

ЗАДАНИЕ 3…………………………………………………………………………...5

ЗАДАНИЕ 4…………………………………………………………………………...6

ЗАДАНИЕ 5…………………………………………………………………………..7

ЗАДАНИЕ 6…………………………………………………………………………..8

ЗАДАНИЕ 7…………………………………………………………………………..9 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

ЗАДАНИЕ 1 

   Задача 1.6. Вероятности совместного появления Р(xi,yj) объединения двух статистически зависимых ансамблей заданы в таблице 1. Определить точные и средние количества неопределенности в совместном наступлении событий xi и yj, а также точные и средние количества неопределенности в yj при известном исходе xi.  

Таблица 1 (Вероятность совместного появления P(x_i, y_j)):

     Решение. Точные количества неопределенности в совместном наступлении событий и находим из формулы

           H(x_i, y_j) = - log P(x_i, y_j).

     Подставляя  в данное выражение P(x_i, y_j) из табл. 1, получим точные количества , которые помещены в табл. 2.

Таблица 2 (Точные количества H(x_i, y_j)):

     Среднее количество неопределенности в любом совместном наступлении событий x_i, y_j равно

      H(X,Y) = - _i=1Σ³ _j=1Σ³ P(x_i, y_j) * log P(x_i, y_j) = _i=1Σ³ _j=1Σ³ H(x_i, y_j) * P(x_i, y_j) = 3.32*0.1 + 4.32*0.05 + 1.74*0.3 + 2.74*0.15 + 5.06*0.03 + 2.32*0.2 + 4.32*0.05 + 5.64*0.02 + 3.32*0.1 = 0.33 + 0.22 + 0.52 + 0.41 + 0.15 + 0.46 + 0.22 + 0.11 + 0.33 = 2.76.

     Найдем  точные значения неопределенностей в наступлении события y_j при известном исходе некоторого события x_j. Для этого необходимо знать условные вероятности P(x_i / y_j), а затем воспользоваться формулой

     H(y_j / x_i) = - log P(y_j / x_i).

     Найдем  сначала безусловные вероятности  P(x_i) P(y_j) и по формулам полной вероятности

     P(x_i) =  _j=1Σ³ P(x_i, y_j) ;   P(y_j) =  _i=1Σ³ P(x_i, y_j) .

     В результате вычислений получим:

P(x₁) = 0.45;   P(x₂) = 0.38;   P(x₃) = 0.17;                P(y₁) = 0.3;   P(y₂) = 0.1;   P(y₃) = 0.6 .

     Наконец, по формуле умножения вероятностей вычислим

     P(y_j / x_i) = P(x_i, y_j) / P(x_i) .

     Результаты  вычислений представлены в табл. 3.

Таблица 3 (Условные вероятности P(y_j / x_i)):

     Результаты  расчета H(y_j / x_i)  представлены в табл. 4.

Таблица 4 (Точные условные энтропии H(y_j / x_i)):

     Найдем  частные условные энтропии путем  усреднения точных условных энтропий.

     H(Y, x_i) = _j=1Σ³ P(y_j  / x_i) * H(y_j  / x_i) .

     H(Y, x₁) = 2.18*0.22 + 3.18*0.11 + 0.58*0.67 = 0.4796 + 0.3498 + 0.3886 = 1.218 ;

     H(Y, x₂) = 1.36*0.39 + 3.64*0.08 + 0.94*0.52 = 0.5304 + 0.2912 + 0.4888 = 1.3104 ;

     H(Y, x₃) = 1.79*0.29 + 3.06*0.12 + 0.76*0.59 = 0.5191 + 0.3672 + 0.4484 = 1.3347 . 

     Эти результаты образуют случайную величину, значения которой наступают с  вероятностью P(x_i). Поэтому только среднее H(Y, x_i), усредненное с весом P(x_i), не случайно, а именно:

     H(Y / X) = _i=1Σ³ H(Y / x_j) * P(x_i) = - _i=1Σ³ _j=1Σ³ H(x_i, y_j) * log P(y_j / x_i) =

           = 1.218*0.45 + 1.3104*0.38 + 1.3347*0.17 = 0.5481 + 0.498 + 0.2269 = 1.274. 

     Если  испытания будут независимы, то энтропия объединения будет

     H^*(Y , X) = H(X) + H(Y) = - _i=1Σ³P(x_i) * log P(x_i) - _i=1Σ³P(y_i) * log P(y_i) =

= - (0.45 * log0.45 + 0.38 * log0.38 + 0.17 * log0.17) - (0.3 * log0.3 + 0.1 * log0.1 + 0.6 * log0.6) = 0.52 + 0.53 + 0.43 + 0.52 + 0.33 + 0.44 = 2.77 .

    Таким образом 

     H(Y , X) = 2.76 бит < H*(Y , X) =  H(X) + H(Y) = 2.77 . 

ЗАДАНИЕ 2 

     Задача 2.3. Источник вырабатывает два символа A и B с вероятностью P(A)= 0,4 и P(B) = 0,6. Определить количество возможных последовательностей, содержащих nA символов A, причем n_A+n_B =M= 4. Определить вероятность события, которое заключается в том, что в выработанной источником последовательности длиной M содержится n_A символов A. 

     Решение. Число всевозможных последовательностей, которое можно составить из двух букв, по M букв в каждой, N = 2^M. Число последовательностей, у которых из M мест n_A мест представлено букве A, равно числу сочетаний из M элементов по n_A.

     C_M^nA =M! / (M - n_A)!n_A! .

     Вероятность того, что в выработанной источником последовательности длиной M содержится n_A  символов A, определяется из биномиального закона

     P_M,nA = C_M^nA * P^nA * (1 - P)^M-nA  ,

     Более подробно рассмотрим работу данного  источника для M = 4. Тогда N= 2⁴=16. Выпишем эти 16 возможных последовательностей, вычислив для каждой из них C_M^nA и P_M,nA  

     Из  таблицы видно, что источник чаще вырабатывает последовательности, содержащие одинаковое число символов A и B. И 3 символа B.

ЗАДАНИЕ 3 

     Задача 3.3. Определить выигрыш в мощности при использовании источника с гауссовской плотностью распределения по сравнению с источником, имеющим в интервале (α, β) равномерную плотность распределения.

     Решение. Нормальное распределение, также называемое гауссовским распределением или распределением Гаусса — распределение вероятностей, которое задается функцией плотности распределения:

     Где — дисперсия.

      =

     На  основании определения дисперсии  имеем

      =  
 
 
 
 
 
 
 
 
 
 
 
 
 
 

ЗАДАНИЕ 4 

     Задача 4.4. Определить пропускную способность канала связи при условии, что сигнал C(t)=1sin500πt должен быть восстановлен с погрешностью не большей чем 0,57 В. 

     Решение. Из условия задачи известно, что амплитуда сигнала u_c =1 B, а полоса частот ∆F_c = 250 Гц. Тогда пропускная способность 

     С= ∆F log (1 + P_c / P_Ø) = ∆F log (1 + δ_x ² / δ_E²) = 250 log(1 + 1/0.57²) = 250 log(4) = 250*2 = 500 (бит/символ);

     Ответ: 500 (бит/символ). 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

ЗАДАНИЕ 5 

     Задача 5.6. В бинарном канале вероятности подавления и воспроизведения ложного сигнала одинаковы и равны Р₁₀ = Р₀₁ = Р = 10^-3 Длительности символов одинаковы и равны τ = 1 мс. Определить пропускную способность бинарного симметричного канала. 

    Решение. Пропускная способность бинарного канала связи:

    C = 1/ τ(1+P logP + (1 - P) log(1 - P)) ,

    где Р – вероятность перехода одного символа в другой. 

     C = 1/ τ(1 + P logP + (1 - P) log(1 - P)) = 10³ (1 + 0.001* log0.001 + 0.999*log0.999) =

     = 1000 * (1 – 0.00997 – 0.0014) = 988.7 (бит/символ). 

     Ответ: 988.7 (бит/символ). 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

ЗАДАНИЕ 6 

     Задача 6.5. Зашифровать фразу «ОТКРЫТЫЙ ТЕКСТ» шифром Плейфера.

     Решение. Воспользовавшись матрицей алфавита шифра Плэйфера:

Матрица алфавита шифра Плэйфера 

1

4

2

5

3

6

     7