Сравнить неопределенность, приходящуюся на букву источника информации Х (алфавита русского языка), характеризуемого ансамблем, представленным в таблице

Сравнить неопределенность, приходящуюся на букву источника информации
Х (алфавита русского языка), характеризуемого ансамблем, представленным
в таблице (Решение → 53006)

Сравнить неопределенность, приходящуюся на букву источника информации Х (алфавита русского языка), характеризуемого ансамблем, представленным в таблице 1, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв. При одинаковых вероятностях появления 32 букв алфавита неопределен-ность, приходящаяся на одну букву, составляет H(X) = log2 32 = 5. Таблица 1 Вычислить энтропию источника H1(X) для независимых букв русского алфавита (табл. 1).



Сравнить неопределенность, приходящуюся на букву источника информации
Х (алфавита русского языка), характеризуемого ансамблем, представленным
в таблице (Решение → 53006)

Неопределенность, приходящаяся на букву источника информации Х (алфавита русского языка), H1X=-ipilog2pi=-0,175 log20,175-0,90 log20,90- -0,072 log20,072-…=4,43 бит. Таким образом, неравномерность распределения вероятностей использования букв снижает энтропию источника с 5 до 4,43 бит. с Энтропия источника H1(X) для независимых букв русского алфавита H1(X) = 4,43 бит.