Застосування штрих-коду для кодування інформації

 

 

 

 

 

 

 

ДИПЛОМНА  робота

 

застосування штрих-коду    для кодування   інформації

 

 

 

 

 

 

 

 

 

ЗМIСТ

 

Вступ            3

1. Теоретичні  відомості

1.1  Побудова  та класифікація штрихових кодів   5

1.2 Деякі поняття теорії інформації     7

1.2.1 Міра інформації       7

1.2.2 Інформаційна  ентропія      10

1.2.3 Умовна ентропія. Iнформацiя,  що мiститься в   одному дослiдi  вiдносно iншого    13

       1.2.4 Надлишковість       17

1.2.5 Цiннiсть  iнформацiї      19

1.2.6 Экспоненциальный закон збiльшення  числа 

повiдомленнь       20

1.3 Коди з  виявленням та виправленням помилок   22

1.3.1 Кодування  інформації      22

1.3.2 Коди з  виявленням та виправленням помилок 24

2. Огляд найбільш  вживаних типів штрихових кодів

2.1 Загальний  огляд        28

2.2 Тип EAN-13, UPC та EAN-8      31

2.3  Code39 та CODABAR       35

2.4  INTERLEAVED 2 OF 5       38

3.  Створення  самокорегуючого штрихового коду

3.1  Постановка  задачі       40

3.2  Хід роботи         40

4.  Результати  та їх аналіз

4.1  Початкові  результати       46

4.2  Кінцевий результат       46

5.  Програми

5.1  Iнструкція  користувача       48

5.2  Текст програм        53

 

Висновки           99

 

Джерела                     100

 

ВСТУП

 

За  останні півтора-два десятиліття  штрихові коди щільно увійшли в наше життя, зараз ми зустрічаємо їх в повсякденному житті на кожному кроці. Їх можна побачити на харчових продуктах в крамниці, на поштових конвертах та бандеролях, ними маркують коробки на складах та різного роду посвідчення особи.

Сфера застосування штрихових  кодів надзвичайно широка і вона весь час розширюється, але не зважаючи на це для більшості пересічних громадян ці чорні та білі смужки залишаються незрозумілими.

Широке використання штрихових  кодів було зумовлене необхідністю забезпечити  автоматизоване введення інформації в комп'ютерні системи управління, що відрізнялося б високою надійністю, простотою і економічністю. Штриховий код — це не щось особливе, існуюче саме по собі, а передусім елемент системи управління. В відриві від комп'ютерної системи управління, поза зв'язком з її інформаційною базою він не має жодного сенсу. Технологія штрихового кодування застосовується в багатьох сферах людської діяльності, але найбільш широко і ефективно вона використовується в оптовій і роздрібній торгівлі, управлінні матеріальними запасами, управлінні перевезеннями. Ми стикаємось зі штриховыми кодами, купуючи товар в крамницях, здаючи багаж в аеропортах... Цей список можна продовжити, але вже наведених прикладів достатньо, щоб переконатися, що потреба в їхньому виготовленні значна.

Чому саме штрихові коди вийшли на перше місце серед безлічі  відомих засобів ідентифікації? Що зумовило їхню перевагу в більшості  практичних додатків перед іншими оптичними  засобами, не говорячи вже про такі, як магнітні або, скажемо, пов'язані  з застосуванням радіоізотопів? Як вже було сказано, переваги різних засобів оцінюються з точки зору надійності, простоти застосування і економічності. Штрихові коди характеризуються високою надійністю. До них застосовні ті засоби захисту від помилок, що широко використовуються в зв'язку та комп'ютерній справі. За рахунок деякої надмірності можна створювати самоконтролюючі і самокорректуючі коди, тобто такі, що здатні шляхом перевірки по  спеціальним алгоритмам забезпечити відшукання помилок і навіть їх автокоррекцію за умови, що кількість помилкових знаків в коді не перевищує встановленої межі (звичайно 65-70%). При існуючих засобах захисту лінійного коду, що забезпечують імовірність помилки не більш однієї на 30 млн. зчитаних знаків, надмірність коду залишається в розумних межах — звичайно це одна контрольна цифра.

Простота застосування штрихового коду визначається його природою: його наявність чи відсутність одразу видно (на відміну від магнітних  або радіохвильовх засобів, що застосовуються передусім там, де вміст і навіть присутність коду бажано приховати), він легко розміщується на упаковці виробу або на паперовому етікетці, добре зчитується приладами, з'єднаними з комп'ютером. При цьому такі прилади не є складними в проектуванні та виробництві, будучи різновидністю звичайних сканерів.

По економічності технологія штрихового кодування не має собі рівних, навіть в виробництві дешевих  товарів масового попиту, виготовлення штриховых кодів не має помітного  впливу на собівартість товару для  виробника.

В залежності від потреб створено велику різноманітність типів штрихових кодів. Кожна конкретна область застосування цих кодів формулює власні вимоги до них. Так в одному випаду головною умовою є простота коду, можливість легкого його читання навіть людиною, в інших вимагається висока щільність інформації на одиниці площі штрихового коду. Якщо при використанні деякого штрихкоду у нас немає змоги зіскановувати його по декілька разів, наприклад при швидкій автоматизованій обробці інформації, тоді до такого типу штрихкоду головною вимогою є надійність закодованої інформації.

Звичайно ж надійність інформації, закодованої тим чи іншим  способом, важлива завжди, але різні  характеристики коду нерідко обернено-залежні. Тому нам доводиться в тій чи іншій  мірі жертвувати надійністю, наприклад: при спробі збільшити кількість інформації на одиницю площі штрихового коду.

В цій дипломній роботі було розвязано задачу по максимізації надійності штрихового коду. Було створено ефективний код, здатний запобігати неправильному зчитуванню закодованої інформації. Це було зроблено за допомогою використання матода Хеммінга при побудові штрихового коду. Необхідно зазначити, що подібних типів штрихових кодів в світі на даний момент не існує, а його надзвичайну ефективність буде продемонстровано згодом. Також в ході виконаня цієї дипломної роботи було розглянуто різноманітні методи побудови штрихових кодів, а також проаналізовано та порівняно найчастіше уживані їх типи.

 

 

 

 

1. Теоретичні відомості

1.1. CПОСОБИ ПОБУДОВИ ШТРИХОВИХ КОДІВ ТА МЕТОДИ КЛАСИФІКАЦІЇ

 

Розглянемо основнi принципи та правила, що використовуються про створеннi штрихових кодiв i якi є обов'язковими для будь-якого їх типу. Одразу потрiбно  зазначити, що інформація яку ми кодуемо  представлена в двійковому виді, тобто  кодується двома значеннями: '0' та '1'. В штриховому кодуванні існує два способи задання цих значень, першим є спосіб, коли значення '0' та '1' кодуються відповідно двома кольорами - білим та чорним. Наприклад: бітова послідовність 10110011101100011 буде мати слідуюче штрихове представлення:

(рис1)

В цьому способі штрихи що відповідають '0' та '1' мають одинакову  ширину. В разі якщо в бінарній послідовності  йдуть одне за одним кілька одинакових n значень '0' чи '1' їм буде відповідати  білий чи чорний штрих n-кратної ширини.

Другим способом представлення  бітової послідовності в виді штрихового коду є спосіб коли '0' та '1' задані не різними кольорами, а  різними значеннями ширини штрихів. Тобто маємо чотири атомарні графічні символи два вузькі штриха та два  широкі білого та чорного кольорів. В такому штриховому коді білі та чорні штрихи весь час йдуть почергово, а значенням '0' та '1' відповідають відповідно широкі та візькі штрихи. В цьому разі наведена вище бінарна послідовність буде мати вигляд:

 

                     (рис2)

В кожному з цих  варіантів є як переваги так і  недоліки. Так в першому варіанті штриховий код буде коротшим в  наслідок того, що всі біти кодуються  однаковими по ширині штрихами. По цій  самій причині в першому варіанті штриховий код бінарної послідовності зі сталим числом бітів буде мати сталий розмір, в той час як в другому варіанті розмір штрихового коду буде залежати від співвідношення нулів та одиниць. Але недоліком першого варіанту є те, що при великій кількості йдучих один за одним одинакових бітів їх графічне представлення може неправильно тлумачитися. Так, наприклад буде важко розрізнити штрихкоди для 100001 та для 1000001.

В залежності від конкретних задач кожен з цих способів кодування знаходить своє примінення і його недоліки або просто ігноруються, або виправляються в той чи інший спосіб. Пізніше ми розглянемо ці способи на конкретних типах штрихових кодів.

     (рис3)      (рис4)

 

 Розглянемо інші особливості побудови штрихових кодів, які також використовуються для класифікації штрихових кодів. Однією з таких особливостей є наявність чи відсутність контрольних штрихів(бітів). Вони використовуються в разі потреби стабілізації швидкості зчитування нашого коду від початку до кінця. В випадку відсутності контрольних штрихів, при нерівномірній швидкості зчитування штрихкоду, цей код можливо буде інтерпретовано неправильно. Щоб цьому запобігти, на початку та в кінці нашого коду розміщується набір з принаймні двох контрольних штрихів. Після зчитування ЕОМ цього коду, обчислювальна машина може судити про зміну швидкості сканування штрихового коду і відповідно корегувати процес декодування. Прикладом застосування контрольних штрихав може бути штриховий код типу EAN-13. В ньому контрольні штрихи наявні не тільки на початку та в кінці, а і в середині коду.

(рис5)

Детально даний тип  штрихового коду буде розглянуто пізніше.

Ще  однією особливістю при побудові штрихового коду є наявність чи відсутність  контрольної суми. Для гарантування правильності декодування штрихового коду в деяких типах штрихового коду до інформації, що кодіється додається деяка контрольна сума яка функціонально залежить від кодованої інформації. Ця контрольна сума кодується в штриховий код разом з основною інформацією, а при декодуванні ЕОМ знову вираховує контрольну суму цього коду і порівнює з заданим. Зрозуміло що в разі неспівпадання цих двох контрольних сум штриховий код був не правильно зіскановано.

В наслідок використання всіх цих додаткових засобів надійності штрихового коду, виникає питання, а  скільки справді корисноі інформації несе той чи інший штриховий код? Яким буде в ньому відношення кількості допоміжної контрольної інформації до справді корисної - тієї котру ми хотіли кодувати? Щоб відповісти на це питання, вводять поняття ентропії, міри інформації та надлишковості.

 

 

 

1.2 Деякі поняття теорії інформації

 

1.2.1 Мiра iнформацiї

 

Кожне повiдомлення, кожна iнформацiя про той або iнший фактi має немов би двi сторони: конкретний змiст даного повiдомлення, даного факту, i статистичнi (ймовiрноснi) властивостi, що дозволяють порiвнювати цiлком разнорiднi повiдомлення по тій різноманітності станiв, з якими цi повiдомлення зв'язанi.

Наприклад, повiдомлення про те, що в технiчнiй системi управлiння  вийшов з ладу один з двох однаково надiйних (або, краще сказати, ненадiйних) підсилювачів, i повiдомлення, що Н. народила хлопчика, зв'язанi з однiєю i тіею же різноманітністю - з появою одного з двох рівноможливих фактiв.

В сенсi зв'язаної з цими фактами різноманітності цi два  повiдомлення цiлком однаковi, хоча їхнiй  конкретний змiст iстотно різниться. Відмічена нами спiльнiсть має далеко iдучі наслiдки, а саме: як ми побачимо нижче, ефективнi системи зв'язку для передачi повідомлень одного типу будуть настiльки ж хороші i для передачi вiдомостей другого типу. Ця спiльнiсть i дозволяє ввести деякi загальнi поняття, зв'язанi з рiзноманiтними повiдомленнями, незважючи на їхню різнорідність. Таким поняттям, що висловлює мiру різноманітності ситуацiї, зв'язаної з тим або iншим повiдомленням або фактом, є iнформацiя.

Вiдзначимо, що поняття кiлькостi iнформацiї, укладеної в тому або iншому повiдомленнi, зв'язане з iмовiрнiстю цього повiдомлення, тобто з деякою статистичною сукупнiстю. Введемо бiльш точне визначення iнформацiї як деякої кiлькiсної величини - деякої мiри.

По визначенню кiлькiсть власної iнформацiї, укладеної в повiдомленнi А_i рiвна логарифму його iмовiрностi, взятому зі зворотнім знаком

I (А_і) = -log(P(A_i)).     (1.14)

   Знак мiнус в  формулi (1. 14) введений для того, щоб  зробити цей вираз iстотно позитивним [0£Р(А_i)£1, Þ логарифм Р (A_i) - величина вiдємна]. Виразу (1. 14) можна придати вигляд

I(А_i)=log 1/P(A_i)                (1.15)

 з якого слiдує,  що чим менша iмовiрнiсть появи  повiдомлення A_i, тим бiльшою кiлькiстю iнформацiї воно володiє.

Сенс вводу логарифмичної мiри в виразах (1.14) i (1.15) полягає в наданнi кiлькостi iнформацiї властивостi адитивності. Справдi, якщо ми маємо дiло зi складним повiдомленням, що полягае в одночасному повiдомленнi двох фактiв A_i i В_j, i якщо цi факти (подiї) незалежнi в iмовiрносному розумiннi, то, згiдно (1. 14),

  I (A, B_j) = logP (A_iÇB_i).

 Або, застосовуючи  теорему про множення iмовiрностей,  маємо

I(А_i,B_j) = - log[ Р(А_i)Р(B_j)] = -1оg Р(A_i) - log P(В_j) = I(A_i) - I(B_j).     (1.16)

Іншими словами, кiлькiсть iнформацiї, вкладеної в два незалежних повiдомлення, рiвна сумi кiлькостi iнформацiї, вкладеної в кожне повiдомленнi. З наведеного вище визначення власної iнформацiї (1. 14) слiдує надто важливий висновок: з деяким повiдомленням А_i можна зв'язати поняття власної iнформацiї тiльки в тому випадку, якщо iснує поняття iмовiрностi цього повiдомлення (тобто, якщо його можна зв'язати з деяким статистичним ансамблем). Наприклад, окреме повiдомлення, не зв'язане з якою-небуть рiзноманiтнiстю, не володiє в розумiннi теорiї iнформацiї поняттям власної iнформацiї.

Можуть зустрiтися повiдомлення, що хоча i утворюють статистичну  рiзноманiтнiсть, але не володiючi iмовiрнiстю  внаслiдок нестационарностi випадкового  механiзму. Наприклад, якщо ми пiдкидуємо абсолютно тверду монету, то випадковий механiзм випадання орла або решки стацiонарний, i обидва повiдомлення - випадання орла або решки - володiють iмовiрнiстю, що в цьому випадку рiвна половинi. Якщо же ми будемо пiдкидувати м'яку монету, то випадання орла або решки також буде випадковою подiєю. Однак випадковий механiзм вже не буде стацiонарний внаслiдок деформацiї монети. При цьому частота випадення, наприклад орла (або решки), зi збiльшенням числа кидання не буде прагнути до певної межi. Значить, з таким випадковим процесом не можна зв'язати поняття iмовiрностi (тут не дiє закон великих чисел). Отже, такi подiї (повiдомлення) не володiють iнформацiєю в сенсi (1.14).

Ця обставина має  цiлком ясний фiзичний зміст: якщо в  основi появи повiдомленнi на входi деякого  каналу зв'язку не лежить стацiонарний випадковий механiзм, тобто для них не iснує поняття iмовiрностi, то випадковiсть такого типу не може бути нiяк завбачена, i для таких повiдомлень заздалегiдь неможливо побудувати оптимальний канал зв'язку.

Коли ми говоримо про  оптимальнiсть, то маємо на увазi погодження пропускної спроможностi каналу з кiлькiстю iнформацiї, укладеною в повiдомленнях, що надходять на вхiд канала.

Може виявитися, що нестационарнiсть  випадкового механiзму пiдкоряється певному закону. В цьому випадку iмовiрнiсть появи повiдомлень буде функцiєю часу. Для таких повiдомлень має мiсце поняття власної iнформацiї, що в цьому випадку також буде функцiєю часу.

Нарештi, може трапитися, що з системою повiдомлень можна  зв'язати поняття iмовiрностi i, значить, кожне повiдомлення володiє власною iнформацiєю, але ми не знаємо цих iмовiрностей. В такому випадку ми також спочатку нiчого не можемо сказати про кiлькiсть iнформацiї, що несе в собi те або iнше повiдомлення. I тiльки з течiєю часу, пiсля надходження на вхiд канала достатньо великої кiлькостi повiдомлень, збирається необхiдна статистика, що дозволяє встановити кiлькiсть iнформацiї, зв'язану з кожним повiдомленням.

В технiчному сенсi це означає, що не можна заздалегiдь сконструювати  хорошу систему (принаймнi в планi лiнiї зв'язку). Але ми маємо можливiсть будувати, самонавчальну систему, що адаптується, що з течiєю часу, з'ясовуючи iстинну статистику розподiлу повiдомлень, тобто визначаючи кiлькiсть iнформацiї, зв'язане з тим або iншим повiдомленням, зможе себе змiнювати, покращувати. Наприклад (в граничному випадку), по якому-небуть каналу надходить весь час одне i те ж повiдомлення А. В цьому випадку система визначить, що Р (А)=1 i, отже, I=0. Значить, можна просто запам'ятати це повiдомлення, а канал зв'язку вимкнути. Це i буде простим прикладом адаптацiї.

Другим важливим поняттям є вiдносна iнформацiя одного повiдомлення S_j вiдносно iншого A_i. Сенс цього поняття полягає в тому, що надходження деякого факту (повiдомлення S_j) може змiнити статистичну рiзноманiтнiсть, зв'язану з повiдомленням А_i, i внаслiдок цього власну iнформацiю повiдомлення А_i. Змiна власної iнформацiї повiдомлення A_і, що виникла через надходження повiдомлення S_j, i називається вiдносною iнформацiєю повiдомлення S_j вiдносно A_i.

Нехай iмовiрнiсть повiдомлення А_i до надходження повiдомлення S_j рiвна Р(А_i). Тодi кiлькiсть власної iнформацiї, укладеної в повiдомленя A_i, рiвне

I (A_i) = -log P(A_i).

Iмовiрнiсть повiдомлення А_i, пiсля надходження повiдомлення S_j буде рiвна P_sj(А_i), тобто являє собою умовну iмовiрнiсть A_i за умови, що S_j має мiсце. При цьому кiлькiсть iнформацiї, що мiститься в надходженнi повiдомлення A_i, рiвна

I (A_i/S_j) = - log Ps_j(A_i).

Тодi по визначенню iнформацiя, що мiститься  в S_j вiдносно А_i, рiвна змiнi (зменшенню) власної iнформацiї повiдомлення A_i:

Is_j(A_i) = I(A_i) - I(A_i/S_j) = - log P(A_i)+ log Ps_j(A_i) = log(Ps_j(A_i)/P(A_i)).   (1.17)

Це нове поняття вiдносної iнформацiї  зв'язане не з iмовiрнiстю повiдомлення S_j, а зi змiстом цього повiдомлення, бо саме конкретний змiст повiдомлення Sj визначає умовну iмовiрнiсть подiї А_i  (Ps_j(A_i)). Таким чином, вiдносна iнформацiя деякого повiдомлення S_j зв'язана саме з його змiстом, а не з його власною рiзноманiтнiстю, якої може i не бути. Таким чином, навiть з окремим повiдомленням, не зв'язаним з поняттям iмовiрностi, можна зв'язати поняття iнформацiї вiдносно iншої рiзноманiтностi, якщо воно цю рiзноманiтнiсть змiнює.

В протилежнiсть власнiй iнформацiї, вiдносна iнформацiя може бути не тiльки позитивною, але i негативною. Якщо Ps_j(A_i) > Р(А_i), то, згiдно (1.17), Is_j(А_i)=0; якщо Ps_j(A_i) < P(A_i), то Is_j(A_i) <0. Нарештi, при Ps_j(A_i)=P(A_i) Is_j(А_i)=0. Останнiй випадок означає, що повiдомлення S_j не змiнює рiзноманiтностi A_i i, отже, не мiстить в собi iнформацiї вiдносно повiдомлення A_i. Повертаючись до основної iнформацiйної мiри, до виразу (1.14), легко бачити, що числова величина його залежить вiд вибору основи логарифмування. Звичайно в теорiї iнформацiї в якостi основи беруть число 2; тодi числова величина кiлькостi iнформацiї, укладеної в деякому повiдомленнi A_i, рiвна

I_i=log₂ Р_i.     (1. 18)

В подальшому викладеннi для спрощення письма ми будемо опускати в записi логарифма iндекс 2, маючи  на увазi, що скрiзь, за винятком спецiально  обумовлених випадкiв, ми будемо мати справу з логарифмом при цiй основi. Припустимо, ми отримали повiдомлення, iмовiрнiсть якого рiвна половинi. Тодi таке повiдомлення володiє кiлькiстю iнформацiї

I_i=log₂ (1/2) =1 двiйкова одиниця = 1бiт.

 Отже, це повiдомлення  володiє однiєю двiйковою одиницею iнформацiї (двiйковою тому, що в якостi основи логарифма прийняте число 2) або, як часто говорять, несе 1 бim iнформацiї (б - bit, binary digit). В якостi дiйкової одиницi iнформацiї, приймається та кiлькiсть iнформацiї, що полягає в повiдомленi про те, що вiдбулися одне з двох рiвноможливих подiй (наприклад, iнформацiя про те, що при даному пiдкидуваннi монети випав герб).

Уявимо собi далi, що деякий дослiд може закiнчитися одним  з чотирьох рiвноможливих наслiдкiв. Тодi повiдомлення про те, що має мiсце  деякий конкретний наслiдок, володiє iмовiрнiстю P_i=^l/₄. Вiдповiдно кiлькiсть iнформацiї в цьому повiдомленнi J = - 1оg(¹/₄)=2 бiт. Якщо ж ситуацiя дослiду настiльки невизначена, що може з'явитися будь-який з 64 рiвноможливих наслiдкiв, то кiлькiсть iнформацiї, укладеної в повiдомлення про деякий конкретний наслiдок, рiвна J = - log(¹/₆₄) = 6 бiт i т. д.

Вже з цих прикладiв  видно, що кiлькiсть iнформацiї в даному конкретному повiдомленнi тим бiльша, чим бiльша невизначенiсть ситуацiї. Як побачимо нижче, iснує дуже тiсний зв'язок мiж iнформацiєю i невизначенiстю, i що кiлькiсть власної iнформацiї може служити мiрою невизначеностi ситуацiї.

На кiнець розглянемо приклад. По каналу зв'язку передається  пятизначне двiйкове число так, що в кожному розрядi може стояти цифра 0 або 1 з рiвною iмовiрнiстю, i поява тiєї або iншої цифри в даному розрядi не залежить вiд цифр що стоять в iнших розрядах. Визначимо, яка кiлькiсть iнформацiї мiститься в деякому числi ,що передається. Нехай для визначеностi дано число ,що передає значення 10110. Тодi iмовiрнiсть появи даного числа A_i = Р_i = (¹/₂)⁵ (згiдно теоремi множення iмовiрностей). Легко бачити, що будь-яке число ,що передається володiє тiєю ж iмовiрнiстю. Тодi кiлькiсть iнформацiї, укладена в кожне число ,що передається, рiвна

I = - log P_i = - log (¹/₂)⁵= 5 бiт.

Вiдповiдно при передачi n-розрядного двiйкового числа, кiлькiсть iнформацiї на повiдомлення рiвна I = n бiт.

З прикладу видно, що при  двiйковому кодуваннi повiдомлень  дуже зручно застосовувати при обчисленнi кiлькостi iнформацiї логарифм з основою два.

 

1. Iнформацiйна ентропія

 

До цих пiр ми розглядали кiлькiсть власної iнформацiї, що мiститься  в даному конкретному повiдомленнi A_i, i для нього ввели мiру iнформацiї (1. 14) I_i = - log P_i. Уявимо собi тепер, що в результатi проведення деякого дослiду можливi k рiзноманiтних повiдомлень (результатiв дослiду А₁, А₂, ..., A_k). Цей дослiд ми повторюємо велике число раз (n), наприклад n раз передаємо повiдомлення з даної вхiдної системи, i нехай з цих повiдомлень (результатiв) А₁ повторюється m₁ раз, А₂ повторюється m₂ раз i т. д. Крiм того, нехай iмовiрностi повiдомлень А₁, А₂, ..., A_k вiдповiдно рiвнi Р₁, P₂, ..., Р_k. Тодi середня власна iнформацiя на одне повiдомлення буде рiвна сумi iнформацiї, подiлленої на кiлькiсть повiдомлень ,що передаються, або середня власна iнформацiя на одне повiдомлення рiвна

(- m₁ logP₁ - m₂ logP₂ - ...  -m_k logP_k)/n.

  Очевидно, межа цього  вираження при n®¥ рiвна

           _k 

H = - S P_i log P_i ,      (1. 19)

           ¹

бо в вiдповiдностi з законом великих чисел

 при n®¥ lim (m_i/n)=P_i.

Вираз (1.19) являє собою середню  власну iнформацiю на одне повiдомлення (на один результат дослiду) i називається iнформацiйною ентропiєю ситуацiї (дослiду) або просто ентропією. Поняття ентропiї надзвичайно важливе в теорiї iнформацiї, i щоб яснiше уявити фiзичний сенс цiєї величини, розглянемо деякi властивостi ентропiї.

1. Ентропiя завжди додатня

Н ³ 0.        (1. 20)

Дiйсно, 0 £ P_i £ 1, тому log P_i£0, тобто величина вiдємна. Отже, враховуючи знак мiнус в виразi (1. 19), кожний член цiєї суми буде додатнiм, а отже, i вся сума додатня.

2. Ентропiя рiвна нулю в тому i тiльки в тому випадку, якщо iмовiрнiсть одного з результатiв  рiвна одиницi, а отже, iмовiрностi  всiх iнших результатiв рiвнi нулю (нагадаємо, що P₁+P₂+... +P_k=1). Iншими словами, ентропiя рiвна нулю, тодi коли ситуацiя повнiстю визначена, тобто результат дослiду заздалегiдь передбачено.

Дiйсно, вираз (1. 19) являє собою суму додатніх величин, тому ця сума може бути рiвна нулю тiльки в тому випадку, коли кожний з її членiв Р log P рiвний нулю. Вираз Р logР рiвний нулю або при Р=1 (що очевидно, бо при Р=1 логарифм Р рiвний 0), або при Р=0. В останньому випадку має мiсце невизначенiсть, i щоб її розкрити, запишемо вираз Р logР в виглядi

PlogP= (logP)/(1/P).

   Границя цього виразу  рiвна межi вiдношення похiдної  числiвника до похiдної знаменника

Але тiльки один результат дослiду може володiти iмовiрнiстю, рiвною одиницi, i при цьому всi iншi результатi володiють iмовiрнiстю, рiвною нулевi, тому сума (1. 19) рiвна нулю тiльки в цьому випадку i наше твердження доведене.

3. Ентропiя максимальна тодi i тiльки  тодi, коли всi результати ситуацiї  (дослiду) рiвноможливi. Припустимо, що  наша ситуацiя може мати k результатов i всi вони рiвноможливi. Тодi Р₁ = Р₂.. = Р_k = ¹/_k, оскiльки Р₁+P₂+...+Р_k=1. При цьому значення ентропiї в вiдповiдностi з (1. 19) буде рiвне

H_max=log k .      (1. 21)

Покажемо тепер, що ентропiя завжди менша або рiвна виразу (1. 21). Для цього складемо рiзницю

              _k

H - log k = - S P_i log P_i - log k =

         ¹

                               _{k                   k                     k}

= - S P_i log P_i - S P_i log k = - S P_i log 1/P_i ,

                              ^{1                   1                      1}

                     _k

оскiльки  S P_i =1.

                 ¹

   Скористаємось  далi наступною  властивiстю  логарифмiчної функцiї: для будь-якого  значення аргументу w має мiсце  нерiвнiсть

ln w £ w-1.    (1. 23)

Нерiвнiсть (1. 23) (в лiвiй  частинi стоїть натуральний логарифм) очевидно з рис. 5. Знак рiвностi має  мiсце при значеннi w=1. Якщо в правій частинi (1. 22) величину 1/Р_ik позначимо через w i приймемо до уваги, що

log w = ln w  log e,

 то можна до кожного члена суми (1. 22) застосувати нерiвнiсть (1. 23). Тодi отримаємо

 

Оскiльки

то

H - log k £ 0       (1.24)

Таким чином, ентропiя  завжди менша або рiвна величинi log k (1.22), причому знак рiвностi має мiсце при w=1, тобто при 1/P_ik=1, або при всiх P_i=¹/_k, що означає рiвноможливiсть всiх результатiв дослiду.

З другої i третьої властивостей слiдує, що ентропiя рiвна нулю, коли ситуацiя повнiстю визначена, тобто  результат дослiду заздалегiдь передбачено, i максимальна при найбiльшiй невизначенностi ситуацiї, коли всi можливi результатi дослiду рiвноможливi. Таким чином, ентропiя в принципі є мiрою невизначеностi ситуацiї i вона тим бiльша, чим бiльша ця невизначенiсть.

Всяке впорядкування  ситуацiї, збiльшення її визначенностi зменшує ентропiю. Отже, вираз (1. 19), з одного боку, являє собою середню iнформацiю, яку можна очiкувати вiд повiдомлення в даних умовах, а з iншого, його можна розглядати, як мiру невизначеностi ситуацiї. Цi двi сторони, звичайно, зв'язанi мiж собою. Справдi, чим бiльш невизначена ситуацiя, тим бiльша iнформацiя буде полягати в кожному повiдомленнi про який-небуть конкретний результат. Часто в результатi деякого дослiду ми одержуємо деяку кiлькiсну величину х, що може приймати будь-яке значення в заданому iнтервалi. В цьому випадку результатом дослiду є безперервна випадкова величина, що володiє деяким законом розподiлу p (x) (рис. 6).

 рис.5       рис.6

Отже, тут ми маємо  дiло з нескiнченним числом можливих результатов i значить з нескiнченним числом можливих повiдомлень. Для такої ситуацiї по аналогiї з виразом (1.19) вводиться поняття ентропiї безперервного розподiлу

_+¥

-ò p(x) log p(x) dx               (1. 25)

 ^-¥