Основы теории информации. Кодирование информации

СОДЕРЖАНИЕ

 

	ВВЕДЕНИЕ………………………………………………………	3
Глава 1	ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ ……………………….	5
1.1	Понятие информации …………………………………………...	5
1.2	Свойства информации ………………………………………….	6
1.3	Классификация информации …………………………………...	9
1.4	Формы представления информации……………………………
1.5	Способы представления информации………………………….
Глава 2	КОДИРОВАНИЕ ИНФОРМАЦИИ. МЕТОДЫ И СРЕДСТВА КОДИРОВАНИЯ ИНФОРМАЦИИ ………………………….	15
2.1	Понятие «кодирование информации» и его смысл ….……….	15
2.2	Способы кодирования ………………………………………	16
2.3	Таблицы кодировок……………………………………………
	ЗАКЛЮЧЕНИЕ.………………………………………………….	36
	СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ…..……………	37

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ВВЕДЕНИЕ

 

Слово “информация” латинское. За долгую жизнь его значение претерпевало эволюции, то расширяя, то предельно сужая свои границы. Вначале под словом “информация” подразумевали: “представление”, “понятие”, затем-“сведения”, “передача сообщений”.

В последние годы ученые решили, что обычное (всеми принятое) значение слова “информация” слишком эластично, расплывчато, и дали ему такое значение: “мера определенности в сообщении”.

Теорию информации вызвали к жизни потребности практики. Ее возникновение связывают с работой Клода Шеннона “Математическая теория связи”, изданной в 1946г. Основы теории информации опираются на результаты, полученные многими учеными. Ко второй половине XX века земной шар гудел от передающейся информации, бегущей по телефонным и телеграфным кабелям и радиоканалам. Позже появились электронные вычислительные машины - переработчики информации. А для того времени основной задачей теории информации являлось, прежде всего, повышение эффективности функционирования систем связи. Сложность при проектировании и эксплуатации средств, систем и каналов связи в том, что конструктору и инженеру недостаточно решить задачу с физических и энергетических позиций.

С этих точек зрения система может быть самой совершенной и экономичной. Но важно еще при создании передающих систем обратить внимание на то, какое количество информации пройдет через эту передающую систему. Ведь информацию можно измерить количественно, подсчитать. И поступают при подобных вычислениях самым обычным путем: абстрагируются от смысла сообщения, как отрешаются от конкретности в привычных всем нам арифметических действиях.

Цель работы: определить понятие информации, описать свойства информации и основные способы её представления в памяти компьютера, а также дать понятие кодирования информации.

Объектом исследования является понятие информации и её свойства, а также система кодирования.

Предмет исследования: способы нахождения материала для написания курсовой работы.

Гипотеза: определение понятия информации, описание ей свойств и основных способов представление, а также изучение кодирования информации будет осуществлено успешно, если:

1. Будет изучен материал, касающийся теории информации;
2. Весь материал будет обработан и систематизирован.

В соответствии с целью и гипотезой сформулированы следующие задачи исследования:

1. Определить понятие информации.

2. Описать основные свойства информации.

3. Описать  основные способы представления  информации.

4. Дать понятие  кодирования информации.

Теоретическая значимость исследования состоит в изучении материала касающегося теории информации.

Практическая значимость исследования состоит в обработке и систематизации отобранного материала.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ГЛАВА 1 ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ

1.1 Понятие информации

 

Информатика - наука о законах и методах накопления, обработки и передачи информации. В наиболее общем виде понятие информации можно выразить так:

Информация - это отражение предметного мира с помощью знаков и сигналов.

Принято говорить, что решение задачи на ЭВМ, в результате чего создается новая информация, получается путем вычислений. Потребность в вычислениях связана с решением задач: научных, инженерных, экономических, медицинских и прочих.

В обыденной жизни под информацией понимают всякого рода сообщения, сведения о чем-либо, которые передают и получают люди. Сами по себе речь, текст, цифры - не информация. Они лишь носители информации. Информация содержится в речи людей, текстах книг, колонках цифр, в показаниях часов, термометров и других приборов. Сообщения, сведения, т.е. информация, являются причиной увеличения знаний людей о реальном мире. Значит, информация отражает нечто, присущее реальному миру, который познается в процессе получения информации: до момента получения информации что-то было неизвестно, или, иначе, не определено, и благодаря информации неопределенность была снята, уничтожена.

Рассмотрим пример. Пусть нам известен дом, в котором проживает наш знакомый, а номер квартиры неизвестен. В этом случае местопребывание знакомого в какой-то степени не определено. Если в доме всего две квартиры, степень неопределенности невелика. Но если в доме 300 квартир - неопределенность достаточно велика. Этот пример наталкивает на мысль, что неопределенность связана с количеством возможностей, т.е. с разнообразием ситуаций. Чем больше разнообразие, тем больше неопределенность.

Информация, снимающая неопределенность, существует постольку, поскольку существует разнообразие. Если нет разнообразия, нет неопределенности, а, следовательно, нет и информации.

Итак, информация - это отражение разнообразия, присущего объектам и явлениям реального мира. И, таким образом, природа информации объективно связана с разнообразием мира, и именно разнообразие является источником информации.

 

1.2 Свойства информации

 

Информация нам нужна для того, чтобы ориентироваться в окружающей обстановке и принимать правильные решения. Но любая ли информация помогает нам в этом? Знание свойств информации может помочь человеку оценить в каждом конкретном случае, насколько решения, принятые на основе имеющейся информации, могут быть верными.

Свойства информации можно рассматривать и как ее качественные признаки.

1. Информация – это отражение внешнего мира, а он существует независимо от нашего сознания и желания. Поэтому в качестве важного свойства информации можно выделить ее объективность.

Информация объективна, если она не зависит от чьего-либо мнения, суждения.

Сообщение «На улице тепло» несет субъективную информацию, а сообщение «На улице 22 °С» – объективную (если термометр исправен).

Объективную информацию можно получить с помощью исправных датчиков, измерительных приборов. Но, отражаясь в сознании конкретного человека, информация перестает быть объективной, становится субъективной, так как преобразовывается (в большей или меньшей степени) в зависимости от мнения, суждения, опыта, знания, пристрастий конкретного субъекта.

2. Информация достоверна, если она отражает истинное положение дел.

Объективная информация всегда достоверна, но достоверная информация может быть как объективной, так и субъективной. Только достоверная информация помогает принять нам правильное решение. Недостоверной информация может быть по следующим причинам:

• преднамеренное искажение (дезинформация);

• искажение в результате воздействия помех («испорченный телефон»);

• в случае, когда значение реального факта приуменьшается или преувеличивается (слухи, «рыбацкие истории», реклама, политические дебаты).

3. Чтобы решить поставленную задачу, лучше иметь полную информацию.

Информация полна, если ее достаточно для понимания и принятия решения.

Мечта историка – иметь полную информацию о минувших эпохах. Но историческая информация никогда не бывает полной, и полнота информации уменьшается по мере удаленности от нас исторической эпохи. Даже события, происходившие на наших глазах, не полностью документируются, многое забывается, а воспоминания подвергаются искажению.

Неполная информация может привести к ошибочному выводу или решению. Не зря русская пословица гласит: «Недоученный хуже неученого».

Избыток информации может быть так же вреден при принятии решения, как и ее недостаток, поскольку для анализа и обработки дополнительной информации требуется время. А время для человека – один из самых дефицитных и дорогостоящих «ресурсов» его жизни, не говоря уже об экстремальных ситуациях,» когда от быстроты принятия решения может зависеть очень многое. Заметим, что самая полная, самая достоверная информация не может быть новой.

4. Актуальность (своевременность) информации – важность, существенность её для настоящего времени. Только вовремя полученная информация может принести необходимую пользу.

Неактуальной информация может быть по трем причинам, когда она является:

• устаревшей (прошлогодняя газета);

• преждевременной (прогноз погоды на лето, данный в январе);

• незначимой, ненужной (например, сообщение в российской прессе о том, что в Италии снижены цены на проезд в транспорте на 5%).

5. Информация может быть полезной или бесполезной (ценность информации).

Но, так как четкой границы между этими понятиями нет, то следует говорить о степени полезности применительно к нуждам конкретных людей. Полезность информации оценивается по тем задачам, которые мы можем решить с ее помощью. Оценка полезности информации всегда субъективна. То, что полезно для одного человека, может быть совершенно бесполезно для другого.

Примем во внимание, что небольшой процент «бесполезной» информации в книгах даже полезен для читателя, так как он позволяет отдохнуть при чтении неинформативных участков текста.

С точки зрения техники свойство полезности рассматривать бессмысленно, так как задачи машине ставит человек.

6. Поскольку во многих подходах к определению понятия «информация» подчеркивается, что информация воспринимается, получается кем-то, то важным свойством информации является ее понятность. Даже самая актуальная и достоверная информация будет для вас бесполезной, если она выражена на незнакомом языке, то есть вам непонятна.

Любую информацию можно характеризовать с точки зрения ее объективности, достоверности, полноты, актуальности, полезности и понятности.

Социальная информация обладает еще и дополнительными свойствами.

Ø Социальная информация имеет семантический (смысловой) характер.

Как правило, содержание, смысл информации для человека важнее, чем форма её представления.

Ø Социальная информация имеет языковую природу (кроме некоторых видов эстетической информации, например, изобразительного искусства).

Одно и то же содержание может быть выражено на разных естественных (разговорных) либо специальных языках.

Многие алгоритмы, встречающиеся в профессиональной деятельности экономистов, технологов и т.п., могут быть представлены в словесной форме, записаны на языке математики – в виде математических формул, либо на языке блок-схем.

Ø С течением времени количество информации растет, информация накапливается, происходит ее систематизация, оценка и обобщение. Это свойство назвали ростом и кумулированием информации (кумуляция – от латинского cumulatio – увеличение, скопление).

Ø Свойство старения информации заключается в уменьшении ее ценности с течением времени. Старит информацию не само время, а появление новой информации, которая уточняет, дополняет или отвергает полностью или частично более раннюю информацию.

Научно-техническая информация стареет быстрее, эстетическая (произведения искусства) – медленнее.

Ø Логичность, компактность, удобная форма представления информации облегчает понимание и усвоение информации.

Грамотное, доказательное выступление, когда оратор логично переходит от одного вопроса (факта, предположения) к другому, воспринимается лучше, чем сумбурная речь.

Использование схем нередко лучше проясняет принцип работы технического устройства, чем многостраничные описания.

Ø При восприятии и понимании текстов человеком важным свойством информации оказывается ее определенность (однозначность).

«И вскрикнул внезапно ужаленный князь!» Внезапно вскрикнул или внезапно ужаленный? «Сережа встретил Свету на поляне с цветами». С цветами был Сережа или с цветами была Света? А, может быть, цветы росли на поляне?

Многозначность слов, фраз, жестов нередко затрудняют общение, приводят к недоразумениям и конфликтам. Заметим, что в художественных произведениях многозначность, «игра слов» часто используется как литературный прием, повышающий интерес читателей, будящий их воображение, позволяющий посмотреть на описываемую ситуацию с разных точек зрения.

 

1.3 Классификация информации

 

Существует две системы классификации: иерархическая и фацетная. При иерархической классификации (рис. 1.) множество объектов последовательно разбиваются на соподчиненные подмножества.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рис. 1. Классификация информации

 

1.4 Формы представления информации

 

Компьютеризация общества и компьютерная обработка информации приводит к необходимости ее представления в двоичной виде. 
На сегодняшнее время компьютеры способны обрабатывать числовую, текстовую, графическую, звуковую и видео информацию. Однако большинство существующих компьютеров способно хранить и обрабатывать только дискретную информацию. Следовательно, любой вид информации, подлежащий к обработке на ЭВМ необходимо закодировать в числовом виде.

Рассмотрим способы представления информации в ЭВМ.

Представление целых чисел.

Для эффективности использования памяти в ЭВМ используют разные методы представления целых чисел. При этом применяется формат с фиксированной запятой.

Для положительных (без знаковых) чисел все биты ячейки памяти участвуют в указании количественного значения числа. Например, 1 байт=8 битам дает возможность задать числа в диапазоне от 00000000 до 11111111 в двоичной системе (0-255 в десятичной системе). Если же используется для кодирования машинное слово (2 байта), то возможен числовой диапазон от 0 до 2^16-1=65535 в десятичной системе.

В случае если нужно указать число со знаком, старший бит в двоичной системе выделяется для указания знака. При этом одним байтом можно задать числа от -128 до +127, а 16 разрядное целое со знаком позволяет указать числовой диапазон от -32768 до +32767 в десятичной системе. Для замены операции вычитания операцией сложения, отрицательные числа в памяти компьютера хранятся в дополнительном коде. 
В компьютере операции над целым числами выполняются целочисленным процессорам по определенным правилам.

Представление вещественных чисел.

Для выполнения операций с большей точностью в компьютере используется формат представления чисел с плавающей запятой. При таком кодировании часть разрядов отводится для указания порядка, другая часть для указания мантиссы и один бит для указания знака. Например, при длине числа 32 бита (двойное машинное слово) 1 бит отводится для указания знака, 8 бит – указание порядка и 24 бита – для мантиссы. Это позволяет задать диапазон от 10^-38 до 10^38 .

Операции над такими числами выполняет математический сопроцессор.

Представление текстовой информации.

В случае текстовой информации, каждому символу сопоставляется двоичное  число, образуя таблицу кодировок символов. Существует различные стандарты кодировок: ASCII, UCS-2, UCS-4. Например,  в таблице ASCII одним байтом кодируются 256 символов (включая управляющие символы). Согласно этой кодировке букве b соответствует код 01100010, о – 01101111, k – 01101011. И слово book записывается четырьмя байтами 01100010 01101111 01101111 01101011.  

Представление графической информации.  

Для кодирования графической информации все изображение делиться на равные участки – пиксели. Чем больше пикселей, тем качественнее представление графического изображения. Каждый пиксель задается двоичным кодом цвета дискретизированной области. В основном применяют кодировки RGB (Red-Green-Blue) - для устройств, работающих по принципу излучения (мониторы), CMYK (Cyan-Yellow-Magenta-Black)  - для устройств, работающих по принципу отражения от белого (печать на бумагу).  
В системе RGB при глубине цвета 24 бита, состояние пикселя задается 24 битами, из которых 8 бит используется для задания интенсивности красного, 8 бит – интенсивности зеленого и последние 8 бит - интенсивности синего. Таким образом, три цвета, каждый из которых имеет 256 уровней интенсивности, смешиваются в разных соотношениях, и получается 224 различных цветов.

Не трудно подсчитать объем памяти необходимый для хранения изображения на экране монитора разрешением 800х600 точек при глубине цвета 24 бит.   

800*600*3байта=1440000 байт=1.44 Мбайт.

В таком виде сохраняется информация в графических файлах с расширением BMP. Но для уменьшения занимаемого объема применяются различные методы сжатия типа JPG, GIF и т. д.

Представление звуковой информации.

В электронных устройствах регистрации звука формируется непрерывно меняющиеся во времени напряжение или ток, т.е. аналоговый электрический сигнал. Для записи этого сигнала в компьютер необходима дискретизация этого сигнала по уровню и по времени. Эту функцию выполняю специальные электронные устройства – аналогово-цифровые преобразователи. Через каждый короткий промежуток времени в виде двоичного числа регистрируется уровень сигнала. Таким образом, звуковой сигнал представляет собой поток двоичных чисел.

Обычно глубина кодирования (дискретизация по уровню) составляет 16 бит (65536 уровней), а частота дискретизации 24000 раз в секунду. Можно подсчитать поток информации при таком качестве звука 
16 бит*24000 с-1=2 байта*24000 с-1=48000 байт в секунду=48 Кбайт/с 
При воспроизведении звука цифровыми устройствами, поток чисел обратно представляются в аналоговый сигнал при помощи цифро-аналогового преобразователя.

Универсальный звуковой формат файла без сжатия это WAV. Наиболее распространенный формат со сжатием - MP3.

Представление видео - информации.

Видео представляет собой поток последовательно сменяющихся кадров изображений. Следовательно, представление видео в ЭВМ сводится к представлению потока графической информации. Телевизионный формат воспроизведения видео использует разрешение кадра 720*576 точек с 24 битовой глубиной цвета. Скорость воспроизведения составляет 25 кадров в секунду. Объем передаваемой при этом информации составляет: 
24бита*720*576*25=248832000 бит/с или приблизительно 30 Мбайт/с. 
Это составляет очень большой поток данных, поэтому при хранении и передачи видео используют разные методы сжатия (MPEG, AVI). В современных цифровых  видеокамерах запись видео выполняется в цифровой форме после предварительного сжатия.

 

1.5 Способы представления  информации

 

Человек воспринимает информацию с помощью органов чувств. Свет, звук, тепло – это энергетические сигналы, а вкус и запах – это результат воздействия химических соединений, в основе которого тоже энергетическая природа. Человек испытывает энергетические воздействия непрерывно и может никогда не встретиться с одной и той же их комбинацией дважды. Нет двух одинаковых зеленых листьев на одном дереве и двух абсолютно одинаковых звуков – это информация аналоговая. Если же разным цветам дать номера, а разным звукам – ноты, то аналоговую информацию можно превратить в цифровую.

Чтобы сообщение было передано от источника к получателю, необходима некоторая материальная субстанция – носитель информации. Сообщение, передаваемое с помощью носителя, назовем сигналом. В общем случае сигнал – это изменяющийся во времени физический процесс. Такой процесс может содержать различные характеристики (например, при передаче электрических сигналов могут изменяться напряжение и сила тока). Та из характеристик, которая используется для представления сообщений, называется параметром сигнала.

В случае когда параметр сигнала принимает последовательное во времени конечное число значений (при этом все они могут быть пронумерованы), сигнал называется дискретным, а сообщение, передаваемое с помощью таких сигналов -дискретным сообщением. Информация, передаваемая источником, в этом случае также называется дискретной. Если же источник вырабатывает непрерывное сообщение (соответственно параметр сигнала – непрерывная функция от времени), соответствующая информация называется непрерывной. Пример дискретного сообщения – процесс чтения книги, информация в которой представлена текстом, т.е. дискретной последовательностью отдельных значков (букв). Примером непрерывного сообщения служит человеческая речь, передаваемая модулированной звуковой волной; параметром сигнала в этом случае является давление, создаваемое этой волной в точке нахождения приемника – человеческого уха.

Непрерывное сообщение может быть представлено непрерывной функцией, заданной на некотором отрезке [а, Ь] (см. рис. 2). Непрерывное сообщение можно преобразовать в дискретное (такая процедура называется дискретизацией). Для этого из бесконечного множества значений этой функции (параметра сигнала) выбирается их определенное число, которое приближенно может характеризовать остальные значения. Один из способов такого выбора состоит в следующем. Область определения функции разбивается точками x1, x2,... хn, на отрезки равной длины и на каждом из этих отрезков значение функции принимается постоянным и равным, например, среднему значению на этом отрезке; полученная на этом этапе функция называется в математике ступенчатой. Следующий шаг – проецирование значений “ступенек” на ось значений функции (ось ординат). Полученная таким образом последовательность значений функции у1, у2, ... уn. является дискретным представлением непрерывной функции, точность которого можно неограниченно улучшать путем уменьшения длин отрезков разбиения области значений аргумента.

 

Рис. 1. Процедура дискретизации непрерывного сообщения

 

Ось значений функции можно разбить на отрезки с заданным шагом и отобразить каждый из выделенных отрезков из области определения функции в соответствующий отрезок из множества значений (рис. 2). В итоге получим конечное множество чисел, определяемых, например, по середине или одной из границ таких отрезков.

Таким образом, любое сообщение может быть представлено как дискретное, иначе говоря последовательностью знаков некоторого алфавита.

Возможность дискретизации непрерывного сигнала с любой желаемой точностью (для возрастания точности достаточно уменьшить шаг) принципиально важна с точки зрения информатики. Компьютер – цифровая машина, т.е. внутреннее представление информации в нем дискретно. Дискретизация входной информации (если она непрерывна) позволяет сделать ее пригодной для компьютерной обработки. Существуют и другие вычислительные машины – аналоговые ЭВМ. Они используются обычно для решения задач специального характера и широкой публике практически не известны. Эти ЭВМ в принципе не нуждаются в дискретизации входной информации, так как ее внутреннее представление у них непрерывно. В этом случае все наоборот – если внешняя информация дискретна, то ее “перед употреблением” необходимо преобразовать в непрерывную.

Единицы количества информации: вероятностный и объемный подходы

Определить понятие “количество информации” довольно сложно. В решении этой проблемы существуют два основных подхода. Исторически они возникли почти одновременно. В конце 40-х годов XX века один из основоположников кибернетики американский математик Клод Шеннон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к “объемному” подходу.

Вероятностный подход

Рассмотрим в качестве примера опыт, связанный с бросанием правильной игральной .кости, имеющей N граней (наиболее распространенным является случай шестигранной кости: N = 6). Результаты данного опыта могут быть следующие: выпадение грани с одним из следующих знаков: 1,2,... N.

Введем в рассмотрение численную величину, измеряющую неопределенность -энтропию (обозначим ее Н). Величины N и Н связаны между собой некоторой функциональной зависимостью:

 

H = f (N), (1.1)

 

а сама функция f является возрастающей, неотрицательной и определенной (в рассматриваемом нами примере) для N = 1, 2,... 6.

Рассмотрим процедуру бросания кости более подробно:

1) готовимся  бросить кость; исход опыта неизвестен, т.е. имеется некоторая неопределенность; обозначим ее H1;

2) кость брошена; информация об исходе данного  опыта получена; обозначим количество  этой информации через I;

3) обозначим  неопределенность данного опыта  после его осуществления через H2. За количество информации, которое получено в ходе осуществления опыта, примем разность неопределенностей “до” и “после” опыта:

 

I = H1 – H2 (1.2)

 

Очевидно, что в случае, когда получен конкретный результат, имевшаяся неопределенность снята (Н2 = 0), и, таким образом, количество полученной информации совпадает с первоначальной энтропией. Иначе говоря, неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта. Заметим, что значение Н2 могло быть и не равным нулю, например, в случае, когда в ходе опыта следующей выпала грань со значением, большим “З”.

Следующим важным моментом является определение вида функции f в формуле (1.1). Если варьировать число граней N и число бросаний кости (обозначим эту величину через М), общее число исходов (векторов длины М, состоящих из знаков 1,2,.... N) будет равно N в степени М:

 

X=NM. (1.3)

 

Так, в случае двух бросаний кости с шестью гранями имеем: Х=62=36. Фактически каждый исход Х есть некоторая пара (X1, X2), где X1 и X2 – соответственно исходы первого и второго бросаний (общее число таких пар – X).

Ситуацию с бросанием М раз кости можно рассматривать как некую сложную систему, состоящую из независимых друг от друга подсистем – “однократных бросаний кости”. Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый “принцип аддитивности энтропии”):

 

f(6M) = M ∙ f(6)

 

Данную формулу можно распространить и на случай любого N: