Информация, данные, сообщения. Меры информации. Формула Шеннона и Хартли. Системы счисления

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ

 

Университет

 

Кафедра «Строительные конструкции»

 

 

 

 

 

 

 

Реферат на тему:

«Информация, данные, сообщения. Меры информации. Формула Шеннона и Хартли. Системы счисления»

по дисциплине «Информационные технологии в строительстве»

 

        

 

 

 

 

Выполнил:
Проверил:

 

 

 

 

Уфа 2014

 

Содержание

Введение………………………………………………………………....…		3
1	Информация, данные, сообщения …………………………………	4
2	Меры информации…………………………………………………..	5
2.1	Синтаксическая мера информации………………………………..	5
2.2	Семантическая мера информации………………………………….	8
2.3	Прагматическая мера информации………………………………..	10
3	Формулы Шеннона и Хартли……………………………….……..	11
3.1	Формула Шеннона………………………………………………….	11
3.2	Формула Хартли……………………………………………………	12
4	Системы счисления…………………………………………………	13
4.1	Кодирование информации………………………………………….	13
4.2	Позиционная и не позиционная системы счисления……………	13
4.3	Десятичная система счисления……………………………...……..	14
4.4	Представление информации в компьютере………………...……..	16

 

 

 

 

 

 

 

 

 

 

 

 

Введение

 

Развитие и растущая информатизация общества (в послевоенный период) приводит к возникновению и развитию кибернетики, как науки об общих закономерностях в управлении и связи в различных системах: искусственных, биологических, социальных. Развиваясь одновременно с развитием электронно-вычислительных машин, кибернетика со временем превращалась в более общую науку о преобразовании информации. Первую попытку определить, что такое современная информатика, сделал в 1978 г. Международный конгресс  по информатике: «Понятие информатики охватывает области, связанные с разработкой, созданием, использованием и материально-техническим обслуживанием систем обработки и., включая машины, оборудование, математическое обеспечение, организационные аспекты, а также комплекс промышленного, коммерческого, административного и социального воздействия».

Мы живем в материальном мире. Все, что нас окружает и с чем мы сталкиваемся ежедневно, относится либо к физическим телам, либо к физическим полям. Из курса физики мы знаем, что состояния абсолютного покоя не существует и физические объекты находятся в состоянии непрерывного движении и изменения, которое сопровождается обменом энергией и ее переходом из одной формы в другую.

Все виды энергообмена сопровождаются появлением сигналов, то есть, все сигналы имеют в своей основе материальную энергетическую природу. При взаимодействии сигналов с физическими телами в последних возникают определенные изменения свойств — это явление называется регистрацией сигналов. Такие изменения можно наблюдать, измерять или фиксировать иными способами — при этом возникают и регистрируются новые сигналы, то есть, образуются данные.

 

 

1 Информация, данные, сообщения

 

Информация (лат. informatio –  разъяснение, изложение, осведомленность) – это понятие, обозначающее некоторые сведения, совокупность каких-либо данных, знаний и т.д. и подлежащих регистрации, передаче, хранению и обработке на вычислительных машинах.

Понятие информации предполагает наличие материального носителя информации, источника информации, передатчика информации, приемника и канала связи между источником и приемником.

С понятием информации связаны такие понятия, как сигнал, сообщение и данные. Сигнал (от латинского signum — знак) представляет собой любой процесс, несущий информацию. Сообщение — это информация, представленная в определенной форме и предназначенная для передачи. Данные — это информация, представленная в формализованном виде и предназначенная для обработки ее техническими средствами, например, ЭВМ.

С содержательной точки зрения "информация" - это сведения о ком-то или о чём-то, а с формальной точки зрения - набор знаков и сигналов.

В 1948 г. Клодом Шеннон сформулирован один из законов теории информации, в котором говорится, что информация в коммуникациях (при передаче данных) должна устранять неопределенность (энтропию - неупорядоченное (хаотическое) состояние). Согласно этому закону каждый сигнал имеет заранее известную вероятность появления. Чем меньше вероятность появления сигнала, тем больше информации он несёт для потребителя.

Данные - это формальные факты или идеи, которые можно хранить, обрабатывать и передавать на расстояние.

Данные также определяются, как числа, символы или буквы, которые используют при описании личностей, объектов, ситуаций, а также для их анализа, обсуждения или принятия соответствующих решений.

Сообщение - это текст, цифровые данные, изображения, звук, графика, таблицы и др.

Сообщения содержат информацию тогда, когда могут быть приняты и поняты любым живым существом или приёмником информации.

 

2 Меры информации

 

Рис. 1 - Классификация мер информации.

2.1 Синтаксическая  мера информации

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.

Объём данных (VД) понимается в техническом смысле этого слова как информационный объём сообщения или как объём памяти, необходимый для хранения сообщения без каких-либо изменений.

Информационный объём сообщения измеряется в битах и равен количеству двоичных цифр (“0” и “1”), которыми закодировано сообщение.

В компьютерной практике слово “бит” используется также как единица измерения объёма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях (“включено” и “выключено”) и в неё может быть записана одна двоичная цифра (0 или 1). Понятно, что бит — слишком маленькая единица измерения информации, поэтому пользуются кратными ей величинами. Основной единицей измерения информации является байт. 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, то есть в одном байте можно хранить 256 = 28 различных чисел. Для измерения ещё бóльших объёмов информации используются такие величины:

1 Килобайт =	210 байт =	1024 байт
1 Мегабайт =	210 Килобайт =	1024 Килобайт
1 Гигабайт =	210 Мегабайт =	1024 Мегабайт
1 Терабайт =	210 Гигабайт =	1024 Гигабайт

Пример 1.2.1. Важно иметь представление, сколько информации может вместить килобайт, мегабайт или гигабайт. При двоичном кодировании текста каждая буква, знак препинания, пробел занимают 1 байт. На странице книги среднего формата примерно 50 строк, в каждой строке около 60 символов, таким образом, полностью заполненная страница имеет объём 50 x 60 = 3000 байт ≈3 Килобайта. Вся книга среднего формата занимает ≈ 0,5 Мегабайт. Один номер четырёхстраничной газеты — 150 Килобайт. Если человек говорит по 8 часов в день без перерыва, то за 70 лет он наговорит около 10 Гигабайт информации. Один чёрно-белый кадр (при 32 градациях яркости каждой точки) содержит примерно 300 Кб информации, цветной кадр содержит уже около 1 Мб информации. Телевизионный фильм продолжительностью 1,5 часа с частотой 25 кадров в секунду — 135 Гб.

Количество информации I на синтаксическом уровне определяется через понятие энтропии системы.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию Iβ(α), уменьшившую его априорную неосведомленность так, что неопределенность состояния системы после получения сообщения β стала Hβ(α).

Тогда количество информации Iβ(α) ξ системе, полученной в сообщении β, определится как

Iβ(α)=H(α)-Hβ(α).

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность Hβ(α) ξбратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Iβ(α)=H(α).Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающей информации.

Энтропия системы H(α), θмеющая N возможных состояний, согласно формуле Шеннона, равна:

, где Pi — вероятность того, что система находится в i-м состоянии. Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны Pi = , ее энтропия определяется соотношением  .

Пример 1.2.2. Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N=mn,

где N — число всевозможных отображаемых состояний; m — основание системы счисления (разнообразие символов, применяемых в алфавите); n —число разрядов (символов) в сообщении. Допустим, что по каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=m", то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет

I=log N=n log m — формула Хартли.

Если в качестве основания логарифма принять m, то / = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных /=VД , полученных по каналу связи.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.

 

2.2 Семантическая мера информации

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя.

Тезаурус — это совокупность сведений, которыми располагает пользователь или система.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя Sp изменяется количество семантической информации Ic, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис. 1.2.2. Рассмотрим два предельных случая, когда количество семантической информации Ic равно 0:

• при Sp→0 пользователь не воспринимает, не понимает поступающую информацию;

• при Sp→¥ пользователь все знает, и поступающая информация ему не нужна.

Рис. 2 -  Зависимость количества семантической информации, воспринимаемой потребителем, от его тезауруса.

Максимальное количество семантической информации Ic потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом Sp (Sp = Sp opt), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения. Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного. Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему:

 

2.3 Прагматическая мера информации

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цепи. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.

Для сопоставления введённые меры информации представим в таблице 1.

Мера информации	Единицы измерения	Примеры (для компьютерной области)
Синтаксическая: шенноновский подход компьютерный подход	Степень уменьшения неопределенности     Единицы представления информации	Вероятность события         Бит, байт. Кбайт и та
Семантическая	Тезаурус     Экономические показатели	Пакет прикладных программ, персональный компьютер, компьютерные сети и т.д. Рентабельность, производительность, коэффициент амортизации и тд.
Прагматическая	Ценность использования	Емкость памяти, производительность компьютера, скорость передачи данных и т.д. Денежное выражение Время обработки информации и принятия решений

 

 

3 Формулы Шеннона  и Хартли

 

3.1 Формула Шеннона

1948 год американский ученый  Клод Шеннон предложил другую  формулу определения количества  информации, учитывая возможную 
неодинаковую вероятность событий в наборе.

Формула Шеннона:I=-(p 1 log 2p 1+ p 2 log 2p 2 + p 3 log 2p 3 +…. p N log 2p N ),

 
где p I вероятность того,что именно I –е сообщение выделено в наборе из N сообщений.

Другая запись формулы Шеннона: 

 

 

I  -количество информации,

N -количество возможных  событий,

Р I  – вероятности отдельных событий.

 

 

 

3.2 Формула Хартли

В 1928 год американский инженер Ральф Хартли рассматривает процесс получения информации как выбор одного сообщения из конечного заданного множества N равновероятных событий

Формула Хартли:I=log2N,   гдеI -количество информации,N -число равновероятных событий.

Задача: 
Какое количество информации требуется, чтобы угадать одно число из 128? Решение: 
I=log2128=7 бит

Вывод:  
с увеличением числа вероятных событий (N), увеличивается количество информации (I), полученной при совершении одного из событий.

Формула Хартли может быть записана и так:N=2IЕсли N=2 (выбор из двух возможностей), то I=1 бит.

Так как наступление каждого из N событий имеет одинаковую вероятность P, то Р=1/N.Если событий 6, то вероятность появления одного события равно 1/6, если событий 100, то вероятность равна 0,01=> N=1/P

Формулу Хартли можно записать иначе:I=log2(1/P)= log2P-1= - log2Pтак как p<1, то I >0

Формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив.

Примеры равновероятных сообщений:1) при бросании монеты выпала «решка», выпал «орел»2) на странице книги количество букв четное, нечетное.

 

 

4 Системы счисления

 

4.1 Кодирование  информации

Кодирование информации - представление информации в той или иной стандартной форме.

Например, письменность и арифметика - кодирование речи и числовой информации, музыку кодируют с помощью нот.

Чтобы использовать числа их нужно как-то записывать и называть. Самые первые системы нумерации возникли в Др. Египте и Месопотамии - применяли иероглифы

Системы счисления - способы кодирования числовой информации,т.е. способ записи чисел с помощью некоторого алфавита, символы которого называют цифрами.

В древнем Вавилоне делили час на 60 мин., угол на 360 градусов, англосаксы начали делить год на 12 месяцев, сутки на два периода по 12 часов, продолжительность года 360 суток. 

В Риме семь чисел обозначают латинскими буквами. 1-I, 5-V, 10-X, 50- L,100-C, 500-D, 1000-M

IV (4=5-1)VI (6=5+1)

 

4.2 Позиционная  и не позиционная системы счисления

Значение числа определяется как сумма или разность цифр числа. Это непозиционная система счисления.

.В непозиционной системе  счисления смысл каждого символа  не зависит от того места, на  котором он стоит. Числа образуются  сложно, и к тому же большие  числа имеют очень громоздкую  запись; если складывать и вычитать  в такой системе ещё можно  без особого труда, то умножать  очень сложно, а деление представляет  собой почти непосильную проблему, поэтому непозиционная система  счисления в вычислительной технике  применения не нашла

Любая позиционная система счисления имеет очень удобную запись и состоит из небольшого набора цифр и букв. В позиционной системе счисления значение цифры в записи числа зависит от её позиции внутри числа. 

Самой популярной системой кодирования чисел оказалась позиционная, десятичная. Используются десять цифр. Значение каждой определяется той позицией, которую цифра занимает в записи числа. 
Эта система пришла из Индии, где она появилась не позднее VI века, европейцы заимствовали ее у арабов, назвав ее арабской. Из арабского языка заимствовано слово "цифра". Причина ее возникновения анатомическая-10 пальцев  анатомическая система счисления (существовали пятиричные, двадцатиричные системы счисления)

Напр., 23 -три единицы, два десятка 32 -две единицы, три десятка 400 -4 сотни, два 0 вклад в число не дают, нужны для того,чтобы указывать позицию 4. 

Для записи чисел в позиционной системе счисления с основанием nнужно иметь алфавит из n цифр. При n<10 используются n первых арабских цифр, а при n>10 добавляются буквы. Позиционные системы удобны тем, что они позволяют записывать большие числа с помощью сравнительно небольшого числа знаков. Ещё более важное преимущество позиционных систем – это простота и лёгкость выполнения арифметических операций над числами, записанных в этих системах. 

 

4.3 Десятичная  система счисления

В десятичной позиционной системе особую роль играет число 10 и его степени, например, 1996 - 6 единиц, 9 десятков, 9 сотен 1 тысяча или 1996=6+9*10+9*100+1*1000, т.к.1000=103 в третьей степени, 100=102, 10=101, т.о. 1996=1*103 + 9*102 + 9*101 +6*100.

Любое число в нулевой степени равно единице 0,10 = 1

Т.е. любое 4-х значное число можно записать в следующем виде:

N=a3*103+a2*102+a1*101+a0*100

a3, a2, a1, a0-десятичные цифры, от 1 до 9 или коэффициенты 3 2 1 0 -разряды, степени 
число 10 со степенями называют основанием системы счисления

Но основанием системы может быть не обязательно число 10, т.о. мы можем записать число в р-ичной системе, где основанием будут степени числа р Т.о. любое число N в р-ичной системе мы можем представить в виде формулы:

N=an*Pn+an-1*Pn-1+...+a1*P1+a0*P0

Если взять за основание 60, то придется использовать 60 разных цифр. Такая система была в Древнем Вавилоне. Если основанием возьмем 2, получим систему всего с двумя цифрами: 
0 и 1. К сожалению в этой системе даже небольшие числа записываются слишком длинно, так 1995 в двоичной системе записывается

199510=111110010112

Система счисления, где 2 является основанием системы называется двоичной системой счисления относится к машинной системе счисления, к машинным системам счисления относятся и восьмиричная и шестнадцатиричная.

Запись числа в двоичной системе удобна для компьютера, но громоздка для человека. На помощь приходят системы, родственные двоичной восьмиричная система счисления использует 8 цифр: 0,1,2,3,4,5,6,7.

Еще компактней выглядит запись двоичного числа в шестнадцатиричной системе счисления.

Для первых 10 из 16 шестнадцатиричных цифр используются привычные цифры 0 1 2 3 4 5 6 7 8 9, а для остальных используют первые буквы латинского алфавитаA-10 D-13B-11 E-14C-12 F-15

 

 

 

4.4 Представление информации в компьютере

Каждый регистр арифметического устройства ЭВМ, каждая ячейка памяти представляет собой физическую систему, состоящую из некоторого числа однородных элементов. Каждый такой элемент способен находиться в нескольких состояниях и служит для изображения одного из разрядов числа. Именно поэтому каждый элемент ячейки называют разрядом. Нумерацию разрядов в ячейке принято вести справа налево, самый левый разряд имеет порядковый номер 0. Наиболее надежным и дешевым является устройство, каждый разряд которого может принимать два состояния: намагничено - не намагничено, высокое напряжение - низкое напряжение и т.д. В современной электронике развитие аппаратной базы ЭВМ идет именно в этом направлении. Следовательно, использование двоичной системы счисления в качестве внутренней системы представления информации вызвано конструктивными особенностями элементов вычислительных машин. Во всех современных ЭВМ для представления числовой информации используется двоичная система счисления. Это обусловлено : · более простой реализацией алгоритмов выполнения арифметических и логических операций;· более надежной физической реализацией основных функций, так как они имеют всего два состояния (0 и 1);· экономичностью аппаратурной реализации всех схем ЭВМ.