поддержка
проекта:
разместите на своей странице нашу кнопку!И мы
разместим на нашей странице Вашу кнопку или ссылку. Заявку прислать на
e-mail
код нашей кнопки:
Количество информации
Так называют числовую характеристику сигнала, которая не зависит от
его формы и содержания и характеризует степень неопределенности, которая
исчезает после выбора (получения) сообщения в виде данного сигнала.
Поясним эту идею на простом примере. Пусть имеется колода карт,
содержащая 32 различные карты. Чтобы выбрать одну из карт, существует 32
возможности, которые характеризуют исходную неопределенность ситуации.
Если при равной вероятности уже выбрана какая-то из них (например,
король червей), то неопределенности нет. Таким образом, число 32 в
рассматриваемом примере можно было бы считать количеством информации,
заложенным в одном выборе из 32 возможностей. Р. Хартли предложил в
качестве меры неопределенности логарифм от числа возможностей:
H=k*log a * m.
(1)
Здесь H - количество информации, к -
коэффициент пропорциональности, т - число возможных выборов, а -
основание логарифма. Чаще всего принимают к = 1 и а = 2. Тогда
стандартной единицей количества информации будет выбор из двух
возможностей. Такая единица носит наименование бита и представляется
одним символом двоичного алфавита. (Наиболее распространенный двоичный
алфавит - множество {0, 1}.)
Бит выбран в качестве единицы количества информации потому, что принято
считать, что двумя двоичными словами исходной длины т или словом длины
2т можно передать в два раза больше информации, чем одним исходным
словом. Число выборов при этом увеличивается в 2 m
раз, тогда как значение Я в соотношении (1) просто удваивается.
Интересно, что в соотношении (1) Н характеризует число вопросов
(двоичных), ответы на которые позволяют выбрать одну из альтернатив.
Так, в примере с колодой карт из 32 карт необходимо и достаточно
получить ответы "да" и" нет" на пять вопросов. Ответ на каждый вопрос
вдвое сокращает область дальнейшего выбора. Пусть, например, необходимо
выбрать даму пик. Такими вопросами будут: <
1. Карта красной масти? Ответ: "нет".
2. Трефы? Ответ: "нет".
3. Одна из четырех старших? Ответ: "да".
4. Одна из двух старших? Ответ: "нет".
5. Дама? Ответ: "да".
Таким образом, выбрана дама пик. Этот выбор можно описать
последовательностью из пяти двоичных символов 00101, в которой 0
соответствует "нет", а 1 соответствует "да".
До сих пор предполагалось, что выборы равновероятны и число их конечно.
К. Шеннону принадлежит обобщение Я на случай, когда Я зависит не только
от т, но и от вероятностей выбора символов и вероятностей связей между
ними.
Так, для количества собственной или индивидуальной информации он
предложил соотношение:
hi=log*1/Pi=-logPi (2)
где Pi - вероятность выбора i-ro символа алфавита.
Удобнее в качестве меры количества информации пользоваться не значением
hi,-, а средним значением количества информации, приходящейся на один
символ алфавита:
(3)
Значение Я достигает максимума при равенстве всех т. е.
при Pi, =1/m. В этом
случае соотношение (3) превращается в формулу Р. Хартли (1):
Hmax = - log P = log
m.
При наличии вероятностных связей между символами соотношение (3)
несколько усложняется.
