поддержка
проекта:
разместите на своей странице нашу кнопку!И мы
разместим на нашей странице Вашу кнопку или ссылку. Заявку прислать на
e-mail
код нашей кнопки:
Теория информации
Теория информации как самостоятельная научная дисциплина, связанная с
восприятием, передачей и переработкой, хранением и использованием
информации, была основана американским ученым К. Шенноном в конце 40-х
гг. 20-го в. Предложенная Шенноном теория основывалась на
фундаментальном понятии количественной меры неопределенности - энтропии
- и связанного с нею понятия - количества информации. Другим фактором в
становлении теории информации стало
осознание того, что носитель информации - сигнал - имеет случайную
природу.
На основе понятий энтропии и количества информации в теории информации
введены важные характеристики сигналов и информационных систем.
Вот основные из них.
1. Скорость создания информации Н - энтропия источника, отнесенная к
единице времени.
2. Скорость передачи информации R - количество информации, передаваемое
по каналу связи в единицу времени (например, для речи в обычном темпе -
около 20 бит/с).
3. Избыточность - свойство сигналов, состоящее в том, что каждый элемент
сигнала (например, символ в тексте) несет информации меньше, чем может
нести потенциально. При отсутствии помех избыточность вредна, так как
снижает эффективность использования системы (снижает скорость передачи
по каналу связи, увеличивает требуемый объем памяти при запоминании,
увеличивает число операций при обработке и пр.). Вместе с тем
избыточность - единственное средство борьбы с помехами, так как именно
она позволяет установить, какие символы были испорчены шумами, и
восстановить переданный сигнал (например, именно избыточность позволяет
разгадывать кроссворды или играть в "поле чудес"). Избыточность
измеряется по формуле:
r=(n-n0)/n
где n - текущая длина (число символов)
сигнала, а n0 - длина сигнала при максимальной
информационной загрузке, т. е. минимальная из длин сигналов, несущих ту
же информацию.
4. Пропускная способность канала связи С - максимальная скорость
передачи информации: С = - max Л, где максимум отыскивается среди всех
мыслимых приемно-передающих систем, связанных данным каналом (Шеннон
рассматривал разные способы кодирования при фиксированных мощностях
сигналов и шумов). Экспериментально установлено, что пропускная
способность зрения и слуха человека около 5 бит/с.
Среди результатов теории информации наибольшее внимание привлекли
теоремы о кодировании. (Код - правила сопоставления кодовых слов, т. е.
определенных комбинаций символов, и передаваемых сообщений на передающем
и приемном концах канала связи.) При отсутствии шумов желательно
реализовать безызбыточное кодирование, обеспечив тем самым передачу
информации самыми короткими кодовыми словами. Доказано, что средняя
длина кодового слова при этом не может быть меньше величины
H / log т, где H -
энтропия множества передаваемых сообщений, а т - число символов в
алфавите кода. Важно, что к указанной границе длины кодового слова можно
приблизиться при любом распределении вероятностей на множестве
сообщений. Эти утверждения являются содержанием "Основной теоремы о
кодировании в отсутствие шума".
Но, пожалуй, самым замечательным результатом теории информации является
доказательство, что при любых помехах и шумах можно обеспечить передачу
информации без потерь. Первая теорема Шеннона о кодировании при наличии
шумов гласит, что при Я < С можно передавать информацию со сколь угодно
малой вероятностью ошибок, несмотря на шумы. Это было неожиданным
открытием, значение которого еще усилилось в результате доказательства
второй теоремы Шеннона, утверждающей, что скорость передачи при этом
может не убывать, оставаясь близкой к Я, несмотря на введение
избыточности. Эти результаты легли в основу математической теории
кодирования, имеющей большое практическое значение.
Новизна, общность и абстрактность понятий теории информации побудили
многих специалистов приложить ее к задачам разных наук. Наиболее
естественными оказались связи новой науки - математической статистики
(теории извлечения информации из измерений, которая возникла гораздо
раньше, но теперь лишь по традиции продолжает рассматриваться отдельно
от теории информации). Обнаружились также глубокие связи понятий теории
информации со статистической физикой. Вместе с тем появились и
поверхностные, бесплодные приложения, от чего предостерегал еще Шеннон.
Не следует забывать, что теория информации описывает лишь некоторые
(далеко не все!) стороны информационных отношений и не претендует на
исчерпывающее описание той роли, которую играет информация в
человеческом обществе, живых организмах и других системах. Попытки снять
эти ограничения (вводя количественные меры для ценности, верности,
смысла информации) продолжаются.
