Мера количества информации

Мерой количества информации Шеннон предложил считать функцию, названную им энтропией. Соотношение энтропии исходного и оптимизированного алфавита — это эффективность исходного алфавита, которая может быть выражена в процентах. Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.


Информацио́нная энтропи́я — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Эта величина также называется средней энтропией сообщения. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Определение энтропии Шеннона связано с понятием термодинамической энтропии. Существует связь между термодинамической и информационной энтропией.

С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации Клод Шеннон сначала хотел назвать эту величину информацией

Энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании. Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных.

Например, демон Максвелла также противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии

Через частную и общую условные энтропии полностью описываются информационные потери при передаче данных в канале с помехами. В статистической физике энтропия является мерой вероятности осуществления какого-либо макроскопического состояния.

Энтропия устанавливает связь между макро- и микро- состояниями. Клоду Шеннону удалось придумать удивительно простую и глубокую модель передачи информации, без которой теперь не обходится ни один учебник. Пусть сообщение — осмысленное предложение на русском языке. Шеннон заметил, что при передаче различных букв мы передаем разное количество информации.

Таким образом, каждый следующий символ в некоторой степени предопределен, поэтому можно говорить об условной энтропии символа. Если мы сравним энтропию конкретного источника и максимальную энтропию, то определим избыточность сообщения. То есть избыточность — это мера предсказуемости сообщения. Но понятие информации, по Шеннону, — это строгая математическая теория, и ее применение за пределами теории связи очень рискованно.

Кроме физики, термин широко употребляется в математике: теории информации и математической статистике

Элементами информационного комплекса являются кванты — неделимые части информации. Определение информации геометрическим методом представляет собой измерение длины линии, площади или объема геометрической модели информационного комплекса в количестве квантов.

Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n{\displaystyle n}-го порядка, см. ниже) встречаются очень редко, то неопределённость уменьшается еще сильнее.

Количество информации, передаваемое в сообщении, тесно связано с мерой неопределенности, или непредсказуемости передаваемых символов. Энтропия — мера непредсказуемости. Структурные меры учитывают только дискретное строение информации. Это тоже информация, которую тоже надо учитывать. 2).Шеннон пишет: «Величина H играет центральную роль в теории информации в качестве меры количества информации, возможности выбора и неопределенности». Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении.

Немного по теме: