Евгений Феофанович Березкин - Основы теории информации и кодирования: Учебное пособие

данное
пособие ориентировано на будущих проектировщиков информационных
систем и цифровых комплексов обработки данных. Учебное пособие
содержит более простые объяснения, излагающиеся, по возможности, на
языке, понятном студентам. Математические рассуждения проводятся на
возможно более упрощенном уровне, хотя в некоторых вопросах уровень
остается достаточно высоким.

7

ВВЕДЕНИЕ
Теория информации была создана и развивалась как наука, направ­
ленная на решение проблем связи. В настоящее время теория информа­
ции является составной частью кибернетики, которая, по выражению
А. Н. Колмогорова, «занимается изучением систем любой природы, спо­
собных воспринимать, хранить, перерабатывать информацию и исполь­
зовать ее для управления и регулирования».
Теория информации началась с работ, написанных в конце двадцатых
годов XX столетия. Еще в 1928 г. американский ученый Р. Хартли пред­
ложил логарифмическую меру оценки количества информации. В 1933 г.
была опубликована работа советского ученого В. А. Котельникова, в
которой было фактически заложено начало общей теории передачи со­
общений.
Наиболее бурное развитие теория информации получила после опуб­
ликования в 1947-1948 гг. классических работ американского математи­
ка и инженера К. Шеннона. Большой вклад внесли в развитие теории
информации американский ученый Н. Винер, советские ученые
А. Я. Хинчин, А. Н. Колмогоров.
На сегодняшний день достаточно четко определилась прикладная
сторона теории информации - информационная техника, направленная
на использование основных положений теории при создании конкретных
технических устройств. К информационной технике относятся средства,
служащие для восприятия, подготовки, кодирования, передачи, перера­
ботки, хранения и представления информации, поступающей от объекта
наблюдения.
Теория информации и информационная техника являются сравни­
тельно новыми отраслями, получающими наибольшее развитие на этапе
применения вычислительной техники и систем управления, ибо без ин­
формации нет управления.
Существуют различные определения информации. Комитет научнотехнической терминологии РАН рекомендует следующее определение:
информация - это сведения, являющиеся объектом хранения, передачи и
преобразования.
Философия уже много веков бьется над пониманием природы инфор­
мации. Идеалисты рассматривают ее как духовную субстанцию или как
комплекс ощущений субъекта. Материалисты считают, что информация
есть свойство материи.
Можно стоять на разных позициях в этом вопросе, но необходимо
помнить следующее. Информация возникает всегда, когда устанавлива­
ются некоторые общие свойства конкретных вещей и явлений. Под ин­
8

формацией понимают не сами явления, а выделенную сущность, сущест­
венные характеристики вещей и явлений. Сама по себе информация мо­
жет быть отнесена к абстрактной категории идеального, но проявляется
она всегда в материально-энергетической форме - в виде сигналов
(рис. 1).

Рис. 1. Материально-энергетическая форма информации

Выделим основные аспекты понятия «информация»:
- семантический, связанный с содержанием и значением сообщения;
- семиотический, связанный с обозначением в знаковой системе;
- коммуникативный, отражающий свойство информации быть сред­
ством связи и общения;
- физический, связанный с материальным воплощением информации;
- гносеологический, в котором информация выступает как средство
познания;
- аксиологический, указывающий на роль информации для само­
управления;
- казуальный, причинный;
- количественный, наиболее важный для технических приложений.
Теория информации, математическим аппаратом которой являются
теория вероятностей и математическая статистика, превратилась к на­
стоящему времени в строгую и достаточно универсальную науку. Поло­
жения этой теории все шире и шире используются при исследовании
процессов мышления, познания, психологии, а также общественных яв­
лений.
Теория информации представляет собой общую теорию связи и управле­
ния, применимую к любой системе независимо от ее физической природы.
Создание и внедрение информационно-управляющих систем (ИУС)
позволяет успешно решать задачи управления объектами, технологиче-

9

скими процессами, координации работ и планирования --">