Основы теории информации и кодирования: Учебное пособие [Евгений Феофанович Березкин] (pdf) читать онлайн

ВРИАТ

Е. Ф. Березкин

ОСНОВЫ ТЕОРИИ
ИНФОРМАЦИИ
И КОДИРОВАНИЯ

Е. Ф. БЕРЕЗКИН

ОСНОВЫ ТЕОРИИ
ИНФОРМАЦИИ
И КОДИРОВАНИЯ
Учебное пособие
Издание третье, стереотипное

ЛАНЬ'
• САНКТ-ПЕТЕРБУРГ •
-МОСКВА• КРАСНОДАР •
2019

УДК 004
ББК 32.81я73
Б 48
Березкин Е. Ф.
Б 48
Основы теории информации и кодирования: Учебное посо­
бие. -3-еизд., стер. — СПб.: Издательство «Лань», 2019. — 320 с.:
ил. — (Учебники для вузов. Специальная литература).

ISBN 978-5-8114-4119-8
Материал учебного пособия представляет собой теоретическую
предпрофилирующую подготовку специалистов по проектированию
информационных систем и цифровых комплексов обработки дан­
ных. Первые пять разделов посвящены исследованию математи­
ческих моделей непрерывных сигналов, следующие пять — исследо­
ванию информационных моделей дискретных сигналов. Каждый
раздел сопровождается задачами с методическими указаниями по
их решению и ответами.
Учебное пособие предназначено для студентов, обучающихся по
специальности «Применение и эксплуатация автоматизированных
систем специального назначения» и направлению подготовки
магистров «Информатика и вычислительная техника».

УДК 004
ББК 32.81я73

Рецензент
Ю. Г. ДРЕВС — доктор технических наук, профессор кафедры
компьютерных систем и технологий Национального
исследовательского ядерного университета «МИФИ».

Обложка
Е. А. ВЛАСОВА

© Издательство «Лань», 2019
© Е. Ф. Березкин, 2019
© Издательство «Лань»,
художественное оформление, 2019

СОДЕРЖАНИЕ
Предисловие...................................................................................................

7

Введение...........................................................................................................

8

1. Математические модели детерминированных периодических
сигналов...........................................................................................................
1.1. Разложение произвольного сигнала по заданной системе
функций..........................................................................................................
1.2. Частотное представление детерминированных
периодических сигналов.............................................................................
1.3. Носители информации и виды модуляции......................................
1.4. Амплитудно-модулированный гармонический сигнал.................
1.5. Частотно-модулированный гармонический сигнал.......................
1.6. Фазомодулированный гармонический сигнал................................
1.7. Периодическая последовательность прямоугольных
импульсов.......................................................................................................
1.8. Амплитудно-модулированная периодическая
последовательность импульсов.................................................................
Задачи.............................................................................................................

2. Математические модели детерминированных
непериодических сигналов.........................................................................
2.1. Гармонический анализ непериодических колебаний....................
2.2. Сопоставление спектров периодических и соответствующих
непериодических сигналов.........................................................................
2.3. Свойства преобразования Фурье.......................................................
2.3.1. Сдвиг колебания во времени.........................................................
2.3.2. Инверсия сигнала............................................................................
2.3.3. Изменение масштаба времени.....................................................
2.3.4. Сдвиг спектра колебания по частоте.......................................
2.3.5. Сложение колебаний......................................................................
2.3.6. Дифференцирование и интегрирование колебания..................
2.3.7. Произведение колебаний................................................................
2.3.8. Взаимная заменяемость 0) и t в преобразовании Фурье.....
2.4. Спектральная плотность одиночного прямоугольного
импульса........................................................................................................
2.5. Спектральная плотность пачки прямоугольных импульсов........
2.6. Энергетическое толкование спектра сигнала..................................
3

17

18

21
26
28
30
32
34
37
39

43
43
47
48
49
50
50
51
52
52
53
54
54
57
59

2.7. Практическая ширина спектра сигнала............................................. 61
2.8. Спектр дельта-функции....................................................................... 62
Задачи............................................................................................................ 65
3. Математические модели случайных сигналов................................
3.1. Случайные сигналы и их вероятностные характеристики..........
3.2. Числовые характеристики случайного процесса..........................
3.3. Стационарные случайные процессы.................................................
3.4. Свойства автокорреляционной функции стационарного
случайного процесса....................................................................................
3.5. Корреляционный анализ детерминированных сигналов..............
3.6. Спектральная плотность мощности стационарного
случайного процесса....................................................................................
3.7. Белый шум.............................................................................................
3.8. Свойства спектральной плотности мощности стационарных
случайных процессов...................................................................................
3.9. Интервал корреляции и эффективная ширина спектра
стационарных случайных процессов........................................................
Задачи..............................................................................................................

68
69
71
74
75
77

80
82
84
86
88

4. Элементы теории дискретизации непрерывных функций........... 91
4.1. Частотный критерий дискретизации В. А. Котельникова.......... 91
4.2. Представление сигналов с ограниченной частотной
полосой в виде ряда Котельникова........................................................... 95
4.3. Дискретные сигналы и их спектры................................................... 97
4.4. Быстрое преобразование Фурье......................................................... 104
Задачи................................................................................................................ 109
5. Элементы теории оптимального приема и статистических
решений..............................................................................................................ИО
5.1. Методы фильтрации............................................................................... 111
5.1.1. Частотная фильтрация......................................................................111
5.1.2. Метод накопления............................................................................ 112
5.1.3. Корреляционный метод................................................................... ИЗ
5.1.4. Согласованная фильтрация.............................................................115
5.2. Сущность основной задачи приема сигналов................................... 116
5.3. Обнаружение сигнала............................................................................ 119
5.3.1. Критерий максимума правдоподобия (критерий Фишера).... 120
5.3.2. Критерий идеального наблюдателя (критерий Зигерта Котельникова).............................................................................................. 121
5.3.3. Критерий минимального риска (критерий Байеса)....................123
5.3.4. Критерий Неймана - Пирсона.................................................... 124
4

5.4. Различение сигналов............................................................................... 125
5.5. Синтез структуры решающего устройства........................................ 126
5.6. Восстановление сигнала........................................................................ 130
Задачи................................................................................................................ 132

6. Измерение информации.............................................................................136
6.1. Взаимная информация............................................................................ 137
6.2. Основные свойства взаимной информации....................................... 141
6.3. Собственная информация...................................................................... 145
6.4. Мера информации как случайная величина.......................................146
6.5. Энтропия................................................................................................... 148
6.6. Основные задачи количественного измерения информации........ 154
Задачи................................................................................................................ 158
7. Кодирование сообщений дискретного множества.......................... 161
7.1. Метод кодирования Шеннона - Фано.............................................. 162
7.2. Основополагающие теоремы оптимального кодирования............ 166
7.3. Метод Хаффмана (оптимальное кодирование)................................. 171
Задачи................................................................................................................ 174
8. Дискретные источники информации.................................................. 176
8.1. Дискретные источники, порождающие статистически
независимые сообщения............................................................................. 176
8.2. Случайные дискретные источники.................................................... 178
8.3. Среднее по ансамблю и среднее по последовательности.............. 184
8.4. Кодирование событий, порождаемых источником
с фиксированной скоростью......................................................................... 188
8.5. Рациональное кодирование двоичного источника в условиях
статистической неизвестности................................................................... 191
Задачи............................................................................................................. 195
9. Дискретные каналы связи.....................................................................
9.1. Основные понятия и определения.....................................................
9.2. Дискретные стационарные каналы без памяти...............................
9.3. Симметричные стационарные каналы.............................................
9.4. Вычисление информационной пропускной способности
стационарного канала..................................................................................
9.5. Кодирование при наличии шумов.....................................................
Задачи.............................................................................................................

198
198
200
203

206
209
212

10. Помехоустойчивое кодирование........................................................ 214
10.1. Основные принципы помехоустойчивого кодирования............. 215
10.2. Математическое введение к групповым кодам............................ 221
5

10.3. Построение группового кода........................................................... 223
10.4. Математическое введение к циклическим кодам........................ 231
10.5. Циклический код, обнаруживающий и исправляющий
ошибки........................................................................................................... 237
10.5.1. Циклический код, обнаруживающий одиночные
ошибки........................................................................................................... 237
10.5.2. Циклический код, исправляющий одиночные ошибки
и обнаруживающий двойные.................................................................... 238
10.5.3. Обнаружение ошибок высокой кратности................................ 241
10.5.4. Исправление ошибок высокой кратности..................................241
10.5.5. Обнаружение пакетов ошибок..................................................... 242
10.5.6. Параметры некоторых циклических кодов............................... 242
10.6. Методы построения циклического кода Хэмминга....................... 246
10.6.1. Неразделимый циклический код................................................. 246
10.6.2. Разделимый циклический код...................................................... 248
10.7. Построение одноканальных кодирующих и
декодирующих устройств циклического кода Хэмминга...................... 250
10.8. Построение многоканальных кодирующих и
декодирующих устройств циклического кода Хэмминга...................... 255
Задачи............................................................................................................... 261
11. Методические указания по решению типовых задач
и ответы........................................................................................................... 263
Приложения..................................................................................................... 308
Приложение 1. Таблица значений интеграла вероятностей
1 х -~F(x) = ^=fe г dz....................................................................................308

72л Jo
Приложение 2. Таблица значений двоичного логарифма
- log2/?......................................................................................................... 310
Приложение 3. Список примитивных неприводимых многочленов
с минимальным числом ненулевых коэффициентов...............................311
Приложение 4. Разложение двучлена хп +1 на неприводимые
сомножители над полем GF(2)................................................................ 312

Список рекомендуемой литературы.......................................................... 315
Предметный указатель.................................................................................. 317

6

ПРЕДИСЛОВИЕ
Курс «Основы теории информации и кодирования» читается студен­
там III курса (5-й и 6-й семестры) кафедры «Компьютерные системы и
технологии» НИЯУ МИФИ. Предлагаемое учебное пособие фактически
завершает издание учебно-методических материалов для данного курса.
Ранее были изданы учебные пособия (Березкин Е.Ф. Сборник задач по
курсу «Основы теории информации и кодирования». - М. : МИФИ, 2002;
Березкин Е. Ф. Основы теории информации и кодирования. Лаборатор­
ный практикум: Учебно-методическое пособие. - 2-е изд., перераб. и
доп. - М. : МИФИ, 2009; Березкин Е. Ф. Основы теории информации и
кодирования: Учебное пособие. - М. : НИЯУ МИФИ, 2010), которые
предназначены для самостоятельной подготовки студентов к практиче­
ским занятиям и лабораторным работам. Кроме теоретического материа­
ла в новое учебное пособие частично вошли задачи из указанного сбор­
ника.
Помимо учебных пособий на бумажном носителе для данного курса
разработан специализированный компьютерный учебник «ОТИК 4.16»
нового поколения, который интенсифицирует учебный процесс и обеспе­
чивает формирование знаний, умений и навыков на уровне применения, а
также на уровне творчества.
В целом весь комплекс учебных материалов представляет системно­
деятельностный подход, который акцентирует внимание на результате
образования, причем в качестве результата рассматривается не сумма
усвоенной информации (математических моделей), а способность дейст­
вовать в определенных ситуациях.
В отличие от опубликованных пособий в НИЯУ МИФИ (Панин В. В.
Основы теории информации. Ч. 1. - М. : МИФИ, 2001; Панин В. В. Осно­
вы теории информации. Ч. 2. Введение в теорию кодирования. - М. :
МИФИ, 2004), адресованных, в первую очередь, специалистам в области
разработки и эксплуатации электронных измерительных систем, данное
пособие ориентировано на будущих проектировщиков информационных
систем и цифровых комплексов обработки данных. Учебное пособие
содержит более простые объяснения, излагающиеся, по возможности, на
языке, понятном студентам. Математические рассуждения проводятся на
возможно более упрощенном уровне, хотя в некоторых вопросах уровень
остается достаточно высоким.

7

ВВЕДЕНИЕ
Теория информации была создана и развивалась как наука, направ­
ленная на решение проблем связи. В настоящее время теория информа­
ции является составной частью кибернетики, которая, по выражению
А. Н. Колмогорова, «занимается изучением систем любой природы, спо­
собных воспринимать, хранить, перерабатывать информацию и исполь­
зовать ее для управления и регулирования».
Теория информации началась с работ, написанных в конце двадцатых
годов XX столетия. Еще в 1928 г. американский ученый Р. Хартли пред­
ложил логарифмическую меру оценки количества информации. В 1933 г.
была опубликована работа советского ученого В. А. Котельникова, в
которой было фактически заложено начало общей теории передачи со­
общений.
Наиболее бурное развитие теория информации получила после опуб­
ликования в 1947-1948 гг. классических работ американского математи­
ка и инженера К. Шеннона. Большой вклад внесли в развитие теории
информации американский ученый Н. Винер, советские ученые
А. Я. Хинчин, А. Н. Колмогоров.
На сегодняшний день достаточно четко определилась прикладная
сторона теории информации - информационная техника, направленная
на использование основных положений теории при создании конкретных
технических устройств. К информационной технике относятся средства,
служащие для восприятия, подготовки, кодирования, передачи, перера­
ботки, хранения и представления информации, поступающей от объекта
наблюдения.
Теория информации и информационная техника являются сравни­
тельно новыми отраслями, получающими наибольшее развитие на этапе
применения вычислительной техники и систем управления, ибо без ин­
формации нет управления.
Существуют различные определения информации. Комитет научнотехнической терминологии РАН рекомендует следующее определение:
информация - это сведения, являющиеся объектом хранения, передачи и
преобразования.
Философия уже много веков бьется над пониманием природы инфор­
мации. Идеалисты рассматривают ее как духовную субстанцию или как
комплекс ощущений субъекта. Материалисты считают, что информация
есть свойство материи.
Можно стоять на разных позициях в этом вопросе, но необходимо
помнить следующее. Информация возникает всегда, когда устанавлива­
ются некоторые общие свойства конкретных вещей и явлений. Под ин­
8

формацией понимают не сами явления, а выделенную сущность, сущест­
венные характеристики вещей и явлений. Сама по себе информация мо­
жет быть отнесена к абстрактной категории идеального, но проявляется
она всегда в материально-энергетической форме - в виде сигналов
(рис. 1).

Рис. 1. Материально-энергетическая форма информации

Выделим основные аспекты понятия «информация»:
- семантический, связанный с содержанием и значением сообщения;
- семиотический, связанный с обозначением в знаковой системе;
- коммуникативный, отражающий свойство информации быть сред­
ством связи и общения;
- физический, связанный с материальным воплощением информации;
- гносеологический, в котором информация выступает как средство
познания;
- аксиологический, указывающий на роль информации для само­
управления;
- казуальный, причинный;
- количественный, наиболее важный для технических приложений.
Теория информации, математическим аппаратом которой являются
теория вероятностей и математическая статистика, превратилась к на­
стоящему времени в строгую и достаточно универсальную науку. Поло­
жения этой теории все шире и шире используются при исследовании
процессов мышления, познания, психологии, а также общественных яв­
лений.
Теория информации представляет собой общую теорию связи и управле­
ния, применимую к любой системе независимо от ее физической природы.
Создание и внедрение информационно-управляющих систем (ИУС)
позволяет успешно решать задачи управления объектами, технологиче-

9

скими процессами, координации работ и планирования производства,
что, в конечном счете, ускоряет научно-технический прогресс.
В состав сложной ИУС могут входить отдельные самостоятельные
автоматизированные комплексы. Неотъемлемыми элементами таких
комплексов являются системы восприятия и передачи информации, в
которых, в свою очередь, находят применение различные датчики, пред­
назначенные для представления входной информации в виде эквивалент­
ного электрического сигнала, анализаторы случайных процессов, предна­
значенные для получения обобщенных характеристик источника инфор­
мации, и каналы связи, различаемые по используемым линиям связи и по
физической природе сигналов.
Теоретической основой техники восприятия и передачи информации
является статистическая теория связи, которая определяет принципы и
основные пути построения оптимальных систем передачи информации.
Основными проблемами теории связи являются проблемы эффектив­
ности и достоверности. Проблема эффективности состоит в определении
возможных путей, обеспечивающих передачу наибольшего количества
информации наиболее экономным способом. Проблема достоверности
состоит в определении путей, обеспечивающих при наличии помех мак­
симальное соответствие принятых сообщений переданным.
При таких видах связи, как телефония и телеграфия, информация
воспринимается непосредственно человеком и благодаря свойственной
человеческому языку избыточности небольшие искажения передаваемого
текста не приводят к нарушению достоверности принятых сообщений.
Совершенно иначе обстоит дело при передаче данных, где даже незначи­
тельное количество ошибок может полностью исказить результаты обра­
ботки информации в ЭВМ. Вопрос о международных нормах на допус­
тимое количество ошибок для различных систем передачи находится в
стадии изучения. Однако уже сейчас ясно, что речь может идти о вероят­
ности искажения одного элемента порядка 10~5-5-10"9. Для обеспечения
высокой достоверности применяются системы передачи данных, исполь­
зующие специальные методы кодирования, и виды модуляции, обеспечи­
вающие максимальную помехоустойчивость.
Итак, задачей системы связи является передача сообщения о какомлибо событии на расстоянии. Расстояние разделяет отправителя и адресата,
датчик команд и исполнительное устройство, исследуемый процесс и из­
мерительный механизм, источник излучения и регистрирующий прибор,
различные блоки ЭВМ - словом, источник и потребителя информации.
Расстояние, на которое передается сигнал, может быть очень незначи­
тельным (передача команд в ЭВМ от одного блока к другому) или ог­
ромным (космическая связь). Передача сообщений осуществляется с
10

помощью проводных, кабельных, волноводных линий или в свободном
пространстве. Естественно, что для передачи сигналов целесообразно
использовать те физические процессы, которые имеют свойство переме­
щаться в пространстве без существенного затухания. К числу таких про­
цессов относятся применяемые в радиотехнике и радиолокации, напри­
мер, электромагнитные колебания - радиоволны.
Рассмотрим общую схему системы передачи информации, которая в
зависимости от характеристик пары «источник - потребитель» может
претерпевать существенные изменения (рис. 2).
Источник информации представляет собой некоторый физический
процесс. Физическому процессу необходимо поставить в соответствие
эквивалентный электрический сигнал.
Целью кодирования, как правило, является согласование источника ин­
формации с каналом связи, обеспечивающее либо максимально возможную
скорость передачи информации, либо заданную помехоустойчивость.

Рис. 2. Общая схема передачи информации

Под сигналом понимается изменяющаяся физическая величина, ото­
бражающая физический процесс. Другими словами, сигнал - это матери­
альный переносчик информации.
11

Физическая среда, по которой происходит передача сигналов от пере­
датчика к приемнику, называется линией связи.
Для передачи исследуемого физического процесса необходимо при­
менять тот переносчик, который способен эффективно распространяться
по используемой в системе линии связи. Например, по проводной линии
связи наиболее легко проходят постоянный ток и переменные токи невы­
соких частот (не более нескольких десятков килогерц). По радиолинии
эффективно распространяются только электромагнитные колебания вы­
соких частот (до десятков тысяч мегагерц).
Процесс модуляции заключается в том, что высокочастотное колеба­
ние s(t, а), способное распространяться на большие расстояния, наделя­
ются признаками, характеризующими полезное колебание x(t). Таким
образом, 5{f,a[%(?)]} используется как переносчик сообщения, подле­

жащего передаче. Для этого один или несколько параметров высокочас­
тотного колебания изменяются по закону, совпадающему с законом из­
менения передаваемого сообщения (рис. 3).

Рис. 3. Пример амплитудной модуляции:
а - полезный сигнал; б - несущая частота; в - модулированный сигнал
В зависимости от материальных носителей и изменяемых параметров
различают основные виды модуляции. Обратное преобразование элек-

12

тромагнитных колебаний в исходный сигнал, осуществляемое на прием­
ной стороне, называется демодуляцией.
Модулятор, выполняя функции генератора несущей частоты, начина­
ет процесс преобразования полезного сигнала в высокочастотный сигнал.
Передатчик завершает процесс преобразования, например, выполняя
усилительные функции. Приемник, демодулятор и декодирующее уст­
ройство реализуют процесс восстановления сформированного источни­
ком физического процесса по принятому сигналу.
Для пары «источник излучения - регистрирующий прибор» схема
передачи информации может вырождаться в набор технических средств
и сигналов, представленных на рис. 4.

«4 (О

A Sj(O

A s(f)

A

a

i

s2(f)

s 0 - сдвиг в сторону
опережения

17

Любой сложный периодический сигнал, как правило, можно предста­
вить в виде суммы гармонических колебаний с частотами, кратными
2я _
основной частоте о) = —. Основной характеристикой сложного периоТ
дического сигнала является его спектральная функция, содержащая ин­
формацию об амплитудах и фазах отдельных гармоник.

1.1. РАЗЛОЖЕНИЕ ПРОИЗВОЛЬНОГО СИГНАЛА
ПО ЗАДАННОЙ СИСТЕМЕ ФУНКЦИЙ

Для техники формирования и обработки сигналов особое значение
имеет разложение заданной функции по разным ортогональным систе­
мам функций [14]. Напомним основные определения, относящиеся к
свойствам ортогональных систем.
Бесконечная система действительных непрерывных функций

фо (х), ф! (х), ф2 (х),..., фА (х),..., фи (х),...
называется ортогональной на отрезке [a,b], если

ъ

(1.1)
а

Отрезок [a,b], на котором выполняется это условие, называется интер­
валом ортогональности.

ь
При этом предполагается, что | ф^ (x)dx Ф 0, т. е. никакая из функ­
ций рассматриваемой системы не равна тождественно нулю.
Условие (1.1) выражает попарную ортогональность функций. Велиb

J

J ф^ (x)dx называется нормой функции фА (х) .
а

фл(х),

Функция

для

которой

выполняется

условие

ь

, называется нормированной функцией, а сиса

тема нормированных функций

ф0(х),ф1(х),ф2(х),..., в которой две

различные функции взаимно ортогональны, называется ортонормированной системой.
18

В математике доказывается, что если функции фА (х) непрерывны, то

произвольная кусочно-непрерывная функция, для которой выполняется
условие:
J|/(x)|c&f]:

ь

ь

J f(x№k (x)dx = сJ Ф* (x)dx = Ск ||фк ||2 .
а

а

Откуда следует важное соотношение:
(1-4)

Ряд (1.3), в котором коэффициенты Ск определены по формуле (1.4),
называется обобщенным рядом Фурье по данной системе фЛ (х), а сами

Ск - коэффициентами Фурье. Обобщенный ряд Фурье обладает следую­
щим важным свойством: при заданной системе функции фДх) и при

фиксированном числе слагаемых ряда (1.3) он обеспечивает наилучшую
аппроксимацию данной функции fix). Это означает, что среднеквадрати­
ческая ошибка, под которой подразумевается величина
~|2
ьГ
у
£=[ f(x)-^akJ + ШЫ12 = J/2(xMx- SQ2W|2.
Ортогональная система называется полной, если увеличением числа
членов в ряде среднеквадратическую ошибку Emin можно сделать сколь
угодно малой.
Условие полноты
Ь
оо

j/2(x) где |cj = ylcl+cl , Qk = -arctg^.
^kc

Модуль |СА| является функцией четной относительно к, аргумент

Qk - нечетной (последнее вытекает из того, что

является четной, а

Ск, - нечетной функциями к).
Общее выражение ряда можно привести к виду

x(t) = 2|C,|e7(W+0t) .
it=-OO

(1-8)

Теперь нетрудно перейти к тригонометрической форме ряда Фурье.
Выделив из ряда (1.8) пару слагаемых, соответствующую какому-либо
заданному значению |&|, и учтя соотношения

0.1=-ei.|c_i|=|ci|,

получим для суммы этих слагаемых:

С

+ с 1е-7'(*о>о'+0О —

,-7(W+0*) _|_g7(W+0fc)

= 2^Ск | cos(hn0? + Qk).
Отсюда видно, что при переходе к тригонометрической форме ряд
(1.8) необходимо записать так:

22

2|С* | cos(Zxo0/ + 0t).

x(f) ~ Со ■*"

(1-9)

k=i

Смысл удвоения коэффициентов Фурье
в тригонометрическом
ряду при к > 1 становится ясным из рассмотрения векторной диаграммы,
приведенной на рис. 1.3.
Вещественная функция 2|Cjcos(At00f + 0^.) получается как сумма

проекций на горизонтальную ось ОВ двух векторов длиной |Ct|, вра­
щающихся с угловой частотой к(И0

во взаимно противоположных на­

правлениях.
Вектор, вращающийся против часовой стрелки, соответствует поло­
жительной частоте, а вектор, вращающийся по часовой стрелке, - отри­
цательной.
После перехода к тригонометрической форме (1.9) понятие «отрица­
тельная частота» теряет смысл. Коэффициент Со не удваивается, так как в
спектре периодического сигнала составляющая с нулевой частотой не
имеет «дублера».

X ~к(а0
Рис. 1.3. Векторная диаграмма

Вместо выражения (1.9) в технической литературе чаще используется
следующая форма записи:
*(0 = ф+ Z|4|cos(to0^ + ©*) =
2

Л=1

23

где

—
2

=—
+ S (ak cos
2 k=i

~h

постоянная

составляющая

-

1^4^. | cos( Ахво£ + 0t)

-

к-я

-10)

sin ^°оО >
функции

гармоническая

x(Z);

составляющая;

|Л,|Лсоо,0А - амплитуда, частота и начальная фаза к-й гармонической
2л

составляющей; (О 0 =

- частота основной гармоники (Г - период

колебаний).
Из сопоставления (1.9) и (1.10) видно, что модуль амплитуды к-й гар­
моники |24А| связан с модулем коэффициента |Cft| соотношениями:

|4| = 2|с,| (41=с0).
Ряд Фурье (1.10) с учетом свойств периодической функции х(/) при­
обретает еще более простой вид:
x(t) = У,
£=i
д

sin k(£>ot

°°

х(?) = — + у
2 *=i

- нечетная функция,

cos k(£>ot

- четная функция.

Коэффициенты ак и Ьк вычисляются в соответствии с выражениями:

2 772

ак = 2Скс = |41 cos 0t = - J х(0 cos(faD000 + Qmin



5со

_

где СО0 - постоянная составляющая частоты; та = — - глубина час®о
тотной модуляции; 5(0 - наибольшее изменение частоты при модуляции
(девиация частот); ДО - закон модуляции. При изменении частоты всегда
меняется фаза колебаний и наоборот. Этим определяется общий характер
частотной (ЧМ) и фазовой (ФМ) модуляции. Иногда их объединяют под
общим названием угловой модуляции. ЧМ осуществляется прямым воз­
действием датчика на генератор для изменения частоты его колебаний,
хотя при этом меняется и фаза.
Здесь уместно напомнить некоторые соотношения для угловой часто­
ты колебаний, частоты в периодах и полной фазы колебания:

at

•

Т

Из этих соотношений видно, что частоту можно оценивать по скорости
изменения фазы, а полную фазу - по интегральному значению угловой
частоты.
Итак, частотно-модулированный сигнал можно представить в виде

х(0 = 4 cos ,
f e7“(t ^d(d.
Данные выражения полностью проясняют смысл известного свойства
ОО

дельта-функции

5(/ — to) f(t)dt = f(to)-

Рис. 2.17. Спектр дельта-функции
64

ЗАДАЧИ

2.1. Найти спектральную плотность одиночного импульса высокочас­
тотных колебаний (рис. 2.18):

х(/)

Рис. 2.18. Одиночный импульс высокочастотных колебаний

2.2. Найти спектральную плотность одиночного экспоненциального
импульса (рис. 2.19):
he
/о), t >t0;
x(f) =
О,
t до­

определить выходной сигнал X* (?).

Х*(0
Рис. 2.23. Интегрирующая цепочка

2.7. Найти спектральную плотность импульса (рис. 2.25):

Рис. 2.25. Одиночный импульс
67

3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ СЛУЧАЙНЫХ
СИГНАЛОВ
К случайным сигналам относят сигналы, значения которых заранее
неизвестны и могут быть предсказаны с некоторой вероятностью. По
существу, любой сигнал, несущий в себе информацию, должен рассмат­
риваться как случайный.
До приема сообщения сигнал следует рассматривать как случайный
процесс, представляющий собой совокупность функций времени, подчи­
няющихся некоторой общей для них статистической закономерности.
Одна из этих функций, ставшая полностью известной после приема со­
общения, называется реализацией случайного процесса. Эта реализация
является уже не случайной, а детерминированной функцией времени.
На рис. 3.1 приведены несколько характерных случайных процессов.

- сигнал в виде постоянного напря­
жения случайного уровня;

- гармоническое колебание со слу­
чайной амплитудой;

- гармоническое колебание со слу­
чайной фазой;

- возможные реализации произволь­
ного случайного процесса

Рис. 3.1. Примеры совокупностей функций времени, подчиняющихся
некоторой общей для них статистической закономерности

В реальных условиях все сигналы имеют случайный характер. Вслед­
ствие этого получателю заранее неизвестно, каким будет сигнал.
68

Однако нельзя также утверждать, что приемная сторона не располага­
ет абсолютно никакими предварительными (априорными) данными о
сигналах. Во-первых, обычно предварительно известно все множество,
весь ансамбль возможных сигналов. Во-вторых, как правило, имеются
сведения об ожидаемой вероятности тех или иных сигналов из общего
ансамбля сигналов.
Таким образом, предварительные сведения о сигналах, которыми мы
располагаем, носят статистический характер. Поэтому для исследования
прохождения сигналов через информационные системы следует приме­
нять статистические методы. Целесообразность применения статистиче­
ских методов обусловлена еще и тем, что на сигнал воздействуют поме­
хи, представляющие, как правило, неизвестную функцию времени.
Основным содержанием задачи приема сигналов на фоне помех явля­
ется наиболее полное извлечение информации из сигнала. Успешного
решения этой задачи можно достичь только на основе использования
статистических методов приема.
Для характеристики и анализа случайных сигналов применяется ста­
тистический подход. В качестве основных характеристик случайных
сигналов принимают:
- закон распределения вероятностей;
- спектральное распределение средней мощности сигнала.
3.1. СЛУЧАЙНЫЕ СИГНАЛЫ И ИХ ВЕРОЯТНОСТНЫЕ
ХАРАКТЕРИСТИКИ

Конкретный вид, принимаемый случайным процессом X(t) в результа­
те опыта, называется реализацией процесса х*(?). Отдельные наблюдения
над случайным процессом, протекающим в однотипных системах при
одинаковых условиях опыта, дадут различные реализации случайного
процесса X'(t),x2(t).....хк(t),.... Вид функции хДг) случайным образом

меняется от одного опыта к другому (рис. 3.2). Совокупность реализаций
случайного процесса, полученных в результате опытов, называется ан­
самблем реализаций случайного процесса X(t).
Величина к-й реализации случайного процесса в определенный мо­
мент времени (например, ?i) называется выборкой случайного процесса
хД«> т

2 -Г/2

...... .
j 772
_
__
__
[х - х]2 - lim — J [xt (t) - х]2 dt = x2 - (х)2;
г~*°° Т -тп
_____________

I 272

хД)х(г + т) = lim — f хк (f)xk (t + T)dt ■
T—^oo Т

*

2 -Г/2

Если Х(1) представляет собой электрический сигнал (ток), то х - по­
стоянная составляющая случайного сигнала, х2 - средняя мощность,

рассеиваемая на сопротивлении в 1 Ом, [х-х]2 - средняя мощность
флуктуации сигнала.
73

3.3. СТАЦИОНАРНЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
ОПРЕДЕЛЕНИЕ 3.1. Под стационарными процессами понимаются
случайные процессы, для которых функция плотности распределения
вероятностей fn(xx,tx',x2,t2,...\xn,tn) произвольного порядка п не ме­

няется при любом сдвиге всей группы точек tx,t2,...,tn вдоль оси време­
ни, т.е. для любых и и т

Wz.+'t)’
Стационарные процессы имеют вид непрерывных случайных колеба­
ний около некоторого среднего значения, причем ни среднее значение,
ни характер этих колебаний не претерпевают существенных изменений
во времени. Строго говоря, стационарные процессы бесконечны во вре­
мени, т.е. не имеют ни начала, ни конца. Таких процессов практически
нет. Однако многие случайные процессы на определенных отрезках вре­
мени с определенным приближением можно считать стационарными.
Для стационарных процессов:
1. Одномерная функция плотности распределения вероятностей не
зависит от времени, т.е.
f(*i Д1) = /i (*i + т) = У] (х) .
2. Двумерная функция плотности зависит только от разности времени
t2 -1\ = т, т.е.
fz (^1 > ^1 > XZ ’ ^2 ) = fz C*T ’ Х2 ’ ^2 — ) = fz (^1 ’ XZ ’ •

Поскольку математическое ожидание и дисперсия выражаются через
одномерную функцию плотности, то можно утверждать, что для стацио­
нарного процесса математическое ожидание и дисперсия не зависят от
времени. Вследствие зависимости двумерной функции плотности только
от разности времен т = t2 - ti, автокорреляционная функция стационарно­
го процесса также зависит только от разности Т.
Следовательно,
/n[X(O] = /n[X],

т[Х2(11)] = т[Х2]>
Более того, существует класс случайных стационарных процессов,
обладающих важным для практических приложений свойством эргодич­
ности.
74

Стационарный процесс называется эргодическим, если усреднение по
множеству с вероятностью, сколь угодно близкой к единице, равно ус­
реднению по времени:
т[Х] = ^xfl(x)dx = lim — | хк (t)dt = х,
Т^°°Т ти

"

1 1/2

_

_

= [ (Л - m[X])2 fx (x)dx = lim — [ [хЛ (t) - х]2 dt - [х - х]2,
-Т/2
°°

772

__

т[Х2] = fx2fl(x)dx = lim— fxk(t)dt = x2,
J Г —Т J
-Т/2

J Т/2

оо оо

Кхх (т) = J j х\хг/г (xi > хг ’

= lim — j хк (t)xk (t + T)dt = x(t)x(t + т).

Стационарные случайные процессы по своей природе проще, чем
нестационарные и описываются более простыми характеристиками. Вви­
ду того, что стационарные процессы встречаются на практике очень час­
то, получила широкое применение специальная теория стационарных
случайных процессов.
Так как свойства стационарного процесса во многом определяются
свойствами автокорреляционной функции, то для изучения такого про­
цесса нужно, в первую очередь, определить свойства автокорреляцион­
ной функции.
3.4. СВОЙСТВА АВТОКОРРЕЛЯЦИОННОЙ ФУНКЦИИ
СТАЦИОНАРНОГО СЛУЧАЙНОГО ПРОЦЕССА

1. Определим, как ведет себя автокорреляционная функция Хдх(т) при
неограниченном увеличении разностного временного интервала
т = t2 - ?1.
По мере увеличения т зависимость между величинами X(t) и X(t + т)
ослабевает. В пределе при Т —> °° эти величины становятся независи­
мыми. Тогда с учетом того, что математическое ожидание произведения
случайных независимых величин равно произведению математических
ожиданий сомножителей и что для стационарного процесса математиче­
ское ожидание не зависит от времени, получим
^(оо) = lim^(T) = lim m[X(t)X(t + т)] = m[X(t)]m[X(t + «■)] = т2[Х] ■

75

Таким образом, при Т —> °° автокорреляционная функция стремится
к квадрату математического ожидания случайного процесса, который
можно трактовать как мощность постоянной составляющей реализаций
случайного стационарного процесса.
2. При уменьшении интервала т зависимость между величинами X(t) и
Х(? + т) усиливается, и в пределе при Т —> 0 получим
А^(0) = limA^Cr) = lira m[X(t)X(t + -г)] = т[Х2 (/)] = т[Х2].
т—>0
т—»0

Таким образом, при т = 0 автокорреляционная функция равна началь­
ному моменту второго порядка функции X(t), который можно трактовать
как среднюю мощность случайного стационарного процесса.
3. Дисперсия случайного стационарного процесса удовлетворяет ра­
венству

М X] = т[Х2]-т2[Х] = Кхх (0) - Кхх (~).
4. В силу независимости f2 (%j, х2; т) от начала отсчета

^(Т) = 7С^(-Т).
5. Автокорреляционная функция по абсолютному значению макси­
мальна при т = 0:

МИ-ЛТипичные кривые автокорреляционной функции ЛхДт) имеют вид,
представленный на рис. 3.3. Как видно из рисунка, асимптотическое при­
ближение функции КхЛХ) к установившемуся значению т2[Х] может
происходить как монотонно, так и немонотонно.

Рис. 3.3. Вид автокорреляционной функции процесса X(t)

76

На практике часто вместо случайного процесса X(t) рассматривают

его отклонение от математического ожидания X(t) = X(t) — m[X], на­
зываемое пульсациями процесса.
Автокорреляционная функция пульсаций стационарного случайного
процесса равна

Кхх (т) = т[X(t) X(t + т)] = mfrX (?) - т[Х]] [X(t + т) - т[ АГ] ]}=
= m[X(t)X(t + т)] - 2т2[Х] + m2[Z] = К:а (т) - т2[Х].
Математическое ожидание пульсаций равно нулю т[Х] = 0, а дис­
персия

D[X] = Кхх (0) - К хх О») = К (0) -т2[Х] = т[Х2 ]-т2[Х] = Z>[X].
Нормированная автокорреляционная функция пульсаций случайного
процесса приведена на рис. 3.4.

Рис. 3.4. Вид коэффициента автокорреляции пульсаций X(t)
3.5. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ
ДЕТЕРМИНИРОВАННЫХ СИГНАЛОВ

Наряду со спектральным подходом к описанию детерминированных
сигналов часто на практике оказывается необходимой характеристика,
которая давала бы представление о некоторых свойствах сигнала (ско­
рость изменения во времени) без разложения его на гармонические со­
ставляющие.
В качестве такой временной характеристики широко используется
автокорреляционная функция.
77

Для детерминированного сигнала x(t) конечной длительности авто­
корреляционная функция определяется следующим выражением:

(т) ~ J x{t)x(t + X)dt.
(т) характеризует степень связи

Из этого выражения видно, что

сигнала х(7) со своей копией, сдвинутой на величину т по оси времени.
Ясно, что эта функция достигает максимума при т - 0, так как любой
сигнал полностью коррелирован с самим собой. При этом
ОО

Х^у(0) = ^X2(t)dt = 3, т.е. максимальное значение автокорреляци­
онной функции равно энергии сигнала.
С увеличением т функция К^(х) убывает и при относительном
сдвиге сигналов x(f) и x(t + т) на величину, превышающую длительность
сигнала, обращается в нуль.
На рис. 3.5 показано построение автокорреляционной функции для
простейшего сигнала в виде прямоугольного импульса
г2 -т

(т) = Jh2dt = h2[(/2 - т) -1, ] = h2 (ти - х).
'i

Для периодического сигнала, энергия которого бесконечна, определе­
ние автокорреляционной функции аналогично неприемлемо. В этом слу­
чае исходят из следующего определения:
1

Г/2

(т) = lim — f x(t)x(t + x)dt.
т -* Т
При таком определении
причем

*
-Т /2
(т) приобретает размерность мощности,

(0) равна средней мощности периодического сигнала. Вви­

ду периодичности усреднение по бесконечно большому отрезку Т
должно совпадать с усреднением по периоду Т. Поэтому
1

Г/2

-Г/2

78

Рис. 3.5. Иллюстрация Л'^-(т) для прямоугольного импульса
Представив периодическую функцию разложением в ряд Фурье, мож­
но выяснить природу автокорреляционной функции:
1

Т/2

оо

оо

k=-oo

_^/21=-оа

Т/2

1

-Т/2

4

т
sin(Z + &)соо—
л __________ 2_ jW
1лк
? е
(I + к')а>0 —
Т

Т

Так как (О0 — = Л, то дробь

Т
(I + £)(О0 —
79

1, при 1 + к = 0.

Следовательно,

Z A-kAke^ = | £ |4|2^t =
ч*=-~
*k=- высота которого равна максимуму
о
((0m ) на частоте С0т.

спектральной плотности мощности

Рис. 3.11. Способ определения эффективной ширины спектра Део

87

ЗАДАЧИ
3.1. Найти корреляционную функцию детерминированного периоди­
ческого сигнала, представленного на рис. 3.12.
3.2. Найти корреляционную функцию периодического колебания
произвольной формы, представленного на рис. 3.13.
3.3. Найти спектральную плотность средней мощности стационарного
случайного процесса с корреляционной функцией, представленной на

Рис. 3.12. Периодический сигнал

х(Г)

t

Рис. 3.13. Периодическое колебание

3.4. Найти спектральную плотность средней мощности стационарного
случайного процесса с корреляционной функцией, представленной на
рис. 3.15.
88

Рис. 3.15. Функция АхуСт)

3.5. Найти корреляционную функцию стационарного случайного про­
цесса со спектральной плотностью мощности, представленной на
рис. 3.16.

Рис. 3.16. Функция G^((B)
3.6. Необходимо найти дисперсию стационарного случайного про­
цесса по заданной на рис. 3.16 спектральной плотности мощности.
3.7. Найти среднеквадратическое значение для случайного процесса
со спектральной плотностью средней мощности в виде 8-функции
(рис. 3.17).

G^(co)= Go5(co)

со
Рис. 3.17. Спектральная плотность средней мощности

89

3.8. Для стационарного случайного процесса со спектральной плотно­
стью средней мощности (рис. 3.18) определить математическое ожидание
т[Х\ и дисперсию £)[А].

Рис. 3.18. Спектральная плотность G^co)
3.9. Белый шум подается на вход электрической цепи, представ­
ленной на рис. 3.19. Найти спектральные характеристики выходного
сигнала.

Рис. 3.19. Электрическая цепь

90

4. ЭЛЕМЕНТЫ ТЕОРИИ ДИСКРЕТИЗАЦИИ
НЕПРЕРЫВНЫХ ФУНКЦИЙ
При передаче непрерывных сигналов в информационных системах
весьма широкое применение получила кодоимпульсная модуляция сиг­
налов (КИМ). КИМ складывается из трех операций:
- дискретизация по времени;
- квантование по уровню;
- кодирование.
Дискретизация по времени заключается в замене непрерывного во
времени сигнала x(t) дискретным сигналом хд(?), значения которого для
дискретных моментов времени /0
tN совпадают с мгновенными
значениями непрерывного сигнала (рис. 4.1).
Квантование по уровню заключается в замене непрерывного множе­
ства значений сигнала xa(t) множеством дискретных значений. При этом
шкала возможных значений сигнала разбивается на определенное коли­
чество интервалов, и непрерывное значение сигнала заменяется ближай­
шим дискретным.
Полученные дискретные значения затем кодируются (обычно двоич­
ным кодом). КИМ обеспечивает существенное повышение помехоустой­
чивости передачи данных. Кроме того, дискретизация позволяет исполь­
зовать одни и те же устройства для большого числа различных сигналов.
При КИМ весьма важным является правильный выбор способа дис­
кретизации сигналов по времени и квантования по уровню. Рассмотрим
некоторые вопросы теории дискретизации непрерывных функций по
времени.

4.1. ЧАСТОТНЫЙ КРИТЕРИЙ ДИСКРЕТИЗАЦИИ
В. А. КОТЕЛЬНИКОВА
Итак, при дискретизации по времени непрерывная по аргументу
функция х(г) преобразуется в функцию xa(t) дискретного аргумента.
Такое преобразование может быть выполнено путем взятия отсчетов
функции х(?) в определенные дискретные моменты времени. В результате
функция x(f) заменяется совокупностью мгновенных значений

х(Г,), i = Q,N-l.

91

Рис. 4.1. Кодоимпульсная модуляция
Временной интервал Д? =

—t

, i = 1, N — 1 между двумя сосед­

ними фиксированными моментами времени, в которых задается дискрет­

ная функция, называется интервалом дискретизации. Величина /д =
называется частотой дискретизации. Устройства, с помощью которых
проводится дискретизация сигналов, носят название дискретизаторов
(рис. 4.2).

Рис. 4.2. Структура дискретизатора

92

Частота дискретизации должна выбираться таким образом, чтобы по
отсчетным значениям x(tj) можно было бы с заданной точностью полу­
чить исходную функцию.
Известно несколько критериев выбора частоты /д дискретизации по
времени. Рассмотрим частотный критерий В. А. Котельникова. Данный
критерий, который получил название теоремы Котельникова, основыва­
ется на следующей модели сигналов:
- сигнал представляет собой стационарный случайный процесс;
- спектр реализации сигнала сплошной и ограничен некоторой часто­
той, за пределами которой он тождественно равен нулю.
ТЕОРЕМА 4.1 (теорема Котельникова). Если непрерывная функция
х(/) удовлетворяет условиям Дирихле (ограничена, кусочно-непрерывна

и имеет конечное число экстремумов), и ее спектр ограничен некоторой
- г
Ч
частотой j = —-, то она полностью определяется последовательно2л
стью своих значений в точках, отстающих на расстоянии
.
1
П
ш - ------ = — друг от друга.
2/с
Ч

ДОКАЗАТЕЛЬСТВО. Пусть сигнал, описываемый непрерывной
функцией времени х(Г), имеет ограниченный спектр С0с (рис. 4.3), т.е.
преобразование Фурье 5(j(B)= jx(Oe jwtdt удовлетворяет условию

£(усо) = 0 при |со| > Ч.

Рис. 4.3. Спектральная плотность
93

В представлении сигнала х(/) интегралом Фурье пределы интегриро­
вания можно ограничить интервалом [—(Ос, (йс ]

1

“с

х(0 = ^ jS(jco)e7“'t7co.

(4-1)

Дополним функцию Sfjai) до периодической с периодом 2сос и раз­

ложим ее в ряд Фурье на интервале [-сос, С0с ] ((Во = 2п/Т —> п/ (йс):
jk—со

“

(4.2)
где коэффициент Фурье имеет вид
- jk—и

Ct =

do.

(4-3)

Сравнивая (4.1) и (4.3), замечаем, что они совпадают с точностью до

постоянного множителя Д/ = —, если принять t = —к----Следовательно,

ч
л
Ск =—x(—k&t) .
ч

ч
Подставив найденное выражение

для Ск в (4.2), получаем
“

AT

.. я

jk—со

$(»=£ —

•

(4.4)

После подстановки (4.4) в (4.1), замены знака при к (так как суммиро­
вание производится по всем положительным и отрицательным значени­
ям к) и перестановки операций суммирования и интегрирования получим

Х(О = — 2 x(kbt) J ejw(t'k^do.

2Ч

_Юг

к=-~

94

(4-5)

Вычислим интеграл

= Jcos[(o(r-£A0}fto4- j Jsin[to(/ - £Ar)]cZoj =
(4.6)

_ 2sin[coc(/-AAf)]

t - kAt
с учетом равенства нулю второго интеграла разложения.
После подстановки (4.6) в (4.5) окончательно имеем

Этим, собственно, и доказывается теорема отсчетов.
Таким образом, выражение (4.7) показывает, что реализация x(t) пол­
ностью определяется совокупностью отсчетов, взятых в моменты време, .
к
4
1
ни kAt =----- и отстоящих друг от друга на величину Л/ - ------2/е
2/с
Ряд (4.7) в технической литературе получил название ряда Котельни­
кова.
4.2. ПРЕДСТАВЛЕНИЕ СИГНАЛОВ С ОГРАНИЧЕННОЙ
ЧАСТОТНОЙ ПОЛОСОЙ В ВИДЕ РЯДА КОТЕЛЬНИКОВА
Остается решить вопрос, каким образом восстановить функцию x(t)
по ее дискретным отсчетам x(kAt), если в этом возникает необходимость.
Из (4.7) видно, что непрерывная функция, обладающая ограниченным
спектром, может быть представлена разложением в ряд, каждый член
которого выражается одинаковой функцией вида sine [(0с (t — AA0], но

с различными коэффициентами x(kAt).
Другими словами, ряд Котельникова представляет собой разложение
реализации случайного процесса координатными детерминированными
функциями времени A(tk) = sine [(0с (? — АД?)] с весовыми коэффици­
ентами х(ААг) равными мгновенным значениям сигнала в точках kAt.

95

Как известно, функция sinc[(Bc(? — £Д?)] представляет собой реак­
цию фильтра нижних частот (ФНЧ) с граничной частотой а)с на дельта­

импульс в момент (t — kAt) .
Следовательно, если в приемном устройстве поместить такой фильтр и
пропустить через него квантованный сигнал X* (?) , представляющий собой
последовательность с частотой 2 fc =

кратковременных импульсов,
я
амплитуды которых пропорциональны отсчетам исходной непрерывной
функции, то, суммируя выходные сигналы ФНЧ, можно воспроизвести с
высокой степенью точности исходный непрерывный сигнал (рис. 4.4).
Практически реализовать это достаточно трудно. Кроме того, при
проектировании систем приходится иметь дело с сигналами, ограничен­
ными во времени и, следовательно, обладающими бесконечно широким
спектром, что противоречит основному условию теоремы Котельникова.
Однако на практике не требуется идеально точного воспроизведения
передаваемого сигнала. Поэтому с целью использования теоремы для
дискретизации сигналов реальный спектр сигнала, простирающийся от О
до о®, условно ограничивают некоторым диапазоном частот от 0 до С0с, в

котором сосредоточена основная часть энергии спектра. Энергия отсе­
каемой части спектра сигнала определяет погрешность

ега = -------------- = 1-Х(со(.),
J[5(co)]2(/co

о
возникающую за счет ограничений спектра сигнала.
Кроме того, известна математическая модель сигнала Н. А. Железно­
ва, в которой принимается, что спектр сигнала конечной длительности
отличен от нуля на всей оси частот и известна автокорреляционная
функция К.%% (т) . В этом случае шаг дискретизации выбирается равным

интервалу корреляции Хк .
Корреляционный критерий выбора отсчетов является разновидностью
Я
частотного критерия. А. А. Харкевич показал, что A? = Tt ~
, то

96

есть отсчеты по теореме Котельникова представляют собой ближайшие
некоррелированные значения сигнала.

х(4до^а4)

х(0

Рис. 4.4. Восстановление сигнала по дискретным отсчетам

Таким образом, несмотря на то, что теорема Котельникова базируется
на модели сигналов с ограниченным спектром, она имеет большую тео­
ретическую и практическую ценность в технике преобразований сигна­
лов, их передачи и обработки.

4.3. ДИСКРЕТНЫЕ СИГНАЛЫ И ИХ СПЕКТРЫ
При вычислении спектра на ЭВМ анализируемая функция x(t) пред­
ставляется в виде своих отсчетов в дискретные моменты времени x(nt),
97

где Т - интервал дискретизации по времени (ранее обозначался Лг), а

n = Q,N-l.
Спектральный анализ, основанный на цифровой обработке сигналов,
предполагает преобразование последовательности x(nt) в последователь­
ность чисел Ак = A(Jk£T), где £2 - интервал дискретизации частоты, а

к = 0,7У~1 [18].
Определим спектр дискретизированной периодической функции,
представленной на рис. 4.5. Положим, что ее период То содержит ровно
N отсчетов:

х(пТ) : х(0), х(Т), х(2Т),..„ x[(N - 1)Т].

ОТ 2Т ... пТ ... (N-1)T

t

Рис. 4.5. Дискретный периодический сигнал

Тогда x(t) можно разложить в ряд:
А„е»а',

=

где Q — 2л/NT .
В моменты отсчетов пТ имеем

х(пТ) =

£

Аке

jk —
NT пТ

■4 —

происходит искажение x(t) вследствие взаимного

наложения спектральных составляющих соседних участков (рис. 4.9).
Таким образом, приступая к анализу, следует предварительно выбрать
интервал дискретизации Т в соответствии с критерием Котельникова.
Если сравнить спектр конечного дискретного сигнала, выражаемый
формулой S(elair), с ДПФ этого сигнала, то увидим, что ДПФ представ­
ляет собой N отсчетов спектра, взятых на периоде с интервалом дискре-

103

При к т комплексная экспонента описывает единичный вектор, фаза
которого при изменении величины п изменяется скачками на равноот2к
стоящие углы —(к-т)- Сумма этих векторов за N отсчетов равна
N
нулю.
Учитывая это, получаем
1 лг-1
лг-1 j(k-m)~n
1
N

=L^m-

2

п=0

к=0

Следовательно,

у N-l
Ат = 77 Е
™ п=0

2л

х(пТ )е

— jm-----п
N

(4.11)

Объединяя (4.10) и (4.11) и заменяя в Ат индекс т на индекс к, окон­
чательно получаем
9

_

JV-l

™ п=0

1
jk^n
х(пТ) = -^Аке N
2 к=0

(4.12)

Эти соотношения называются прямым и обратным дискретными пре­
образованиями Фурье (ДПФ). ДПФ Ак, как и сама последовательность
х(пТ), является периодической функцией аргумента к с периодом N.
Характер зависимости модуля функции А^ от частоты приведен на
рис. 4.6.
2л
Период спектра в масштабе частот равен NG1 = —. Заметим, что в
пределах периода составляющие спектра симметричны относительно
середины этого интервала, причем |Л^| = |Лу_^| (это следует, например,
из

того

факта,

что

и

|Л_^| = |Ддг_^|,А: = 1,2,3,...)

и

arg?lA = —argAN_/c. Поэтому вся полезная информация имеется уже в

интервале частот, равном

ТС

Т'
100

емах массивов данных это может приводить к существенным временным
затратам. Ускорение вычислений достигается при использовании быст­
рого преобразования Фурье (БПФ).
БПФ базируется на том, что при вычислениях среди множителей (си­
нусов и косинусов) есть много периодически повторяющихся значений
(в силу периодичности функций). Алгоритм БПФ группирует слагаемые
с одинаковыми множителями в пирамидальный алгоритм, значительно
сокращая число умножений за счет исключения повторных вычислений.
В результате быстродействие БПФ в зависимости от N может в сотни раз
превосходить быстродействие стандартного алгоритма. При этом следует
подчеркнуть, что алгоритм БПФ даже точнее стандартного, так как, со­
кращая число операций, он приводит к меньшим ошибкам округления.
Алгоритмы БПФ основываются на свойствах комплексной экспонен­
ты e~J(2n/N)kn = W„: ее симметрии
= W~ Тк, где Хк - интервал корреляции.
На выходе накопителя будет сигнал
п

i=l

п

п

1=1

i=l

где n - количество отсчетов.
112

а решающее устройство выполняет главные функции приема (обнаруже­
ние, различение или восстановление сигналов).

Используемые
характеристики:

G^(co),G^(co),Р(а,), f(X/at),
КXX (Т) >

(5) ! Г12 > Г21 •

Рис. 5.1. Блок-схема предварительной обработки принятого сигнала
Рассмотрим основные задачи оптимального приема и статистических
решений.

5.1. МЕТОДЫ ФИЛЬТРАЦИИ

Известны следующие методы фильтрации, обеспечивающие улучше­
ние отношения сигнал/помеха:
- частотная фильтрация;
- метод накопления;
- корреляционный метод;
- согласованная фильтрация.
Все эти методы основаны на использовании различных свойств полезно­
го сигнала и помехи.
5.1.1. Частотная фильтрация

Идея частотной фильтрации основана на отличии спектров полезного
сигнала и помехи. При этом используются линейные частотные фильтры,
позволяющие подавлять помеху и улучшать тем самым отношение сиг­
нал/помеха.
Параметры фильтра определяются спектральными характеристиками
сигнала и помехи. На практике наиболее часто встречаются следующие
случаи (рис. 5.2):
а) на вход приемного устройства поступает узкополосный сигнал и
широкополосная помеха. В этом случае в тракт приемного устройства
включается узкополосный фильтр с полосой пропускания Асох ;
111

5. ЭЛЕМЕНТЫ ТЕОРИИ ОПТИМАЛЬНОГО ПРИЕМА
И СТАТИСТИЧЕСКИХ РЕШЕНИЙ
Следует отметить, что общая схема передачи информации, представ­
ленная во введении, соответствует случаю, когда информация вводится в
начале канала связи, т.е. непосредственно в передатчике. Несколько ина­
че обстоит дело, например, в радиолокационном канале, где информация
о цели вводится в результате отражения радиоволны от цели в свободном
пространстве.
Проблема оптимального приема состоит в рациональном использова­
нии избыточности, а также имеющихся сведений о свойствах полезного
сигнала, помехи и канала для увеличения вероятности правильного при­
ема.
При этом рассматриваются следующие задачи:
1. Обнаружение сигнала, когда требуется только дать ответ, имеется
ли в принятом колебании полезный сигнал или оно обусловлено
одним шумом.
2. Оценка параметров, когда требуется с наибольшей точностью оп­
ределить значение одного или нескольких параметров полезного
сигнала.
3. Различение сигналов, когда на входе возможно присутствие не­
скольких сигналов, и нужно указать, какие именно сигналы при­
сутствуют.
4. Воспроизведение первоначальной формы сигнала, искаженной
действием шумов.
5. Предсказание сигнала, когда следует, располагая историей сигна­
ла, предсказать его наиболее вероятные значения в будущем.
Результатом воздействия помех является частичная или полная потеря
информации, переносимой полезным сигналом. Приемное устройство,
осуществляя обработку входного сигнала, должно обеспечить извлечение
из принятого сигнала возможно большего количества необходимой ин­
формации.
Вследствие того, что на вход приемника поступает сумма полезного
сигнала и помехи, вероятность правильного приема будет определяться
отношением полезного сигнала к помехе. Для повышения вероятности
правильного приема должна быть произведена предварительная обработ­
ка принятого сигнала по схеме, представленной на рис. 5.1. Фильтр обес­
(

печивает улучшение отношения мощностей сигнал/помеха р =

ПО

Л

Рис. 5.3. Метод накопления
Отношение мощностей сигнала и помехи на выходе накопителя:

р=\

_ М2 ,

п

где M^Xl - дисперсия помехи на выходе накопителя.
j=i

В предположении, что значения

некоррелированы и помеха пред­

ставляет собой стационарный случайный процесс, дисперсия суммы

отсчетов

равна сумме дисперсий отсчетов:
п

«=1

п

1=1

Следовательно,

(па)2

Р=

а2
\ М / вх

Таким образом, в результате «-кратного отсчета отношение мощно­
стей сигнала и помехи увеличивается в п раз.

5.1.3. Корреляционный метод
Сущность метода заключается в использовании различия между кор­
реляционными функциями сигнала и помехи.

113

Метод эффективен лишь в случае приема периодических сигналов.
Пусть полезный сигнал является периодическим, а помеха - типа
гауссова шума.
В приемном устройстве определяется корреляционная функция по­
ступающей на вход суммы y(t) = x(t) + ^(/) полезного сигнала и по­

мехи:
<

Г/2

,

Г/2

^yy(T) = - J[x(0 + ^)]Mf + T) + ^ + T)]^ = - J[x(^ + T)]^ +
2 _г/2
1 _тп
<

Г/2

«

Г/2

Г/2

+ - f[x(O + T)W- JWm+t)]^+- JmC+T)] Т*.

практически равно нулю (рис. 5.4).
Следовательно, выбирая такое время г, при котором значением
Х^(т) можно пренебречь, мы обеспечим тем самым получение функ­
ции Куу (т) = Кхх (т) , отображающей полезный сигнал, т.е. выделение
полезного сигнала из смеси полезного сигнала с помехой.
Схема корреляционного приема приведена на рис. 5.5. Схема содер­
жит блок задержки (БЗ), устройство умножения (УУ) и интегратор (И).

114

Рис. 5.4. Иллюстрация корреляционного метода

Рис. 5.5. Схема корреляционного приема

5.1.4. Согласованная фильтрация
Согласованные фильтры предназначены для выделения сигналов
известной формы на фоне шумов.
Рассмотрим импульсный сигнал х(?) произвольной формы, опреде­
ленный на интервале (О, Тх) и равный нулю вне этого интервала. Предпо­
ложим, что принятый сигнал y(t) = х(/) + ^(/) пропускается через ли­

нейный фильтр, импульсная переходная функция которого имеет вид
Ф(7) = Вх(Тх — f) (рис. 5.6). Фильтр с такой характеристикой носит
название согласованного.
На выходе фильтра имеет место реакция, определяемая интегралом
свертки y(t) * Ф(/):

115

= В j [х(т) + ^(т)]х(7> -1 + T)(ft =

Хф (0 = J

Рис. 5.6. Импульсная переходная функция

Полученные два интеграла представляют собой с точностью до по­
стоянного множителя В корреляционные функции
хф(/) =
-t) + K^(Tx -0].

Таким образом, выходная реакция фильтра совпадает с выходным
сигналом корреляционного фильтра, но при согласованной фильтрации
нет необходимости использования устройства перемножения (рис. 5.7).

у(0 = х(0 + ^(0

*ф(0 = |у(т)Ф(?-т)й?т =
Согласованный
фильтр

— вкхх(тх “0

Ф(0 = 5х(Тг-Г)
Рис. 5.7. Схема согласованной фильтрации

5.2. СУЩНОСТЬ ОСНОВНОЙ ЗАДАЧИ ПРИЕМА СИГНАЛОВ
Основная задача приема сигналов фактически представляет собой
процесс распознавания. Процесс распознавания состоит в классификации
явлений по имеющейся информации путем отнесения воспринимаемой

совокупности признаков X = (xl,x2,...,Xm) к области, характеризую­

щей одно из состояний а, источника информации [2].
116

С этой целью «-пространство признаков разбивается по какому-либо
критерию на п областей Xi, Х2,..., Х„, соответствующих точкам «-про­
странства состояний А = (й]. а2,-, аи) источника информации (рис. 5.8).

Если разбиение производится на две области, распознавание стано­
вится двухальтернативным и представляет собой обнаружение некоторо­
го явления. Векторы X в «-пространстве признаков носят название век­
торов-реализаций, а области разбиения образуют множество классов.
В общем случае зависимость реализаций X от состояний а, источника
носит вероятностный характер. Можно выделить три характерных случая
этих зависимостей (для простоты на рис. 5.9 изображены одномерные
распределения):
1. В первом случае возможно безошибочное распознавание. Для этого
области Х1,Х2,...,Хп в «-пространстве признаков должны быть вы­
браны так, чтобы каждая из них включала все возможные значения толь­
ко одного соответствующего ей признака. При этом вероятность
p^aJX^ правильного распознавания г-го состояния при условии

X е Xt, которую можно подсчитать по формуле Байеса:

р(а, /X,.) =

^ip(aJ)p(Xj /

------------------------------ , (5.1)

=

j

j

Xf

равна единице, так как f (X / ау ) = 0 в области Xt (i Ф j) .

117

2. Во втором случае распознавание по вектору-реализации X невоз­
можно p{at /Xt) = р(а^ . Отнесение вектора Xк какой-либо области

не увеличивает вероятности распознавания.
3. В третьем случае распознавание состояний возможно с вероятно­

стями

Рис. 5.9. Условные плотности распределений:
а - случай непересекающихся распределений; б - случай тождественных
распределений; в - случай пересекающихся распределений

Основными характеристиками качества распознавания являются
средние ошибки распознавания и средние потери.
Предположим, что при X е
принимается гипотеза о наличии со­
стояния а.[. Вероятность правильного решения составляет при этом
p(fli / Xf), а вероятность ошибки /?;ош =1 — р(а: /Х^. Средняя вероят­

ность ошибки распознавания для всех возможных состояний источника
равна

Рош =

L МЛ)Лош = 1 - Е

''

е

‘

‘

P^Xi')p{at / Х;) =
(5-2)

х,

где piX^ означает p{X&Xt} .

Если ошибки распознавания отдельных состояний неравноценны, то
для характеристики качества могут быть приняты средние потери.
Обозначим через Гу положительное число, определяющее коэффици­
ент потерь от ошибки в результате заключения о состоянии а„ в то время
118

как источник информации находится в некотором другом состоянии aj.
При попадании вектора X в область Xt условные потери составят:

j
а средние потери

r = ^p(Xi)ri=^p(aj)^ri]^f(X/aj)dX.
>
J
i
Xt

(5.3)

Величина г, носит название условного, а г - среднего риска распозна­
вания. В дальнейшем коэффициенты потерь ry (i = j), связанные с пра­

вильными решениями, предполагаются равными нулю.

5.3. ОБНАРУЖЕНИЕ СИГНАЛА
Для обеспечения возможности обнаружения /и-мерное пространство
признаков должно быть разбито на две области: Х\ и Х2. Граница этих
областей называется решающей поверхностью. В процессе обнаружения
решающее устройство определяет, какой области принадлежит векторреализация X, и делает заключение о состоянии а, источника.
Например, в случае трехмерного пространства (рис. 5.10) пространст­
во принятых сигналов условно разбивается на две части:
- область Х2, соответствующая состоянию а2 источника, когда в при­
нятом сигнале содержится полезный сигнал;
- область Ху, соответствующая состоянию at источника, когда в при­
нятом сигнале отсутствует полезный сигнал.
Поскольку решающая поверхность многомерна, ее задание и хране­
ние могут встретить значительные трудности. Поэтому многомерный
случай приводится к одномерному путем перехода к новой переменной,
функционально связанной с вектором X. Эта переменная носит название
отношения функций правдоподобия:

? ~Z(a2)_/(X/a2)
f(X!axy

LM

где f(X/at)= f(xx,X2,...,Xm/ai) - многомерная условная плотность

распределения вероятностей.
119

Рис. 5.10. Трехмерное m-пространство признаков
Вместо уравнения решающей поверхности в этом случае достаточно
запомнить одно число Хо, с которым сравнивается текущее значение ко­
эффициента правдоподобия X. Неравенству X < Хо соответствует X е Xj и
наличие состояния аь когда в принятом сигнале отсутствует полезный
сигнал. Неравенству X > Хо соответствует X е Хг и наличие состояния

а2 , когда в принятом сигнале присутствует полезный сигнал.
Уравнение границы (решающей поверхности) в этом случае опреде­
ляется соотношением

Для того чтобы выбрать то или иное правило принятия решения, не­
обходимо руководствоваться определенными критериями.

5.3.1. Критерий максимума правдоподобия
(критерий Фишера)
Этот критерий формулируется следующим образом: наиболее прав­
доподобно то значение параметра at, для которого функция правдоподо­
бия £(а,) максимальна. Другими словами, решающее правило имеет вид:

120

— 1 —> #2 j

W
. _L(a2)
Ka.)



=

= ri2p(a2)~ \[rl2p(a2)f(X /a2)-r2lp(al)f(X /a^dX.
хг
Минимум г будет при условии, если подынтегральная функция поло­
жительная:

г12р(а2)f(X/а2)~rnp(ax)f(X/^) > 0.
Отсюда получаем следующее правило принятия решения:

r2iXai)

x = Z(gJ>^ =
L(aJ

rl2p(a2)

X = £(g2)а2,...,ап соответственно. Правила при­
нятия решений и разбивка пространства признаков на области могут
производиться в соответствии с любым из критериев, рассмотренных для
двухальтернативной ситуации и обобщенных на случай многоальтерна­
тивной ситуации.
Процедура работы решающего устройства приемника при различении
сигналов следующая. По данным вектор-реализации X определяются
функции правдоподобия:

Z(a1) = /(^/a1), Z(a2) = /(^/a2),..., Z(a„) = /(X/a„)
и вычисляются отношения правдоподобия:

iJ

/\х/а2У

i,j = l,n; i*j

для всех возможных сочетаний пар а, и ау. Полученные значения отноше­
ний правдоподобия сравниваются с пороговым значением Хо, и выбира­
125

ется такое значение сигнала а„ для которого все п -1 неравенства
> Л>> 7 = 1>и; i * J выполняются. В зависимости от критерия Хо при­
нимает значения:

Р(а>) .
РМ’

гур(а})

На рис. 5.12 приводится графическая иллюстрация процесса различе­
ния сигналов в предположении, что /и = 1,и = ЗиХо=1.

Рис. 5.12. Процесс различения сигналов (т = 1 и п = 3)

5.5. СИНТЕЗ СТРУКТУРЫ РЕШАЮЩЕГО УСТРОЙСТВА
Рассмотрим общий случай многоальтернативной ситуации, когда
полезный сигнал x(t) может принимать п значений х1,...,хп.
Будем полагать помеху 4(0 нормальной с нулевым математическим
ожиданием и аддитивной (рис. 5.13). Следовательно, принимаемый сиг­
нал имеет вид: y(t) = х(0 + 4(0 .

126

Представим сигнал y(t) в виде совокупности из т отсчетов, полагая,
что отсчеты осуществляются через интервал времени Af = -i-, где f. ^■fc
граничная полоса пропускания канала связи.

Рис. 5.13. Графическая интерпретация исходных данных
Тогда для любого отсчетного значения принятого сигнала ук можно

записать ук =

, где х,- - текущее состояние полезного сигнала; а

^к - отсчетное значение помехи, распределенное по нормальному за­
кону:

При взаимной независимости полезного сигнала и помехи функция
/(.Ук^х^ определяется законом распределения помехи. Так как эле­

мент случайности вносит только помеха, то при любом фиксированном х(

вероятность того, что случайная величина у* примет значение между ук
и ук + dyk, равна вероятности того, что помеха будет находиться в пре127

делах между

и ^к+(^к, т.е. f(yk IXt)dyk = f^k}d^k. Но

dyt
dx,.
dt.
—— =---- - Ч----- — = 1, так что
•к
Хо; i, j = 1,п;

j.

В случае цифровой обработки отношения функций правдоподобия
вычисляются микропроцессором по формуле
т

128

т

В случае аналоговой обработки, когда сигнал принимается непрерыв­
но в течение определенного времени Т, проделаем некоторые преобразо­
вания. Умножим числитель и знаменатель показателя степени экспоненТ
1
ты на
— — =----- и перейдем в числителе показателя степени от сумти 2/с

мирования отсчетов к интегрированию в пределах от 0 до Г:
т
Xj ]

т
2$ y(t')(xi—Xj')dt—Ej+Ej

т
dt—J[ y(t)—xi ] dt

*

n

n

Г и hj
Z7 - энергии сигналов х,- и x,-, p — —5. - мощность помехи, прихогде hi
fc
дящаяся на единицу полосы спектра.
Полагая энергии сигналов х, и ху одинаковыми, получаем
2р(0(х(-Х/)
Используя понятие собственной информации, можно несколько иначе
интерпретировать взаимную информацию:
J(хк,У,) = log2 Р^Хк /у^ = —log2 р(хк~) + log2 р(хк/у,) =
Р(хк)

= J(xk)-J(xklyl},
= — log2 р(хк /у,) • Информация, содержащаяся в собы­

где J(xk /

тии у,- относительно хк, равна разности между количествами информации,
требуемой для идентификации хк до и после того, как становится извест­
ным событие у,.
Симметричное представление взаимной информации приводит к
формулам:

J

; у,) = iog2

= J(xk)+J(yi)-J (хку,);
Р(хк)Р(У;)

J(хкУ,) = - 1о§2 P(xkyt ) = J(xk) + J{y.)-J(хк; у,).

6.4. МЕРА ИНФОРМАЦИИ КАК СЛУЧАЙНАЯ ВЕЛИЧИНА

Как можно видеть из предыдущих подразделов, введенные меры ко­
личества информации являются случайными величинами, т.е. числовыми
функциями элементов выборочного пространства.
Мера информации является довольно необычной случайной величи­
ной, так как ее значение зависит от вероятностной меры, однако с ней
можно обращаться так же, как с любой случайной величиной.
Например, собственная информация является случайной величиной,
так как зависит от распределения вероятностей событий. Мера информа­
ции J(xk), Хк& X принимает на множестве X различные значения

— log2/?(xt)

с

вероятностью

р(хк)

и

имеет

распределение

p{J(xk) = J}.
Аналогичным образом определяется и взаимная информация как слу­
чайная величина J^x^y^, (xt,y;)e XY, которая на множестве АТ при146

нимает различные значения log2- - к
Р(хк)

с вероятностью р(хку.) и

имеет распределение р{J(xk; yt) = J}.

Собственная и взаимная информации имеют среднее значение, дис­
персию и моменты всех порядков:
w[J(x*)]= ^J(xk)p(xk) = J(X);
D[J(xk)]= ^[J(xk)-J(X)]2p(xky,
xt^X

m[J{xk-,yt)\ =

= J{X,Y)-,
(xt,yt)eXY

D[J (x*;y,)] =

{хк,у^ - J (X; У)]2 p(xky?y,

В качестве примера рассмотрим источник информации со статисти­
кой, представленной в табл. 6.3.
Таблица 6.3

Сообщение
Uk

Вероятность
сообщения
Р(ик)

Собственная
информация
J(uk)

Распределение
вероятностей
p{J(wJ = J}

Щ
W2
Из
U4
Us
и6
и7

1/2
1/8
1/8
1/16
1/16
1/16
1/16

1
3
3
4
4
4
4

МЛи*) = 1}-1/2

p{J(MJ = 3} = l/4
ХЖ) = 4} = 1/4

Распределение количества собственной информации p{J(Uk)=J}
представлено на рис. 6.6. Функция распределения F(J) = p{J(uk) < J}
(рис. 6.7) определяется обычным образом с учетом дискретности. Мате­
матическое ожидание и дисперсия равны:
J(X) = 1- + 3^ + Д = 2,25;
2
4
4
ДЖ)1= ^72(xJXxJ-(2,25) 2 =1,7.

147

F(J) = p{J(uk)0,
так
как

log2 р(хк) < 0. Непрерывность энтропии вытекает из того факта, что

бесконечно малое приращение вероятности в любой точке оси р(хк) при­
водит к бесконечно малому приращению энтропии.
2. Энтропия симметрична относительно своих аргументов
р(х1),р(х2),...,р(хп), и = |ЛГ|, т.е. она не изменяется при любой их
перестановке.
3. Н(Х) = 0 при p(xk) = l,p(Xj) = O;j = l.,n;k* j. Справедли­
вость
этого
утверждения
lim p(x*)log2p(xt) = 0.

следует

из

известного

предела

4. Энтропия достигает максимального значения при равенстве
р(Х\) = Р(х2^ = ••• = РЫ = 1/ w • Доказательство этого свойст­
ва проведем с использованием метода неопределенных множителей Ла­
гранжа. Максимизацию Н(Х) можно представить как решение экстре­
мальной задачи с ограничением:
max. Н[р(х1),..., /?(%„)] = --Д- ^р(хк)1пр(хк);

Поиск условного экстремума заменим на нахождение безусловного экс­
тремума за счет введения неопределенного множителя А. и функционала

Ф[Х^1),-,Х^)Л] = -]Аг L

+

£/>(**)]•

Необходимое условие максимума для произвольного к можно предста­
вить в следующем виде:

ЭФ
—— =
ор(хк)

1 Г1
[inXxJ + il-A^O,
In 2

откуда получаем, что р(хк) = е (1+Мп2) и не зависит от £ Следователь­

но, все вероятности равны /?(%,) =
149

) = •••= Р(хп) = Р> а так как

V р(хк) = пр = 1, то р - — . Таким образом, энтропия множества сообхТт
п
щений достигает наибольшего значения, когда все сообщения равноверо­
ятны. Другими словами, среднее значение информации, необходимое для
однозначного определения сообщения из множества возможных сообще­
ний, достигает своего максимума, когда все сообщения равновозможны.
5. Энтропия Н(Х) удовлетворяет неравенству Н(Х) < log2 п, а знак
равенства достигается при р(хк) = р =—, к = 1,п . Это утверждение можп
но доказать, воспользовавшись неравенством In а < а -1, которое следует
из того факта, что функция In а касается прямой а - 1 в точке а = 1 и ее
наклон является монотонно убывающей функцией (рис. 6.8). Преобразо­
вания

Н(Х) - log2 п = £ р(хк ) log2 —Ц - log2 п £ р(хк ) =
Р(хк)

хкеХ

Хк&х

= A Z Ж)1п—(**)
Для двумерного случая, когда п — 2, энтропию можно представить в
виде Н(Х~) = -р log2 р - (1 - р) log2 (1 - р), где р - вероятность появления
одного из двух сообщений (рис. 6.9).
Основной смысл формулы Н(Х) < log2 п может быть еще сформули­
рован в следующем виде. Для любого заданного алфавита X количество
информации, которое в среднем может содержаться в одном символе
хк е X , достигает максимума, когда все символы используются равнове­
роятно. Это максимально возможное среднее значение информации на
символ называют информационной пропускной способностью алфавита.
Она равна log2 |jf|. Например, пропускная способность русского алфави­
та равна log2 33 = 5 бит/симв.

150

Рис. 6.8. Графическая иллюстрация неравенства In а < я-1

Рис. 6.9. Энтропия для случая п = 2

Энтропия максимальна, если буквы алфавита равновероятны и взаим­
но независимы. Если появление букв не равновероятно, то энтропия
уменьшается. Еще меньшей будет энтропия при наличии статистической
связи букв. Мерой количественной оценки избыточности алфавита явля­
ется коэффициент избыточности

к __Нт^Х)-Н(Х)
И
Ншт(Х)
Имеется определенная избыточность и в русском языке. Статистика
появления букв алфавита в тексте приведена в табл. 6.4, а в табл. 6.5 оценка статистической связи букв [1]. Следовательно, избыточность
5-2
русского языка составляет к„ ~------ = 065

151

Таблица 6.4
Частота букв в русском языке
Я 0,018
Пробел 0,175 Р 0,040
Ы 0,016
О 0,090
В 0,038
Е,Ё 0,072
Л 0,035
3 0,016
А 0,062
К 0,028 Ь,Ъ 0,014
Б 0,014
И 0,062
М 0,026
Т 0,053
Д 0,025
Г 0,013
Н 0,053
Г 0,023
Ч 0,012
Й 0,010
С 0,045
У 0,021

X
Ж
Ю
Ш
Ц
Щ
Э
Ф

0,009
0,007
0,006
0,006
0,003
0,003
0,003
0,002

Таблица 6.5

Равноверо­
ятность и
независи­
мость букв
5,04

Учет
различ­
ной веро­
ятности
4,39

Учет зави­
симости
между
2 буквами
3,52

Учет зави­
симости
между
3 буквами
3,05

-

-

Учет зави­
симости
между
8 буквами
2

Изучение последующих свойств энтропии требует введения понятий
взаимной и условной энтропии для XY.
Взаимная энтропия интерпретируется как среднее количество взаим­
ной информации, необходимой для определения событий хк е X и у, 0 .

Доказательство свойств 8, 9 и 10 проводится аналогично доказатель­
ству свойств 5 и 6.
6.6. ОСНОВНЫЕ ЗАДАЧИ КОЛИЧЕСТВЕННОГО
ИЗМЕРЕНИЯ ИНФОРМАЦИИ
Основное содержание теории информации можно охарактеризовать
как исследование методов кодирования для экономного представления
сообщений различных источников и для надежной передачи сообщений
по каналам связи с шумом.
Следовательно, можно сформулировать две типичные задачи количе­
ственного измерения информации:
1. Требуется найти наименьшее количество двоичных символов, ко­
торое необходимо для указания последовательности сообщений,
порожденных источником.
2. Требуется найти наибольшую скорость передачи по каналу связи,
при которой вероятность ошибочного приема сообщений может
быть сделана произвольно малой.
Всякий раз, решая подобные задачи, пытаются не только найти пре­
дельные значения количества двоичных символов или скорости передачи
с полной точностью, но и найти некоторый способ обработки сообщений
(некоторый способ кодирования и декодирования), который позволяет
достичь указываемых пределов.
154

На основе теории информации можно ответить на вопросы о предель­
ных возможностях технических систем, определить, в какой мере проек­
тируемая система уступает теоретически возможной. Следует отметить
также, что в большинстве случаев логика вывода, используемая в теории
информации, подсказывает путь, на котором может быть найдено конст­
руктивное решение для данной реальной системы.
Энтропия сообщений g-ных источников при одинаковом количестве п
элементов может быть различной в зависимости от статистических ха­
рактеристик сообщений. Энтропия максимальна, если элементы сообще­
ний равновероятны и взаимно независимы

Если поступление элементов сообщений не равновероятно, то энтро­
пия снижается
(
4

Н = П

“Z
v

Pi
i=i

1оё 2

Pi

7

■

Еще меньшей будет энтропия при наличии коррелятивных связей
между элементами
п

j=l
Сообщения, энтропия которых максимальна, являются оптимальными
с точки зрения наибольшего количества передаваемой информации.
Мерой количественной оценки того, насколько данные реальные со­
общения по своей энтропии отличаются от соответствующих оптималь­
ных сообщений, является коэффициент сжатия - ЛГСЖ.
Если неоптимальные и оптимальные сообщения характеризуются
одинаковой общей энтропией, то справедливы следующие соотношения:

nH(X) = n'H(X)mia,
=

ь-

сж

(^)тах _ 2L

Н(Х)

и’’

где п - число элементов неоптимальных сообщений, ап' - среднее число
элементов оптимальных сообщений.
Таким образом, реальные сообщения обладают определенной избы­
точностью. Избыточность приводит к увеличению времени передачи
сообщений, излишней загрузке аппаратуры обработки информации (ка­
нала связи).
155

Сокращение избыточности позволяет выделять наиболее существен­
ные данные, т.е. только ту часть информации, которая необходима адре­
сату. Такое техническое решение получило название сжатие данных.
Существует большое количество различных методов сокращения
объемов передаваемых и хранимых данных. Эти методы различаются по
ряду признаков: они могут быть необратимыми, обратимыми и квазиобратимыми; ориентированными на аналоговый или дискретный источник;
адаптивными или неадаптивными; работать в условиях известных или
неизвестных статистических характеристик источника сообщений.
К обратимому сжатию данных относятся методы, позволяющие восста­
новить на приемном конце исходную последовательность с абсолютной
точностью.
Классификация методов сжатия по статистике источника приведена
на рис. 6.11. При этом не ставится задача классификации и обобщения
алгоритмов современных архиваторов, а делается попытка изложения
основных идей и принципов.
Множество известных коммерческих архиваторов в той или иной
степени используют идеи, положенные в основу метода оптимального
кодирования Хаффмана.
Как правило, алгоритмы сжатия базируются на том, что в любом фай­
ле, содержащем неслучайные данные, информация частично повторяется.
Используя статистические математические модели, можно определить
вероятность повторения определённой комбинации символов. После
этого можно создать коды, обозначающие выбранные фразы, и назначить
самым часто повторяющимся фразам самые короткие коды. Для этого
используются разные техники, например: энтропийное кодирование,
кодирование повторов, и сжатие при помощи словаря. С их помощью 8битный символ или целая строка могут быть заменены всего лишь не­
сколькими битами, устраняя излишнюю информацию.
Что касается надежной передачи сообщений по каналам связи с шу­
мом, то целесообразно рассмотреть два различных выражения для взаим­
ной энтропии:

Н(Х; У) = Н(Х) - Н(Х / У);
Н(Х; У)

= H(Y) -H(YIX).

Эти два выражения особо интересны, когда Хк является сообщением,
передаваемым по каналу с шумом, а у, - соответствующим принятым
символом.

156

Рис. 6.11. Классификация методов сжатия дискретной информации

При интерпретации первого соотношения мы понимаем:
- энтропию Н(Х) как среднее количество переданной информации
(энтропия источника);
— взаимную энтропию Н{Х\ Y) как среднее количество информации,
полученной о переданном сообщении;
- условную энтропию H(X/Y) как среднее количество информации,
которое все еще потребуется для определения после приема символа у,,
т.е. потерянное вследствие шума, или короче, ненадежность передачи.

157

Второе соотношение подчеркивает другой взгляд на среднее количе­
ство информации, а именно, как на разность между средним количеством
информации, необходимым для определения принятого символа, и сред­
ним количеством информации, необходимым для определения того же
сигнала, когда известно переданное сообщение.
Следовательно, H(Y/X) есть среднее количество информации, необхо­
димое для определения помехи, имеющей место в канале, и мы можем
понимать эту величину как энтропию шума в канале. Другими словами,
H(Y/X) является частью энтропии Y, которая возникает вследствие шума в
канале.
ЗАДАЧИ

6.1. Урна содержит 5 черных и 10 белых шаров. Случайно, без воз­
вращения, из урны выбирают три шара, и результат выбора передают по
линии связи. Пусть выбрано: черный - черный - белый. Какое количест­
во информации передается, если хотят сообщить:
а) о порядке шаров, их цвете, количестве белых и черных;
б) только о количестве черных и белых шаров?
6.2. На борту самолета имеется дублированная вычислительная сис­
тема, состоящая из двух одинаковых ЭВМ. Надежность одной ЭВМ
р = 0,96. Сколько надо передать информации по радиоканалу, чтобы
сообщить об отказе вычислительной системы?
6.3. Система описывается дискретным стационарным марковским
процессом с матрицей переходов

1

1

2

1/2

1/2

2 3/4 1/4
Сколько информации содержится в сообщении о том, что система
находится в состоянии с номером «1»?
6.4. Система описывается дискретным стационарным марковским
процессом, граф переходов которой имеет вид

158

Сколько информации содержится в сообщении о том, что система
находится в состоянии с номером «2»?
6.5. Сколько информации содержится в сообщении о том, что сумма
очков на двух брошенных игральных костях равна 7?
6.6. На двухэлементном множестве X = (%], х2 ) задано распределе­
ние

вероятностей

р(х{)

и

р(х2).

Построить

зависимость

ЯШ = Г[р(х,),Хх2)].
6.7. Ансамбли событий X = (хг,х2,х3) и У = (у3,у2) объедине­
ны. Вероятности совместных событий р(хгуу ) имеют вид:

Xi

У;
У1

Ут.

Х1

х2

х3

0,1

0,2

0,3

0,25

0

0,15

Определить:
а) энтропии ансамблей А, У и АУ;
б) условные энтропии H(XIY) и Я(У/А);
в) взаимную энтропию Н(Х; У);
г) условные средние значения взаимной информации J(X\ у,) и J(xk У);
д) частную условную энтропию H(Y/xky
6.8. Пусть хь х2 - буквы алфавита на входе канала, ауь у2, у3 - буквы
выходного алфавита. Символы на входе канала появляются равновероят­
но, а последовательность букв во входной и выходной последовательно­
стях статистически независима. Условные вероятности имеют вид:

..

..

xt 1/32

Ну,/^)||-Х2 1/32

61/64

1/64

1/64
61/64

Построить функцию распределения для взаимной информации
Wy,).
Определить взаимную энтропию Н(Х\ У).

159

6.9. Группа из четырех сообщений кодируется двоичным кодом:

Сообщение

Вероятность
сообщения

ик

р(цк~)

щ

1/2
1/4
1/8
1/8

и2
«3

«4

Двоичный
код

0
10
НО
111

6.10. Среди группы ПВО % составляют зенитные орудия (х;), ‘А ракетные установки (х2),!4 - самолеты-перехватчики (х3). Пусть ракетные
установки с вероятностью А поражают цель, самолеты-перехватчики
всегда поражают цель, а зенитные орудия всегда не попадают.
Какое количество информации содержится в сообщении у: «средство
ПВО поразило цель относительно факта использования хр>?
Какое количество информации содержится в сообщении z: «средство
ПВО три раза подряд поразило цель относительно факта использования
х2»?
6.11. От источника информации поступают статистически независи­
мые символы с вероятностями 1/4 и 3/4. Найти энтропию последователь­
ности из 100 двоичных символов.

160

7. КОДИРОВАНИЕ СООБЩЕНИЙ ДИСКРЕТНОГО
МНОЖЕСТВА
Перейдем к задаче кодирования, т.е. представления сообщений из
заданного дискретного множества последовательностью символов, при­
надлежащих заданному алфавиту. Цель при этом состоит в конструиро­
вании таких последовательностей символов, которые минимизируют
среднее число символов, приходящихся на одно сообщение. Усреднение
ведется по множеству сообщений. При решении поставленной задачи
предполагается, что распределение вероятностей сообщений известно.

Рассмотрим множество сообщений U = {ик},к = 1,М , на котором
задано распределение вероятностей р(ик). Каждое сообщение может быть
представлено кодовым словом длиной щ (рис. 7.1). Слово состоит из
последовательности символов некоторого алфавита А кодирования. Чис­
ло различных символов этого алфавита обозначим через D = | А |.
При этих обозначениях среднее число символов, приходящихся на
_

м

одно сообщение, есть И =

. Информационная пропускная
к=\

способность алфавита Л равна log2 D .

Рис. 7.1. Процесс кодирования

Энтропия H(U') - это среднее количество информации, необходимое
для однозначного определения, идентификации сообщения из данного
множества. Каждое сообщение содержит в среднем п символов, а каж­

161

дый символ не может нести более чем log2^ информации. Тогда энтро­
пию множества сообщений U можно оценить следующим образом:
л/
_
р(ик) log2p(X) < п log2Z).

i=l
- НОЛ
Следовательно, п > —-——, т.е. среднее число символов на сообщеlog2Z)
ние не может быть меньше энтропии множества сообщений, деленной на
пропускную способность алфавита, используемого для кодирования.

7.1. МЕТОД КОДИРОВАНИЯ ШЕННОНА - ФАНО
Данный метод кодирования кодовых слов со средней длиной, достаточно близкой к нижнеи границе —-—базируется на выполнении
log2Z)

двух требований:
1. В каждой позиции кодового слова символы алфавита должны ис­
пользоваться с равными вероятностями, что дает возможность максими­
зировать среднее количество информации на символ.
2. Вероятности появления символов в каждой позиции не должны
зависеть от расположения всех предыдущих символов.
Если удастся построить код в точном соответствии с этими требова­
ниями, то средняя длина кодовых слов будет в точности равна нижней
границе.
Для реализации кодов с вышеописанными свойствами необходимо
иметь соответствующие процедуры построения кодов. Рассмотрим ряд
примеров.
Имеется
множество
равновероятных
сообщений

[7 = {ик},к = 1,8 и алфавит D = 2. Предлагается следующая процедура
кодирования:
- первоначальное множество сообщений разбивается на две равнове­
роятные группы;
- первым символом кодовых слов для сообщений первой группы вы­
бираем «О», а первым символом кодов для сообщений второй группы
выбираем «1»;
- далее процесс половинного деления с соответствующей кодировкой
продолжается до логического конца, т.е. до тех пор, пока это возможно.
В результате получается двоичный код для всех сообщений.
В табл. 7.1 показан описанный процесс.

162

Таблица 7.1

Сообщения

Вероятно­
сти р(ик)

Символы разря­
дов кодовых
слов
1

их

1/8

w2

1/8

1/3

1/8

2
0

3

Код
Шеннона Фано

0

ООО

1

001

0

010

1

011

0

100

1

101

0

110

1

111

0

w4

1/8

us

1/8

1

0
w6

и7

us

1/8

1
1/8

1

1/8

Для построенного кода среднее число символов алфавита в коде рав­
но п = 3. Энтропия множества сообщений равна H(U) — 8—log2 8 = 3
8
бит. Пропускная способность двоичного алфавита равна log2 2 = 1 бит.

В результате применения этой процедуры кодирования удалось достичь
- H(U)
,
нижнеи границы п =----------= 3 •
log2Z>
В дальнейшем под эффективностью кодирования будем понимать
отношение нижней границы к средней длине кодового слова:

nlog2 D
Совершенно очевидно, что эффективность кодирования лежит в диапа­
зоне 0 < Э < 1, а равенству й = —- соответствует эффективность
К
log2£>

эк=1.

163

Рассмотрим случай, когда сообщения неравновероятны, но вероятно­
сти их появления пропорциональны отрицательным степеням двойки.
При применении процедуры Шеннона - Фано целесообразно первона­
чальное множество расположить в порядке убывания вероятностей и
именно в такой последовательности пытаться проводить разбиения на
две примерно равновероятные группы. Как показывает практика по­
строения кодов, это обеспечивает наибольшую эффективность кодирова­
ния, так как в каждой группе будут фигурировать сообщения с равнове­
ликими вероятностями. Методика кодирования аналогична предыдущему
примеру. Процесс кодирования сведен в табл. 7.2.
Из таблицы видно, что число символов в каждом слове кода равно
собственной информации сообщения. Средняя длина кодовых слов равна

п = 1 — + 2 — 3 + 4 — 4 = 2,25,
2
8
16

а

энтропия

ансамбля

сообщений

#(^) = -l|log2J--2|log2|-4-^-log2 т^ = 2,25 бит. Для построен2
2
8
8
1о
1о
ного кода среднее число двоичных символов равно энтропии ансамбля
сообщений, т.е. код также оптимален в смысле минимума средней длины
=1).
Метод кодирования Шеннона - Фано легко обобщить на случай про­
извольного алфавита из D символов путем последовательного и равнове­
роятного разбиения множества сообщений на D групп, подгрупп и т.д.

Ясно также, что метод будет успешно работать, если р(ик) = D v (v -

целое число), т.е. вероятности являются отрицательными степенями чис­
ла символов алфавита, что обеспечивает равновероятность появления
символов.
Если р(ик ) Ф D~v, то группы не будут точно равновероятны. В этом
случае метод Шеннона - Фано не обязательно привет к коду с наимень­
шей возможной средней длиной. Более того, описанный метод построе­
ния кода Шеннона - Фано не всегда приводит к однозначному построе­
нию кода. Ведь при разбиении на подгруппы можно сделать большей по
вероятности как верхнюю, так и нижнюю подгруппу.

Наглядное представление множества кодовых слов можно получить с
использованием кодового дерева, метод образования которого для ранее
приведенного примера ясен из рис. 7.2.
При построении кодового дерева устанавливается соответствие между
сообщениями и концевыми узлами (вершинами). Требование, чтобы
164

только концевые узлы дерева соответствовали сообщениям, эквивалент­
но выполнению свойства префикса.
Таблица 7.2

Сообще­
ния Uk

Вероятности/?(«*)

щ

1/2

и2

1/8

и3

1/8

w4

1/16

и5

1/16

иб

Символы разрядов
кодовых слов

1

2

4

0

0
0

0

100

1

101

0

1100

1

1101

0

1110

1

1111

0

1

1/16

3

Код
Шеннона Фано

1

1
w7

1/16

Для того чтобы определить свойство префикса, допустим, что к-е

кодовое слово представляется как ак —

) , где ак3,...,акПк -

отдельные символы, составляющие кодовое слово. Любая последова­
тельность, составленная из начальной части ак , т.е.

для не­

которого i Nm + У рт~пк , и поэтому все они могут быть
4=1
k=j+Nm+\
включены в дерево. Поскольку в доказательстве т выбрано произвольно,
дерево с требуемыми концевыми узлами всегда может быть построено.
ТЕОРЕМА 7.2. Пусть D - число символов в кодовом алфавите, а

к=\

{пк},к = \,М - заданное множество целых положительных чисел. Pa­
in

венство у Д-"* =1 является необходимым и достаточным условием
4=1

того, чтобы заданное множество концевым узлов дерева было полным.
ДОКАЗАТЕЛЬСТВО
НЕОБХОДИМОСТЬ. Построено кодовое дерево с узлами порядка

п},п2,...,пм . Если множество концевых узлов полно, то они должны
исключить
все
узлы
порядка
п = тах{п1,п2,...,пм},
т.е.
м
м
У' Вп~п* = Д". Откуда следует:
Д-"* = 1.
4=1
к=\
М
ДОСТАТОЧНОСТЬ. Дано, что
Д-"* = 1. Любое множество узлов,

у

у
*=i

м
удовлетворяющее условию уд-"* =1, удовлетворяет и неравенству
4=1

м

у Д"‘ < 1, т'е- существует, по крайней мере, одно дерево с заданными
4=1

концевыми узлами порядков nl,n2,...,ni{ . Предположим, что это дерево
168

имеет, кроме заданных, еще узлы. Если бы это было так, то мы могли бы,
м

м

D~nt < 1, добавить в сумму

не нарушая неравенства

члены,
*=1

к=1

соответствующие этим узлам. Очевидно, что это невозможно, так как
м

= 1, не может иметь дополни-

дерево, удовлетворяющее условию

t=i
тельных узлов.
ТЕОРЕМА 7.3 (основная теорема кодирования). При заданном мно­
жестве сообщений {ик},к = \,М с энтропией H(U) и алфавитом, со­

стоящим из D символов, существует такой способ кодирования сообще­
ний множества посредством последовательностей символов, принадле­
жащих заданному алфавиту, что среднее число символов на сообщение
м

_

п = ^пкр(ик) будет удовлетворять неравенствам

log2 D

log2 D

ДОКАЗАТЕЛЬСТВО. Докажем неравенство H(U) — п log2 D < 0 .
Пусть р(Н1),..., />(«л/) - вероятности сообщений источника, а и1;..., пм длины

кодовых
|

М

Представим

слов.

//(£/)— и log2 Z)

в

виде

м

^T?(wjlog2----------- 1оёг D • Поместим -пк под знак логаi=l
Р(Рк) к=1
м

D~nt

рифма, объединим слагаемые и получим V
log 2---------- Далее
*=1
р(ук)
воспользуемся
известным
свойством
натурального
логарифма
In а < а -1:
—

1 Ji,

.

м

rj-n*

м

U1Z i=l

А=1

Последнее неравенство следует из неравенства Крафта, что и доказы­

< п ■ Заметим, что равенство имеет место тогда и только

вает
10g2£>

169

тогда, когда piu^.) — D ”к . Это условие совпадает с ранее получен­

ным условием оптимального кодирования по Шеннону — Фано.

"

H(U)

,

Докажем неравенство П
полученное неравенство умножаем на /*(«*)
м
м
-logzPQU

^пкр(ик)

и суммируем по к

1],

W) .

------------ 1-1, что и
log2Z)

завершает доказательство теоремы.

Рис. 7.4. Графическая интерпретация неравенств D

170

< p(uk)L;
р(а2 /a,) = p{a2 = aj /= ак}

L2;

р(а2 / аДг) = /?{ос3 =ad / cq = ак, a2 =ay} -»Z3;

p(at /aIa2...a,._1) = p{at = ат/щ - ak,oc2 =ay,...,a,._1 =as}
Совместная вероятность появления на выходе источника первых v
событий есть p(aja2...av) = р(ах)р(а2 Iа^.-.р^ Iap-.a^), а совме­

стное распределение (v - 1)-го и v-ro событий равно

/КА) = X-S^ 77(4) = - XH«i)10g2 А**]);
otje-dj

а, ос2 ->77(Л2/4) = -£ ^Xaia2)log2Xa2/ai);
“1е А “2е Л

«^4 а2еЛ2

ci] а2 ... а,. -> ff(Al/A1...Aj_1) =
а2е42

а/бД

= - S S • •Х^а1а2-“1)10ё2/’(а,/а1а2...а,._1).
oqeXj а2сЛ2

а,-еД.

Обозначим через H(At / Л4') условную энтропию z'-ro события при
условии, что v предшествующих событий уже произошло (рис. 8.4):

,)log2p(aI./ai_v...a,._i) =

77(4/Лу) =

= H(Ai/Ai_1...Ai_v).

Рис. 8.4. Иллюстрация условной энтропии Я(Д /?Г)
ОПРЕДЕЛЕНИЕ 8.1. Источник информации называют стационар­
ным, если условная вероятность появления события 0С(. при условии
задания v предшествующих событий не зависит от номера i для всех
целых V, т.е.

Хос, /a.-r -az-v) = p(aj / осу_]...ocy_v); i, j > v.
180

Таким образом, для стационарных источников все вероятности инва­
риантны относительно любых сдвигов вдоль последовательности собы­

тий a1OC2...OC|....OCv или, говоря другими словами, статистические харак­

теристики процесса появления событий на выходе источника не зависят
от выбора начала отсчета времени или наблюдения (рис. 8.5).
Для
стационарных
источников
справедливо
равенство
Я(4 / Av) = Я(Д. / Av) для всех i, j>V.
v
•

v

ОС,

0Су

♦ ... »»,..** •—

j

i

p{ai=ak/at_1=am,...,ai_y=as} =
~ p{^j ~ ак !^j-i

— flmr"?0Cy_v — as}

Рис. 8.5. Иллюстрация свойства стационарности
ТЕОРЕМА 8.2. Для стационарного источника условные энтропии

событий Н(А^/ Av) при условии, что заданы все предшествующие
события, образуют монотонную невозрастающую последовательность.
ДОКАЗАТЕЛЬСТВО. При рассмотрении свойств энтропии доказа­
но, что
Я(Д /Av)< Н(А, / Д"’1) < Я(4 / Д'"2) 0 последовательность событий, порождаемых дис­
кретным стационарным источником, можно закодировать в последова­
тельность символов, выбираемых из заданного алфавита, таким образом,
чтобы среднее по ансамблю число символов на событие удовлетворяло
- Я(Л/Л~)
неравенству п