Кодирование для каналов с шумом
В предыдущих разделах мы решали задачу кодирования источников. Цель кодирования
состояла в уменьшении затрат на передачу либо хранение информации. Решение задачи
может быть интерпретировано как «устранение» из потока передаваемых данных
избыточной информации, без которой возможно однозначное восстановление сообщений
источника.
В настоящем разделе рассматривается кодирование с целью защиты передаваемой
информации от помех и искажений при передаче по каналам связи, либо при хранении
информации. Решение задачи состоит в том, что при кодировании в информацию
искусственно вносится избыточность таким образом, чтобы при искажении части
передаваемых данных сообщения источника могли быть правильно декодированы. Таким
образом, в некотором смысле задача кодирования для каналов противоположна задаче
кодирования источника.
В повседневной жизни мы используем примерно такой же способ защиты информации
от помех. Избыточность языка общения людей довольно высока (неслучайно тексты
сжимаются программами-архиваторами почти в 5 раз). Эта избыточность позволяет
хорошо понимать собеседника, даже если разговор происходит в шумном помещении, или
по телефонному каналу с большим уровнем помех, или если дикция собеседника
несовершенна.
Для построения эффективной системы связи теория информации рекомендует сначала
удалить избыточность из сообщений для уменьшения объема передаваемой информации,
а затем вводить избыточность для защиты информации от ошибок. Приведенный выше
пример показывает, что возможен другой путь: можно использовать уже имеющуюся
избыточность источника. Однако раздельное решение задачи кодирования источников и
задачи кодирования для каналов оказывается более продуктивным и позволяет добиться
впечатляющих результатов.
В процессе изучения кодирования источников мы описали конструктивные методы
кодирования, реально используемые сегодня в практике сжимающего кодирования. К
сожалению, в задаче кодирования для каналов связи мы не сумеем в рамках короткого
курса пройти путь от постановки задачи до используемых на практике способов защиты
информации от ошибок. Более того, теория кодов, исправляющих ошибки – тема
самостоятельного курса, опирающегося на математический аппарат линейной алгебры,
комбинаторики и теории конечных полей Галуа.
Раздел, посвященный каналам связи, начинается с постановки задачи кодирования для
каналов. Далее рассматриваются модели каналов. Затем вводится понятие взаимной
информации между случайными ансамблями, и для самых простых моделей
устанавливается предел достижимой скорости кодирования (пропускная способность
каналов). Завершается
В предыдущих разделах мы решали задачу кодирования источников. Цель кодирования
состояла в уменьшении затрат на передачу либо хранение информации. Решение задачи
может быть интерпретировано как «устранение» из потока передаваемых данных
избыточной информации, без которой возможно однозначное восстановление сообщений
источника.
В настоящем разделе рассматривается кодирование с целью защиты передаваемой
информации от помех и искажений при передаче по каналам связи, либо при хранении
информации. Решение задачи состоит в том, что при кодировании в информацию
искусственно вносится избыточность таким образом, чтобы при искажении части
передаваемых данных сообщения источника могли быть правильно декодированы. Таким
образом, в некотором смысле задача кодирования для каналов противоположна задаче
кодирования источника.
В повседневной жизни мы используем примерно такой же способ защиты информации
от помех. Избыточность языка общения людей довольно высока (неслучайно тексты
сжимаются программами-архиваторами почти в 5 раз). Эта избыточность позволяет
хорошо понимать собеседника, даже если разговор происходит в шумном помещении, или
по телефонному каналу с большим уровнем помех, или если дикция собеседника
несовершенна.
Для построения эффективной системы связи теория информации рекомендует сначала
удалить избыточность из сообщений для уменьшения объема передаваемой информации,
а затем вводить избыточность для защиты информации от ошибок. Приведенный выше
пример показывает, что возможен другой путь: можно использовать уже имеющуюся
избыточность источника. Однако раздельное решение задачи кодирования источников и
задачи кодирования для каналов оказывается более продуктивным и позволяет добиться
впечатляющих результатов.
В процессе изучения кодирования источников мы описали конструктивные методы
кодирования, реально используемые сегодня в практике сжимающего кодирования. К
сожалению, в задаче кодирования для каналов связи мы не сумеем в рамках короткого
курса пройти путь от постановки задачи до используемых на практике способов защиты
информации от ошибок. Более того, теория кодов, исправляющих ошибки – тема
самостоятельного курса, опирающегося на математический аппарат линейной алгебры,
комбинаторики и теории конечных полей Галуа.
Раздел, посвященный каналам связи, начинается с постановки задачи кодирования для
каналов. Далее рассматриваются модели каналов. Затем вводится понятие взаимной
информации между случайными ансамблями, и для самых простых моделей
устанавливается предел достижимой скорости кодирования (пропускная способность
каналов). Завершается