Лаб. работа №2

Лабораторная работа №2

Информация в непрерывных сообщениях

Цель работы. Изучение методов определения количества инфор- мации в непрерывных сообщениях.
Непрерывные сообщения- это сообщения, построенные на осно- ве бесконечного алфавита, поэтому соотношения, используемые для определения количества информации в дискретных сообщениях для них в общем случае не применимы. Исключение составляют лишь не- прерывные сообщения, у которых символы появляются равновероят- но, спектр ограничен, а сами они проявляются на некотором уровне шумов.
Действительно, такие сообщения могут быть представлены дис-кретными сообщениями с объемом алфавита, равным числу различи- мых уровней, и числом символов в сообщении, определяемым теоре- мой Котельникова, а количество информации в них может быть по- считано с помощью формулы Хартли.
Число различимых уровней (L) определяют на основе соотноше- ния:
13 EMBED Equation.3 1415,
где Рс мощность сообщения (сигнала);
Рш мощность шума.
Теорема Котельникова гласит, что для передачи непрерывного сообщения длительностью Т и граничной частотой в спектре Fm дос- таточно передать равноотстоящие мгновенные значения с интервалом
·t и общим числом N , причем N
·2TFm+1,а
·t
·1/2Fm.
В соответствии с формулой Хартли, количество информации со-держащееся в таком непрерывном сообщении (I) и его энтропия (H) могут быть найдены по формулам:
13 EMBED Equation.3 1415
13 EMBED Equation.3 1415

В общем случае, когда символы непрерывного сообщения нерав-новероятны и их появление описывается некоторой плотностью рас- пределения вероятности p(x), которая характеризует вероятность по- падания символа непрерывного сообщения x в некий интервал
·x, для подсчета информационных характеристик пользуются энтропией не-прерывного сообщения.
Энтропия непрерывных сообщений, как показано в §8, равна бес- конечности, однако выражение, ее описывающее, представляет собой сумму двух слагаемых, одно из которых стремится к бесконечности одинаковым образом для любых непрерывных сообщений, а второе является конечным и зависит от закона распределения символов не- прерывного сообщения и называется дифференциальной или относи- тельной энтропией.
Дифференциальная энтропия (Hx) определяется выражением:

13 EMBED Equation.3 1415
Практическое использование дифференциальной энтропии осно- вано на предположении, что непрерывные сообщения проявляются на некотором уровне аддитивных шумов (что всегда справедливо для ре- альных сообщений). В этом случае энтропия реального непрерывно- го сообщения Н равна разности энтропий принятого (зашумленного) сообщения (Нс) и шума (Нш), то есть

Н= Нс-Нш.
Содержание работы.
1.Подсчитать количество информации в реальном непрерывном сообщении при наличии аддитивного шума при условии, что симво- лы сообщения появляются равновероятно.
В качестве такого непрерывного сообщения использовать сигнал U(t):
13 EMBED Equation.3 1415

где k Ваш номер по списку;
n=k+2, m=k+4;
A,B,C берется из таблицы и определяется Вашим номером по списку.
Длительность сигнала U(t) равна 2 сек. (Т=2сек.). В качестве ад- дитивного шума использовать с
·лучайный сигнал X(t), получаемый с помощью генератора случайных чисел, значения которого лежат в интервале от –D/2 до D/2 (D=1,2).
2.Подсчитать дифференциальную энтропию зашумленного адди- тивным шумом сигнала Q(t)=U(t)+ X(t) и дифференциальную энт- ропию шума X(t) и определить среднее количество информации, при-ходящееся на один символ, которое может быть извлечено из зашум- ленного сигнада Q(t),считая, что все сигналы принимают свои зна- чения с равной вероятностью.

Выполнение. Работа выполняется на персональном компьютере в среде программного продукта «Mathcad»:
П.1.а) Построить графики сигналов U(t), X(t) и Q(t)=U(t)+ X(t). б) Представитьнепрерывный Q(t) в виде последовательности от- счетов в соответствии с теоремой Котельникова. Следует учесть, что максимальная частота в спектре сигнала U(t) определяется круговой частотой m (размерность: рад/сек), а макисмальная частота спектра, входящая в выражение теоремы Котельникова, является цикличес- кой частотой (размерность6 сек-1=гц), поэтому справедливо соотно- шение
13 EMBED Equation.3 1415.
в) Построить на одном экране графики Q(t) и Qk(t), где Qk(t)- гра- фик взятия выборок сигнала Q(t).
г) Вычислить мощность полезного сигнала Рс и мощность шума Рш по формулам
13 EMBED Equation.3 1415.
д) Найти количество информации (I), содержащееся в непрерыв- ном сообщении при наличии аддитивного шума, и его энтропию (Н). П.2. а) Выразить аналитически функцию плотности распределения вероятности сигнала Q(t) и построить ее график.
Так как сигнал U(t) и шум X(t), по условию, принимают свои зна- чения с одинаковой вероятностью, то и сигнал Q(t)=U(t)+ X(t) бу- дет принимать все свои хначения равновероятно во всем диапазоне значений от -(A+B+C+D/2) до (A+B+C+D/2).
Поэтому его функция плотности распределения вероятности p(Q) (с учетом того, что 13 EMBED Equation.3 1415) имеет следующий вид:
13 EMBED Equation.3 1415 13 EMBED Equation.3 1415
Программа вычисления этой функции может быть реализована на основе оператора условного перехода if следующим образом:

Q := -10, –9,9.10
13 EMBED Equation.3 1415
б) Выразить аналитически функцию плотности распределения вероятности шума p(x) и построить е график аналогично тому, как это сделано для функции плотности вероятности сигнала Q(t):

13 EMBED Equation.3 1415

в) Определить дифференциальную энтропию сигнала Q(t) и диф- ференциальную энтропию шума X(t) в соответствии с определением дифференциальной энтропии:

13 EMBED Equation.3 1415

2.Найти среднее количество информации, приходящееся на один символ зашумленного сигнала, как разность между Нс и Нш и срав- нить ее с энтропией зашумленного сигнала Н, вычисленного в п.1 этой лабораторной работы.

Контрольные вопросы
1. Какие источники сообщений называют непрерывными?
Сфрормулируйте теорему Котельникова.
3. Какое соотношение определяет число различимых уровней непрерывного сообщения при наличии аддитивного шума?
4. Дайте определение дифференциальной энтропии.
5. Чему равна полная энтропия непрерывного сообщения и из чего она слагается?








Приложенные файлы

  • doc 218765
    Размер файла: 57 kB Загрузок: 0

Добавить комментарий