Лабораторная работа №2
Информация в непрерывных сообщениях
Цель работы. Изучение методов определения количества инфор-мации в непрерывных сообщениях.
Непрерывные сообщения- это сообщения, построенные на осно-ве бесконечного алфавита, поэтому соотношения, используемые дляопределения количества информации в дискретных сообщениях дляних в общем случае не применимы. Исключение составляют лишь не-прерывные сообщения, у которых символы появляются равновероят-но, спектр ограничен, а сами они проявляются на некотором уровнешумов.
Действительно, такие сообщения могут быть представлены дис-кретными сообщениями с объемом алфавита, равным числу различи-мых уровней, и числом символов в сообщении, определяемым теоре-мой Котельникова, а количество информации в них может быть по-считано с помощью формулы Хартли.
Число различимых уровней (L) определяют на основе соотноше-ния:
13 EMBED Equation.3 1415,
где Рс мощность сообщения (сигнала);
Рш мощность шума.
Теорема Котельникова гласит, что для передачи непрерывногосообщения длительностью Т и граничной частотой в спектре Fm дос-таточно передать равноотстоящие мгновенные значения с интервалом
·t и общим числом N , причем N
·2TFm+1,а
·t
·1/2Fm.
В соответствии с формулой Хартли, количество информации со-держащееся в таком непрерывном сообщении (I) и его энтропия (H)могут быть найдены по формулам:
13 EMBED Equation.3 1415
13 EMBED Equation.3 1415
В общем случае, когда символы непрерывного сообщения нерав-новероятны и их появление описывается некоторой плотностью рас-пределения вероятности p(x), которая характеризует вероятность по-падания символа непрерывного сообщения x в некий интервал
·x, для подсчета информационных характеристик пользуются энтропией не-прерывного сообщения.
Энтропия непрерывных сообщений, как показано в §8, равна бес-конечности, однако выражение, ее описывающее, представляет собойсумму двух слагаемых, одно из которых стремится к бесконечностиодинаковым образом для любых непрерывных сообщений, а второеявляется конечным и зависит от закона распределения символов не-прерывного сообщения и называется дифференциальной или относи-тельной энтропией.
Дифференциальная энтропия (Hx) определяется выражением:
13 EMBED Equation.3 1415
Практическое использование дифференциальной энтропии осно-вано на предположении, что непрерывные сообщения проявляются нанекотором уровне аддитивных шумов (что всегда справедливо для ре-альных сообщений). В этом случае энтропия реального непрерывно-го сообщения Н равна разности энтропий принятого (зашумленного)сообщения (Нс) и шума (Нш), то есть
Н= Нс-Нш.
Содержание работы.
1.Подсчитать количество информации в реальном непрерывном сообщении при наличии аддитивного шума при условии, что симво-лы сообщения появляются равновероятно.
В качестве такого непрерывного сообщения использовать сигналU(t):
13 EMBED Equation.3 1415
где k Ваш номер по списку;
n=k+2, m=k+4;
A,B,C берется из таблицы и определяется Вашим номером посписку.
Длительность сигнала U(t) равна 2 сек. (Т=2сек.). В качестве ад-дитивного шума использовать с
·лучайный сигнал X(t), получаемый спомощью генератора случайных чисел, значения которого лежат винтервале от –D/2 до D/2 (D=1,2).
2.Подсчитать дифференциальную энтропию зашумленного адди-тивным шумом сигнала Q(t)=U(t)+ X(t) и дифференциальную энт-ропию шума X(t) и определить среднее количество информации, при-ходящееся на один символ, которое может быть извлечено из зашум-ленного сигнада Q(t),считая, что все сигналы принимают свои зна-чения с равной вероятностью.
Выполнение. Работа выполняется на персональном компьютерев среде программного продукта «Mathcad»:
П.1.а) Построить графики сигналов U(t), X(t) и Q(t)=U(t)+ X(t). б) Представитьнепрерывный Q(t) в виде последовательности от-счетов в соответствии с теоремой Котельникова. Следует учесть, что максимальная частота в спектре сигнала U(t) определяется круговойчастотой m (размерность: рад/сек), а макисмальная частота спектра,входящая в выражение теоремы Котельникова, является цикличес-кой частотой (размерность6 сек-1=гц), поэтому справедливо соотно-шение
13 EMBED Equation.3 1415.
в) Построить на одном экране графики Q(t) и Qk(t), где Qk(t)- гра-фик взятия выборок сигнала Q(t).
г) Вычислить мощность полезного сигнала Рс и мощность шумаРш по формулам
13 EMBED Equation.3 1415.
д) Найти количество информации (I), содержащееся в непрерыв-ном сообщении при наличии аддитивного шума, и его энтропию (Н).П.2. а) Выразить аналитически функцию плотности распределениявероятности сигнала Q(t) и построить ее график.
Так как сигнал U(t) и шум X(t), по условию, принимают свои зна-чения с одинаковой вероятностью, то и сигнал Q(t)=U(t)+ X(t) бу-дет принимать все свои хначения равновероятно во всем диапазонезначений от -(A+B+C+D/2) до (A+B+C+D/2).
Поэтому его функция плотности распределения вероятности p(Q)(с учетом того, что 13 EMBED Equation.3 1415) имеет следующий вид:
13 EMBED Equation.3 1415 13 EMBED Equation.3 1415
Программа вычисления этой функции может быть реализованана основе оператора условного перехода if следующим образом:
Q := -10, –9,9.10
13 EMBED Equation.3 1415
б) Выразить аналитически функцию плотности распределениявероятности шума p(x) и построить е график аналогично тому, какэто сделано для функции плотности вероятности сигнала Q(t):
13 EMBED Equation.3 1415
в) Определить дифференциальную энтропию сигнала Q(t) и диф-ференциальную энтропию шума X(t) в соответствии с определением дифференциальной энтропии:
13 EMBED Equation.3 1415
2.Найти среднее количество информации, приходящееся на одинсимвол зашумленного сигнала, как разность между Нс и Нш и срав-нить ее с энтропией зашумленного сигнала Н, вычисленного в п.1 этойлабораторной работы.
Контрольные вопросы
1. Какие источники сообщений называют непрерывными?
Сфрормулируйте теорему Котельникова.
3. Какое соотношение определяет число различимых уровней непрерывного сообщения при наличии аддитивного шума?
4. Дайте определение дифференциальной энтропии.
5. Чему равна полная энтропия непрерывного сообщения и из чего она слагается?
Информация в непрерывных сообщениях
Цель работы. Изучение методов определения количества инфор-мации в непрерывных сообщениях.
Непрерывные сообщения- это сообщения, построенные на осно-ве бесконечного алфавита, поэтому соотношения, используемые дляопределения количества информации в дискретных сообщениях дляних в общем случае не применимы. Исключение составляют лишь не-прерывные сообщения, у которых символы появляются равновероят-но, спектр ограничен, а сами они проявляются на некотором уровнешумов.
Действительно, такие сообщения могут быть представлены дис-кретными сообщениями с объемом алфавита, равным числу различи-мых уровней, и числом символов в сообщении, определяемым теоре-мой Котельникова, а количество информации в них может быть по-считано с помощью формулы Хартли.
Число различимых уровней (L) определяют на основе соотноше-ния:
13 EMBED Equation.3 1415,
где Рс мощность сообщения (сигнала);
Рш мощность шума.
Теорема Котельникова гласит, что для передачи непрерывногосообщения длительностью Т и граничной частотой в спектре Fm дос-таточно передать равноотстоящие мгновенные значения с интервалом
·t и общим числом N , причем N
·2TFm+1,а
·t
·1/2Fm.
В соответствии с формулой Хартли, количество информации со-держащееся в таком непрерывном сообщении (I) и его энтропия (H)могут быть найдены по формулам:
13 EMBED Equation.3 1415
13 EMBED Equation.3 1415
В общем случае, когда символы непрерывного сообщения нерав-новероятны и их появление описывается некоторой плотностью рас-пределения вероятности p(x), которая характеризует вероятность по-падания символа непрерывного сообщения x в некий интервал
·x, для подсчета информационных характеристик пользуются энтропией не-прерывного сообщения.
Энтропия непрерывных сообщений, как показано в §8, равна бес-конечности, однако выражение, ее описывающее, представляет собойсумму двух слагаемых, одно из которых стремится к бесконечностиодинаковым образом для любых непрерывных сообщений, а второеявляется конечным и зависит от закона распределения символов не-прерывного сообщения и называется дифференциальной или относи-тельной энтропией.
Дифференциальная энтропия (Hx) определяется выражением:
13 EMBED Equation.3 1415
Практическое использование дифференциальной энтропии осно-вано на предположении, что непрерывные сообщения проявляются нанекотором уровне аддитивных шумов (что всегда справедливо для ре-альных сообщений). В этом случае энтропия реального непрерывно-го сообщения Н равна разности энтропий принятого (зашумленного)сообщения (Нс) и шума (Нш), то есть
Н= Нс-Нш.
Содержание работы.
1.Подсчитать количество информации в реальном непрерывном сообщении при наличии аддитивного шума при условии, что симво-лы сообщения появляются равновероятно.
В качестве такого непрерывного сообщения использовать сигналU(t):
13 EMBED Equation.3 1415
где k Ваш номер по списку;
n=k+2, m=k+4;
A,B,C берется из таблицы и определяется Вашим номером посписку.
Длительность сигнала U(t) равна 2 сек. (Т=2сек.). В качестве ад-дитивного шума использовать с
·лучайный сигнал X(t), получаемый спомощью генератора случайных чисел, значения которого лежат винтервале от –D/2 до D/2 (D=1,2).
2.Подсчитать дифференциальную энтропию зашумленного адди-тивным шумом сигнала Q(t)=U(t)+ X(t) и дифференциальную энт-ропию шума X(t) и определить среднее количество информации, при-ходящееся на один символ, которое может быть извлечено из зашум-ленного сигнада Q(t),считая, что все сигналы принимают свои зна-чения с равной вероятностью.
Выполнение. Работа выполняется на персональном компьютерев среде программного продукта «Mathcad»:
П.1.а) Построить графики сигналов U(t), X(t) и Q(t)=U(t)+ X(t). б) Представитьнепрерывный Q(t) в виде последовательности от-счетов в соответствии с теоремой Котельникова. Следует учесть, что максимальная частота в спектре сигнала U(t) определяется круговойчастотой m (размерность: рад/сек), а макисмальная частота спектра,входящая в выражение теоремы Котельникова, является цикличес-кой частотой (размерность6 сек-1=гц), поэтому справедливо соотно-шение
13 EMBED Equation.3 1415.
в) Построить на одном экране графики Q(t) и Qk(t), где Qk(t)- гра-фик взятия выборок сигнала Q(t).
г) Вычислить мощность полезного сигнала Рс и мощность шумаРш по формулам
13 EMBED Equation.3 1415.
д) Найти количество информации (I), содержащееся в непрерыв-ном сообщении при наличии аддитивного шума, и его энтропию (Н).П.2. а) Выразить аналитически функцию плотности распределениявероятности сигнала Q(t) и построить ее график.
Так как сигнал U(t) и шум X(t), по условию, принимают свои зна-чения с одинаковой вероятностью, то и сигнал Q(t)=U(t)+ X(t) бу-дет принимать все свои хначения равновероятно во всем диапазонезначений от -(A+B+C+D/2) до (A+B+C+D/2).
Поэтому его функция плотности распределения вероятности p(Q)(с учетом того, что 13 EMBED Equation.3 1415) имеет следующий вид:
13 EMBED Equation.3 1415 13 EMBED Equation.3 1415
Программа вычисления этой функции может быть реализованана основе оператора условного перехода if следующим образом:
Q := -10, –9,9.10
13 EMBED Equation.3 1415
б) Выразить аналитически функцию плотности распределениявероятности шума p(x) и построить е график аналогично тому, какэто сделано для функции плотности вероятности сигнала Q(t):
13 EMBED Equation.3 1415
в) Определить дифференциальную энтропию сигнала Q(t) и диф-ференциальную энтропию шума X(t) в соответствии с определением дифференциальной энтропии:
13 EMBED Equation.3 1415
2.Найти среднее количество информации, приходящееся на одинсимвол зашумленного сигнала, как разность между Нс и Нш и срав-нить ее с энтропией зашумленного сигнала Н, вычисленного в п.1 этойлабораторной работы.
Контрольные вопросы
1. Какие источники сообщений называют непрерывными?
Сфрормулируйте теорему Котельникова.
3. Какое соотношение определяет число различимых уровней непрерывного сообщения при наличии аддитивного шума?
4. Дайте определение дифференциальной энтропии.
5. Чему равна полная энтропия непрерывного сообщения и из чего она слагается?