Лабораторна робота №8-9

Тема: Характеристики дискретних джерел інформації

Мета: навчатися визначати продуктивність дискретного джерела повідомлень, швидкість передачі інформації каналами зв’язку.

Теоретичні відомості

Продуктивність дискретного джерела інформації. Швидкість передачі інформації

Нехай дискретне джерело X видає послідовність повідомлень {xi}, заданих рядом ймовірностей {pi}.

Якщо джерелом вибирається одне повідомлення xi, то ним виробляється певна кількість інформації. Тоді швидкість утворення джерелом інформації повідомлень - продуктивність джерела щодо конкретного повідомлення можна визначити так:

 

,                                                    (9.1)

 

де через ti позначено проміжок часу вибору повідомлення xi.

Оскільки джерелом за деякий часовий інтервал вибирається велика кількість повідомлень і в загальному випадку ti¹tj, то продуктивність джерела інформації прийнято характеризувати середнім значенням

 

,                                   (9.2)

 

де tсер – середній час вибору джерелом одного повідомлення.

Оскільки на вибір кожного повідомлення yj джерелом Y витрачається час t, то швидкість передачі інформації по каналу зв'язку знаходиться за формулою

 

.                                          (9.3)

Інформаційні втрати при передачі інформації по дискретному каналу зв'язку

Інформаційні втрати в каналі визначаються умовною ентропією одного джерела щодо іншого, а кількість переданої інформації - безумовною ентропією джерела і інформаційними втратами

 

I(X,Y)=HX-H(X/Y)=HX-(H(X,Y)-HY)=HX+HY-H(X,Y),                (9.4)

 

I(Y,X)=HY-H(Y/X)=HY-(H(Y,X)-HX)=HY+HX-H(Y,X),                 (9.5)

 

 

Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.

Максимально можлива швидкість передачі інформації по каналу називається пропускною здатністю, або ємністю  каналу зв'язку С.

Тоді пропускна здатність каналу визначається за формулою

 

 .                                      (9.6)

 

Приклади виконання завдань

Приклад_1. Матриця сумісних ймовірностей каналу зв'язку має вигляд

.

            Знайти інформаційні втрати, пропускну здатність і швидкість передачі інформації по дискретному каналу зв'язку, якщо час передачі одного повідомлення t=10-3 с. 

Розв'язання

            Інформаційні втрати в каналі зв'язку визначаються умовною ентропією H(X/Y) одного джерела щодо іншого.

            Для того щоб обчислити повну умовну ентропію H(X/Y), потрібно знайти розподіли безумовних ймовірностей p(xi), p(yj) і побудувати матрицю умовних ймовірностей p(xi/yj).

            Безумовний закон розподілу p(xi) знаходимо, виконавши в матриці сумісних ймовірностей p(xi, yj) згортку за j:

            p(x1)= 0,15+0,15+0=0,3,  i=1;

            p(x2)= 0+0,25+0,1=0,35,  i=2;

            p(x3)= 0+0,2+0,15=0,35,  i=3.

            Перевіряємо умову нормування

                        p(x1)+ p(x2)+ p(x3)=0,3+0,35+0,35=1.

            Виходячи з розподілу безумовних ймовірностей д. в. в. X, обчислимо її ентропію:

            (біт/сим).

            Безумовний закон розподілу p(yj) знаходимо, виконавши в матриці сумісних ймовірностей p(xiyj) згортку за i:

            p(y1)= 0,15+0+0=0,15,  j=1;

            p(y2)= 0,15+0,25+0,2=0,6,  j=2;

            p(y3)= 0+0,1+0,15=0,25,  j=3.

            Перевіряємо умову нормування:

                        p(y1)+ p(y2)+ p(y3)=0,15+0,6+0,25=1.

            Матрицю умовних ймовірностей знаходимо, скориставшись формулою множення ймовірностей  p(xi, yj)=p(yj)×p(xi/yj).

            Звідси випливає, що .

            Отже, матриця умовних ймовірностей p(xi/yj) знаходиться так:

.

            Для матриці умовних ймовірностей p(xi/yj) повинна виконуватися умова нормування

.

            Перевіряємо цю умову:

                        ,

                        ,

                        .

            Скориставшись матрицею умовний ймовірностей p(xi/yj), обчислимо часткові умовні ентропії X стосовно Y:

            (біт/сим);

           

            (біт/сим);

               (біт/сим).

            Виходячи з безумовного закону розподілу д. в. в. Y та знайдених часткових умовних ентропій H(X/yj), відшукуємо їх математичне сподівання – загальну умовну ентропію

(біт/сим). Отже, інформаційні втрати в каналі зв'язку  H(X/Y)»1,18 (біт/сим).

            Пропускна здатність каналу із шумом обчислюється за формулою

,

де через k позначено об'єм алфавіту джерела; t - час вибору повідомлення джерелом.

Отже, отримаємо (бод).

            Кількість переданої по каналу інформації, що припадає на одне повідомлення джерела, знаходиться, виходячи із середньої кількості інформації, що виробляється джерелом – його ентропії і інформаційних втрат в каналі:

I(XY)=HX-H(X/Y)=1,581-1,176»0,406 (біт/сим).

            Швидкість передачі інформації  знаходиться так:

(бод).

Відповідь:  H(X/Y)»1,18 (бітим);  C»409 (бод); v=406 (бод). 

 

Завдання на лабораторну роботу

Завдання 1

Джерело повідомлень X задано ансамблем {x1, x2, x3} з ймовірностями p(x1)=0,65, p(x2)=0,25, p(x3)=0,1. Матриця умовних ймовірностей каналу має вигляд

.

Знайти кількість інформації, передану в одному й 100 повідомленнях джерела, інформаційні втрати в каналі при передачі 100 повідомлень з алфавіту X?

Завдання 2

Канал передачі інформації заданий ансамблем {x1, x2, x3} з ймовірностями {0,3; 0,2; 0,5}. Матриця умовних ймовірностей каналу має вигляд

.

Знайти інформаційні втрати в каналі, пропускну здатність каналу й швидкість передачі повідомлень джерелом, якщо час передачі одного повідомлення    t=10-3 c.               

Завдання 3

Матриця сумісних ймовірностей каналу зв'язку має вигляд

.

Знайти інформаційні втрати в каналі й швидкість передачі інформації, якщо час передачі одного повідомлення t=10-3 c.

 

 

 

Завдання 4

Знайти кількість переданої інформації в одному повідомленні джерела й пропускну здатність каналу зв'язку при t=10-3 c, де t - час, затрачуваний на передачу одного повідомлення, якщо матриця сумісних ймовірностей каналу має вигляд

.

Завдання 5

Знайти пропускну здатність каналу зв'язку при t=10-2 c, де t - час, затрачуваний на передачу одного повідомлення, якщо матриця сумісних ймовірностей каналу має вигляд

.

Чи можлива безпомилкова передача в цьому каналі, якщо продуктивність джерела Vдж=96 сим/с?

Завдання 6

Знайти інформаційні втрати в каналі й пропускну здатність дискретного каналу зв'язку при t=10-3 c, де t - час, затрачуваний на передачу одного повідомлення, якщо матриця сумісних ймовірностей каналу має вигляд

.

Чи можлива безпомилкова передача інформації в цьому каналі, якщо продуктивність джерела Vдж=860 сим/с?

Завдання 7

Визначити продуктивність джерела з ансамблем А = { а1, а2, а3 а4, а5, а6, а7, а8} та рi Î {0,1; 0,2; 0,1; 0,15; 0,05; 0,1; 0,2; 0,1}; ti Î {0,01; 0,001; 0,01; 0,005; 0,008; 0,006; 0,003; 0,001}. За яких умов ця продуктивність буде максимальною? Визначити її значення для того самого розподілу ti.

 

Після виконання завдань оформити та здати звіт викладачу.