Лабораторна робота №1-2

Тема: Ансамблі та джерела повідомлень. Кількісна оцінка інформації

Мета: розглянути способи вимірювання кількість інформації в повідомленні

Теоретичні відомості

Ансамбль повідомлень

Дискретне джерело повідомлень за одиницю часу створює одне з n  можливих повідомлень  a1, а2,..., аn . Множина А = {a1, ..., аn} називається дискретною множиною повідомлень  або просто множиною повідомлень А. Таким чином, дискретне джерело за одиницю часу створює певне повідомлення ai Î А з імовірністю р(ai) = рiÎР.

Дві множини А та Р дають достатньо повний опис дискретного джерела повідомлень у вигляді його ймовірнісної моделі, а тому разом вони утворюють ансамбль повідомлень дискретного джерела.

Вважається, що повідомлення передаються за допомогою деякого числа символів n, які надсилаються послідовно. Якщо кожен із символів може приймати m різних значень, то це m складає алфавіт, а n – довжина повідомлення. Тоді кількість повідомлень визначається як

*    експоненціальний закон.

            При m=2 (“0” або “1”) та n=3, M = 23 = 8 (тобто, 000,001,010,011,100,101,110,111).

Інформація та ймовірності

Якщо є набір М повідомлень, сформульованих у відповідності з експоненційним законом, тобто із рівномірних рівноправних символів, то всі ці повідомлення володіють однаковою ймовірністю. Тобто сума ймовірністей по цьому набору повідомлень рівна 1; тоді ймовірність одного повідомлення

 ,

і тоді ; тобто

Знак “-“ поставлений щоб зробити значення від логарифму додатнім log числа меншого 1, відємний. Таким чином ще одне формування закону Хартлі таке:

            Кількість інформації рівна логарифму ймовірності повідомлення з протилежним знаком.

Статистична міра інформації. Формула Шенона

            Якщо ймовірності повідомлень Р не є рівним, тобто при формуванні повідомлень враховуються їх певна статистична структура, тоді кожний символ у повідомленні володіє ймовірністю Рі.

            Шенон вводить поняття про середню інформацію на одне повідомлення:

,

де Р(с) деяка середня ймовірність одного повідомлення.

Середня кількість інформації у повідомленні знаходиться як

При дуже великій кількості n символів в повідомленні вступає в силу закон великих чисел, згідно якого ймовірності символів можуть визначатися як їх частота появи в повідомленні.

,

де       Pi – відносна частота появи сигналу зі значенням I ;

            niчисло символів зі значенням і ;

            n – загальна довжина повідомлення.

Статистична міра інформації. Формула Шенона

            Якщо ймовірності повідомлень Р не є рівним, тобто при формуванні повідомлень враховуються їх певна статистична структура, тоді кожний символ у повідомленні володіє ймовірністю Рі.

            Шенон вводить поняття про середню інформацію на одне повідомлення:

,

де Р(с) деяка середня ймовірність одного повідомлення.

Середня кількість інформації у повідомленні знаходиться як

При дуже великій кількості n символів в повідомленні вступає в силу закон великих чисел, згідно якого ймовірності символів можуть визначатися як їх частота появи в повідомленні.

,

де       Pi – відносна частота появи сигналу зі значенням I ;

            niчисло символів зі значенням і ;

            n – загальна довжина повідомлення.

 

Приклади виконання завдань

Приклад_1. Задано три повідомлення  А, B, С - множини літер прізвища, імені, по-батькові українською та англійською мовою відповідно. Визначити кількість інформації, що містить кожне повідомлення.

Розв’язання. Джерело повідомлень вибирає повідомлення з множини літер прізвища, імені, по-батькові українською мовою

ІВАНОВ_ІВАН_ІВАНОВИЧ                     N=20

Розрахунок ансамблю джерела повідомлень

A={І, В, А, Н, О, И, Ч, _}

Кількість різних повідомлень                 k=8.

                   

літера

І

В

А

Н

О

И

Ч

_

ai

1

2

3

4

5

6

7

8

ni

3

5

3

3

2

1

1

2

pi

0.15

0.25

0.15

0.15

0.10

0.05

0.05

0.10

 

Кількість інформації, що містить кожне повідомлення

ai

1

2

3

4

5

6

7

8

pi

0.15

0.25

0.15

0.15

0.10

0.05

0.05

0.10

І(ai)

2.737

2.000

2.737

2.737

3.322

4.322

4.322

3.322

 

Завдання на лабораторну роботу

Завдання 1.

Відомо, що телевимірювальна величина повинна бути  в межах від 21 В до 40 В. Зміни провели приладом, який показав 30 В, але він мав похибку ±2В. Визначити кількість інформації, отриманої в результаті досліду.

Завдання 2.

В деякому місті 25% населення складають студенти. Серед студентів 50%  хлопці. Всього хлопців в місті 35%. Скільки додаткової інформації міститься в повідомленні, що зустрічний студент­ – студент.

Завдання 3.

Сигнал складається з семи двійкових елементів. Визначити кількість інформації в сигналі, коли елементи рівноймовірні, тобто , і коли , а .

Завдання 4.

Ансамбль А містить 16 рівноймовірних повідомлень. Визначити кількість інформації, яку містить кожне таке повідомлення.

Завдання 5.

Визначити кількість інформації в повідомленні довжиною в 1000 символів, якщо алфавіт повідомлення складається з 32 рівноймовірних символів.

Завдання 6.

Ансамбль повідомлень джерела А визначено як А={а, b, с, d} та р(а)=1/2,  р(b)=1/4, р(с)=1/8=р(d )=1/8. Визначити кількість інформації, що міститься в кожному повідомленні.

 

Завдання 7.

Ансамбль А подано як А={а, b) та ймовірності р(а)=0,05,  р(b)=0,95. Визначити кількість інформації, що міститься в кожному повідомленні.

Завдання 8.

Ансамбль повідомлень джерела А визначено як А = {а, b, с} та р(а) = 0,65; р(b) = 0,25; р(с) = 0,1. Визначити кількість інформації, що передається в одному та 100 повідомленнях.

Завдання 9.

Визначити кількість інформації в повідомленні довжиною в 1000 символів, якщо алфавіт повідомлення складається з 128 рівноймовірних символів.

Завдання 10.

Задано три повідомлення  А, B, С - множини літер прізвища, імені, по-батькові українською та англійською мовою відповідно. Визначити кількість інформації, що містить кожне повідомлення.

Після виконання завдань оформити та здати звіт викладачу.