Лабораторна робота №1-2

Тема: Ансамблі та джерела повідомлень. Кількісна оцінка інформації

Мета: розглянути способи вимірювання кількість інформації в повідомленні

Теоретичні відомості

Ансамбль повідомлень

Дискретне джерело повідомлень за одиницю часу створює одне з n  можливих повідомлень  a₁, а₂,..., а_n . Множина А = {a₁, ..., а_n} називається дискретною множиною повідомлень  або просто множиною повідомлень А. Таким чином, дискретне джерело за одиницю часу створює певне повідомлення a_i Î А з імовірністю р(a_i) = р_iÎР.

Дві множини А та Р дають достатньо повний опис дискретного джерела повідомлень у вигляді його ймовірнісної моделі, а тому разом вони утворюють ансамбль повідомлень дискретного джерела.

Вважається, що повідомлення передаються за допомогою деякого числа символів n, які надсилаються послідовно. Якщо кожен із символів може приймати m різних значень, то це m складає алфавіт, а n – довжина повідомлення. Тоді кількість повідомлень визначається як

    – експоненціальний закон.

            При m=2 (“0” або “1”) та n=3, M = 2³ = 8 (тобто, 000,001,010,011,100,101,110,111).

Інформація та ймовірності

Якщо є набір М повідомлень, сформульованих у відповідності з експоненційним законом, тобто із рівномірних рівноправних символів, то всі ці повідомлення володіють однаковою ймовірністю. Тобто сума ймовірністей по цьому набору повідомлень рівна 1; тоді ймовірність одного повідомлення

 ,

і тоді ; тобто

Знак “-“ поставлений щоб зробити значення від логарифму додатнім log числа меншого 1, відємний. Таким чином ще одне формування закону Хартлі таке:

            Кількість інформації рівна логарифму ймовірності повідомлення з протилежним знаком.

Статистична міра інформації. Формула Шенона

            Якщо ймовірності повідомлень Р не є рівним, тобто при формуванні повідомлень враховуються їх певна статистична структура, тоді кожний символ у повідомленні володіє ймовірністю Р_і.

            Шенон вводить поняття про середню інформацію на одне повідомлення:

,

де Р_(с) деяка середня ймовірність одного повідомлення.

Середня кількість інформації у повідомленні знаходиться як

При дуже великій кількості n символів в повідомленні вступає в силу закон великих чисел, згідно якого ймовірності символів можуть визначатися як їх частота появи в повідомленні.

,

де       P_i – відносна частота появи сигналу зі значенням I ;

            n_i – число символів зі значенням і ;

            n – загальна довжина повідомлення.

Статистична міра інформації. Формула Шенона

            Якщо ймовірності повідомлень Р не є рівним, тобто при формуванні повідомлень враховуються їх певна статистична структура, тоді кожний символ у повідомленні володіє ймовірністю Р_і.

            Шенон вводить поняття про середню інформацію на одне повідомлення:

,

де Р_(с) деяка середня ймовірність одного повідомлення.

Середня кількість інформації у повідомленні знаходиться як

При дуже великій кількості n символів в повідомленні вступає в силу закон великих чисел, згідно якого ймовірності символів можуть визначатися як їх частота появи в повідомленні.

,

де       P_i – відносна частота появи сигналу зі значенням I ;

            n_i – число символів зі значенням і ;

            n – загальна довжина повідомлення.

 

Приклади виконання завдань

Приклад_1. Задано три повідомлення  А, B, С - множини літер прізвища, імені, по-батькові українською та англійською мовою відповідно. Визначити кількість інформації, що містить кожне повідомлення.

Розв’язання. Джерело повідомлень вибирає повідомлення з множини літер прізвища, імені, по-батькові українською мовою

ІВАНОВ_ІВАН_ІВАНОВИЧ                     N=20

Розрахунок ансамблю джерела повідомлень

A={І, В, А, Н, О, И, Ч, _}

Кількість різних повідомлень                 k=8.

                   

літера	І	В	А	Н	О	И	Ч	_
ai	1	2	3	4	5	6	7	8
ni	3	5	3	3	2	1	1	2
pi	0.15	0.25	0.15	0.15	0.10	0.05	0.05	0.10

 

Кількість інформації, що містить кожне повідомлення

ai	1	2	3	4	5	6	7	8
pi	0.15	0.25	0.15	0.15	0.10	0.05	0.05	0.10
І(ai)	2.737	2.000	2.737	2.737	3.322	4.322	4.322	3.322

 

Завдання на лабораторну роботу

Завдання 1.

Відомо, що телевимірювальна величина повинна бути  в межах від 21 В до 40 В. Зміни провели приладом, який показав 30 В, але він мав похибку ±2В. Визначити кількість інформації, отриманої в результаті досліду.

Завдання 2.

В деякому місті 25% населення складають студенти. Серед студентів 50%  хлопці. Всього хлопців в місті 35%. Скільки додаткової інформації міститься в повідомленні, що зустрічний студент­ – студент.

Завдання 3.

Сигнал складається з семи двійкових елементів. Визначити кількість інформації в сигналі, коли елементи рівноймовірні, тобто , і коли , а .

Завдання 4.

Ансамбль А містить 16 рівноймовірних повідомлень. Визначити кількість інформації, яку містить кожне таке повідомлення.

Завдання 5.

Визначити кількість інформації в повідомленні довжиною в 1000 символів, якщо алфавіт повідомлення складається з 32 рівноймовірних символів.

Завдання 6.

Ансамбль повідомлень джерела А визначено як А={а, b, с, d} та р(а)=1/2,  р(b)=1/4, р(с)=1/8=р(d )=1/8. Визначити кількість інформації, що міститься в кожному повідомленні.

 

Завдання 7.

Ансамбль А подано як А={а, b) та ймовірності р(а)=0,05,  р(b)=0,95. Визначити кількість інформації, що міститься в кожному повідомленні.

Завдання 8.

Ансамбль повідомлень джерела А визначено як А = {а, b, с} та р(а) = 0,65; р(b) = 0,25; р(с) = 0,1. Визначити кількість інформації, що передається в одному та 100 повідомленнях.

Завдання 9.

Визначити кількість інформації в повідомленні довжиною в 1000 символів, якщо алфавіт повідомлення складається з 128 рівноймовірних символів.

Завдання 10.

Задано три повідомлення  А, B, С - множини літер прізвища, імені, по-батькові українською та англійською мовою відповідно. Визначити кількість інформації, що містить кожне повідомлення.

Після виконання завдань оформити та здати звіт викладачу.