Тема 2. Кількісна міра інформації. Безумовна ентропія

План

1.      Ансамблі та джерела повідомлень

2.      Способи вимірювання інформації

3.      Поняття про ентропія джерела.  Властивості кількості інформації та ентропії

 

1.      Ансамблі та джерела повідомлень

Матеріальному світові, що оточує людину, притаманна без­ліч фізичних явищ, багато з яких змінюються в часі, маючи форму фізичних процесів, тобто таких явищ, фізичні показни­ки яких не є миттєвими, а розподіленими в часі, які можна спо­стерігати кожної миті.

Будь-який матеріальний об'єкт разом із спостерігачем утво­рює систему, яка називається джерелом повідомлень.

Дискретне джерело інформації  – це таке джерело, яке може виробити ( згенерувати ) за скінчений відрізок часу тільки скінчену множину повідомлень. Кожному такому повідомленню можна співставити відповідне число, та передавати ці числа замість пові-домлень.

Дискретне джерело інформації є достатньо адекватною інфор-маційною моделлю дискретних систем, а також неперервних систем, інформаційні сигнали про стан яких піддають аналого - цифровому перетворенню; таке перетворення виконується в більшості сучасних автоматизованих систем управління.

На рис. 2.1 зображено схему системи взаємозв'язаних об'єктів і спостерігачів, вкладених одне в одне, стосовно передачі відо­мостей про певний фізичний об'єкт певному одержувачеві. Для кожної стрілки на рис. 2.1 частина системи, розміщена ліворуч, може розглядатися, як спостережуваний об'єкт, а розташова­ні праворуч — як спостерігач. При цьому не має значення при­рода спостерігача; чи це людина, чи це якийсь прилад. Його головне завдання полягає в перетворенні відомостей про стан спостережуваного об'єкта на форму, зручну для прийняття ін­шими людиною або приладом.

 

http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image002.jpg

 

Рисунок 2.1

 

Стан матеріального об'єкта, а отже, і його фізичні показни­ки можуть набувати значення з певного дискретного набору значень. Джерело повідомлень з таким об'єктом є дискретним. Якщо стан матеріального об'єкта, відбитий у його фізичних показниках, набуває значення з нескінченної множини можли­вих значень, то таке джерело повідомлень є неперервним. Прин­ципово воно може бути зведене до дискретного, якщо прийняти допустимий рівень похибки та за її допомогою з нескінченної множини можливих значень повідомлень вибрати певний дискретний набір. Саме тут у наявності похибки та її допусти­мому рівні криється принципова різниця між дискретним і не­перервним джерелами повідомлень.

Якщо під час деякого часового проміжку дискретним дже­релом вибрано деяке повідомлення http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image004.png яке ніяк не зумовлене повідомленням http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image006.png, вибраним у попередній проміжок часу, то таке джерело є дискретним джерелом без пам 'яті.

Якщо в деякому часовому проміжку дискретним джерелом вибрано повідомлення http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image004.png, пов'язане з попереднім повідомлен­ням http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image006.png і статистично зумовлене ним, то таке джерело назива­ється дискретним джерелом із пам 'яттю.

Крім дискретних, можуть бути також неперервні джерела повідомлень із             пам'яттю та без пам'ятіПерелічени­ми тут типами не вичерпуються всі відомі джерела повідомлень.

Якщо кожного проміжку часу дискретне джерело повідом­лень вибирає одне з n можливих повідомлень http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image008.png, то кажуть, що А = http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image010.pngє дискретною множиною повідом­лень, або просто множиною повідомлень А. Як правило, для Повнішого опису джерела повідомлень на множині А визнача­ють її ймовірнісну міру, тобто з кожним дискретним повідом­ленням пов'язують ймовірність рі його вибору джерелом. Таким чином, множині А = http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image010.pngзіставляється ймовірнісна міра у вигляді множини http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image012.png, на яку накладемо обмеження у вигляді http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image014.png.

Дві множини А та Р дають достатньо повний опис дискрет­ного джерела повідомлень у вигляді його ймовірнісної моделі, і тому разом вони утворюють ансамбль повідомлень дискрет­ного джерела. Це означає, що кожного проміжку часу дискрет­ним джерелом вибирається певне повідомлення аі http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image016.png А з ймовір­ністю http://elib.lutsk-ntu.com.ua/book/knit/ki/2013/13-34/page7.files/image018.png.  Наведене вище обмеження є природною умовою включення до складу множини А повної групи подій, якими виступають дискретні повідомлення. Ця вимога з'явля­ється тут тому, що надалі треба скористатися апаратом математичної статистики, звідки й походить цей термін. Це дає змогу врахувати при розгляді всі обговорювані події-повідомлення. Зі своїм розсудом можна змінити склад можливих повідомлень в  А, але слід пронормувати їх ймовірності так, щоб сума ймовірностей дорівнювала одиниці.

2.      Способи вимірювання інформації

Припустимо, що стан деякого об'єкта або системи наперед відомий. Тоді повідомлення про цей стан не несе ніякої інформації для її одержувача. Якщо ж стан об'єкта змінився і джерелом передане якесь інше повідомлення про стан спостережуваного об'єкта, то це повідомлення несе нові відомості, які додадуть знання про об'єкт. Тоді можна говорити, що таке повідомлення містить деяку кількість інформації для її одержувача.

            Отже, на якісному інтуїтивному рівні інформацію можна визначити як нове, наперед невідоме знання про стан деякого об'єкта або системи, а кількість інформації - кількість цього знання. Зрозуміло, що якщо нове знання збільшує загальний рівень знань про стан спостережуваного об'єкта, то кількість інформації накопичується і має адитивний характер.

            До передачі джерелом повідомлення для його одержувача має місце деяка невизначеність щодо стану об'єкта спостереження. Після вибору повідомлення джерелом утворюється певна кількість інформації, що якоюсь мірою зменшує цю невизначеність.

            В основу теорії інформації покладено запропонований Клодом Шенноном спосіб вимірювання кількості інформації, що міститься в одній випадковій величині щодо іншої випадкової величини[1]. Цей спосіб дозволяє виразити кількість інформації числом і надає можливість об'єктивно оцінити інформацію, що міститься у повідомленні.

 

У кожному елементарному повідомленні для його одержувача міститься інформація як сукупність відомостей про стан деякого об'єкта або системи.

Для того щоб абстрагуватися від конкретного змісту інформації, тобто її смислового значення, і отримати саме загальне визначення кількості інформації, кількісну міру інформації визначають без урахування її смислового змісту, а також цінності і корисності для одержувача.

До того як зв'язок відбувся, є деяка невизначеність щодо того, яке з повідомлень з можливих буде передане. Ступінь невизначеності передачі хi можна визначити його апріорною імовірністю pi. Отже, кількість інформації I(Xi) буде деякою функцією від pi: I(Xi)=f(pi). Визначимо вид цієї функції.

Вважатимемо, що міра кількості інформації I(Xi) відповідає двом інтуїтивним властивостям:

1)   якщо вибір повідомлення джерела xi наперед відомий (немає невизначеності), тобто маємо достовірний випадок, імовірність якого pi=1, то I(Xi)=f(1)= 0;

2)   якщо джерело послідовно видає повідомлення xi і xj, і імовірність такого вибору pij - сумісна імовірність подій xi і xj, то кількість інформації в цих елементарних повідомленнях дорівнює сумі кількості інформації в кожному з них.

 

Ймовірність сумісного випадання двох випадкових подій xi і xj дорівнює добутку ймовірності однієї з цих подій на ймовірність іншої за умови, що перша подія відбулася, тобто pij=pi×pj/i=P×Q.

Тоді, з властивості 2 кількості інформації випливає, що

 

I(Xi, Xj)=I(Xi)+I(Xj)=f(PQ)=f(P)+f(Q).

 

Звідси випливає, що функції f(pi) логарифмічна. Таким чином, кількість інформації зв'язана з апріорною імовірністю співвідношенням

,

при цьому коефіцієнт k і основа логарифма можуть бути довільними.

            Для того щоб кількість інформації визначалася невід'ємним числом, взяте k=-1, а основу логарифма найчастіше вибирають 2, тобто

.                                                        (2.1)

 

У цьому випадку за одиницю кількості інформації так само береться біт. У такий спосіб біт – це кількість інформації в повідомленні дискретного джерела, алфавіт якого складається з двох альтернативних подій, які є апріорно рівноймовірними. Якщо кількість апріорно рівноймовірних подій дорівнює 28, то за одиницю інформації береться байт.     

3.      Поняття про ентропія джерела.  Властивості кількості інформації та ентропії

Кількість інформації, що міститься в одному елементарному повідомленні xi, не повністю характеризує джерело. Джерело дискретних повідомлень може бути охарактеризовано середньою кількістю інформації, що припадає на одне елементарне повідомлення, і називається ентропією джерела, тобто питомою кількістю інформації

 

,      i=1…k ,                                  (2.2)

 

де k - об'єм алфавіту джерела.

Фізичний зміст ентропії - це середньостатистична міра невизначеності знань одержувача інформації щодо стану спостережуваного об'єкта.

У формулі (2.2) статистичне усереднювання (тобто обчислювання математичного сподівання випадкової величини) виконується за всім ансамблем повідомлень джерела. При цьому необхідно враховувати всі імовірнісні зв'язки між різними повідомленнями. Чим вища ентропія джерела, тим більша кількість інформації в середньому закладається в кожне повідомлення, тим важче її запам'ятати (записати) або передати каналом зв'язку.

Необхідні втрати енергії на передачу повідомлення пропорційні ентропії (середній кількості інформації на одне повідомлення). Звідси випливає, що кількість інформації в послідовності з N повідомлень визначається кількістю цих повідомлень і ентропією джерела, тобто  I(N)=N×H(X).

Ентропія як кількісна міра інформаційності джерела має такі властивості:

1)   ентропія дорівнює нулю, якщо хоча б одне з повідомлень достовірне;

2)   ентропія завжди більша або дорівнює нулю, є величиною дійсною і обмеженою;

3)   ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

4)   ентропія - величина адитивна: ентропія джерела, повідомлення якого складаються з повідомлень декількох статистично незалежних джерел, дорівнює сумі ентропій цих джерел;

5)   ентропія максимальна, якщо всі повідомлення мають однакову імовірність. Таким чином,

 

.                                                             (2.3)

 

Вираз (2.3) називається формулою Хартлі. ЇЇ легко вивести з формули Шеннона (2.2), припустивши, що pi=1/k, де i=1…k.

Розглянемо дискретні випадкові величини (д. в. в.) Х і Y, що задані законами розподілів їхніх ймовірностей P(X=Xi)=pi, P(Y=Yi)=qj та розподілом сумісних ймовірностей системи д. в. в. P(X=XiY=Yj)=pij. Тоді кількість інформації, що міститься в д. в. в. Х щодо д. в. в. Y – взаємна інформація, визначається так:

 

                                                   (2.4)

.

Наведемо властивості кількості інформації і ентропії:

1)   I(XY)≥0; I(XY)=0 Û X і Y незалежні (одна в. в. нічим не описує іншу);

2)   I(X, Y)=I(Y, X);

3)   НХ=0 Û X=const;

4)   I(X, Y)=HX+HY-H(XY),  де ;

5)      I(X, Y)  I(X, X); якщо I(X, Y)=I(X, X) Þ X=f(Y).

 

 

 



[1]  Шеннон К. Работы по теории информации и кибернетике. - М., Изд-во иностранной литературы, 1963.