informacijos kiekis

informãcijos kiẽkis, šaltinio perduotos ir gavėjo priimtos informacijos matas statistinėje informacijos teorijoje. Parodo, kiek ši informacija netikėta gavėjui: informacijos kiekis lygus neapibrėžtumo (entropijos) prieš priimant pranešimą ir jį priėmus pokyčiui. Dažniausiai matuojamas bitais. Jei šaltinis perduoda vieną iš anksto žinomą simbolį, perduotas informacijos kiekis lygus nuliui bitų. Jeigu tikimybė, kad šaltinis perduos simbolį, lygi p, laikoma, kad tokio simbolio pasirodymas suteikia ${\log }_2\frac{1}{p}$ bitų informacijos. Pvz., metant simetrišką monetą gali atsiversti jos pusė su skaičiumi arba su herbu. Kiekvienas šių įvykių suteikia po vieną bitą informacijos, nes ${\log }_2\frac{1}{1/2}=1$. Jei perduodami keli nepriklausomi simboliai, informacijos kiekis lygus atskirų simbolių perduotos informacijos kiekių sumai.

1067