Entropia informationala

Informaţia = mesaj ce aduce o precizare într-o problemă ce comportă un anumit grad de incertitudine.

Se consideră un experiment X în cadrul căruia se pot realiza un număr finit de nevenimente elementare: x₁, x₂, x₃, .., x_n. Probabilităţile de apariţie ale acestor evenimente le vom nota cu p₁, p₂, p₃, .., p_n (p_i = numărul cazurilor favorabile evenimentului x_i / numărul cazurilor egal posibile ale experimentului).

Deoarece nu se cunoaşte apriori rezultatul experimentului X, înseamnă că acesta conţine un anumit grad de nedeterminare. Se poate afirma că în urma realizării unui experiment se obţine informaţie dacă şi numai dacă rezultatul experimentului înlătură o anumită nedeterminare.

Nedeterminarea unui experiment depinde de probabilităţile de realizare a evenimentelor. Dacă se notează cu H măsura gradului de nedeterminare, pentru experimentul X, aceasta va fi o funcţie H de probabilităţile evenimentelor:

H(X)=H(p₁, p₂, p₃, .., p_n)

(Claude E. Shannon, 1948)

Măsura nedeterminării, dată de această formulă, se numeşte, conform lui Claude Shannon, entropia experimentului X sau entropia informaţională.

Schema generală a unui sistem de transmisiune a informaţiei, fără codificare:

Sistem de transmisiune a informaţiei

Fie:

• X mulţimea mesajelor emise de o sursă de informaţie (intrarea sistemului);
• Y mulţimea mesajelor care se recepţionează (ieşirea sistemului);
• p(y/x) probabilitatea de a recepţiona mesajul y din Y când s-a emis x din X.

Sistemul de transmisiune a informaţiei este format din două mulţimi finite X şi Y şi o probabilitate condiţionată p(y/x), definită pe Y pentru orice x din X şi se notează cu [X, p(y/x), Y].

Mediul prin care se propagă semnalele purtătoare de informaţie, de la sursă la recepţie, se numeşte canalul sistemului de transmisia informaţiei.

vor fi entropiile câmpului de evenimente de la intrare, respectiv ieşire.

Echivocaţia – entropia H(X/Y) – este măsura echivocului care există în câmpul de la intrare când se cunoaşte câmpul de la ieşire.

Eroarea medie – entropia H(Y/X) – este măsura incertitudinii câmpului de la ieşire când se cunoaşte câmpul de la intrare.