Significato operativo dell'entropia

La definizione di entropia diventa concreta se la si legge come una domanda: quante domande “sì / no” servono in media per scoprire il valore di $X$?

Osservazione — Significato operativo

$H(X)$ è il numero medio minimo di domande sì / no (o di bit, in una codifica binaria ottimale) necessari per identificare il valore di $X$. Distribuzione uniforme su $2^k$ valori: $H = k$ bit (servono esattamente $k$ domande). Distribuzione deterministica: $H = 0$ (non c’è nulla da scoprire).

Questa lettura spiega perché l’entropia si misura in bit: un bit è esattamente la risposta a una domanda binaria ben posta. Più una distribuzione è “prevedibile”, meno domande servono, e più bassa è la sua entropia.

Collegamenti

Argomenti: Distribuzioni probabilita
Concetti: Entropia
Competenze: Interpretare grafico