Entropia di una moneta

Il caso più semplice — una moneta eventualmente truccata — mostra come l’entropia sia una funzione della probabilità $p$, con un massimo ben preciso.

Esempio — Lancio di una moneta

$X\in\{T,C\}$ con $P(T)=p$, $P(C)=1-p$. Allora $H(X) = -p\log_2 p - (1-p)\log_2(1-p).$ Studio di funzione: massimo in $p=1/2$ con $H=1$ bit (totale incertezza); minimo in $p=0$ o $p=1$ con $H=0$ (nessuna sorpresa).

Entropia della moneta $H(p)=-p\log_2 p-(1-p)\log_2(1-p)$: massimo $H_{\max}=1$ bit in $p=1/2$, nulla agli estremi $p=0$ e $p=1$.

Collegamenti

Argomenti: Distribuzioni probabilita
Concetti: Entropia
Competenze: Interpretare grafico · Studiare funzione