Appendice culturale - l'entropia di Shannon

Un’appendice culturale che collega la probabilità all’informazione. L’entropia misura il “disordine” o l’incertezza di una variabile aleatoria: la stessa formula $H=-\sum p\log p$ descrive il numero medio minimo di bit necessari per identificare un esito e ha la stessa struttura dell’entropia termodinamica di Boltzmann. Claude Shannon la introdusse negli anni ‘40 come misura dell’informazione media trasmessa da una sorgente probabilistica.

• Entropia di Shannon
• Significato operativo dell’entropia
• Entropia di una moneta
• Entropia di un dado
• Proprietà dell’entropia
• Dall’entropia termodinamica a quella informatica