Informazione e sua misura - Entropia

In sintesi:
  • Probabilità : Scelgo un punto a caso dentro il cerchio. Quante volte mi aspetto che sia di un determinato colore, in percentuale?
  • Scelte binarie: Quante domande la cui risposta può essere solo "sì" o "no" devo fare per indovinare il colore di un punto? Il valore può esse 0 in caso di certezza sulla risposta o inferiore all'unità in caso di prevalenza di un risultato sugli altri.
  • Entropia o misura dell'informazione necessaria : Prendendo a caso una serie di punti nel cerchio quante domande dovrò fare in media per indovinarli tutti? ( media delle scelte binarie pesata dalle probabilità)
Strategie Una strategia potrebbe essere quella di ordinare i colori in ordine di probabilità e iniziare con le domande: "E' il colore più probabile?", se sì abbiamo fatto una domanda (una scelta binaria), altrimenti possiamo procedere con il colore successivo e via così: arrivati alla terza domanda avremo sicuramente individuato il colore. In media però le domande saranno meno di tre (3 bit) Potremo scegliere una seconda strategia: "E' il primo o il secondo colore?", se "sì" faremo una domanda del tipo "E' il primo?", con questo - qualsiasi sia la risposta - avremo individuato il colore proposto, altrimenti, se la risposta è stata "no" la domanda successiva sarà "E' il terzo in ordine di probabilità?", e con la risposta - qualsiasi essa sia - avremo individuato il colore; con questa strategia le domande sono *sempre* due, ma è la strategia vincente? Meno di 1 bit? Se c'è un colore unico - e lo sappiamo - chiaramente non c'è alcuna domanda da fare, per cui poniamo a zero il contenuto di informazione; se abbiamo due colori soli equiprobabili, il contenuto di informazione sarà 1 (una domanda sola), e il contributo di ciascun colore al contenuto di informazione sarà 1/2. In generale, se un colore ha una probabilità superiore a 1/2 il termine che lo riguarda sarà inferiore a 1: è una scelta opportuna per salvaguardare alcune proprietà necessarie alla definizione di contenuto di informazione. Alcune interessanti posizioni dei cursori: (1, 0, 0) , (0.25, 0.25, 0.25) , (0.5, 0.5, 0). Trovatene voi altre di interessanti! Alcune interessanti posizioni dei cursori: (1, 0, 0) Non c'è bisogno di alcuna informazione, il punto scelto è certamente Rosso! (0.25, 0.25, 0.25) E' il massimo possibile dell'entropia, non ci sono colori più probabili che furbescamente posso privilegiare nelle domande con risposta "Sì" o "No" (0.5, 0.5, 0) Perché questo valore dell'entropia? (0.5, 0.25, 0.125) Perché R e G danno lo stesso contributo all'entropia pur avendo probabilità diversa?