C. Shannon verwendet die Formel von R. Hartley zur Berechnung dessen, was er als Informationsgehalt bezeichnet.

C. Shannon's Co-Autor W. Weaver hat diese "Entropie-Formel" dann anhand eines Kartenspiels veranschaulicht:
Wieviele Fragen muss ich stellen, um eine für mich verdeckte Karte zu identifizieren. Damit hat er auch einige Bedingung für die Verwenung der Formel erläutert.

Wenn ich herausfinden muss, was mein Gegenüber für eine Spielkarte gezogen hat (und ich weiss, dass es sich um eine Karte eines Pokerspiels mit 52 Karten (vier Farben (♣ Kreuz ♥ Herz ♠ Pik ♦ Karo) und dreizehn Werten (2 bis 10 − Bube − Dame − König − Ass), handelt), kann ich blindling raten oder systematisch Fragen stellen: rot oder schwarz, dann Herz oder Karo, dann 2-8 oder grösser, dann grösser als 4, dann grösser als 2, dann 3 oder 4. Ich brauche also - in diesem Fall - 6 Fragen, um die Karte zu identifizieren.

Ich kann leicht erkennen, dass es auf die Menge der Karten ankommt. Bei 2 verschiedenen Karten müsste ich nur 1 Frage stellen.

Es kommt aber - ebenso leicht erkennbar - nicht nur auf die Menge der Karten an, sondern auch auf die Struktur der Kartenmenge - also auf deren relatives Strukturniveau.
Ich brauche umso mehr Fragen:

• je mehr verschiedene Karten dabei sind. Wären nur es rote und schwarze Karten (ohne weitere Unterschiede), müsste ich nur 1 Frage stellen.
• je weniger Kartenwertklassen dabei sind. Wären in einem Kartenspiel mit 2 verschiedenen Kartenfarben, pro Farbe nur zwei verschiedene Kartenwerte, beispielsweise nur König und Ass vorhanden, müsste ich nur 2 Fragen stellen.
  Der Ausdruck Kartenwert impliziert überdies eine Reihenfolge

Ein Datum hat einen Informationsgehalt, der als eine Anzal Bit angegeben wird. 5 Bit bedeutet mehr Information als 3 Bit und in der Shannon-Redeweise eine höhere Entropie. Ich muss mehr Fragen stellen, wenn ich die Antwort nch nicht weiss, was Shannon als höhere Unordnung begriffen hat.

Der negative Logarithmus bewirkt, dass das Resultat für den gesunden Menschenverstand plausibel ist. Wenn ich 5 Fragen stellen muss, ist die gemeinte "Entropie" eben grösser als wenn ich 3 Fragen stellen muss.
Der Informationsgehalt - oder meine Unsicherheit beim Raten - der Karte ist dann eben grösser.

Siehe dazu auch Redundanz