Entropie ist ein Schlüsselbegriff in der Physik. Ich unterscheide verschiedene Physiklehren anhand des jeweiligen Entropie-Begriffes:
|
Entropie ist ein Schlüsselbegriff in der Physik. Ich unterscheide verschiedene Physiklehren anhand des jeweiligen Entropie-Begriffes: |
|
In der "Theorie" von C. Shannon spielt die Thermodynamik (tauto)logischerweise nicht die geringste Rolle. Dass er das Wort Entropie verwendet hat, hat viel Konfusion verursacht.
|
|
Die Formel ist banal: Sie bezeichnet eine Aufsumierung von Wahrscheinlichkeiten, die durch einen Logarithmus zu einer intuitiv nachvollziehbaren Zahl wird:
C. Shannon hat damit die Einheit bit eingeführt, die in der Informatik sehr wichtig wurde.
Wenn ich herausfinden muss, was mein Gegenüber für eine Spielkarte gezogen hat (und ich weiss, dass es sich um eine Karte eines Pokerspiels mit 52 Karten (vier Farben (♣ Kreuz ♥ Herz ♠ Pik ♦ Karo) und dreizehn Werten (2 bis 10 − Bube − Dame − König − Ass), handelt), kann ich blindlings raten oder systematisch Fragen stellen:
Ein Datum hat einen Informationsgehalt, der als eine Anzal bit angegeben wird. 5 Bit bedeutet mehr Information als 3 Bit und in der Shannon-Redeweise eine höhere Entropie. Ich muss mehr Fragen stellen, wenn ich die Antwort noch nicht weiss, was Shannon als höhere Unordnung begriffen hat. als Mass für den Informationsgehalt. hat in seiner Theorie den Informationsgehlt mit einer Formel definiert. hat sie dann anhand eines Kartenspiels veranschaulicht. |
|
Entropie-Formel (wikibooks) erklärt die Formel und den Logarithmus
Shannon definierte die Entropie H einer gegebenen Information I über einem Alphabet Z durch H ( I ) = − ∑ j = 1 | Z | p j ⋅ log 2 p j {\displaystyle H(I)=-\sum _{j=1}^{|Z|}{p_{j}\cdot \log _{2}{p_{j}}}} H(I)=-\sum _{{j=1}}^{{|Z|}}{p_{j}\cdot \log _{2}{p_{j}}}, wobei pj die Wahrscheinlichkeit ist, mit der das j-te Symbol zj des Alphabets Z im Informationtext I auftritt. Die Entropie erhält die Einheit bit. H = Summe der Teilentropien aus n Zufallsereignissen mit der Wahrscheinlichkeit pn Teilentropie H = − p ⋅ l o g 2 ( p ) = p ⋅ l o g 2 ( 1 p ) {\displaystyle H=-p\cdot log_{2}(p)=p\cdot log_{2}{\left({\frac {1}{p}}\right)}} {\displaystyle H=-p\cdot log_{2}(p)=p\cdot log_{2}{\left({\frac {1}{p}}\right)}} dabei ist p die Wahrscheinlichkeit einer Möglichkeit eines Zufallsereignisses Diese Formel wird auf der folgenden Seite ausführlich erklärt: Entropie:_IT#Definition [ ]Insbesondere weil in der Kommunikationstheorie von R. Hartley und C. Shannon eine Formel für den Informationsgehalt als Formel für Entropie aufgefasst wurde, ergaben sich homonyme Verwendungen des Ausdruckes.
|
Weil es kompliziert ist (John von Neumann: „… niemand weiß, was Entropie wirklich ist, also wird man in der Debatte immer einen Vorteil haben.“ [ ]), beginne ich mit:
-->
|
