Was ist Entropie?
(johncarlosbaez.wordpress.com)- Ein kurzer Buchentwurf, der versucht, Entropie als die Menge an Information zu quantifizieren, die man prinzipiell wissen könnte, aber noch nicht weiß
- Das zentrale Rätsel ist, warum Wasserstoffgas bei Raumtemperatur und Normaldruck eine Entropie besitzt, die etwa 23 Bit unbekannter Information pro Molekül entspricht
- Ausgehend von Shannon-Entropie und Gibbs-Entropie verbindet der Text das Prinzip der maximalen Entropie, die Boltzmann-Verteilung, Temperatur, die Zustandssumme und freie Energie
- Der zweite Hauptsatz der Thermodynamik, Biologie und Schwarze-Loch-Physik werden bewusst nicht vertieft behandelt, und Entropie wird nicht als Unordnung erklärt
- Selbst um die Entropie klassischer Systeme zu berechnen, braucht man wegen der Volumeneinheit im Orts-Impuls-Raum die Planck-Konstante und ein wenig Quantenmechanik
Form und Ausgangspunkt des Buches
- What is Entropy? ist der aktuelle Entwurf eines kurzen Buches über Entropie
- Der ursprüngliche Alternativtitel war 92 Tweets on Entropy, wurde aber als ungeeignet angesehen, weil man sich mit der Zeit vielleicht nicht mehr daran erinnert, was „tweets“ überhaupt waren
- Es handelt sich um eine leicht erweiterte Version einer Entropie-Vorlesung, die auf Twitter im Format kurzer Nachrichten lief
Die Definition von Entropie als Information
- Entropie bedeutet die Menge an Information, die man über eine Situation noch nicht weiß
- Diese Information muss prinzipiell erlernbar sein
- Das Buch konzentriert sich darauf, diese Idee zu einem präzisen und quantitativen Begriff zu machen
- Die zentrale Frage lautet, warum Wasserstoffgas bei Raumtemperatur und Normaldruck eine Entropie besitzt, die etwa 23 Bit unbekannter Information pro Molekül entspricht
Begriffe, die zur Lösung des Rätsels verknüpft werden
-
Information und Entropie
- Ausgehend vom Informationsbegriff behandelt das Buch Shannon-Entropie und Gibbs-Entropie
- Über das Prinzip der maximalen Entropie und die Boltzmann-Verteilung wird erklärt, wie man mit probabilistischen Zuständen umgeht
-
Temperatur, Energie, Zustandssumme
- Es verknüpft Temperatur und Kälte (coolness) mit der Beziehung zwischen Entropie und erwarteter Energie
- Behandelt wird, wie der Gleichverteilungssatz, die Zustandssumme, die erwartete Energie und freie Energie in die Berechnung der Entropie eingreifen
-
Beispiele klassischer Systeme
- Die Entropie des klassischen harmonischen Oszillators
- Die Entropie klassischer Teilchen in einer Box
- Die Entropie eines klassischen idealen Gases
Themen, die bewusst nicht behandelt werden
- Der zweite Hauptsatz der Thermodynamik wird kaum behandelt
- Die Aussage, dass Entropie immer zunimmt, ist zwar interessant, aber problematisch; um sie richtig zu erklären, wäre nach Ansicht des Autors ein eigenes Buch nötig
- Auch die Rolle der Entropie in der Biologie und in der Schwarze-Loch-Physik bleibt außen vor
- Aspekte der Entropie, die in populärwissenschaftlichen Physikbüchern oft behandelt werden, liegen außerhalb des Rahmens dieses Buches
- Entropie wird nicht als „Unordnung“ bezeichnet
Die Planck-Konstante ist auch in der klassischen Physik nötig
- Um die nötigen physikalischen Vorkenntnisse gering zu halten, werden Erklärungen zur Quantenmechanik so weit wie möglich reduziert
- In den Entropieformeln für drei klassische Systeme taucht jedoch die Planck-Konstante auf
- Die Planck-Konstante liefert eine Volumeneinheit im Orts-Impuls-Raum
- Erst mit dieser Volumeneinheit lässt sich die Entropie dieser Systeme definieren
- Selbst wenn man Wasserstoffgas so klassisch wie möglich behandelt, braucht man ein ganz klein wenig Quantenmechanik, um eine gute Näherungsformel für die Entropie zu erhalten
Mathematischer Charakter und Leseweise
- Das Buch folgt dem Stil eines mathematischen Physikers, macht Begriffe präzise und verwendet viel Zeit auf ungewöhnliche Gegenbeispiele
- Es kann länger bei technischen Details verweilen als ein praktizierender Physiker im Alltag
- Wenn der technische Inhalt zu langsam erscheint, kann man einfach zum nächsten „tweet“ weitergehen
- Die wirklich wichtigen Inhalte stehen in Kästen
- Man kann auch zuerst bis zum Ende lesen und die Details danach erneut lernen
1 Kommentare
Meinungen auf Hacker News
Es gibt eine berühmte Anekdote, die Shannon erzählte: „Am meisten Kopfzerbrechen bereitete mir der Name. Ich überlegte, es ‚Information‘ zu nennen, aber das Wort wurde zu häufig verwendet, also beschloss ich, es ‚Ungewissheit‘ zu nennen. Als ich mit John von Neumann sprach, hatte er eine bessere Idee. Von Neumann sagte: ‚Nennen Sie es Entropie. Erstens wird Ihre Ungewissheitsfunktion in der statistischen Mechanik bereits unter diesem Namen verwendet, sie hat also schon einen Namen. Zweitens, und das ist wichtiger: Niemand weiß wirklich, was Entropie ist, also werden Sie in Diskussionen immer im Vorteil sein.‘“
Diskussionen und Literaturhinweise dazu, ob Shannons Entropie dasselbe ist wie die Entropie der Thermodynamik, finden sich in diesen Antworten auf MathOverflow SE (https://mathoverflow.net/questions/403036/john-von-neumanns-...)
Erst als ich die Shannon-Entropie als subjektive Größe verstand, also nicht als Eigenschaft des beobachteten Objekts, sondern als Eigenschaft des Beobachters, hatte ich das Gefühl, sie wirklich zu begreifen
Die Entropie einer Variablen X ist die Informationsmenge, die ein Beobachter benötigt, um seine Ungewissheit über den Wert von X auf 0 zu bringen. Daher kann sich meine Ungewissheit über dieselbe Variable X von der Ungewissheit einer anderen Person unterscheiden. Das ist selbstverständlich, weil jeder unterschiedliche Informationen über X erhalten haben kann. H(X) müsste H_{observer}(X) sein, oder genauer H_{observer, time}(X). Shannons Arbeit ist in anderer Hinsicht klar, aber über diesen Punkt geht sie etwas hinweg
Betrachten wir die Kreuzentropie zweier Verteilungen, H[p, q] = -Σ p_i log q_i. Zum Beispiel kann p die tatsächliche Häufigkeitsverteilung der Ergebnisse beim realen Würfeln sein, während q die Verteilung ist, an die ich glaube. p_i lässt sich als objektive Wahrscheinlichkeit verstehen, q_i als subjektive Wahrscheinlichkeit. Die Kreuzentropie misst in etwa, wie überrascht man im Durchschnitt ist, wenn man ein Ergebnis beobachtet
Interessant ist H[p, p] <= H[p, q]. Wenn die Glaubensverteilung falsch ist, wird die Kreuzentropie größer als bei der korrekten Überzeugung q=p. Das ist durch die Konkavität des Logarithmus garantiert. So lassen sich Überzeugungen vergleichen: Das q, das H[p,q] am stärksten senkt, liegt näher an der Wahrheit
Die Kreuzentropie lässt sich auch in zwei Teile zerlegen, etwa H[p, q] = H[p] + D[q||p]. Der erste Term ist die Entropie von p und steht für die aleatorische Ungewissheit, also die inhärente Zufälligkeit des zu modellierenden Phänomens; der zweite Term ist die KL-Divergenz und steht für zusätzliche Ungewissheit durch falsche Überzeugungen, also epistemische Ungewissheit
Wenn man die Überzeugungen verschiedener Beobachter misst, betrachtet man lediglich verschiedene Verteilungen, und diese Verteilungen können unterschiedliche Entropien haben, so wie sie unterschiedliche Mittelwerte oder Varianzen haben können
Kennt man den Seed aber nicht, ist die Entropie sehr hoch
Entropie + Information = Gesamtzahl der Bits in einer vollständigen Beschreibung
Ein unversehrtes Ei hat niedrige Entropie. Es gibt nur eine Art, wie das Ei unversehrt existieren kann, und man könnte den Zustand des Eis mit 1 Bit darstellen
Ein zerbrochenes Ei hat hohe Entropie. Es gibt beliebig viele Arten, wie die Schalenstücke liegen können
Eine nach Breite, Länge und Kompassrichtung sortierte Liste der Positionen und Ausrichtungen jedes einzelnen Stücks eines zerbrochenen Eis hat wiederum niedrige Entropie. Für einen konkreten Fall eines zerbrochenen Eis lässt sich diese Liste nur auf eine Weise schreiben
Komprimiert man diese Liste mit zip, hat sie wieder hohe Entropie. Die Daten in der .zip-Datei wirken praktisch zufällig und lassen sich nicht wesentlich weiter komprimieren. Das gilt, bis man sie wieder entpackt
Ebenso gilt: Wenn man die unkomprimierte Liste über einen Kanal mit begrenzter Bandbreite übertragen muss, kann der Empfänger keinerlei Annahmen über den Inhalt machen. Selbst wenn Struktur vorhanden ist, ist sie dann von Zufall praktisch nicht zu unterscheiden, und die Entropie wird faktisch wieder hoch
Der Ansatz meines Dozenten für statistische Mechanik war wirklich gut. In fast allen Situationen ist Entropie letztlich der Logarithmus der Anzahl der Möglichkeiten, ein System anzuordnen (https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)
Für mich persönlich war es am einfachsten, sie mir über Ergebnispaaren von zwei Würfeln vorzustellen
Leider passt das, abgesehen von einer sehr oberflächlichen Bedeutung, nicht besonders gut zu Shannons Verwendung, daher bleibt diese Interpretation fest im Bereich der Physik
Deshalb sind Information und Entropie verschieden. Entropie ist das Wissen darum, dass ich etwas nicht weiß. Sie quantifiziert dieses Wissen über das Ausmaß des Unbekannten
Hier liegt auch der Punkt, an dem ich den Artikel für falsch oder nicht knapp genug halte. Die folgende Formulierung umfasst aus meiner Sicht auch Dinge, von denen man nicht einmal weiß, dass man sie nicht weiß, und ist daher keine Entropie:
https://en.wikipedia.org/wiki/Thermodynamic_beta
In der Informationstheorie habe ich Entropie immer so verstanden: „Wenn es einen wirklich cleveren Kompressionsalgorithmus gäbe, wie viele Bits wären dann nötig, um diese Datei exakt darzustellen?“
Eine Eingabe mit vielen Wiederholungen hat also nicht viel Entropie pro Bit und lässt sich gut komprimieren. Moderne Kompressionsalgorithmen sind für die meisten Daten gut genug, dass man sie als vernünftige Näherung für die tatsächliche Entropie verwenden kann
Für die Entropie diskreter Wahrscheinlichkeitsverteilungen mag ich diese praxisnahe Erklärung. Ich mag John Baez’ Texte, aber beim Überfliegen des PDFs schien es mir überraschenderweise nicht so, als würde er diese Perspektive behandeln
Stellen wir uns eine Verteilung als Histogramm über mehrere Intervalle vor. Dann misst Entropie die Wahrscheinlichkeit, dass, wenn ich sehr viele Kugeln zufällig in diese Intervalle werfe, die Verteilung der Kugeln wie dieses Histogramm aussieht. Üblicherweise erwartet man eine Gleichverteilung über die Intervalle; Entropie misst also, wie sehr andere seltene Ereignisse auftreten, in der Sprache der Wahrscheinlichkeitstheorie: große Abweichungen vom typischen Verhalten
Konkreter: Wenn P = (P1, ..., Pk) eine Verteilung ist, dann ist für sehr großes N die Wahrscheinlichkeit, beim Werfen von N Kugeln ein Histogramm zu erhalten, das wie P aussieht, ungefähr 2^(-N * [log(k) - H(P)]). Dabei ist H(P) die Entropie. Ist P die Gleichverteilung, dann gilt H(P)=log(k), der Exponent wird 0 und die Schätzung ist 1; das bedeutet, dass das mit überwältigender Wahrscheinlichkeit wahrscheinlichste Histogramm die Gleichverteilung ist
Da dies die maximal mögliche Entropie ist, tritt jedes andere Histogramm für ein c > 0 mit Wahrscheinlichkeit 2^(-c*N) auf, ist also sehr selten und wird exponentiell seltener, je mehr Kugeln man wirft. Entropie misst genau dieses Ausmaß. Je „weniger gleichverteilt“ eine Verteilung ist, desto weniger wahrscheinlich ist sie; daher misst Entropie in gewissem Sinn auch Gleichmäßigkeit. In der Theorie großer Abweichungen heißt diese konkrete Aussage Sanovs Satz, und die Rolle der Entropie ist die einer „Ratenfunktion“
Auch die Zählinterpretation von Entropie, von der Leute sprechen, hängt auf hoher Ebene damit zusammen. In Sanovs Satz ist die Wahrscheinlichkeit die Zahl der Ergebnisse, die „wie P aussehen“, geteilt durch die Gesamtzahl der Ergebnisse; und der Zähler zählt tatsächlich die Zahl der Konfigurationen mit einer bestimmten Eigenschaft, in diesem Fall der Eigenschaft, dass die Anordnung von Kugeln und Intervallen wie P aussieht
Es gibt viele äquivalente Definitionen, jede mit eigenen Vorteilen und Verallgemeinerungen, aber diese Perspektive hilft besonders dabei, den mystischen Schleier um Entropie zu lüften
Entropie-Playlist von PBS Spacetime: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...
Informationsentropie ist wörtlich genommen die strenge Untergrenze dafür, wie effizient Informationen übertragen werden können, wenn die Wahrscheinlichkeitsverteilung, die diese Informationen erzeugt, bekannt ist, also für den Erwartungswert der Anzahl der Übertragungsbits
Auch wenn man die Informationsentropie von Bitstrings oder Englisch berechnet, bildet man aus den Daten mithilfe relativer Häufigkeiten von 0 und 1, Buchstaben, n-Grammen usw. eine empirische Wahrscheinlichkeitsverteilung und berechnet dann die Entropie dieser Verteilung. Baez’ Definition gefällt mir nicht besonders, aber angesichts seiner Autorität ist es schwer, ihr einfach zu widersprechen
„Das zweite Gesetz der Thermodynamik, also die Aussage, dass Entropie immer zunimmt, habe ich weitgehend vermieden. Es ist interessant, aber so heikel, dass man ein weiteres Buch bräuchte, um es richtig zu erklären!“
Falls es interessiert: Ich lese gerade Entropy Demystified von Arieh Ben-Naim, das diesen Aspekt aus nahezu derselben Richtung behandelt
Ich frage mich manchmal, wo neue Entropie/Zufälligkeit herkommt. Wenn man den frühesten Zustand des Universums als expandiertes, unendlich dichtes Punktteilchen betrachtet, muss es eine gewisse Zufälligkeit oder Vielfalt gegeben haben, die zu einer ungleichmäßigen Expansion geführt hat; diese hätte dann bewirkt, dass Materie gegenüber Antimaterie überwog oder dass Galaxien und Galaxienhaufen usw. entstanden
Wenn man sich ein isoliertes System mit bestimmten statischen Teilchen vorstellt: Könnte es passieren, dass eine kleine Teilmenge dieser Teilchen beginnt, sich zu bewegen und dadurch Entropie einführt? Könnte Entropie zumindest auf Quantenebene automatisch induziert werden? Wenn man das erklären könnte, würde es wohl helfen, den Ursprung des Universums besser zu verstehen
Ein klassisches Beispiel ist dieses: Stell dir einen perfekt symmetrischen Sombrero[1] vor und eine Kugel, die genau auf der Spitze in der Mitte des Huts balanciert. Es gibt keine bevorzugte Richtung, in die die Kugel fallen sollte, aber dieser Zustand ist instabil. Jede Störung lässt die Kugel nach unten rollen, und sie kommt in einer stabilen Anordnung an der Hutkrempe zum Stillstand. Die Symmetrie der ursprünglichen Anordnung ist nun gebrochen, aber sie ist stabil
1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
https://www.youtube.com/watch?v=hrJViSH6Klo
Hier wird erklärt, dass die gesuchte Zufälligkeit aus Quantenfluktuationen stammt und dass das Universum ohne diese Zufälligkeit vermutlich gar nicht „entstanden“ wäre