Was ist Entropie?

Vorwort

• Es gab einmal eine Plattform namens Twitter, auf der Menschen kurze Nachrichten austauschten. Über diese Plattform wurde eine kurze Vorlesung über Entropie gehalten, die anschließend zu einem kleinen Buch erweitert wurde.
• Entropie bezeichnet die Menge an Information, die wir über eine bestimmte Situation nicht wissen. Um dies quantitativ zu erklären, werden mehrere Themen behandelt:
  • Information
  • Shannon-Entropie und Gibbs-Entropie
  • Prinzip der maximalen Entropie
  • Boltzmann-Verteilung
  • Temperatur und Kühlung
  • Beziehung zwischen Entropie, erwarteter Energie und Temperatur
  • Gleichverteilungssatz
  • Zustandssumme
  • Beziehung zwischen erwarteter Energie, freier Energie und Entropie
  • Entropie des klassischen harmonischen Oszillators
  • Entropie eines klassischen Teilchens in einer Box
  • Entropie eines klassischen idealen Gases
• Der zweite Hauptsatz der Thermodynamik (die Entropie nimmt immer zu) wird nicht behandelt. Das ist so komplex, dass dafür ein weiteres Buch nötig wäre.
• Es war beabsichtigt, die Quantenmechanik nur am Rande zu erwähnen, doch die Planck-Konstante ist erforderlich, um die Entropieformel klassischer Systeme zu definieren.
• Als mathematischer Physiker wird viel Zeit darauf verwendet, Begriffe präzise zu fassen und seltsame Gegenbeispiele zu finden. Wichtige Inhalte stehen in Kästen.

Zusammenfassung von GN⁺

• Dieses Buch ist ein Versuch, die Grundbegriffe der Entropie leicht verständlich zu erklären, ausgehend von der Informationstheorie bis hin zur statistischen Mechanik und Thermodynamik.
• Entropie wird nicht als „Unordnung“ definiert, sondern als die Menge an Information, die wir nicht wissen.
• Mit minimalen Konzepten der Quantenmechanik wird die Entropie klassischer Systeme erklärt.
• Es ist nützlich für Menschen, die Physik tiefer verstehen möchten, und hilft insbesondere dabei, die Beziehung zwischen statistischer Mechanik und Informationstheorie zu verstehen.
• Ein anderes Projekt mit ähnlicher Funktion ist die Reihe „Theoretical Minimum“.

[GN⁺]

Hacker-News-Kommentar

• Es gibt eine Anekdote dazu, warum Shannon in der Informationstheorie die „Unsicherheit“ als „Entropie“ bezeichnete

  • John von Neumann schlug den Begriff „Entropie“ vor
  • Entropie wurde bereits in der statistischen Mechanik verwendet und ist in Debatten von Vorteil

• Wichtig ist das Verständnis, dass die Shannon-Entropie eine subjektive Größe des Beobachters ist

  • Die Entropie einer Variablen X ist die Informationsmenge, die benötigt wird, um die Unsicherheit des Beobachters auf 0 zu bringen
  • Da verschiedene Beobachter unterschiedliche Informationen haben können, kann auch ihre Unsicherheit unterschiedlich sein

• In der statistischen Mechanik wird Entropie als der Logarithmus der Anzahl der Möglichkeiten beschrieben, wie ein System angeordnet werden kann

  • Am einfachsten ist es, an ein Paar von Würfelwürfen zu denken

• In der Informationstheorie wird Entropie als die Anzahl an Bits beschrieben, die ein Kompressionsalgorithmus benötigt, um eine Datei exakt darzustellen

  • Sich wiederholende Eingaben haben eine niedrige Entropie und lassen sich gut komprimieren

• Es gibt eine Entropie-Playlist von PBS Spacetime

• Bevorzugt wird ein Ansatz, der die Entropie diskreter Wahrscheinlichkeitsverteilungen mit Histogrammen erklärt

  • Dabei wird gemessen, wie wahrscheinlich es ist, dass bei vielen zufällig geworfenen Kugeln eine Verteilung wie das Histogramm entsteht
  • Wenn N Kugeln aus der Verteilung P geworfen werden, ist die Wahrscheinlichkeit, dass das Histogramm gleich P ist, 2^(-N * [log(k) - H(P)])
  • Eine Gleichverteilung hat die höchste Entropie

• Das Buch „Entropy Demystified“ erklärt den zweiten Hauptsatz der Thermodynamik

• Ein Text von John Baez bereitete im Grundstudium große Freude

• Bevorzugt wird ein Ansatz, der Entropie als die Menge an Informationen erklärt, die man theoretisch über ein System wissen kann

  • Es überrascht, dass die Wechselwirkung mit der Kopenhagener Deutung nicht erwähnt wurde

• Informationsentropie ist eine strenge untere Schranke dafür, wie effizient Informationen übertragen werden können

  • Die Entropie wird mithilfe einer Wahrscheinlichkeitsverteilung berechnet