Was ist Entropie? Ein Maß für unser Nichtwissen

• Die Entropie nahm ihren Ausgang vor 200 Jahren bei der Frage nach den Effizienzgrenzen von Dampfmaschinen, wird in der modernen Physik aber weniger als feste Eigenschaft der Welt verstanden, sondern als Größe für Informationen, die einem Beobachter fehlen
• Über Carnot, Clausius und Boltzmann wurde Entropie zu einem Konzept, das beschreibt, in welchem Maß Wärme nicht in Arbeit umgewandelt werden kann und sich verteilt, wie viele mögliche Mikrozustände es gibt und warum die Zeit in eine Richtung fließt
• Shannon und Jaynes erweiterten Entropie zur Sprache von Information und Unsicherheit, und das Gibbs'sche Paradoxon der Mischung zeigt, dass das, was unterscheidbar ist, die extrahierbare Arbeit und die Entropie verändern kann
• Neuere Forschung versucht, die begrenzten Mess-, Gedächtnis- und Rechenfähigkeiten von Beobachtern in die Mathematik einzubeziehen; Beobachtungsentropie, Informationsmaschinen, teilweise beobachtete Szilard-Maschinen und Experimente zur Quanten-Thermodynamik erkunden diese Richtung
• Aus dieser Perspektive wird statt perfekter Effizienz und perfekter Vorhersage der Umgang mit Unsicherheit wichtig; Information wird als physikalische Ressource behandelt, die die Grenzen von Energiegewinnung, Entscheidungsfindung und kleinen Maschinen bestimmt

---

Entropie begann mit der Effizienz von Dampfmaschinen

• Das Konzept der Entropie entstand aus der Frage nach der Effizienz von Maschinen während der industriellen Revolution
• 1824 versuchte der 28-jährige französische Militäringenieur Sadi Carnot, die letztmögliche Effizienz von Dampfmaschinen zu berechnen, und veröffentlichte ein 118-seitiges Buch mit dem Titel Reflections on the Motive Power of Fire
• Carnot betrachtete die Dampfmaschine als eine Maschine, die die Tendenz nutzt, dass Wärme von einem heißen zu einem kalten Körper fließt
  • Es gibt eine Grenze dafür, welcher Anteil von Wärme in Arbeit umgewandelt werden kann; dieses Ergebnis ist als Satz von Carnot bekannt
  • Durch Reibung, Schwingungen und unerwünschte Bewegungen verteilt sich immer ein Teil der Energie, sodass perfekte Effizienz unmöglich ist
• 1865 nannte der deutsche Physiker Rudolf Clausius den Anteil der Energie, der in nutzlosen Formen gebunden wird, „entropy“
  • Er formulierte den zweiten Hauptsatz der Thermodynamik in der Form, dass „die Entropie des Universums einem Maximum zustrebt“

Boltzmanns probabilistische Deutung und der Zeitpfeil

• Physiker verstanden Wärme damals fälschlicherweise als eine Flüssigkeit namens „caloric“, doch später setzte sich die Sicht durch, dass Wärme aus der Bewegung von Molekülen entsteht
• Ludwig Boltzmann deutete Entropie als Wahrscheinlichkeit neu
  • Detaillierte Zustände wie Position und Geschwindigkeit einzelner Moleküle sind Mikrozustände
  • Gesamteigenschaften wie Temperatur und Druck oder die Gesamtanordnung von Spielsteinen auf einem Brett sind Makrozustände
  • Je mehr Mikrozustände einen Makrozustand hervorbringen können, desto höher ist die Entropie
• Es gibt nur wenige Möglichkeiten, eine geordnete Form zu erzeugen, aber sehr viel mehr Möglichkeiten, eine zufällig verstreute Form zu erzeugen
  • Deshalb lässt sich der zweite Hauptsatz als probabilistische Aussage verstehen: „Es gibt mehr Möglichkeiten, unordentlich zu sein als sauber geordnet“
• Weil ein durchmischter Zustand wahrscheinlicher ist als ein Zustand, in dem heiße und kalte Teilchen getrennt sind, fließt Wärme von heiß nach kalt
• Dieselbe Logik gilt auch für Phänomene wie zerbrechendes Glas, schmelzendes Eis, sich mischende Flüssigkeiten und verrottende Blätter
  • Die Zunahme der Entropie prägt Prozessen, die rückwärts ebenfalls möglich scheinen, einen Zeitpfeil auf

Entropie als Erweiterung der Informationstheorie

• Während des Zweiten Weltkriegs arbeitete Claude Shannon an der Verschlüsselung von Kommunikationskanälen und wollte die in Nachrichten enthaltene Informationsmenge messen
• Shannon behandelte Wissen als Verringerung von Unsicherheit und definierte die Unsicherheit darüber, welches Zeichen als Nächstes kommt, mithilfe von Wahrscheinlichkeiten und Logarithmen
  • Wenn alle Zeichen gleich wahrscheinlich sind, hat Shannons Formel dieselbe Form wie Boltzmanns Entropieformel
  • John von Neumann soll Shannon geraten haben, diese Größe „entropy“ zu nennen
• So wie thermodynamische Entropie die Effizienz von Motoren erklärt, erfasst Informationsentropie die Effizienz von Kommunikation
  • Eine Nachricht mit hoher Entropie enthält wenige Muster, sodass das nächste Zeichen schwer zu erraten ist und mehr Ja/Nein-Fragen nötig sind, um den Inhalt zu erfahren
  • Eine Nachricht mit vielen Mustern enthält weniger Information und lässt sich leichter erraten
• 1957 betrachtete E.T. Jaynes in zwei Aufsätzen die Thermodynamik neu aus der Perspektive der Informationstheorie
  • Thermodynamik ähnelt eher einer Wissenschaft statistischer Schlussfolgerungen aus unvollständigen Messungen von Teilchen
  • Er schlug das Maximum-Entropie-Prinzip vor, das allen Konfigurationen, die mit den bekannten Randbedingungen vereinbar sind, die gleiche Wahrscheinlichkeit zuweist
  • Dieses Prinzip wird nicht nur in der statistischen Mechanik, sondern auch im Machine Learning und in der Ökologie verwendet
• Die in unterschiedlichen Kontexten entstandenen Entropiebegriffe sind alle mit Unsicherheit verbunden
  • Gehen Informationen über Teilchenpositionen und Impulse verloren, steigt die Gibbs entropy
  • Wenn Teilchen mit ihrer Umgebung verschränkt werden und der Quantenzustand unscharf wird, steigt die von Neumann entropy
  • Wenn Materie in ein Schwarzes Loch fällt und die Außenwelt diese Information verliert, steigt die Bekenstein-Hawking entropy

Wessen Nichtwissen misst Entropie?

• Im modernen Verständnis misst Entropie Nichtwissen über die Bewegung von Teilchen, die nächste Ziffer in einer Code-Zeichenkette oder den exakten Zustand eines Quantensystems
• Diese Sicht führt unmittelbar zur Frage: „Wessen Nichtwissen?“
• Carlo Rovelli sah im Phänomen, dass sich Öl und Wasser nach dem Schütteln wieder trennen, ein Problem für die einfache Erklärung des zweiten Hauptsatzes als „Zunahme von Unordnung“
  • Oberflächlich betrachtet nimmt die Ordnung zu, doch ein Beobachter mit sehr scharfem thermischem Blick könnte sehen, dass bei der Trennung Bewegungsenergie an Moleküle abgegeben wird und der Zustand thermisch ungeordneter wird
  • Makroskopische Ordnung kann auf Kosten mikroskopischer Unordnung entstehen
• Jaynes zeigte mit dem Gibbsschen Paradoxon der Mischung, dass die Unterscheidungsfähigkeit eines Beobachters die Entropie verändern kann
  • Wenn zwei verschiedene Gase A und B durch eine Trennwand getrennt sind und sich dann mischen, steigt die Entropie
  • Sind die beiden Gase identisch und haben sie denselben Druck und dieselbe Temperatur, ändert sich die Entropie beim Entfernen der Trennwand nicht
  • Sind die beiden Gase tatsächlich verschieden, aber es gibt keine Möglichkeit, sie zu unterscheiden, verhalten sie sich für den Experimentator wie dasselbe Gas
• In Jaynes’ Beispiel unterscheiden sich zwei Argonarten nur in ihrer Löslichkeit gegenüber einem noch unentdeckten Element namens „whifnium“
  • Vor der Entdeckung von whifnium lassen sie sich nicht unterscheiden, sodass beim Entfernen der Trennwand scheinbar keine Entropieänderung auftritt
  • Nach der Entdeckung von whifnium lassen sich die beiden Argonarten unterscheiden, und man kann einen Kolben konstruieren, der aus ihrer Mischung Energie gewinnt
• Entropie und extrahierbare Arbeit hängen nicht nur von den Unterschieden im System selbst ab, sondern auch vom Wissen und den Ressourcen des Beobachters

Versuche, Beobachterabhängigkeit in die Mathematik einzubauen

• Behandelt man Entropie nicht als intrinsische Eigenschaft eines Systems, sondern als vom Beobachter abhängige Eigenschaft, entsteht eine philosophische Belastung für die Objektivität der Physik
• Anthony Aguirre und seine Mitautoren entwickelten ein Maß namens Beobachtungsentropie (observational entropy)
  • Es legt fest, auf welche Eigenschaften ein bestimmter Beobachter zugreifen kann, und passt an, wie grob diese Eigenschaften die Wirklichkeit zusammenfassen
  • Allen Mikrozuständen, die mit den beobachteten Eigenschaften vereinbar sind, wird wie bei Jaynes die gleiche Wahrscheinlichkeit zugewiesen
  • Die Formel verbindet thermodynamische Entropie, die makroskopische Merkmale behandelt, mit Informationsentropie, die mikroskopische Details erfasst
• Mehrere unabhängige Forschungsgruppen nutzen Aguirres Formel, um strengere Beweise des zweiten Hauptsatzes zu finden
• Aguirre will mit diesem Maß klarer machen, warum das Universum in einem Zustand niedriger Entropie begann, warum die Zeit vorwärts fließt und was Entropie bei Schwarzen Löchern bedeutet
• In der Quanteninformationstheorie wird Information als Ressource behandelt, die ein Beobachter verwendet, um mit einem System zu interagieren
  • Für einen Supercomputer mit unbegrenzter Fähigkeit, den exakten Zustand jedes Teilchens zu verfolgen, bliebe die Entropie immer konstant und es gäbe keinen Informationsverlust
  • Ein Beobachter mit endlichen Rechenressourcen wie ein Mensch fasst die Wirklichkeit grob zusammen und verliert allmählich mikroskopische Details
  • Dieser Verlauf erscheint als Fluss der Zeit

Informationsmaschinen und die Physik der Entscheidungsfindung

• Im Sommer 2023 brachte das von Aguirre mitgegründete FQxI im britischen Yorkshire Physiker zusammen, die untersuchen, wie sich Information als Treibstoff nutzen lässt
• Für diese Forschenden verschwimmt die Grenze zwischen Motoren und Computern zunehmend
  • Information wird als reale, quantifizierbare physikalische Ressource behandelt, die angibt, wie viel Arbeit aus einem System gewonnen werden kann
• Leo Szilards Gedankenexperiment zeigt den Kern einer Informationsmaschine
  • Ein einzelnes Teilchen in einer Box drückt gegen eine Trennwand, und ein Dämon hebt mithilfe von Seil und Rolle ein Gewicht außerhalb der Box an
  • Um wiederholt Arbeit zu gewinnen, muss der Dämon wissen, auf welcher Seite der Box sich das Teilchen befindet
  • Die Szilard-Maschine wird durch Information angetrieben
• Auch Informationsmaschinen sind wie Wärmekraftmaschinen nicht perfekt
  • Beim Messen und Speichern von Information wird im Mittel mindestens entsprechend viel Entropie erzeugt
  • Wissen ermöglicht Arbeit, doch dieses Wissen zu gewinnen und zu speichern kostet ebenfalls Energie
• Susanne Still behandelt Beobachter seit Langem als physikalische Systeme mit physikalischen Grenzen
  • Beobachter müssen entscheiden, was sie messen und was sie in ihrem begrenzten Gedächtnis speichern
  • Wer Informationen sammelt, die für nützliche Vorhersagen nicht helfen, wird energieineffizienter
  • Still schlug das Prinzip der geringsten Selbstbehinderung (least self-impediment) vor, das eine Informationsverarbeitungsstrategie wählt, die den physikalischen Grenzen möglichst nahekommt
• Still modellierte die partielle Beobachtbarkeit der Realität mit einer modifizierten Szilard-Maschine mit geneigter Trennwand
  • Der Nutzer kann nur die horizontale Position des Teilchens sehen, etwa seinen Schatten
  • Liegt der Schatten vollständig links oder rechts der Trennwand, erkennt man, auf welcher Seite das Teilchen ist; in der mittleren Region weiß man jedoch nicht, ob es oben oder unten ist
  • Die Berechnung der optimalen Mess- und Gedächtniscodierungsstrategie in diesem Modell ergab eine physikalisch fundierte Herleitung des im Machine Learning verwendeten Information-Bottleneck-Algorithmus (information bottleneck algorithm)

Kleine Informationsmaschinen im Labor

• John Bechhoefer und Forschende der Simon Fraser University rekonstruierten eine Szilard-Maschine mit Silicakügelchen, die kleiner sind als Staub und im Wasser schweben
  • Sie hielten die Kügelchen mit einem Laser fest und überwachten zufällige thermische Fluktuationen
  • Wenn ein Kügelchen nach oben schwankte, hoben sie die Laserfalle schnell an und nutzten diese Bewegung aus
  • Es gelang ihnen, mithilfe der Kraft der Information ein Gewicht anzuheben
• Bechhoefer und Still untersuchten die Grenzen der Arbeitsgewinnung in realen Informationsmaschinen
  • Sie fanden heraus, dass Informationsmaschinen in bestimmten Bereichen deutlich leistungsfähiger sein können als herkömmliche Maschinen
  • Angeregt durch Stills theoretische Arbeit verfolgten sie auch Ineffizienzen, die durch partielle Information über den Zustand der Kügelchen entstehen
• Natalia Ares von der Oxford University führt Experimente durch, die Informationsmaschinen auf Quantengröße schrumpfen
  • Auf einem Siliziumchip in der Größe eines Untersetzers sperrt sie ein einzelnes Elektron in einem dünnen Kohlenstoffdraht ein
  • Diese Nanoröhre wird auf wenige Tausendstel Grad über dem absoluten Nullpunkt gekühlt und schwingt wie eine Gitarrensaite
  • Die Schwingungsfrequenz wird vom Zustand des Elektrons im Inneren bestimmt, und die Forschenden wollen mit diesen winzigen Schwingungen die Arbeitsleistung von Quantenphänomenen diagnostizieren
• Ein Experimentplan von Ares folgt Stills Ideen
  • Sie reguliert, wie perfekt die Schwingung der Nanoröhre vom Elektron abhängt oder wie stark sie von anderen unbekannten Faktoren beeinflusst wird
  • Das dient als Regler für den Grad des Nichtwissens des Beobachters
• Auf Quantenskalen ist komplizierter, welche Entropie die relevanten Grenzen setzt und wie Arbeitsleistung definiert werden sollte
  • Eine neuere Studie unter Leitung von Nicole Yunger Halpern zeigte, dass Definitionen der Entropieerzeugung, die sonst meist gleichbedeutend verwendet werden, im Quantenbereich auseinanderfallen können
  • Auf Quantenskalen lassen sich bestimmte Eigenschaften nicht gleichzeitig kennen, und die Reihenfolge der Messungen kann das Ergebnis beeinflussen
  • Yunger Halpern sieht zusätzliche Ressourcen der Quantenwelt, die genutzt werden könnten, um die Umgebung von Carnots Satz zu umgehen

Der Wandel zu einer Wissenschaft des Umgangs mit Unsicherheit

• Im September 2024 kamen in Palaiseau, Frankreich, Hunderte Forschende zusammen, um den 200. Jahrestag von Carnots Buch zu feiern
  • Die Teilnehmenden diskutierten, welche Rolle Entropie in ihren jeweiligen Forschungsfeldern spielt, von Solarzellen bis zu Schwarzen Löchern
  • Ein Verantwortlicher des französischen Nationalen Zentrums für wissenschaftliche Forschung entschuldigte sich im Namen Frankreichs dafür, Carnots Einfluss unterschätzt zu haben
• Carnots Einsicht entstand aus dem Versuch, die mechanische Welt vollständig zu kontrollieren, doch als sich die Entropie über die gesamten Naturwissenschaften ausbreitete, verschob sich der Fokus
• Eine verfeinerte Sicht auf Entropie gibt den Traum von perfekter Effizienz und perfekter Vorhersage auf und erkennt die nicht reduzierbare Unsicherheit der Welt an
• Der Zerfall von Ordnung wird zur Triebkraft jeder Maschine, und die neue Perspektive kann verborgene Vorräte von Ordnung im Chaos sichtbar machen
• Entropie ist nicht nur unvermeidliche Unordnung, sondern wirkt auch als Antrieb zur Suche nach Wissen, der uns dazu bringt, wahrzunehmen, zu schließen und bessere Entscheidungen zu treffen

[GN⁺]

Hacker-News-Kommentare

• Schön zu sehen, dass der Artikel hier diskutiert wird.
  Ich war für die technische Umsetzung der interaktiven Elemente zuständig; den Quellcode findet ihr hier: https://github.com/jnsprnw/mip-entropy
  Gebaut wurde das mit Svelte 5 und Tailwind.

  • Mich würde interessieren, warum du Svelte 5 statt etwas anderem gewählt hast.
    Es scheint, als würden derzeit viele einmalige Interaktionen mit Svelte gebaut. Welche Vorteile hat es?

• Es ist interessant, diesen Artikel 27 Jahre nach meiner Promotion zu lesen.
  In meiner Promotion in theoretischer Physik habe ich Fälle mit und ohne Unbekannte verglichen, und zwar aus der Perspektive, Entropie als treibenden Faktor zu betrachten.
  Meine Dissertation beschäftigte sich damit, wie man quantenmechanische Systeme in einem Hohlraum behandelt; dabei ging es um einen Hohlraum, bei dem eine Seite ein perfekter Spiegel war und die andere ein zu 99,999999 % perfekter Spiegel.
  Auf der anderen Seite des unvollkommenen Spiegels platzierte ich einen weiteren perfekten Spiegel, um ein eindimensionales Universum zu vervollständigen; in ASCII: [100%] —l— [100-epsilon] ——L——— [100%], wobei L >> l gilt.
  Die Lösung für das gesamte Universum war mit Standardmethoden der Quantenmechanik einfach, die Lösung für das kleine verlustbehaftete Universum jedoch nicht, obwohl beide physikalisch gleich sein sollten.
  Also verwendete ich die exakte Lösung des vollständigen (l+L)-Universums und verglich sie mit möglichen Modellen des kleinen (l)-Universums, die einen nichtlinearen Term zur Beschreibung der Verluste enthielten.
  In einem verlustbehafteten System existiert Entropie oder wirkt wie eine treibende Kraft, während in einem verlustfreien System alles erhalten bleibt; die Verbindung zwischen beidem ist keine neue Erkenntnis ;-0

  • Interessant zu lesen, aber ich weiß nicht, welche Art von Spiegeln gemeint ist, und auch nicht, ob es optische Spiegel sind.
    Ich weiß auch nicht, wofür l und L stehen, und im letzten Satz sollte vermutlich das how wegfallen.
  • Interessant. Kannst du einen Link zur Arbeit teilen?

• Seit ich Sean Carroll über Entropie habe sprechen hören, ist Entropie für mich viel interessanter geworden.
  Er hat eine grundlagenorientierte und philosophische Neigung und weist oft darauf hin, dass konkurrierende Definitionen von Entropie auf unterschiedlichen philosophischen Fundamenten beruhen und eine davon beobachterabhängig zu sein scheint.
  https://youtu.be/x9COqqqsFtc?si=cQkfV5IpLC039Cl5
  https://youtu.be/XJ14ZO-e9NY?si=xi8idD5JmQbT5zxN
  Leonard Susskind hat viele hervorragende Vorträge und Bücher über Quanteninformation und die Berechnung der Entropie Schwarzer Löcher, was zu ziemlich radikalen neuen Hypothesen geführt hat.
  Stephen Wolfram hat ebenfalls einen langen Vortrag zur Geschichte des Entropiebegriffs gehalten, der ziemlich gut war: https://www.youtube.com/live/ocOHxPs1LQ0?si=zvQNsj_FEGbTX2R3

  • Warum ist das auch nur ansatzweise ein aufregendes Konzept? Es ist das deprimierendste Konzept, von dem ich je gehört habe.

• Die Passage „Als Physiker im vergangenen Jahrhundert versuchten, scheinbar voneinander entfernte Gebiete zu vereinheitlichen, rückten sie die Entropie in ein neues Licht und richteten das Mikroskop zurück auf den Betrachter, wodurch sie den Begriff der Unordnung in den Begriff der Unwissenheit verwandelten. Entropie gilt nicht als eine einem System innewohnende Eigenschaft, sondern als relativ zu dem Beobachter, der mit diesem System interagiert“ wirkt, vielleicht dank der Schultern von Riesen, wie eine ziemlich gewöhnliche Beobachtung.
  Ein Zustand hoher Entropie ist ein Makrozustand mit vielen entsprechenden Mikrozuständen.
  Ist das Einordnen mehrerer Mikrozustände in denselben Makrozustand nicht offensichtlich eine beobachterzentrierte Funktion?
  Wenn man zum Beispiel bei einem Würfel 5 und 6 als im Wesentlichen gleiches Ergebnis betrachtet, dann wird dieses Ergebnis wahrscheinlicher und hat auch eine höhere Entropie.
  Aber das liegt an meiner Klassifizierung, nicht an einer dem System innewohnenden Eigenschaft.

  • Das ist weder gewöhnlich noch, zumindest im Hinblick auf Entropie in Physik und Thermodynamik, richtig.
    Die Aussage „Ein Zustand hoher Entropie ist ein Makrozustand mit vielen entsprechenden Mikrozuständen“ ist eine Art, Entropie aus einem gegebenen Modell abzuleiten.
    Entropie kann aber auch durch experimentelle Messungen bestimmt werden, und dabei kümmert sich der Versuchsaufbau nicht um Mikro- oder Makrozustände, sondern hat nur Eigenschaften wie Enthalpie, Wärmekapazität und Temperatur.
    Später kann man ein Modell aufstellen und sagen, dass die Entropie eines bestimmten Gases mit den Vorhersagen des Idealgasmodells übereinstimmt oder dass die Entropie eines bestimmten Festkörpers zu dem passt, was man über Schwingungsentropie weiß.
    Ähnlich ist es mit der Aussage, dass Wasserstoffatome ununterscheidbar sind: Sie werden nicht ununterscheidbar, weil wir das so festlegen, sondern weil die Berechnung der Entropie in beiden Fällen zeigt, dass die Realität nicht zum Modell unterscheidbarer Atome passt.
    Wenn man nur saubere Modelle betrachtet, mag die Klassifikation von Makrozuständen beobachterzentriert wirken, doch das erklärt nicht, warum experimentelle Entropiewerte eines Stoffes unabhängig vom Modell, das der Experimentator verwendet, konsistent sind.
    Grundsätzlich hängt Entropie nicht vom Beobachter ab, sondern von der Wahrscheinlichkeitsverteilung.
  • Woran macht man fest, welche Beobachtung gewöhnlich ist? Was du gerade gesagt hast, halte ich für einsichtsvoll und für ein Zeichen von Intelligenz.
    Für die vielen Studierenden, die einführende Physiklehrbücher gelesen haben, ist das keineswegs offensichtlich.
    Tatsächlich wurde Entropie oft falsch gelehrt, und nur sehr wenige haben sie wirklich verstanden; ich denke aber, dass sich das inzwischen langsam bessert.
    Populärwissenschaftliche Magazine, Dokumentationen und YouTube-Videos, die die Öffentlichkeit noch mehr verwirren, sind ein zusätzlicher Beleg dafür.
  • Die Bedingung für einen in der Physik gültigen Wechsel des Bezugssystems ist, dass sich die physikalischen Gesetze entsprechend dieser Transformation mittransformieren müssen.
    Alle Beobachter müssen, wenn sie Experimente durchführen und die wissenschaftliche Methode anwenden, dieselben grundlegenden Gesetze entdecken.
    Auf deine Analogie übertragen: Zu sagen, 5 und 6 seien gleich, ist nur dann möglich, wenn die Spielregeln auf diese Weise transformiert werden können, sodass auch ein Beobachter, der die beiden unterscheidet, in seinem Bezugssystem zu den korrekt transformierten Regeln gelangt.
    Wenn man bedenkt, dass es Objekte wie Neutronensterne und Schwarze Löcher gibt, bei denen Quantenphysik und allgemeine Relativität gleichzeitig eine Rolle spielen, wirkt diese Aussage ziemlich fundamental; ich frage mich sogar, ob sie nicht zu stark formuliert ist.

• Lange Zeit hatte ich keine Intuition dafür, was Entropie tatsächlich darstellt.
  Dieses Veritasium-Video hat es mir schließlich verständlich erklärt: https://www.youtube.com/watch?v=DxL2HoqLbyA

• Es ist schade, dass die Heisenbergsche Unschärferelation nicht erwähnt wird; ich sehe darin die theoretische Obergrenze dieses Ansatzes.
  Außerdem sollte man berücksichtigen, wie hoch der Rechenaufwand im Verhältnis zu der potenziell nutzbaren Arbeit ist, die sich aus solchen Quantenmaschinen gewinnen lässt.
  Wenn die Energiekosten der Berechnung die potenziell nutzbare Arbeit übersteigen, bleibt es unterm Strich ein Verlust oder ist nutzlos.
  Schließlich gibt es noch das Problem des Spektrums aus verborgenen Mustern und Zufälligkeit.
  Manche Systeme sind zufälliger als andere, und je weiter man im Zufälligkeitsspektrum nach unten geht, desto geringer wird die Chance, innerhalb vertretbarer Rechenenergiekosten nutzbare Arbeit zu gewinnen.
  Ein System mit maximaler Heisenbergscher Unschärfe, also eines, in dem die Teilchen nicht verschränkt sind und auch nicht mit übergeordneten Strukturen anderer verschränkter Teilchen korrelieren, bietet keinen Spielraum für Wissensverbesserung; seine potenzielle Arbeit ist daher 0.
  Das ist die letztliche Entropie lokaler und makroskopischer Systeme und vielleicht auch die Ursache bestimmter Verletzungen von Energieerhaltungsprinzipien wie etwa der Dunklen Energie.

• Anfang dieses Jahres gab es dazu einen verwandten Thread.
  https://news.ycombinator.com/item?id=41037981 ("What Is Entropy? (johncarlosbaez.wordpress.com)", 209 Kommentare)

• Die interaktive Grafik, die zeigen soll, dass Entropie subjektiv ist, überzeugt mich nicht.
  Sie definiert den Makrozustand des betrachteten Systems nicht sauber und zeigt dann für zwei verschiedene Makrozustände unterschiedliche beobachtete Entropien.
  Für Alice ist es die Farbe, für Bob die Form, und so weiter.
  Das zeigt nicht, dass Entropie subjektiv ist, sondern dass die Definition eines Systems subjektiv ist.
  Dieselben zwei Makrozustände hätten weiterhin dieselbe Entropie.

  • Zu ähnlichen Problemen gab es viele Fragen, meist dazu, worin das Wesen des „Subjektiven“ besteht.
    Der Artikel streift diesen Punkt zwar, aber nicht ausreichend; vielleicht liegt das auch am Stand der Literatur.
    Die Arbeiten von Safranek et al. zur beobachteten Entropie waren interessant, weil sie zeigen, dass die Wahl der Vergröberung (coarse graining) in Makrozustände zu unterschiedlichen Entropien führen kann; die zentrale Frage, warum man überhaupt eine bestimmte Vergröberung oder einen bestimmten Makrozustand wählt, behandeln sie jedoch nicht.
    In der informationstheoretischen Literatur gibt es bei der Wahl einer bestimmten Vergröberung oder eines Makrozustands Informationskosten, Kosten im Sinne der Kolmogorow-Komplexität.
    Im Beispiel des Artikels wären das die Kosten dafür, zur Definition der Entropie Form oder Farbe auszuwählen.
    Daher wirkt beobachtete Entropie wie ein Teil einer größeren Entropie oder von Informationskosten, die auch die Informationskosten der gewählten Vergröberung einschließen.
    Das führt wieder zurück zur späteren Diskussion im Artikel über Beobachtungskosten und Informationsengpässe, aber weder der Artikel noch die verlinkten Arbeiten scheinen dieses Problem unterschiedlicher Kosten für Makrozustände explizit und ausführlich zu behandeln.
    Es wird zwar diskutiert, dass es thermodynamische Kosten gibt, aber unklar bleibt, wie sich diese Kosten aufsummieren und warum ein Makrozustand statt eines anderen gewählt wird.
    Alice und Bob im Subjektivitätsbeispiel sind durch unterschiedliche physikalische Einschränkungen definiert und lassen sich als zwei Beobachtungssysteme mit unterschiedlichen Beschränkungen ansehen.
    Aus einer anderen Perspektive: Nehmen wir an, eine Kiste mit vielen Teilchen sei „rein zufällig“.
    In diesem Fall ist, was auch immer Alice und Bob sehen, vor allem die Teilchenzahl wichtig; die Entropie der Farben hängt von der Anzahl der Farben ab, nicht von den Positionen der Teilchen, weil es bereits ein Zustand maximaler Entropie ist.
    Wenn man die Teilchen nach einer bestimmten Eigenschaft neu organisiert, senken beide die Entropie gegenüber dem rein zufälligen Zustand um einen gewissen Betrag, und das könnte auf irgendeine Weise mit der Information zusammenhängen, die nötig ist, um die Teilchen wieder in den rein zufälligen Zustand zurückzuversetzen.
    Der Artikel enthält viele Links in andere Bereiche von Wissenschaft und Mathematik, und die Ausführungen zu den Informationskosten der Beobachtung verknüpfen sich über Wolpert (2008), der das aus rechnerischer Perspektive angeht, und später Rukavicka auch mit der Literatur aus Mathematik und Informatik.
    Auch in der neurowissenschaftlichen Literatur gibt es ähnliche Ideen zur Effizienz der Entropiereduktion, aber die Namen der beteiligten Personen fallen mir gerade nicht ein.
    Der Quanta-Artikel war wirklich gut, aber in bestimmten Bereichen gab es viel Unschärfe, und es war schwer zu unterscheiden, ob das an der Unschärfe des Schreibens, der Literatur selbst oder an meinem mangelnden Verständnis lag.
  • Vielleicht ergibt es mehr Sinn, wenn man Alice und Bob als unterschiedliche außerirdische Spezies betrachtet.
    Alices Spezies hat keine Messgeräte, um die Entropie auf Bobs Seite zu erfassen, daher kann Alice aus Bobs System keine nutzbare Arbeit gewinnen, und umgekehrt genauso.
    Eine objektive Definition von Entropie muss also die Fähigkeiten des Messenden einschließen.
    Letztlich ist das dasselbe, was du über Makrozustände gesagt hast.
  • Du hast gut zusammengefasst, warum mich das gestört hat.
    Ich konnte es nicht genau benennen, aber ja.
    Hier werden die Definition eines Systems und die Definition der Entropie eines Systems miteinander verwechselt, und daraus wird geschlossen, Entropie sei subjektiv.
    Das ist sie überhaupt nicht. Entropie ist einfach ein Messwert.

• In den Kommentaren habe ich dieses Sabine-Video nicht gesehen. Für alle, die sich für Entropie in der Physik interessieren, könnte es spannend sein
  "I don't believe the 2nd law of thermodynamics. (The most uplifting video I'll ever make.)"
  https://m.youtube.com/watch?v=89Mq6gmPo0s
  Ich bin über Machine Learning, Informationstheorie und Wahrscheinlichkeit mit Entropie in Berührung gekommen
  Für mich ist sie ziemlich intuitiv, interessant und nützlich, aber nichts Mysteriöses
  Eine Wahrscheinlichkeitsdichtefunktion, hochtrabend gesagt ein Histogramm, ist unser derzeit bestes Wissen darüber, wie oft welches Ergebnis zu erwarten ist
  Wenn man ein Experiment einmal durchführt, kennt man das Ergebnis nicht; man kann nur die Anzahl der unterschiedlichen Ergebnisse zählen und nicht sicher sein, wann genau welches Ergebnis eintritt
  Eine flache Wahrscheinlichkeitsdichtefunktion bedeutet, dass das Wissen dürftig ist. Alle Ergebnisse sind fast gleich wahrscheinlich, und ich bin sehr unwissend. Mit anderen Worten: Die Entropie ist hoch
  Eine spitze Wahrscheinlichkeitsdichtefunktion bedeutet, dass das Wissen gut ist. Ein bestimmtes Ergebnis ist deutlich plausibler, und die Entropie ist niedrig
  Im Extremfall, wenn die Wahrscheinlichkeitsdichtefunktion ein Dirac-Delta ist, handelt es sich um deterministisches Wissen
  Etwas interessant ist der Fall, in dem eine neue Beobachtung das Wissen verringert
  Nehmen wir zum Beispiel an, ich bin mir derzeit ziemlich sicher, dass ich keinen Krebs habe, und die Wahrscheinlichkeit in meiner Altersgruppe liegt bei 90:10
  Morgen mache ich einen Test, und er fällt positiv aus. Unter den Menschen meiner Altersgruppe mit positivem Testergebnis hat ungefähr die Hälfte tatsächlich Krebs
  Nach dem Test stehen meine Wahrscheinlichkeiten bei 50:50. Jetzt bin ich völlig unwissend darüber, ob ich Krebs habe oder nicht
  Vor dem Test, bevor ich das positive Ergebnis erhalten habe, war ich sehr sicher, keinen Krebs zu haben; die neue Information, das positive Ergebnis, hat die Krebswahrscheinlichkeit von der spitzen Randwahrscheinlichkeit P_Y(y)={0.9,0.1} in eine völlig unwissende bedingte Wahrscheinlichkeit P_Y(y|+ve test)={0.5,0.5} verwandelt
  Dieses Beispiel stammt aus DeWeese und Meisters "How to measure the information gained from one symbol": https://pubmed.ncbi.nlm.nih.gov/10695762/

• Guter Artikel
  Der subjektive Charakter von Entropie und Information erinnert sofort an die Integrierte Informationstheorie (IIT) des Bewusstseins und ihre grundlegende Vergeblichkeit
  Information lässt sich nicht ohne Perspektive diskutieren. Irgendjemand muss die Zustände definieren
  Dass ein Würfel 6 Zustände hat, gilt auch nur für uns Menschen. Wie sieht es für eine Ameise aus, auf die der Würfel fallen könnte?
  Es ist interessant, den Beobachter wieder in die Diskussion über Information hineinzuholen. Denn dann folgen bald Fragen wie: „Wie ist der Beobachter konstruiert?“ und „Wie entsteht in einem Wesen aus Billionen von Zellen eine Perspektive, also ein ‚Ich‘?“
  Wenn dich dieser Umweg interessiert, lohnt es sich, diesen Artikel und unser darin erwähntes Buch zu lesen
  https://saigaddam.medium.com/consciousness-is-a-consensus-me...

  • Für mich, mit einem Informatikstudium und einem Bachelor in Physik, ist es immer wieder interessant, dass Entropie nach wie vor ein so grobes Maß ist