AV1@Scale: Das Erwachen der Filmsynthese für Filmkorn

 (netflixtechblog.com)
2 Punkte von GN⁺ 2025-07-05 | 1 Kommentare | Auf WhatsApp teilen
  • Netflix beginnt damit, die AV1 Film Grain Synthesis (Synthese von Filmkorn) weltweit in großem Maßstab für seine Mitglieder einzusetzen
  • Die Funktion bewahrt Rauschen und filmische Textur realistischer und verbessert zugleich die Effizienz der Videokomprimierung
  • AV1 FGS nutzt zwei zentrale Verfahren (Musterrekonstruktion, Intensitätssteuerung), um die ursprünglichen Korngrenzen präzise nachzubilden
  • Dadurch sind Bitrateneinsparungen bei gleichzeitiger Verbesserung der Videoqualität und des Zuschauererlebnisses möglich
  • Mit dieser Technologie steigert Netflix die Dateneffizienz bei mehr Inhalten und wahrt dabei die künstlerische Integrität

AV1@Scale: Das Erwachen der Filmsynthese für Filmkorn

Netflix führt Film Grain Synthesis ein und verbessert die Videoqualität für Hunderte Millionen Menschen

  • Durch die großflächige Einführung von AV1 Film Grain Synthesis (FGS)-Streams setzt Netflix eine Innovation um, die die künstlerische Wirkung und den Realismus von Filmkorn bewahrt und zugleich die Dateneffizienz maximiert
  • Filmkorn ist ein wichtiges visuelles Element, das dem Storytelling mehr Tiefe verleiht und Atmosphäre sowie Realismus klassischer Filme unterstützt
  • Mit traditionellen Komprimierungsalgorithmen ließ sich stark zufälliges Korn jedoch nur schwer effizient verarbeiten und komprimieren

# Film Grain Synthesis in AV1 verstehen

  • Das AV1-Werkzeug zur Film Grain Synthesis (FGS) verwendet zwei Hauptmodelle

    • Filmkornmuster: Ein autoregressives (AR) Modell bildet das Kornmuster nach; die AR-Koeffizienten werden aus der Differenz zwischen dem Quellvideo und dem entrauschten Video (Rauschen) geschätzt
      • Mit diesen Koeffizienten wird eine 64x64-Rauschvorlage erzeugt, aus der bei der Wiedergabe zufällige 32x32-Patches entnommen und mit dem rekonstruierten Video kombiniert werden
      • Dieser Ansatz bildet die Rauscheigenschaften und räumlichen Korrelationen des Originalvideos zuverlässig nach
    • Filmkornintensität: Eine Skalierungsfunktion steuert die Kornintensität fein abgestimmt je nach Helligkeitssituation
      • Beim Encoding wird die Beziehung zwischen Pixelwerten und Rauschintensität als stückweise lineare Funktion modelliert, wobei die Kornintensität abhängig von Helligkeit und Farbe des Videos angepasst wird
      • Auf diese Weise lässt sich die Textur des Originalvideos genauer rekonstruieren

  • Der AV1-Standard schreibt kein bestimmtes Verfahren zur Entrauschung vor, sodass Nutzer den gewünschten Denoiser frei wählen können

  • Nach der Entrauschung wird das Video (das kornfreie Video) komprimiert und zusammen mit den Parametern für Kornmuster und -intensität übertragen

  • Im Player des Nutzers wird das Korn blockbasiert rekonstruiert; die Implementierung ist für Endgeräte optimiert

# Komprimierungseffizienz, Videoqualität und Nutzen für Zuschauer

  • Durch die Aktivierung von AV1 FGS kann Netflix neben Bitrateneinsparungen auch hochwertiges Video-Streaming bereitstellen, das die künstlerische Stimmung von Filmen bewahrt
  • Reale Beispiele zeigen, dass gegenüber bisherigen Verfahren bessere Qualität und geringerer Datenverbrauch gleichzeitig erreicht werden
  • FGS erfüllt insbesondere bei Inhalten mit starker Filterbearbeitung oder hinzugefügtem Korn sowohl die Anforderungen an Dateneffizienz als auch an den Erhalt der ursprünglichen Textur

# Zusammenfassung

  • AV1 Film Grain Synthesis (Synthese von Filmkorn) ist eine Technologie, die künstlerische Integrität, ein besseres Seherlebnis und höhere Streaming-Effizienz ermöglicht
  • Mit der großflächigen Einführung dieser Technologie liefert Netflix bei mehr Werken eine Balance zwischen Qualität und Dateneinsparung
  • Damit werden von klassischen Filmen bis zu modernen Videos sowohl emotionale Textur als auch technische Effizienz umgesetzt

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-07-05
Hacker-News-Kommentar

  • Ich finde, in dieser Diskussion wird übersehen, dass synthetisches Rauschen die im ursprünglichen Rauschen enthaltenen Informationen und Details nicht vollständig reproduzieren kann. Wenn bei einer hochqualitativen Kodierung echtes Rauschen enthalten ist, erlebt man beim Übergang von einem Standbild zu bewegtem Video einen deutlichen Sprung in der wahrgenommenen Auflösung. Bei 24 fps wirkt es, als würde sich das Rauschen über dem Signal bewegen, während das Signal selbst dennoch scharf bleibt. Wenn dagegen verlustbehaftete Kompression oder synthetisches Rauschen pro Frame angewendet wird, sind die ursprünglich vorhandenen Details nicht wiederherstellbar. In echtem 24-fps-Video wirkt das Bild dann verwaschener, und gerade bei altem Filmmaterial ist der Detailunterschied mehr als doppelt so groß. Wenn h.265 oder AV1 beim Kodieren immer mehrere Frames berücksichtigen und nur das zum Bewegungsmuster passende Rauschen entfernen würden, gäbe es keinen Detailverlust, aber ich weiß nicht, ob sie tatsächlich so arbeiten. Den Vergleich zwischen Entrauschen und synthetischem Rauschen sollte man nicht anhand von Standbildern beurteilen, sondern nur durch einen direkten Vergleich echter Videos. Ich möchte betonen, dass Rauschen selbst auch eine Form von Detail ist.

    • Ich denke, ein Vergleich anhand von Standbildern reicht aus, solange das synthetische Rauschen kein auffälliges zeitliches Muster hat, denn Grain bzw. das Rauschmuster existiert pro Frame unabhängig und bewegt sich nicht mit den Objekten in der Szene mit. Aus ästhetischer Sicht spiegelt das in AV1 synthetisierte Grain die Korngröße des Ausgangsmaterials nicht richtig wider, sodass die großen Kristalle alter Filme kaum zur Geltung kommen, und die Farbkanäle werden auch nicht separat modelliert. Da Netflix-Quellmaterial aber ohnehin chroma-subsampled ist, ist das vielleicht nicht so wichtig. Der zugehörige Paper-Link ist hier. Ich habe das nur oberflächlich gelesen, daher kann ich mich irren.

    • Um den zeitlichen Aspekt zu erklären, hilft es, an alte Filmprojektoren zu denken. Zwischen jedem Frame gibt es einen dunklen Moment, aber das Auge nimmt dieses Flackern kaum wahr und mittelt es heraus (flicker fusion threshold). Rauschen und Grain werden ähnlich wahrgenommen und treten daher weniger hervor als ein stabiles Signal. Auch in der Astrofotografie kombiniert man mehrere Bilder, um ein besseres SNR zu erhalten; das menschliche Gehirn verarbeitet so etwas in gewisser Weise ähnlich. Das Rauschen mittelt sich über die Zeit aus, während das Signal klarer hervortritt. Ein Denoising-Algorithmus, der nur einzelne Frames verarbeitet, hat diesen Kontext nicht und verliert daher Details oder ersetzt sie durch Vermutungen. AV1 schreibt keinen bestimmten Denoising-Algorithmus vor, deshalb denke ich, dass ein intelligenter Algorithmus den zeitlichen Kontext gut erhalten könnte.

    • Rauschen selbst enthält kein Signal und ist als zufällig zum Signal addierte Störung keine Information. Dass sich bei der Mittelung mehrerer statischer Bilder das Signal erhält, während sich das Rauschen aufhebt und das SNR steigt, zeigt für mich, dass es wenig sinnvoll ist, Rauschen absichtlich zu erhalten. Falls ein wahrnehmbarer Effekt auftritt, liegt das eher an ästhetischer Zufriedenheit mit dem ursprünglichen Filmgrain oder an einem Vergleich zwischen stark komprimiertem Video mit niedriger Bitrate und Video mit hoher Bitrate, das näher am Original bleibt.

    • Ich finde diesen Teil wirklich interessant. Es gibt auch Fälle, in denen Machine Learning nachts aufgenommene Videos besser analysieren kann als Menschen, und sogar Sensorrauschen kann dabei als Feature verwendet werden. Das unterstreicht, dass Rauschen nicht einfach nur Rauschen ist.

    • Auf aktuellen 4K-Blu-rays wird DRR-Technik verwendet, und dabei kommt es vor, dass beim Entrauschen sogar die Poren in Gesichtern verschwinden, wodurch die Mimik von Schauspielern wächsern wirkt.

  • Lassen wir die philosophische Bedeutung des Hinzufügens von Rauschen einmal beiseite: In diesem Beispiel erzeugt das Denoising zu viel Blur, sodass das Ergebnis weniger scharf ist als das Original, und auch das synthetische Grain selbst wirkt eher wie gewöhnliches Rauschen als wie echtes Filmgrain.

    • Das sehe ich auch so. Bis zu einer hohen Bitrate muss die Kompression sonst zu viele Bits für das ursprüngliche Grain aufwenden, wodurch das Video eher weicher oder matschiger wirkt. Film Grain Synthesis (FGS) ist für Streaming mit Bandbreitenbeschränkung ziemlich vernünftig, aber ich stimme zu, dass das synthetische Grain in den Beispielvideos nicht wie echtes Grain aussieht. Je nach Stärke und Methode des Denoisings können Szenendetails eindeutig verschwimmen.

    • In der Film-Postproduktion wurden schon immer viele Tricks verwendet. Ich fände es gut, wenn Zuschauer eine Option hätten, gewünschte Effekte wie etwa Filmsimulation ein- oder auszuschalten. Bei Filmen wie The Holdovers, die eine bestimmte Epoche nachbilden wollen, fand ich die Filmsimulation wirklich großartig. Ich könnte mir vorstellen, dass Netflix künftig Post-Effekte clientseitig verarbeitet, etwa mit einem Modus für Farbsehschwäche oder der Möglichkeit, künstliches Grain auszuschalten.

    • AV1-FGS lässt sich in der Intensität regeln, aber für meine Augen ist es etwas zu hoch eingestellt, auch wenn das je nach Bitratenumgebung immer noch viel erträglicher sein kann als andere Artefakte. Der Vollständigkeit halber: Standbilder haben Grenzen bei der Bewertung von Videoqualität, und selbst ein theoretisch perfekter Rauschfilter, der 100 % der nicht verrauschten Details erhält, würde als weniger detailreich als das Original wahrgenommen. Gehirn und Auge „erschaffen“ beim Betrachten verrauschter Bilder gewissermaßen zusätzliche Details.

    • Ein repräsentativer Film, der dieses Thema untersucht, ist Antonionis Blowup. Blowup Wikipedia

    • Als jemand, der Motion-Picture-Film aus nächster Nähe betrachtet hat, finde ich, dass das Filmgrain in diesem Beispielvideo weit von der Realität entfernt ist. Letztlich ist es nur ein Effekt ähnlich wie Dithering.

  • Der wichtigste Punkt in dieser Diskussion ist eigentlich das „at scale“. Film Grain Synthesis gibt es in AV1-Encodern schon länger, aber damit nichts schiefgeht, musste man die Einstellungen jedes Mal manuell anpassen, sodass sie in der Praxis nur bei begrenzten Inhalten genutzt wurde. Es wird hier nicht detailliert erklärt, wie die vorgestellte Methode diese Schwierigkeiten überwindet, aber ich freue mich darüber, dass der Betrieb in großem Maßstab möglich geworden ist.

    • Inzwischen gibt es eine adaptive Variante, die die Automatisierung deutlich erleichtert.

  • Zur negativen Haltung gegenüber Filmgrain: Jedes Bild enthält bis zu einem gewissen Grad Rauschen oder Grain. Das gilt selbst für die besten digitalen Sensoren oder sogar für unsere Augen. Es dient nicht nur ästhetischen Zwecken, sondern erhöht auch die wahrgenommene Schärfe und verdeckt Banding oder Kompressionsartefakte. Das heißt natürlich nicht, dass jedes Grain gut ist; oft ist es auch Folge technischer Grenzen oder fragwürdiger kreativer Entscheidungen. Trotzdem finde ich das Ergebnis, bei dem alle Videos entrauscht und glattgebügelt werden, viel unrealistischer und störender.

    • Das Grain moderner digitaler Sensoren ist im Vergleich zu dem, was heutigen Filmen hinzugefügt wird, vernachlässigbar.

    • Mein grundlegender Einwand ist, dass die Entscheidung für oder gegen Grain eine künstlerische Entscheidung der Urheber sein sollte und nicht etwas, das eine Datenkompressionsgruppe willkürlich festlegt.

    • Die HBO-Intro-Animation nutzt Rauschen alter analoger Rundfunksignale, und selbst in 4K ist die Qualität miserabel. Zufälliges Rauschen lässt sich fast nicht komprimieren, daher braucht man Methoden wie diese hier, also Entfernen und anschließendes Wiederherstellen des Rauschens.

  • Der Aussage „Grain verleiht Realismus und vertieft die Geschichte“ stimme ich nicht zu. Für meine Augen gibt es so etwas nicht, daher verstehe ich die Logik „Realität = Grain“ nicht. Trotzdem finde ich Grain als ästhetisches Werkzeug reizvoll, und auch diese Technik fand ich interessant.

    • Im Artikel wurden der Maskierungseffekt von Grain, also das Verbergen von Artefakten, sowie Gewöhnung und Nostalgie erwähnt, aber ich würde noch eine weitere Erklärung ergänzen. Alle Oberflächen in der realen Welt haben feine Texturen, doch bei der Aufnahme auf Video gehen solche Details durch Kamera, Auflösung und Kompressionsgrenzen verloren. Filmgrain liefert solche hochfrequenten visuellen Reize wieder nach. Auge und Gehirn mögen diesen Reiz an sich und kümmern sich wenig um die genaue Position oder das Muster des Rauschens. Zum Beispiel lassen sich mit den x265-Encoder-Parametern psy-rd und psy-rdoq Bilder so abstimmen, dass sie „energetischer“ bzw. etwas rauer wirken, und damit kann die wahrgenommene Bildqualität steigen, ohne mehr Daten zu verbrauchen.

    • Auch in dunklen Nächten sehen wir mit unseren Augen eine Art „Sparkling“ oder „Static“, und technisch betrachtet hat auch das menschliche Auge ein gewisses Rauschen. Das Gefühl von Realness wird durch die Spuren der jeweiligen Technik geprägt. So wie die Pinselstriche von Vincent van Gogh Teil des Gemäldes sind, ist auch Filmgrain ein Teil der Realität dieses Mediums, weshalb man diese Spuren möglichst erhalten möchte.

    • Menschen möchten ästhetische Vorlieben gerne logisch rationalisieren. Je mehr Erfahrung und Verständnis jemand für Medien hat, desto sensibler nimmt er feine Veränderungen wahr, und das schlägt sich im Geschmack nieder. Kinder reagieren bei alten Stummfilmkomödien eher auf den Inhalt und nicht auf die Eigenschaften des Films selbst. Experten hingegen werden gegenüber solchen Details deutlich empfindlicher. Dass Filmgrain selbst als real empfunden wird, ist ebenfalls ein Produkt gesellschaftlicher Erfahrung und Selbstwahrnehmung einer bestimmten Epoche. In 40 Jahren könnte man Filmgrain vielleicht eher als surreal oder einfach als „Rauschen“ wahrnehmen.

    • Meiner Meinung nach lässt Grain Videos detailreicher erscheinen, als sie tatsächlich sind, und kaschiert Kompressionsartefakte oder Unschärfe. Über die psychologischen Faktoren weiß ich nicht viel, aber offenbar fügt es tatsächlich zusätzliche Hochfrequenzanteile hinzu oder erzeugt einen Dithering-Effekt. Auch das menschliche Auge hat aufgrund von Quanteneffekten tatsächlich eine Art Grain, aber das Gehirn filtert es so stark heraus, dass wir es nicht bewusst wahrnehmen.

    • In der frühen Zeit, als Digitalkameras zum Mainstream wurden, wirkte digitales Video oft unrealistisch, weshalb viele dachten, Film sehe schöner aus. Wahrscheinlich trägt auch die cinephile Wertschätzung klassischer Filme dazu bei, dass Film = gut gilt. Letztlich halte ich es für ein nützliches ästhetisches Mittel, wenn man die Schärfe etwas reduzieren möchte.

  • Auch der AMR-WB-Audiocodec für Mobilfunk unterstützt offiziell 50 Hz bis 7.000 Hz, aber bei den am weitesten verbreiteten 12,65 Kbps werden tatsächlich nur bis 6.400 Hz gespeichert, und der darüberliegende Bereich wird mit niedrigen Frequenzen plus Rauschsynthese aufgefüllt. Das klingt deutlich natürlicher, als den Bereich einfach ohne Rauschen abzuschneiden.

  • Als Fotograf mit spiegelloser Kamera versuche ich in der Nachbearbeitung immer, einen besonderen Look zu erzeugen. Ich schließe zum Beispiel die Blende so weit wie möglich und setze Denoising, Sharpening und Color Grading intensiv ein. Wenn meine Fotos so wirken, als kämen sie aus einem alten Buch, sehe ich das positiv. Ich habe auch verschiedene Film-Look-Filter ausprobiert, aber einen Filter, der wirklich das unregelmäßige kristallartige Filmgrain reproduziert, das ich mir vorstelle, also die unregelmäßigen Pixel, die schon vor der Aufnahme auf dem Film existieren, habe ich noch nicht gefunden. Meistens sind das bloß pixelartige quadratische Körner, und das überzeugt mich nicht.

  • Der Behauptung, „Filmgrain verstärkt das echte Gefühl und die Nostalgie“, stimme ich nicht zu. Für mich ist es eher nur visuelles Rauschen, das Details verdeckt. Nostalgie kommt von den Schauspielern oder meinen Erinnerungen an die Zeit, in der ich so etwas gesehen habe, nicht unbedingt vom Grain. Auch die Behauptung, es schaffe „Realismus“, erscheint mir unrealistisch. Dass AV1 es ermöglicht, diesen visuellen Müll nicht in Bits zu verschwenden und ihn stattdessen leicht und flexibel zu synthetisieren oder zu entfernen, sehe ich positiv.

    • Dokumentarfilme können die Rekonstruktion der Realität zum Ziel haben, aber bei Spielfilmen steht die Sicht des Regisseurs im Vordergrund. Grain kann wie Musik als künstlerisches Element dienen, das Gefühle und Atmosphäre gestaltet.

    • Physikalisch gibt es durch Beleuchtung und Aufnahme selbst Shot Noise, daher existiert in Wirklichkeit keine „vollständig rauschfreie“ Realität. Siehe Shot Noise Wikipedia.

    • Ich denke nicht, dass der Vorteil von Filmgrain gut erklärt wurde, aber tatsächlich erhöht Grain die wahrgenommene Schärfe und den Detaileindruck eines Bildes, auch wenn es nur eine Illusion sein sollte. Der Kameramann Steve Yedlin beschrieb es als etwas, „an dem sich das Auge des Zuschauers festhalten kann“.

    • Ich denke, die Unterscheidung zwischen „Rauschen“ und „Detail“ in Filmen ist stark subjektiv. Es gibt heute durch Videokompression auch andere Formen visuellen Rauschens, die ebenfalls real sind.

  • Was viele übersehen: Wenn man nach dem Entfernen von Rauschen komprimiert, steigt die Kompressionseffizienz massiv. Bei derselben Bitrate werden Details und Kanten stark beschädigt, wenn man das Rauschen nicht entfernt und einfach direkt komprimiert. Dieses Prinzip wird auch in Desktop-Mediaplayern schon seit Langem genutzt.

    • Genau. Alle reden nur über die Qualität des Grains, aber für Netflix zählt eigentlich das Verhältnis von Bandbreite zu Qualität. Bei ähnlicher Bitrate liefert das Entfernen von Rauschen und anschließende softwareseitige Rekonstruktion eine deutlich bessere Qualität. Rauschen zu komprimieren ist wirklich keine gute Idee.

  • Ich finde, Filmgrain sollte inzwischen ausgemustert werden. Die Zeit von Sepiafotos und 16-fps-Stummfilmen ist längst vorbei, und Filmgrain sollte ebenfalls enden. Der Eastman Business Park wird auch abgerissen. Ich möchte in YouTube-Videos keine inszenierten Staub- und Kratzereffekte mehr sehen.

    • Vielleicht gilt das für künstliches Filmgrain, aber echtes Filmgrain komplett abschaffen zu wollen, ist so, als wollte man bei Ölgemälden auch die Pinselstriche entfernen.

    • Ich frage mich, warum Filmgrain überhaupt unbedingt verschwinden sollte.