AV1@Scale: Das Erwachen der Filmkorn-Synthese
(netflixtechblog.com)- Netflix weitet Film Grain Synthesis (FGS) in AV1-Streams weltweit aus, um die Textur von Filmkorn zu erhalten und zugleich den Datenverbrauch beim Streaming zu senken
- FGS komprimiert das Korn nicht direkt, sondern überträgt ein bereinigtes Bild sowie Modellparameter für das Korn und synthetisiert es bei der Wiedergabe blockweise neu
- Im Beispiel von They Cloned Tyrone erreicht AV1 FGS gegenüber normalem AV1 mit 8274 kbps bei 2804 kbps eine Bitratenreduktion von rund 66 % in Szenen mit starkem Filmkorn
- Bei der Auswertung von rund 300 Titeln sank die durchschnittliche Bitrate bei 1080p und höher um 36 %, unter 1080p lag der Effekt wegen geringeren Rauschens durch Downscaling nur bei etwa 10 %
- In A/B-Tests vor dem Rollout wurden eine Reduktion der anfänglichen Bitrate um 24 %, der durchschnittlichen Bitrate um 31,6 %, des Rebufferings um 10 % und der Startverzögerung um 10 % beobachtet; auf unterstützten Geräten läuft seit März 2025 ein großflächiger Rollout
Ausweitung von Netflix’ AV1 Film Grain Synthesis
- Netflix hat die Bereitstellung von AV1 Film Grain Synthesis (FGS) für Mitglieder weltweit kürzlich ausgeweitet
- FGS war bereits seit den frühen Versionen des AV1-Standards enthalten, wurde beim ersten AV1-Codec-Launch von Netflix im Jahr 2021 aber nur für eine begrenzte Zahl von Titeln aktiviert
- Ziel der Ausweitung ist es, die künstlerische Integrität von Filmkorn zu bewahren und zugleich die Dateneffizienz zu verbessern
- Filmkorn trägt zur Textur, zum Realismus und zur Nostalgie klassischer Filme bei, ist aber stark zufällig, sodass bisherige Kompression oft einen Kompromiss zwischen kleinerer Dateigröße und Erhalt des Korns erforderte
- Auch in digitalem Video gibt es Kamerasensorrauschen oder im Post-Processing bewusst hinzugefügtes Korn, was die Kompression zusätzlich erschwert
Wie AV1 FGS mit Filmkorn umgeht
- AV1 FGS komprimiert das Korn nicht direkt, sondern kodiert zunächst ein entrauschtes Video aus dem Originalmaterial, bei dem das Korn entfernt wurde
- Parameter, die Form und Stärke des Korns modellieren, werden zusammen mit den komprimierten Videodaten übertragen und während der Wiedergabe erneut synthetisiert
- Der AV1-Standard schreibt das Verfahren zur Kornentfernung selbst nicht vor, sodass Nutzer einen beliebigen Denoiser wählen können
- Bei der Wiedergabe wird das Filmkorn mit einem blockbasierten Verfahren rekonstruiert, das für den reibungslosen Betrieb auf Endgeräten optimiert ist
- Eine ausführlichere Erklärung findet sich im Originalpapier
Modell für Kornmuster und Intensität
-
Film Grain Pattern
- Ein autoregressives Modell (auto-regressive model) reproduziert das Filmkornmuster
- Der zentrale Parameter sind die AR-Koeffizienten, die aus dem Residuum zwischen Quellvideo und entrauschtem Video geschätzt werden können
- Das Modell erfasst die räumliche Korrelation zwischen Kornsamples und bewahrt so die Eigenschaften des ursprünglichen Rauschens
- Durch Anpassung der AR-Koeffizienten
{ai}lässt sich die Kornstruktur gröber oder feiner gestalten - Mit diesen Koeffizienten wird ein 64x64-Rausch-Template erzeugt; während der Wiedergabe werden daraus zufällige 32x32-Patches entnommen und zum dekodierten Video hinzugefügt
-
Film Grain Intensity
- Eine Skalierungsfunktion steuert das Erscheinungsbild des Korns abhängig von den Helligkeitsbedingungen
- Diese Funktion wird während der Kodierung geschätzt und modelliert die Beziehung zwischen Pixelwerten und Rauschstärke als stückweise lineare Funktion
- Je nach Helligkeit und Farbe des Videos wird die Kornstärke angepasst, um das Erscheinungsbild des Originals genauer nachzubilden
Verbesserte Bildqualität und geringere Bitraten
- Netflix vergleicht anhand eines Frames aus They Cloned Tyrone normales AV1 mit AV1 FGS
- Normales AV1 liegt bei 8274 kbps, AV1 FGS bei 2804 kbps, was einer Bitratenreduktion von rund 66 % entspricht
- In diesem Beispiel mit starkem Filmkorn kann normales AV1 verzerrtes Rauschen mit DCT-artigen Mustern zeigen, während die FGS-Version die Integrität des Filmkorns auch bei niedrigerer Bitrate bewahrt
- Das synthetisierte Rauschen kann Kompressionsartefakte maskieren und so visuell ein besseres Erlebnis schaffen
- Sowohl im normalen AV1-Stream als auch im AV1-FGS-Stream ohne synthetisiertes Rauschen sind Kompressionsartefakte sichtbar
- Im AV1-FGS-Stream mit aktivierter Kornsynthese werden einige Kompressionsartefakte durch Kontrastmaskierung des menschlichen visuellen Systems verdeckt
Grenzen der Qualitätsmessung und Katalogbewertung
- Netflix verfügt derzeit über kein eigenes Qualitätsmodell speziell für Filmkorn-Synthese
- Da das Rauschen im Quellvideo und im dekodierten Video an unterschiedlichen Pixelpositionen auftritt, können pixelbasierte Vergleichsverfahren wie PSNR oder VMAF zu niedrigeren Qualitätswerten führen
- Interne Bewertungen bestätigten Verbesserungen der visuellen Qualität und den technischen Nutzen
- Netflix wählte rund 300 Titel mit unterschiedlich starkem Filmkorn aus, um die Auswirkungen von AV1 FGS zu bewerten
- Bei Auflösungen von 1080p und höher sank die durchschnittliche Bitrate um 36 %
- Bei Auflösungen unter 1080p lag die Bitratenreduktion nur bei etwa 10 %
- Ein möglicher Grund für den geringeren Effekt bei niedrigen Auflösungen ist, dass Rauschen beim Downscaling herausgefiltert wird
- Wenn das FGS-Kodierungswerkzeug aktiviert ist, kommt fortlaufend Syntax-Overhead im Bitstream hinzu
In A/B-Tests beobachtete Streaming-Effekte
- Vor dem Rollout bewertete Netflix per A/B-Test, wie sich die Aktivierung von AV1 FGS auf das gesamte Streaming-Verhalten auswirkt
- Die Testergebnisse führten zu einer flüssigeren und stabileren QoE
- Beobachtet wurden unter anderem folgende Verbesserungen
- Die Bitrate zu Wiedergabebeginn sank um 24 % und die durchschnittliche Bitrate um 31,6 %, wodurch Anforderungen an Netzwerkbandbreite und die Notwendigkeit, Download-Streams zu speichern, zurückgingen
- Die Wiedergabefehlerquote sank um etwa 3 %
- Die Zahl der Rebuffering-Ereignisse sank um 10 %, deren Dauer um 5 %
- Die Startverzögerung sank um 10 %; durch die niedrigere Bitrate konnte das Gerät möglicherweise schneller das angestrebte Pufferniveau erreichen
- Auffällige Bitratenabfälle gingen um 10 % zurück, und auch die Zeit, in der Nutzer die Wiedergabeposition anpassen, sank um 10 %
- Auf 4K-fähigen Geräten verlagerten sich etwa 0,7 % der Sehzeit von 1080p oder niedriger auf 2160p
- Diese Verschiebung bei der Auflösung ergab sich daraus, dass die geringeren Bitraten an den Umschaltpunkten es leichter machten, während einer Sitzung die höchste Auflösung zu erreichen
Rollout-Status und nächste Schritte
- Netflix rollt FGS seit März 2025 in großem Maßstab aus, und viele Nutzer können derzeit auf unterstützten Geräten Streams mit aktiviertem FGS sehen
- Als Beispiele für FGS-Streams werden The Hot Spot, Kung Fu Cult Master, Initial D, God of Gamblers II, Baahubali 2: The Conclusion und Dept. Q genannt
- Bei einigen Titeln muss im Einstellungsmenü HDR deaktiviert werden, um den neuen FGS-Stream direkt zu erleben
- Im nächsten Beitrag will Netflix erläutern, wie diese Arbeit in der Video-Encoding-Pipeline umgesetzt wurde und welche Erkenntnisse dabei gewonnen wurden
1 Kommentare
Meinungen auf Hacker News
Dabei wird übersehen, dass synthetisiertes Rauschen möglicherweise nicht die Details und Informationen enthält, die im ursprünglichen Rauschen steckten.
Wenn man sich ein hochwertiges Encoding mit echtem Rauschen ansieht, steigt die Auflösung beim Übergang vom Standbild zum Video erstaunlich stark an. Das Rauschen wirkt, als würde es über dem Signal tanzen, und bei 24 fps ist das Signal dahinter weiterhin klar erkennbar.
Wenn man dagegen das Rauschen bildweise aus Standbildern entfernt und anschließend „ästhetisch“ ähnliches künstliches Rauschen wieder darüberlegt, lassen sich die ursprünglichen Details nicht wiederherstellen, und bei 24 fps wirkt das Ergebnis grundsätzlich unschärfer. Bei alten, stark verrauschten Filmen kann der Detailunterschied bis zu 2× betragen.
Wenn H.265 oder AV1 unter Berücksichtigung von Bewegung mehrere Frames davor und danach gemeinsam betrachten und daraus einen „entrauschten“ Frame erzeugen, könnten sie theoretisch das vollständige Detailsignal über die Zeitachse hinweg finden und encodieren; ob sie das in der Praxis wirklich tun, weiß ich aber nicht. Falls ich falschliege, würde ich es gern wissen.
Der Kernpunkt ist: Man darf Entrauschung und Synthese nicht anhand von Standbildern vergleichen. Ob Details verworfen oder erhalten werden, muss man an echten Videos nebeneinander prüfen. Rauschen ist nicht einfach nur Rauschen, sondern auch Detail.
Aus ästhetischer Sicht scheint AV1s synthetisches Grain die Korngröße des Originalmaterials nicht zu berücksichtigen. Dadurch kann das kräftige Korn, das bei altem Film von großen Silberhalogenid-Kristallen herrührt, in der Synthese wie feines Grain erscheinen und unnatürlich wirken. Ein guter Film-Entrauscher könnte das möglicherweise abmildern.
Außerdem werden die getrennten Farbkomponenten von Film nicht richtig modelliert, aber da Netflix’ Videoquellen offenbar ohnehin häufig chroma-subsampled sind, sei das kein großes Problem: https://norkin.org/pdf/DCC_2018_AV1_film_grain.pdf
Ich habe mich in das Thema nur oberflächlich eingelesen, daher kann ich mich irren.
Um den zeitlichen Aspekt zu erklären, kann man an einen klassischen Filmprojektor denken. Zwischen den einzelnen Frames sieht man jeweils für eine sehr kurze Zeit vollständige Dunkelheit. Diese Dunkelheit könnte man als „Rauschen“ bezeichnen, und wenn man in diesem Moment verharrte, wäre vom eigentlichen Signal überhaupt nichts zu sehen.
Unser visuelles System bildet aber bis zu einem gewissen Grad zeitliche Mittelwerte, weshalb wir dieses Flackern kaum wahrnehmen (https://en.wikipedia.org/wiki/Flicker_fusion_threshold). Rauschen und Grain scheinen ähnlich wahrgenommen zu werden und treten weniger stark hervor als stabile Signal-/Bildanteile.
So wie Astrofotografen verrauschte Bilder stapeln, um ein Bild mit hohem Signal-Rausch-Verhältnis zu erhalten, macht das Gehirn meiner Ansicht nach bis zu einem gewissen Grad dasselbe. Das heißt nicht, dass es fehlende Details halluziniert, sondern dass das aufgezeichnete Rauschen über die Zeit zu seinem Mittelwert zurückkehrt und dieser Mittelwert das tatsächliche Signal klarer sichtbar macht. Natürlich ist das wegen systematischem/nichtzufälligem Rauschen nicht perfekt, aber meist ist das weniger wichtig.
Entrauschungsalgorithmen, die nur einzelne Frames bearbeiten, haben diesen Kontext nicht und verlieren daher Details oder versuchen, sie durch Schätzungen zu korrigieren. AV1 schreibt keinen bestimmten Algorithmus vor, daher könnte ein cleverer Algorithmus theoretisch zeitlichen Kontext nutzen, um zusätzliche Details zu bewahren.
Wenn man einige statische Frames mittelt, bleibt das unveränderliche Signal erhalten, während sich zufälliges Rauschen herausmittelt, wodurch das Signal-Rausch-Verhältnis besser wird. Das Rauschen selbst zu bewahren, ist nicht nützlich.
Der sichtbare Effekt könnte eine ästhetische Vorliebe für das Verhalten des ursprünglichen Grains sein, oder er könnte daraus entstehen, dass man niedrigbandbreitiges Material mit starken Kompressionsartefakten wie Glättung/Low-Pass-Filtering mit einer hochbandbreitigen Version vergleicht, die die gesamten Details erhält. Das ist unabhängig vom darübergelegten Grain.
Der Wert des Hinzufügens von Rauschen lässt sich philosophisch diskutieren, aber das Problem im Beispiel hier ist, dass die Entrauschung alles übermäßig weichzeichnet, sodass sowohl die entrauschte Version als auch das Bild mit synthetisiertem Grain sichtbar weniger scharf wirken als das Original.
Auch das Grain selbst sieht zu sehr nach einfachem Rauschen aus und nicht wirklich nach Film Grain.
Dadurch „verläuft“ das originale Grain über größere Bereiche und wirkt trüb, und beim Versuch, das scharf abgegrenzte Grain zu codieren, geht auch die Schärfe der eigentlichen Szene verloren.
Film-Grain-Synthese ergibt bei bandbreitenbegrenztem Streaming Sinn. Ich stimme aber zu, dass das synthetisierte Grain im Beispiel nicht besonders grain-artig aussieht. Außerdem können je nach Umfang und Art der Entrauschung Details in der Szene weichgezeichnet werden.
Es wäre schön, eine Option zu haben, mit der man Filmsimulation ein- und ausschalten kann.
Einer meiner Lieblingsfilme, The Holdovers, hat Filmsimulation sehr gut umgesetzt. Er spielt in den 70ern und versucht, wie ein Film aus dieser Zeit auszusehen.
Für mein Auge war das großartig, aber echte Film-Enthusiasten würden sicher viele Ungenauigkeiten bemerken.
In naher Zukunft könnte Netflix vielleicht einige Post-Effekte clientseitig verarbeiten. Wer eine Farbsehschwäche hat, nutzt einen passenden Modus; wer künstliches Grain nicht mag, schaltet es aus.
Ein paar Dinge sollte man beachten:
Standbilder sind keine besonders gute Methode zur Bewertung von Videoqualität.
Selbst ein theoretisch perfekter[1] Entrauschungsfilter wird immer weniger detailreich wirken als das Ausgangsmaterial. Denn das Gehirn-/Augen-System erzeugt aus einem verrauschten Bild mehr Details als aus einem unscharfen Bild.
[1] Perfekt bedeutet hier, dass 100 % der Nicht-Grain-Details erhalten bleiben, nicht dass durch Rauschen verlorene Details magisch wiederhergestellt werden.
Als Bonus würden viele Zuschauer eine Option zum Abschalten begrüßen.
Die eigentliche Geschichte hier ist der Teil „Anwendung im großen Maßstab“. Film-Grain-Synthese gibt es in gängigen AV1-Encodern schon seit einiger Zeit, aber um Probleme zu vermeiden, war ein gewisses Maß an manueller Abstimmung nötig.
Deshalb wurde sie in Produktionsumgebungen nur bei sehr begrenzten Katalogen oder bei besonders wichtigen Titeln eingesetzt. Hier wird nicht im Detail erklärt, wie dieses Problem überwunden wurde, aber eine breitere Auslieferung ist erfreulich.
Was die Gegner von Grain angeht: Alles hat von Natur aus ein gewisses Maß an Rauschen oder Grain. Das gilt selbst für die besten digitalen Sensoren und sogar für das Auge.
Es ist mehr als nur ein ästhetischer Effekt: Es ist nützlich. Es erhöht die wahrgenommene Schärfe und kaschiert tendenziell Mängel wie Color Banding oder Kompressionsartefakte.
Das heißt nicht, dass jedes Rauschen und jedes Grain gut ist. Es kann wegen technischer Grenzen unvermeidbar sein, das Ergebnis einer schlechten kreativen Entscheidung sein oder einfach ablenken.
Aber die Alternative, alles zu entrauschen, halte ich für deutlich schlechter. Viele Kameras machen das heute standardmäßig, und für mein Auge wirkt die durch Entrauschung entstehende Glättung oft unrealistisch und viel störender.
Die Aussage „Grain = Realismus“ verstehe ich nicht. In meinen tatsächlichen Augen gibt es kein Grain.
Allerdings erkenne ich an, dass Grain als künstlerisches Werkzeug eine Rolle spielt, daher ist diese Technik an sich weiterhin interessant.
Wenn man sich umschaut, haben fast alle Oberflächen in irgendeiner Form eine feine Textur und sind visuell nicht völlig gleichmäßig. Wenn das als Video aufgezeichnet wird, geht durch Kameraoptik, begrenzte Auflösung und Glättung bei der Kompression feine Textur verloren. Film Grain liefert einen Teil der verlorenen hochfrequenten visuellen Reize nach.
Unsere Augen und unser Gehirn mögen solche hochfrequenten Reize, und sie sind nicht besonders wählerisch, ob das exakte Rauschmuster der ursprünglichen Szene reproduziert wird. Deshalb hat der x265-Encoder für H.265-Videos zwar keine Grain-Synthese, aber einen psy-rd-Parameter. Das entspricht eher „Lass das komprimierte Video so ‚energiegeladen‘ aussehen wie das Original, auch wenn diese Energie nicht exakt an derselben Stelle liegt“, und psy-rdoq entspricht eher „Bevorzuge insgesamt höhere Energie“.
Wenn man solche Parameter anpasst, kann man komprimierte Videos besser aussehen lassen, ohne mehr Daten zu speichern.
Zum Glück sind unsere Augen deutlich empfindlicher als Kameras. Aber „Realismus“ kommt hier von der Art, wie es mit der damaligen Technik eingefangen wurde. Das unterscheidet sich nicht von Grammophonrauschen oder davon, wie ein CRT-Signal verschwimmt. Es ist „echt“ in Bezug auf die Technik, die der Regisseur eingesetzt hat, und darauf, wie er wusste, dass das Publikum den Film sehen würde.
So wie Van Goghs Pinselstriche für seine Gemälde echt waren. Man würde ein Ölgemälde nicht mit Schleifpapier glatt schleifen wollen. Denn das ist die Realität des ursprünglichen Mediums. Deshalb möchte man auch bei digitalen Prints von Film die Realität des Originals so weit wie möglich erhalten.
Wenn man sich mit einem Thema gut auskennt, kann man viel von der Geschichte eines Gegenstands herauslesen, und das verändert auch die Emotionen.
Ein Kind, das bei einem Buster-Keaton-Sketch den Atem anhält, kichert und Spaß hat, und ein Filmkritiker, der weiß, welcher Film und welche Kamera verwendet wurden, was die Abstraktion der Szene bedeutet und wie der Stoff von Keatons Kostüm beschaffen ist, machen mit demselben Medium unterschiedliche subjektive ästhetische Erfahrungen.
Subjektiver ästhetischer Geschmack liegt im Bereich der Kognition. Man bräuchte eine formale Intelligenztheorie, die auf das menschliche Gehirn abgebildet ist, und solche subjektiven Phänomene laufen letztlich auf personalisierte Datenverarbeitung und Anfangsbedingungen hinaus.
Film Grain im Kontrast zu sauberer Cel-Animation kann es Menschen auch erleichtern, die Ungläubigkeit auszusetzen. Denn sie haben gelernt, dass das Fehlen von Grain mit unrealistischer Animation, bestimmten Medien und CGI verbunden ist. Heimvideos und Nachrichten hatten Grain und niedrige Qualität, also wurde Grain mit „echt“ korreliert.
Meiner Ansicht nach steckt nichts Tieferes dahinter. Wir sind Produkte unserer Zeit. In 40 Jahren könnte sich das Medium so verändert haben, dass Film Grain mit Surrealität verbunden wird, oder es könnte, weil es im Grunde Rauschen ist, vollständig entfernt werden.
Die visuelle Psychologie dahinter kenne ich nicht genau. Vielleicht fügt es die Hochfrequenzen hinzu, die durch Kompression ausgewaschen werden, oder es funktioniert wie eine Art Dithering.
Was das Auge betrifft, ist es aus Sicht der Quantenphysik wohl richtig anzunehmen, dass auch das Auge Grain hat. Man nimmt es nur nicht wahr, weil das Gehirn es herausfiltert. Wie das mit Film Grain interagiert, weiß ich nicht genau.
Glashersteller früherer Zeiten wären vermutlich enorm fasziniert davon gewesen, dass man heute so gleichmäßige und große Glasscheiben herstellen kann, aber wir ahmen aus Vertrautheit den Kompromiss nach, zu dem sie gezwungen waren.
Die Aussage „Beim Anschauen klassischer Filme verleiht die subtile Bewegung des Film Grains jeder Szene Authentizität und Nostalgie“ heißt für mich nur, dass visuelles Rauschen hinzugefügt wird, das Details der tatsächlichen Szene verdeckt.
Nostalgie kann sich auch an deutlichere visuelle Hinweise heften, etwa an alte Schauspieler oder an alte Erinnerungen daran, wann man den Film zum ersten Mal gesehen hat.
Auch die Aussage „trägt zum Realismus des Films bei“ ist eher das Gegenteil, denn in der Realität gibt es kein Grain.
Trotzdem ist es erfreulich, dass AV1 sich weiterentwickelt und einen algorithmischen Ersatzmechanismus bekommt, statt Bitrate für das Codieren von visuellem Müll zu verschwenden. Dann lässt es sich auch leichter abschalten.
Wenn Film Grain Teil der Vision des Regisseurs ist, ist es genauso legitim wie die Entscheidung, dramatische nicht-diegetische Musik unter eine Szene zu legen. Das ist sehr unauthentisch, aber sehr wirkungsvoll, um Emotionen hervorzurufen, und genau das ist der Zweck von Kunst.
Der Kameramann Steve Yedlin beschreibt es so, dass es den Augen des Publikums etwas gibt, woran sie sich „festhalten“ können.
Bei Mobiltelefonaten erfasst der AMR-WB-Codec nominell 50 Hz bis 7000 Hz. Das gilt aber nur bei der höchsten wählbaren Bitrate von 23,85 Kbit/s.
Bei den häufigsten 12,65 Kbit/s reicht er nur bis 6400 Hz, und der Bereich von 6400 bis 7000 Hz wird aus niedrigeren Frequenzen und Rauschen synthetisiert. Denn mit Rauschen klingt es besser als ohne.
Film Grain sollte verschwinden. Seine Zeit ist vorbei. Sepiafotos und 16-fps-Stummfilme mit 24 fps abzuspielen ist auch schon tot, als Nächstes kommt Film Grain.
Auch der Eastman Business Park in Rochester wurde abgerissen.
Und bitte hört auf, YouTube-Videos Staub und Kratzer hinzuzufügen.
Es ist irgendwie frustrierend, dass man ein Video erst dreht, in der Postproduktion Rauschen entfernt, dann wieder Rauschen hinzufügt, beim Encoding erneut Rauschen entfernt und beim Decoding wieder Rauschen hinzufügt.
Künstliches Licht, künstliche Schatten, künstlicher Himmel usw.
Inzwischen ist alles Fake. Ich möchte eine Technik, die mit Scans des Originalfilms arbeitet. Am besten ohne selbst den ersten Schritt des Detailverlusts, also JPEG-Kompression.
Bewegungserkennung, Keyframes und Delta-Frames sind in Ordnung, aber es muss verlustfreies Video sein. Natürlich auf Blu-ray, Streaming ist mir ziemlich egal.