Netflixs Media Production Suite (MPS)

• Netflix hat die Media Production Suite (MPS) entwickelt, um traditionelle, physisch geprägte ineffiziente und komplexe Medienmanagementsysteme zu modernisieren
• Die technische Lösung unterstützt Kreative mit Cloud-basierten Workflows dabei, sich stärker auf kreative Arbeit zu konzentrieren, und ermöglicht globale Zusammenarbeit von der Produktion bis zur Postproduktion

Zu lösendes Problem

• Eine durchschnittliche Netflix-Produktion erzeugt rund 200 TB Original Camera Files (OCF), manche Projekte kommen auf über 700 TB (ohne Arbeitsdateien, VFX und 3D-Assets)
• Traditionell werden diese Medien auf physische Speichermedien wie LTO-Bänder kopiert und transportiert; das erschwert Suche/Wiedergabe/Teilen und verlangsamt den Zugriff bei globaler Zusammenarbeit
• Selbst bei vollständig digitalen Workflows bleibt die Verteilung von Medien zwischen mehreren Abteilungen und Vendoren schwierig, und fehlende Automatisierung sowie Standardisierung führen weiterhin zu hoher Abhängigkeit von manueller Arbeit
  • Das verursacht in der Postproduktion mehr Fehler und Sicherheitsrisiken, erschwert die Zusammenarbeit und verzögert Arbeitsabläufe
• Der Wechsel in die Cloud ist unverzichtbar, bringt aber auch neue Herausforderungen mit sich:
  • Einige Postproduktionshäuser sind weiterhin auf zahlreiche externe Festplatten angewiesen, die direkt zwischen Vendoren transportiert werden müssen
  • Der Bedarf an einer zentralisierten Cloud-Lösung ist dringender denn je
• Netflix glaubt, dass „großartige Geschichten überall entstehen können“, doch traditionelle technische Infrastrukturen begrenzen den Zugang zu Medien und die Nutzung von Talenten
  • Kreative müssen nicht nur Zugang zu leistungsfähigem Cloud-Speicher haben, sondern auch zu High-Performance-Arbeitsumgebungen und Echtzeit-Wiedergabe
  • In manchen Regionen oder Produktionsumgebungen mit kleinerem Budget ist der Einsatz moderner Technik nur eingeschränkt möglich
• Um diese Grenzen zu überwinden, rückt global ein Cloud-zentrierter Workflow in den Fokus, bei dem Menschen und Anwendungen zu den Medien gebracht werden, statt wie bisher Medien zu Artists und Anwendungen zu bewegen
  • Auf internationalen Broadcast-Technologiemessen wie IBC und NAB ist dieser Trend besonders deutlich sichtbar
  • Eine solche Vision im Maßstab von Netflix mit Hunderten Titeln tatsächlich umzusetzen, war bislang eine beispiellose Herausforderung

Schwierigkeiten beim Aufbau einer globalen technischen Lösung

• Der Aufbau einer Lösung im globalen Maßstab bringt komplexe Herausforderungen mit sich:
  • Produktionsumgebungen für Filme und Serien unterscheiden sich regional stark bei Technikzugang, Best Practices und Standardisierungsgrad
  • Manche Regionen haben eine über 100-jährige Geschichte in der Filmindustrie, während andere Länder erst am Anfang stehen
  • Eine der zentralen Aufgaben ist es, Technologie zu entwickeln, die Märkte mit unterschiedlichen Sprachen und Workflows gleichermaßen unterstützt
• Die vielfältigen Anforderungen von Talenten und Vendoren weltweit sind ein großes Hindernis für Standardisierung
  • Einige hochentwickelte VFX- und Postproduktionshäuser haben intern Automatisierungsskripte aufgebaut, um Dateien und Metadaten in bestimmten Formaten zu verarbeiten, doch diese Anpassungen sind sehr zeitaufwendig
  • Die Einführung neuer Workflows stößt auf Hürden, weil die Sorge besteht, bestehende Prozesse könnten dadurch beeinträchtigt werden
  • Selbst kleine Änderungen können die Rentabilität von Vendoren stark beeinflussen, daher muss die einzuführende Technologie einen konkreten und klaren Nutzen bieten
• Netflix musste in der Lage sein, zahlreiche Titel ohne Ausbau des operativen Personals zu bewältigen; dadurch wurde Automatisierung zu einem unverzichtbaren Element
  • Farb- und Frame-Management sowie die Zusammenstellung von Lieferdateien müssen auch ohne Benutzereingriff automatisch gesteuert werden; manuelle JSON-Anpassungen für Mappings sollen vermieden werden
• Dafür setzt Netflix aktiv auf Technologien auf Basis folgender offener Standards:
  • ACES, AMF: Automatisierung der Farb-Pipeline und Sicherstellung von Konsistenz
  • ASC MHL: Validierung und Nachverfolgung der Dateiintegrität
  • ASC FDL: Kompatibilität zwischen Workflows durch Integration von Framing-Informationen
  • OTIO: Austausch von Timeline- und Editierinformationen
• Durch die Einführung dieser Standards wurde es möglich, Video mit unterschiedlichen Auflösungen, Formaten, Objektiven und Frame-Safe-Bereichen automatisch in ein gemeinsames Format zu normalisieren
  • Früher war das auf High-Budget-Produktionen beschränkt und erfolgte manuell; dank standardbasierter Automatisierung können nun allen Nutzern dieselben fortgeschrittenen Funktionen bereitgestellt werden
  • Nutzer können fortgeschrittene Workflows steuern, ohne selbst komplexe Einstellungen vornehmen zu müssen

Netflix’ Antwort — die Media Production Suite (MPS) auf Basis von Content Hub

• Netflix hat MPS (Media Production Suite) mit dem Ziel entwickelt, eine global skalierbare Lösung für den Einsatz in unterschiedlichen Märkten bereitzustellen
• Die Suite bietet leistungsstarke Funktionen und Anpassungsoptionen, die auch erfahrene Profis überzeugen, und behält zugleich eine intuitive und vereinfachte Benutzeroberfläche, die auch Einsteigern den Zugang erleichtert
• In Zusammenarbeit mit internen Netflix-Teams, Vendoren weltweit und Produktionstalenten wurde innerhalb von Content Hub eine Tool-Sammlung umgesetzt, die Technologie demokratisiert
• Durch Skaleneffekte und umfangreiche Ressourcen will Netflix globale Talente erschließen, nicht kreative repetitive Arbeit reduzieren, Lücken zwischen Märkten schließen und die für kreative Arbeit verfügbare Zeit maximieren

Bestandteile der Media Production Suite

1. Netflix’ hybride Infrastruktur

• Die Lösung basiert auf einer hybriden Infrastruktur, die Cloud-basierte Funktionen mit physischer Infrastruktur kombiniert
• Physische Infrastruktur wurde in der Nähe wichtiger Produktionsstandorte weltweit platziert, um die Performance für Nutzer zu optimieren
• Über Netflix Open Connect (Content Delivery Network) ist sie mit der AWS-Cloud-Infrastruktur verbunden
• Die Struktur ist für die Verarbeitung großer Mengen an Kamera- und Audiomedien optimiert
• Um schnelle Uploads zu unterstützen, baut Netflix weltweit Content Hub Ingest Center auf
• Durch die zentrale Bündelung von Medien in der Cloud werden physische Medientransporte überflüssig, während Sicherheit und Zugänglichkeit verbessert werden

2. Automatisierung und Tooling

• Auf dieser hybriden Infrastruktur stellt Netflix verschiedene Toolsets für die Mediennutzung bereit

• Zentrale Tools:

  • Footage Ingest: Eine Anwendung, mit der Nutzer Mediendateien in den Content Hub hochladen können
  • Media Library: Eine zentrale Bibliothek zum Suchen, Vorschauen, Teilen und Herunterladen von Medien
  • Dailies: Ein Daily-Workflow, der automatische Qualitätsprüfung, Sound-Sync, Farbapplikation, Rendering und die Übergabe an das Schnittteam automatisiert
  • Remote Workstations: Ermöglichen Zugriff auf Workstations und Speicher für Remote-Editing
  • VFX Pulls: Automatisiert die Umwandlung und Bereitstellung von Bild-, Farb- und Framing-Daten für VFX-Vendoren
  • Conform Pulls: Automatisiert die Zusammenführung, das Trimmen und die Bereitstellung von OCF für den finalen Edit-Abschluss
  • Media Downloader: Ein Tool, das automatisch Downloads ausführt, sobald Medien in die Cloud hochgeladen wurden
• Der Reifegrad der einzelnen Tools variiert derzeit, aber mehr als 350 Titel weltweit nutzen bereits mindestens eine Funktion
• Nutzer gibt es in UCAN (USA/Kanada), EMEA (Europa/Nahost/Afrika), SEA (Südostasien), LATAM (Lateinamerika) und APAC (Asien-Pazifik)

Fallstudie: Die in Brasilien produzierte Serie „Senna“ – wie frühe Einführung und Feedback MPS weiterentwickelten

• Die in Brasilien produzierte Serie „Senna“ über das Leben der legendären F1-Fahrerlegende Ayrton Senna ist ein frühes Beispiel für den Einsatz der MPS (Media Production Suite) in einer globalen Koproduktionsumgebung
• Gedreht wurde in Argentinien, Uruguay, Brasilien und dem Vereinigten Königreich; das Schnittteam arbeitete von Porto Alegre in Brasilien und aus Spanien, während die VFX-Studios über Brasilien, Kanada, die USA und Indien verteilt zusammenarbeiteten
• Scanline VFX verantwortete die gesamte VFX-Produktion, und MPS fungierte als zentrale Plattform zur Integration der globalen Produktionsumgebung

• Der Beginn Cloud-basierter Produktion

  • Kern der MPS-Einführung war das Hochladen von Original Camera Files (OCF) und Original Sound Files (OSF) in die Cloud, wodurch der Transport physischer Speichermedien (LTO-Bänder, externe Festplatten usw.) vollständig entfiel
  • Postproduktionsleiter Gabriel Queiroz sagte: „All diese Medien physisch zu bewegen, kostet einfach zu viel Zeit und ist ineffizient.“
  • Tatsächlich war Senna eine der ersten Produktionen ohne LTO-Bänder, was einen großen Fortschritt bei Effizienz, Geschwindigkeit und Sicherheit bedeutete

• Der automatisierte Cloud-Workflow beginnt mit Footage Ingest

  • Nach dem Anschließen von Laufwerken führt die Footage Ingest-Anwendung von Netflix automatische Validierung und Metadatenextraktion, Checksum-Prüfung, Proxy-Erstellung und sogar ein zweites Backup aus
  • Früher musste man Vendoren in jedem Schritt direkt anrufen, um nach dem Fortschritt zu fragen; heute ist Echtzeit-Monitoring über das Dashboard von Content Hub möglich

• VFX Pulls: Automatisierte Verteilung von VFX-Daten

  • Senna enthält große Mengen an Material und zahlreiche VFX-Shots, weshalb die Funktion VFX Pulls zentral ist
  • Im bisherigen Workflow mussten Daten mit jedem Vendor in unterschiedlichen Formaten und über verschiedene Übertragungswege ausgetauscht werden
  • Mit MPS lädt der Assistant Editor eine EDL hoch; anschließend werden Transcoding, Aufbereitung der Farbdateien und Speicherung in Google-Drive-ähnlichen Workspaces automatisch ausgeführt
  • Alle Vendoren führen I/O-Aufgaben auf dieselbe Weise aus, was Kompatibilität und Effizienz zwischen Produktion, Schnitt und Color Grading erhöht

• Conform Pulls und Unterstützung beim finalen Schnittabschluss

  • In der finalen Schnittphase nutzte die DI-Einrichtung Quanta den Conform Pull-Service von MPS, um EDL-Upload, Qualitätsprüfung, Media-Trimming und Packaging automatisch durchzuführen
  • Anfangs war die Funktion noch Beta, doch auf Basis des Feedbacks aus mehreren Projekten einschließlich Senna ist inzwischen flexibles Matching (fuzzy matching) zwischen EDL und OCF möglich
  • Künftig ist auch computer-vision-basiertes perceptual conform geplant, das den Ansatz über Metadaten hinaus auf die Erkennung des eigentlichen Bildmaterials erweitert

Senna wurde zu einem wichtigen Wendepunkt in der Weiterentwicklung von MPS und ist ein repräsentatives Beispiel dafür, dass Cloud-basierte Zusammenarbeit in der globalen Produktionsumgebung von Netflix zu greifbaren Ergebnissen führen kann

Fazit

• Die Media Production Suite (MPS) ist ein bahnbrechender Sprung, der die Medienproduktion bei Netflix grundlegend verändert hat
• Durch die konsequente Einführung offener Standards wurde eine Lösung geschaffen, die auch im globalen Maßstab sowohl Wirtschaftlichkeit als auch technischen Zugang erfüllt
• Durch das Entfernen repetitiver, nicht kreativer Arbeit entsteht eine Umgebung, in der Produktionsteams sich stärker auf kreatives Storytelling konzentrieren können
• Mit Cloud-basierten Workflows und globaler Kollaborationsinfrastruktur wird nicht nur die Effizienz erhöht, sondern auch die Qualität der Inhalte verbessert
• Netflix will sich auch künftig durch kontinuierliche Innovation und präzisere Prozesse darauf konzentrieren, das Potenzial kreativer Talente weltweit freizusetzen
• MPS ist eine zentrale Grundlage für die Content-Produktion der Zukunft, und Netflix treibt den Wandel hin zu einer stärker vernetzten und kreativeren Branche voran

[GN⁺]

Hacker-News-Kommentare

• Beim Lesen dieses Artikels habe ich mich gefragt, wie sich die UI im Vergleich zu den Tools schlägt, die ich derzeit nutze.

  • Da mein Bedarf an Video nicht groß ist, habe ich mich gefragt, ob es eine kostenlose Version geben wird.

• Erst als ich den Artikel zu Ende gelesen hatte, wurde mir klar, dass dies kein „Viel Spaß mit dem Tool, das wir gebaut haben“-Text ist, sondern ein „Schaut, wie großartig wir sind“-Text.

• Ich habe über die Dreharbeiten zu Collateral gelesen. Das war einer der ersten Big-Budget-Filme, die digital gedreht wurden.

  • 2004 gab es bei digitalem Video Probleme mit dem Speicherplatz und das Risiko, Bilder aus einem Datenspeicher nicht wiederherstellen zu können.
  • „Wir haben umfangreiche Tests mit Festplatten gemacht, und alles sah gut aus, aber als wir das Material nach dem Dreh verschickten, konnten wir keine Informationen von den Festplatten bekommen“, sagte Cameron.
  • Als Kompromiss wurde beschlossen, sowohl auf Festplatten als auch auf SRW-Band aufzuzeichnen. Anders als heute war die Überprüfung digitalen Bildmaterials umständlich und nervenaufreibend.
  • „Wir haben alles zwei- oder dreimal aufgenommen“, sagte Beebe.

• Automatisierung ist unverzichtbar geworden. Die Komplexität von Farb- und Framing-Management sowie der Deliverables muss reibungslos und ohne manuelle Eingriffe durch die Nutzer gesteuert und verwaltet werden.

  • Ich hatte den Mangel an visueller Vielfalt bei Netflix kritisch gesehen. Das ist etwas, worüber typische Filmfans oft klagen.
  • Ich hatte nicht bedacht, dass das an der Größe von Netflix liegen könnte. Es könnte eine operative Entscheidung sein.
  • Dieses System klingt sehr komplex und clever. Einen so starken vertikalen Ansatz auf die kreativen Aspekte von Film- und TV-Produktion anzuwenden, könnte sich am Ende als kurzsichtig erweisen.

• Vor 15 Jahren bot das erste Startup, bei dem ich gearbeitet habe, eine API für Musik-Streaming in Indien an.

  • Der Gründer, der die Infrastruktur verwaltete, saß in den USA, und die Server standen in LA.
  • Es war amüsant, dass es billiger und schneller war, nach Indien zu fliegen, eine portable Festplatte zu kaufen, die Medien hochzuladen, in die USA zurückzufliegen und die Daten dort auf den Fileserver zu laden.
  • Das galt nur für Datenmengen im TB-Bereich. Später habe ich dasselbe bei AWS Snowball und Snowmobile gesehen.

• Ich frage mich, wie sie das bei den Asset-Größen, von denen sie sprechen, also Hunderten von Terabyte, über das Netzwerk abwickeln können.

  • Selbst mit einer 1-Gbps-Verbindung dauert das Hochladen von 100 TB an Rohdaten von der Kamera etwa 10 Tage. Es könnten mehrere solche Datensätze anfallen.

• Weitere Informationen zu Netfix' Einrichtung von Remote-Workstations für Artists.

• Das könnte sich zu einer Plattform wie AWS entwickeln. Das würde den Zugang zu modernster Technologie demokratisieren und Tool-Probleme effektiv lösen.

  • Das eigentliche Nadelöhr, nämlich die Frage nach interessantem Storytelling, würde es aber immer noch nicht lösen.

• Ich frage mich, was einen guten Plot eigentlich ausmacht.

• Am beeindruckendsten fand ich, dass in der Branche immer noch viel manuell gemacht wird und viele Abläufe fehleranfällig sind.

  • Ich frage mich, wie portabel diese Lösung außerhalb von Netflix ist. Es klingt nach einer sehr stark vertikal integrierten Lösung.

• Ich frage mich, welche Sprache verwendet wird. Die Screenshots der Desktop-App sehen nativ aus.