Netflix-Kampf Paul vs. Tyson: Trotz 60 Millionen Haushalten hagelt es Beschwerden über Buffering
(sportingnews.com)- Die große Live-Boxübertragung von Netflix erreichte 60 Millionen Haushalte, doch wegen Buffering und Aussetzern über den gesamten Kampf hinweg wuchs der Unmut der Fans
- Auch den Co-Main-Event Katie Taylor vs. Amanda Serrano sahen 50 Millionen Haushalte; laut Netflix wurde es damit zum meistgesehenen professionellen Frauensport-Event der US-Geschichte
- Lange Ladebildschirme, endloses Buffering, Aussetzer ohne Ton und ein „black screen of death“ sorgten dafür, dass einige Zuschauer wichtige Szenen verpassten
- Die Probleme begannen schon vor dem Main-Event Paul vs. Tyson und zogen sich über die Vorkämpfe bis zum Hauptkampf; einige Fans wechselten zu anderen Livestreams
- Da Netflix später im Jahr zwei NFL-Spiele an Weihnachten übertragen will, belastet die aktuelle Störung das Vertrauen in Live-Sportübertragungen
Qualitätsprobleme beim Livestream trotz riesiger Reichweite
- Der Netflix-Livestream war nicht nur beim Kampf zwischen Jake Paul und Mike Tyson instabil, sondern auch schon bei den vorherigen Kämpfen
- Zuschauer äußerten in sozialen Medien ihren Frust über Buffering, abbrechende Kommentierung und schwarze Bildschirme
- Die Beschwerden begannen bereits, bevor Paul und Tyson den Ring betraten
- Die Zuschauerzahlen selbst waren sehr hoch
- Laut Netflix sahen 60 Millionen Haushalte den Kampf Paul vs. Tyson
- Den Co-Main-Event Katie Taylor vs. Amanda Serrano verfolgten 50 Millionen Haushalte
- Laut Netflix war Taylor vs. Serrano damit das meistgesehene professionelle Frauensport-Event der US-Geschichte
- Die Qualitätsprobleme zogen sich von den Vorkämpfen bis in den Main-Event
- Schon während des Weltergewichtskampfs zwischen Mario Barrios und Abel Ramos kam es laufend zu Aussetzern, sodass einige Zuschauer Kampfszenen verpassten
- Auch im Main-Event Paul vs. Tyson blieben die Probleme bestehen
Ausweich-Streams und Sorgen vor den NFL-Übertragungen
- Einige Zuschauer wechselten statt Netflix zu Antonio Browns X-Livestream
- Der frühere NFL-Wide-Receiver Antonio Brown startete am Veranstaltungsort, dem AT&T Stadium in Arlington, Texas, einen Live-Stream
- Die Kamera war auf die große Videowand im Stadion der Dallas Cowboys gerichtet
- Mitten im Kampf Paul vs. Tyson erreichte sein Livestream 6,4 Millionen Zuschauer
- Netflix will später im Jahr an Weihnachten zwei NFL-Spiele übertragen
- Die Streaming-Probleme bei diesem Box-Livestream schüren daher Sorgen über die Qualität künftiger Live-Sportübertragungen
1 Kommentare
Meinungen auf Hacker News
Immer wenn ein Großunternehmen heftig ins Straucheln gerät, verstecken sich in solchen Threads ziemlich sicher zwei gut informierte Gruppen, die aber kaum schreiben: 1) Leute, die direkt an dem Vorfall beteiligt waren oder bei derselben Firma arbeiten, 2) Leute aus ähnlichen Unternehmen, die Systeme mit vergleichbarer Größe und vergleichbarem Risiko betreiben
Erstere hätten zu viel zu verlieren, wenn sie an der PR-Abteilung vorbei kommunizieren, und Letztere wissen, wie schwierig so etwas ist, und prügeln deshalb nicht öffentlich mit unbegründeten Spekulationen auf Leute ein, die dieselbe Arbeit machen
Übrig bleiben also Leute, die ihre Einsichten aus Vorgehensweisen im kleinen Maßstab oder aus First Principles ableiten
Das ist der Typ, der vor etwa fünf Jahren aus anderen, nichttechnischen Bereichen gewechselt ist, Systemprogrammierung, Networking und Konzepte der Informatik aus übermäßig vereinfachten Materialien gelernt hat, die all das als unnötig und unpraktisch abtun, und dann alles darauf reduziert, JavaScript-Klebstoffcode zwischen per Google gefundenen NPM-Paketen zu schreiben
In Zeiten wie heute, in denen überall behauptet wird: „Jetzt kann jeder mit LLMs programmieren lernen“, ist es erschreckend, wie sehr komplexe Systeme, die in Wahrheit unter Interfaces, Paketen und Abstraktionsschichten verborgen sind, übermäßig vereinfacht und dann mit großer Bestimmtheit kommentiert werden
Das erinnert an Quanten-Pseudowissenschaft oder Filme wie What the Bleep Do We Know!?, in denen Menschen ohne Hintergrund in Quantenphysik oder Wissenschaft mit simplen Modellen ohne Mathematik absurde Schlussfolgerungen ziehen
Aus informierter Sicht ist das frustrierend, aber es gibt Grenzen, die man nicht überschreiten kann oder will
Jedes Mal, wenn ein HN-Thread ein Thema behandelt, mit dem ich mich beruflich selbst intensiv beschäftigt habe, halte ich lieber den Mund, während Leute ohne Ahnung so entschieden und selbstbewusst Falsches behaupten, wie ihr Ego es zulässt
Ich frage mich, welcher magische Unterschied dafür gesorgt hätte, dass der Livestream gelungen wäre
Weil ich weiß, wie hart alle gearbeitet haben und wie kompetent sie waren, habe ich in solchen Fällen Mitgefühl mit den Leuten
Während das Internet billige Witze riss, stürzten sich die Engineers auf ungelöste Probleme, PMs liefen die Flure auf und ab, und einige Leute bekamen Ärger von der Führungsebene
Es fühlte sich an, als hätte man den Stress und die Komplexität eines Produktlaunches um den Faktor 100 erhöht, und dabei rede ich nicht einmal von Livevideo, sondern nur von einer Website
Jemand, der die internen Umstände kennt, könnte hier schreiben, ohne offenzulegen, dass er Insider ist; das ist eine ziemlich gewagte Behauptung
Wirkt auf mich wie eine Art No True Scotsman-Argument
Um solche Probleme in den Griff zu bekommen, muss man Live-Events immer wieder durchführen und die entsprechenden Muskeln der Organisation tatsächlich trainieren
Es darf nicht darauf hinauslaufen, dass ein Technikteam in einem Bereich ohne Erfahrung ein riesiges einmaliges Event stemmt
„Immer bauen“ bedeutet zum Beispiel, dass man bauen muss, auch wenn sich der Code nicht geändert hat oder es keinen PR gibt. Irgendetwas in der Organisation oder Infrastruktur hat sich wahrscheinlich geändert, und es ist besser, einen Build-Fehler bei bereits veröffentlichter Software zu sehen als bei Software, die jetzt veröffentlicht werden muss
Genauso heißt „immer releasen“, dass man ein Release herausgeben muss, selbst wenn sich nichts geändert hat. Man muss das System belasten und die Abläufe weiter durchspielen lassen
Ich habe wirklich oft erlebt, dass Deployments allein deshalb scheiterten, weil man lange keinen Deployment-Versuch gemacht hatte. Wenn man es einmal getan hat und es in Zukunft wieder tun muss, muss man es ständig wiederholen
Es ist nur schwer, sich auf etwas vorzubereiten, das noch niemand gemacht hat: ein Event in Super-Bowl-Größe, das vollständig über das Internet geschaut wird
Beim Super Bowl kann man Last auf Kabel und terrestrisches Fernsehen abwälzen
Interessanterweise hatte mein Stream keine Probleme, daher könnten die Bandbreitenprobleme lokal auf bestimmte Rechenzentren oder ISPs beschränkt gewesen sein
Es ist kaum zu glauben, dass man erwartet hat, Engineering könne ein einzelnes Live-Event dieser Größenordnung stemmen
Als ich Livestreams in kleinerem Maßstab betrieben habe, hatte ich immer bis zu drei parallele Backup-Streams über Vimeo, Cloudflare, Livestream und ähnliche Anbieter
In der Größenordnung von Netflix kann man solche Anbieter nicht einfach hinzuziehen, aber bei Akamai oder Cloudflare hätte es wohl funktionieren können
Hier wird so getan, als sei das ein spezielles Problem, das nur Netflix hat, aber Hotstar hat ein Cricketspiel Indien gegen Pakistan problemlos live übertragen und dabei auch den Rekord für die höchste gleichzeitige Zuschauerzahl in der Geschichte von Live-Übertragungen aufgestellt.
Ich frage mich, warum Zuschauer, die 20 Dollar im Monat zahlen, technische Probleme verstehen müssen. Netflix hat es einfach vermasselt.
Diese Technik gibt es bereits, und ESPN hat das früher auch schon gemacht; daran ist nichts neu.
Die Zahlen sind völlig unterschiedlich. 120 Millionen wären Super-Bowl-Niveau.
Hätte Hotstar 3 bis 4 solcher Cricketspiele gleichzeitig problemlos stemmen können?
[0] https://www.the-independent.com/sport/cricket/india-pakistan...
[1] https://www.rollingstone.com/culture/culture-news/jake-paul-...
Es wäre vielleicht einfacher gewesen, bei null anzufangen oder einen externen Partner mit Live-Streaming-Erfahrung zu nutzen.
Aber bei Netflix, einem technologiegetriebenen Unternehmen, das sich selbst als Branchenführer sieht, lag die Wahrscheinlichkeit für so eine Entscheidung wohl nahe null.
Natürlich senden diese kostenlosen Dienste an ein deutlich kleineres Publikum.
Auch ohne sich in Details zu verlieren: Live-Übertragungen waren nie Netflix’ Stärke, und es sieht nicht gut aus, wenn ein Unternehmen, das wie ein Champion des verteilten Rechnens wirkte, anderswo mit Qualitätsabstrichen live sendet.
Netflix ist gut beim Streaming vorbereiteter Inhalte, aber nicht gut bei Live-Übertragungen. Trotzdem: 1) Es ist ein 300-Milliarden-Dollar-Unternehmen, also kein Ressourcenproblem, 2) Live-Übertragungen dieser Größenordnung sind nicht neu, und es gab bereits frühere Fehlschläge, und 3) zwischen der ersten großen Live-Übertragung und der zweiten gab es genug Zeit, zu lernen und zu iterieren.
Manche Anbieter geben keine zusätzliche Verbindungskapazität zu ihrem Netzwerk frei, wenn man keinen 12-Monats-Vertrag im Voraus abschließt.
Peak Traffic ist im Betrieb sehr teuer, weil man Kapazität schaffen muss, die nach dem Event leer steht.
Deshalb ist das schwierig, und deshalb verlangt Akamai für Live-Übertragungen auch aberwitzige Preise.
Ein offenes Geheimnis auf der Netzwerkschicht ist, dass Datacenter-Netzwerke entgegen den Versprechen in der Regel nicht redundant ausgelegt sind.
Ein redundantes Netzwerk zu bauen würde die Investitionen verdoppeln, und man dürfte nur 50 % der Maximalkapazität nutzen oder müsste sie im Leerlauf lassen. Für die meisten Kunden rechnet sich das nicht, nur um zwei Stunden Ausfallzeit pro Jahr beim Neustart von Hochleistungsroutern zu vermeiden.
Selbst Twitter hatte Probleme, die illegalen Live-Streams dort zu verkraften.
Es ist kein Ressourcenproblem, sondern ein Problem der Reife in der Technologieentwicklung.
Die Leute wissen oft nicht, wie viele Fallstricke bei Live-Übertragungen auftauchen können.
Netflix hat für vorbereitete Inhalte ein hervorragendes CDN und dachte vielleicht, das sei der schwierigste Teil.
Live-Übertragungen haben sich von dem Modell, bei dem man per großer Satellitenschüssel zu einem geostationären Satelliten hochsendete und es in ein Sendezentrum herunterholte, über Mikrowellenstrecken, dedizierte Langstrecken-Glasfaser, Geräte, die mehrere Mobilfunkanbieter-Leitungen bündeln, bis hin zu Echtzeit-HTTP-Streams, die Server empfangen, weiterentwickelt.
Ich frage mich, wie Netflix’ Plan für Echtzeit-Ausspielung und sein Redundanzplan aussahen.
Es war nicht das erste Mal, dass Netflix eine Live-Übertragung gemacht hat. Ich habe in der App schon einige Events gesehen.
Dafür gibt es keine Entschuldigung. Angesichts der Ressourcen und Talente wirkte das völlig amateurhaft, und es ist auch schlecht für das öffentliche Image.
Ich wäre überrascht, wenn sie künftig noch einmal solche Exklusivverträge bekommen.
Jetzt weiß man also, wo bei Netflix’ Live-Streaming-Lösung die Grenze von „groß skaliert“ liegt.
Auf einer so großen Bühne hätte es nicht an der Skalierung scheitern dürfen.
Ich würde gern die Postmortem-Analyse lesen.
Alle großen Sender können den Super Bowl problemlos übertragen.
Selbst wenn Netflix behauptet, an 280 Millionen Menschen gestreamt zu haben, setzt das voraus, dass alle Abonnenten zugesehen haben; die tatsächliche Zahl liegt eher bei rund 120 Millionen und damit ähnlich wie beim Super Bowl.
Netflix sollte vielleicht CBS oder ABC fragen, wie man sendet.
Das ist ein ganz anderer Bereich als die Live-Auslieferung an Endnutzer.
Kabel-TV – oder, wenn man im passenden Versorgungsgebiet ist, auch eine terrestrische Antenne – ist schlicht ein besseres Produkt fürs Live-Zuschauen als jeder Streaming-Dienst.
Nach meinem Maßstab kommt nur die Masters-App da annähernd heran.
Die Kombination aus Kabel-TV + DVR + schnellem Internet für Torrents ist immer noch ein unerreichtes Entertainment-Setup, und die Streaming-Landschaft ist ein Chaos.
Schade, dass die Kabelanbieter ihre Stellung missbraucht und damit die Gunst des Marktes verspielt haben. Eine Kupferleitung direkt in jedes Haus in den USA war ein enormer Vorteil, den sie weggeworfen haben.
Wenn man zu Hause einen TV-Anschluss bestellt, bekommt man eine IPTV-Box, verbindet sie per Ethernet mit dem Breitband-Router, und diese Box bittet den Upstream-Router, ihr eine Kopie des Multicast-Streams zu schicken.
Zuverlässiges, redundantes Multicast-Streaming ist im Grunde ein gelöstes Problem, aber alle Beteiligten entlang des Pfads müssen mitspielen.
Wenn der ISP selbst TV anbietet, ist das kein Problem; wenn Netflix aber wegen eines einmaligen Boxkampfs alle Anbieter überzeugen muss, das einzurichten, ist das definitiv ein Problem.
Selbst jetzt löscht HBO Max oder wie es gerade heißt meinen Verlauf der zuletzt gesehenen Inhalte nach 90 Tagen, und ich verstehe nicht, warum.
Es war nicht nur einfaches Buffering. Der Feed blieb stehen, und erst wenn man mit der Fernbedienung pausierte und dann wieder auf „watch live“ drückte, ging es weiter.
Das war wirklich übel. Mein Vater war schon immer Boxfan, also bin ich zu ihm gefahren, um es gemeinsam anzuschauen, und wir hatten im Vorgarten sogar eine große aufblasbare Leinwand und einen Projektor aufgebaut.
Aber es gab ständig Buffering, also dachten wir, es läge am WLAN, packten alles wieder zusammen und gingen ins Haus – doch über Ethernet passierte dasselbe.
Mein Vater hatte sich wirklich darauf gefreut, es über den Projektor zu sehen, aber Netflix hat ihn enttäuscht.
In einigen Foren, die ich lese, geben die Leute einfach auf.
Ich bin gespannt auf die Post-Mortem-Analyse, warum Netflix nicht vorbereitet war. Da sie mich zweimal interviewt und dann abgelehnt haben, ist da auch ein bisschen Schadenfreude dabei.
Ich habe über Netflix geschaut und hatte keine Probleme, aber aus Spaß hatte ich seinen Livestream ebenfalls offen. Soweit ich gesehen habe, gab es dort keine Probleme.
Ich frage mich, ob das Auswirkungen auf den langfristigen Ruf von Netflix haben wird.
Unter Software Engineers gilt Netflix als Unternehmen, das die besten Leute einstellt, und der Streaming-Dienst wirkte normalerweise sehr robust.
Andere Streaming-Dienste haben seit ihren Anfängen stark aufgeholt und sind deutlich stabiler geworden, aber trotzdem hatte man den Eindruck, Netflix sei technisch eine Stufe darüber.
Dieser Vorfall hilft diesem Eindruck nicht. Es war kein kurzer Aussetzer, sondern über Stunden instabil, und dass auf der Statusseite „Netflix is up! We are not currently experiencing an interruption to our streaming service.“ stand, sieht auch nicht gut aus.
Damals schalteten ebenfalls Millionen ein, es war ein großer Fehlschlag, und nichts funktionierte richtig.
Danach hat Netflix keine Live-Reunion mehr versucht.
Vielleicht hätten sie es tun sollen, allein um Erfahrung zu sammeln. Denn jetzt stoßen sie bei einem Event mit viel höheren Einsätzen auf dieselben Probleme.
Insbesondere haben sie die Vergütungsstruktur geändert, RSUs eingeführt, lästige Bewertungsprozesse eingebaut, mehr Level und Titel geschaffen und begonnen, in niedrigeren Marktsegmenten einzustellen.
Dazu kamen ständige Verschiebungen von Headcount-, Budget- und Titelzuteilungen, wodurch das Unternehmen insgesamt deutlich bürokratischer wurde.
Da Streaming als Problembereich gereift ist, waren solche eher kostensenkenden Veränderungen wohl unvermeidlich.
Ich würde behaupten, dass Netflix diesen Stream hinbekommen hätte, wenn es noch dasselbe Team und dieselbe Kultur wie vor zehn Jahren hätte.
Es geht nicht einfach nur um eine hohe Zuschauerzahl; das Live-Modell hebelt den zentralen Vorteil der Netflix-Infrastruktur vollständig aus.
Siehe: https://openconnect.netflix.com/en/
Vorstellungsgespräche mit irrelevanten Logikrätseln können System Engineering nicht ersetzen.
Netflix streamt viele vorab aufgezeichnete Videos und nutzt meist nahegelegene Caches.
Liveübertragungen scheinen ein Bereich zu sein, den sie noch nicht gut beherrschen.
2012 hat YouTube den Red-Bull-Stratos-Livestream für 8 Millionen gleichzeitige Zuschauer hinbekommen.
12 Jahre später hat Netflix es vermasselt.
Heute hat sich das wirtschaftliche Umfeld stark verändert, und Unternehmen versuchen, Kosten zu senken und zugleich Gewinne zu steigern.
Folglich ist ein Qualitätsverlust unvermeidlich.
Netflix könnte sicher Millionen Menschen einen perfekten Livestream liefern. Die Frage ist, ob sie das auch mit Gewinnen schaffen, die die Wall Street zufriedenstellen – und offenbar konnten sie das nicht.
Als ich sah, dass die Übertragung des Kampfs zusammenbrach, war das das Erste, woran ich dachte.
Als Vergleich taugt das nicht besonders.
Die einzig vernünftige Methode, so etwas zu skalieren, ist wahrscheinlich, es tatsächlich zu skalieren.
Natürlich gibt es allgemeine Lehren, aber die Engpässe einer Netflix-Architektur, die über mehr als zehn Jahre gewachsen und auf cachebare Inhalte optimiert ist, dürften sich stark von denen bei YouTube unterscheiden.
YouTube hat Live-Inhalte über mehrere Jahre hinweg schrittweise ausgebaut.