Netflix: Was passiert, wenn Sie auf Wiedergabe klicken?

Dieser Artikel ist ein Kapitel aus meinem neuen Buch „ Erklären Sie einem Zehnjährigen die Wolke“ . Die erste Option wurde speziell für diejenigen geschrieben, die eine Einführung in die Wolken benötigen. Dann habe ich ein paar Updates vorgenommen und ein paar Kapitel hinzugefügt - "Netflix: Was passiert, wenn Sie auf Start klicken?" und "Was ist Cloud Computing?" - die schon etwas jenseits des Wissens eines Anfängers liegen. Ich denke, dass sie auch ziemlich erfahrene Leute interessieren können.

Wenn Sie also eine gute Einführung in die Wolken benötigen oder jemanden kennen, der sie benötigt, schauen Sie bitte. Ich denke es wird dir gefallen. Ich bin stolz auf das, was ich getan habe.

Ich habe dieses Kapitel auf der Grundlage von einem Dutzend Quellen geschrieben, die sich manchmal widersprechen. Die wichtigsten Fakten ändern sich im Laufe der Zeit und hängen davon ab, wer die Geschichte erzählt und welches Publikum. Ich habe versucht, wann immer möglich eine zusammenhängende Geschichte zu schreiben. Bitte beachten Sie, dass dies kein technischer Leitfaden ist - dies ist ein Artikel mit großen Bildern. Zum Beispiel habe ich noch nie Microservices erwähnt.

Netflix scheint so einfach. Klicken Sie auf "Wiedergabe" und das Video wird auf magische Weise angezeigt. Einfach, richtig? Ja, nicht wirklich.



Nach unseren Diskussionen im Kapitel „Was ist Cloud Computing?“ Sie können erwarten, dass Netflix mit Video unter Verwendung von AWS funktioniert. Klicken Sie in der Netflix-Anwendung auf „Wiedergabe“. Das in S3 gespeicherte Video wird über das Internet über das Internet direkt auf Ihr Gerät gestreamt.

Ein absolut vernünftiger Ansatz - für einen Service, der viel kleiner ist.

Aber Netflix ist völlig falsch. Alles ist viel komplizierter und interessanter als Sie sich vorstellen können.

Um zu verstehen, warum, schauen wir uns die Netflix-Statistiken für 2017 an:

• Über 110 Millionen Abonnenten.
• Arbeiten Sie in mehr als 200 Ländern.
• Umsatz von 3 Milliarden US-Dollar pro Quartal.
• Fügt 5 Millionen Abonnenten pro Quartal hinzu.
• Spielt wöchentlich mehr als eine Milliarde Stunden Video ab. Im Vergleich dazu spielt YouTube jeden Tag 1 Milliarde Stunden Video ab, während Facebook jeden Tag 110 Millionen Stunden Video abspielt.
• An einem Tag des Jahres 2017 wurden 250 Millionen Stunden Video abgespielt.
• Verantwortlich für 37% des höchsten US-Internetverkehrs.
• Pläne, 2018 7 Milliarden US-Dollar für neue Inhalte auszugeben.

Was haben wir gelernt?

Netflix ist riesig. Es ist global, es hat viele Abonnenten, es spielt eine große Menge an Videos und es hat viel Geld.

Eine weitere relevante Tatsache ist, dass Netflix im Abonnement funktioniert. Abonnenten zahlen Netflix monatlich und können sich jederzeit abmelden. Wenn Sie unter Netflix auf "Wiedergabe" klicken, um sich zu entspannen, ist es besser, wenn dieser Dienst normal funktioniert. Unzufriedene Abonnenten melden sich ab.

Schau genauer hin

Netflix ist ein großartiges Beispiel für die Ideen, die wir besprochen haben. Daher enthält dieses Kapitel viel mehr Details als die Beschreibung anderer Cloud-Dienste. Ein Grund für die eingehende Untersuchung von Netflix ist, dass sie viel mehr Informationen liefern als andere Unternehmen. Netflix-Kommunikation wird als wichtiges Kulturgut angesehen, und das Unternehmen hält seine Standards mehr als erfolgreich aufrecht.

Ich möchte Netflix sogar für ihre Offenheit für ihre Architektur danken. Im Laufe der Jahre hielt das Unternehmen Hunderte von Vorträgen und schrieb Hunderte von Artikeln über die Details ihrer internen Arbeitsmuster. Dies trägt zur Verbesserung der gesamten Branche bei.

Ein weiterer Grund für solch detaillierte Details ist, dass der Netflix-Dienst einfach unglaublich ist. Die meisten von uns haben es benutzt - und wer wäre nicht daran interessiert, hinter die Kulissen zu schauen und herauszufinden, wie es funktioniert?

Netflix läuft in zwei Clouds - AWS und Open Connect

Wie stellt das Unternehmen Kunden zufrieden? Mit Hilfe von Wolken. Tatsächlich zwei verschiedene Clouds - AWS und Open Connect. Beide sollten problemlos zusammenarbeiten, um viele Stunden Videoinhalt zu produzieren, der die Benutzer zufriedenstellt.

Drei Teile von Netflix: Client, Backend, Content Delivery Network

Sie können Netflix mental in drei Teile unterteilen: Client, Backend, Content Delivery Network (CDN).

Client - Eine Benutzeroberfläche, die auf jedem Gerät ausgeführt wird, auf dem Videolisten angezeigt und abgespielt werden. Dies kann eine mobile Anwendung auf einem Smartphone, eine Website auf einem Desktop-Computer oder sogar eine Anwendung auf einem Smart-TV sein. Netflix steuert jeden Client auf jedem Gerät.

Alles, was passiert, bevor Sie auf die Wiedergabetaste klicken, geschieht im Backend, das unter AWS ausgeführt wird. Dazu gehören beispielsweise das Vorbereiten aller neuen eingehenden Videos und das Verarbeiten von Anforderungen von allen Anwendungen, Websites, Fernsehgeräten und anderen Geräten.

Alles, was nach dem Klicken auf "Wiedergabe" passiert, wird in Open Connect verarbeitet. Dies ist das Netflix-eigene Netzwerk für die Bereitstellung von Inhalten. Es speichert Videos an verschiedenen Orten auf der ganzen Welt. Wenn Sie auf "Wiedergabe" klicken, wird der Videostream von Open Connect auf Ihr Gerät übertragen und vom Client angezeigt. Keine Sorge - wir werden später über CDN sprechen. Interessanterweise wird der Videostartprozess des Unternehmens nicht als "Klick" Wiedergabe "bezeichnet, sondern als" Klick "Start" auf den Namen. "Jede Branche hat ihren eigenen Jargon.

Durch die Steuerung aller drei Bereiche - Client, Backend, CDN - wurde eine vollständige vertikale Integration erreicht. Das Unternehmen kontrolliert Ihre Erfahrungen beim Ansehen von Videos von Anfang bis Ende. Daher funktioniert es nur, wenn Sie in einem beliebigen Teil der Welt auf "Spielen" klicken. Sie erhalten garantiert den Inhalt, den Sie benötigen, den Sie sehen möchten und wann Sie ihn möchten.

Mal sehen, wie genau das ausgeht.

Im Jahr 2008 begann Netflix mit dem Wechsel zu AWS

Netflix ist seit 1998 in Betrieb. Zunächst befasste es sich mit dem DVD-Verleih per Post. Das Unternehmen sah die Zukunft jedoch im Streaming von Video-on-Demand. Im Jahr 2007 stellte Netflix seinen Video-on-Demand-Dienst vor, mit dem Abonnenten TV-Sendungen und Filme über die Website des Unternehmens auf PCs oder über die spezielle Software des Unternehmens auf verschiedenen von ihm unterstützten Plattformen wie Smartphones und Tablets, digitalen Playern und Spielen streamen konnten Set-Top-Boxen und Smart-TVs.

Die Zukunft für das Streaming von Video-on-Demand scheint offensichtlich. Im Prinzip war es. Persönlich habe ich in einigen Startups versucht, Videos auf Abruf herauszugeben. Sie haben versagt. Und Netflix wartete auf Erfolg. Das Unternehmen hat definitiv gut funktioniert, aber es kam spät auf den Markt, was ihr half. Bis 2007 war das Internet schnell und billig genug, um Streaming-Videodienste zu unterstützen. Das ist noch nie passiert. Das Aufkommen eines schnellen, nicht sehr teuren mobilen Verkehrs und die Einführung leistungsfähiger mobiler Geräte wie Smartphones und Tablets machten es einfacher und billiger, Streaming-Videos jederzeit und überall anzusehen. Der richtige Moment ist der Schlüssel zum Erfolg.

Netflix startete mit eigenen Rechenzentren

EC2 startete erst 2007, ungefähr zur gleichen Zeit, als Netflix startete. Daher konnte Netflix EC2 nicht verwenden. Das Unternehmen hat zwei Rechenzentren in der Nähe gebaut. Und sie hatten alle Probleme, die wir in den vorherigen Kapiteln besprochen haben.

Der Bau von Rechenzentren ist sehr teuer. Es braucht Zeit, um Geräte zu bestellen, zu installieren und zu starten. Unmittelbar nach dem Start ging ihnen der Strom aus und alles musste von vorne beginnen. Die für die Ausrüstung aufgewendete Zeit zwang das Unternehmen zu einer vertikalen Skalierungsstrategie.

Netflix hat große Programme geschrieben, die auf großen Computern ausgeführt wurden. Dieser Ansatz wird als Konstruktion eines Monolithen bezeichnet. Ein Programm hat alles gemacht. Das Problem ist, dass es sehr schwierig ist, einen zuverlässigen Monolithen herzustellen, wenn Sie so schnell wie Netflix wachsen. Er war nicht zuverlässig.

Der Denial-of-Service zwang Netflix, zu AWS zu wechseln

Im August 2008 konnte Netflix an drei aufeinander folgenden Tagen aufgrund eines Fehlers in der Datenbank keine DVDs senden. Das war inakzeptabel. Es war notwendig, etwas zu lösen. Die Erfahrung beim Bau von Rechenzentren hat dem Unternehmen eine wichtige Sache beigebracht: Der Bau von Rechenzentren hat nicht gut funktioniert. Sie war gut darin, ihren Kunden Videos zu liefern. Sie musste sich auf Verbesserungen bei der Videobereitstellung konzentrieren und nicht auf Verbesserungen beim Aufbau von Rechenzentren. Der Bau von Rechenzentren war kein Wettbewerbsvorteil des Unternehmens - ihr Vorteil war die Bereitstellung von Videos.

Zu diesem Zeitpunkt entschied sich Netflix für AWS. AWS hatte gerade erst begonnen, daher war es eine mutige Entscheidung. Das Unternehmen wechselte zu AWS, weil es eine zuverlässigere Infrastruktur benötigte. Netflix wollte alle Schwachstellen des Systems beseitigen. AWS bot hochzuverlässige Datenbanken, Speicher und redundante Rechenzentren. Netflix benötigte Cloud-Dienste, um keine unzuverlässigen Monolithen mehr zu erstellen. Netflix wollte ein globaler Dienst werden, ohne seine Rechenzentren aufzubauen. Solche Möglichkeiten in seinen alten Rechenzentren gab es nicht und konnte es auch nicht geben.

Netflix entschied sich für AWS, weil es sich nicht auf undifferenzierte harte Arbeit einlassen wollte. Undifferenzierte harte Arbeit ist das, was getan werden muss, aber das bringt dem Hauptgeschäft, das darin besteht, qualitativ hochwertige Videos anzusehen, keinen Vorteil. AWS erledigt all diese harte Arbeit für Netflix. Dies gibt Netflixern die Möglichkeit, sich auf die Bereitstellung wertvoller Unternehmensdienstleistungen zu konzentrieren.

Der Umzug eines Unternehmens von seinen Rechenzentren zu AWS dauerte mehr als acht Jahre. Netflix hat die Anzahl der Kunden in dieser Zeit um das Achtfache erhöht. Netflix läuft jetzt auf mehreren hunderttausend Kopien von EC2.

AWS Netflix zuverlässiger

Nicht dass Netflix noch nie AWS-Probleme hatte, aber insgesamt ist sein Service viel zuverlässiger als zuvor. Sie werden solche Beschwerden nicht mehr sehen:





Das Unternehmen wurde so zuverlässig, dass es außergewöhnliche Schritte unternahm. Das Unternehmen ist in drei AWS-Regionen tätig: Northern Virginia, Portland, Oregon und Dublin, Irland. In jedem von ihnen arbeitet Netflix in drei verschiedenen Zugangszonen.

Das Unternehmen hat keine Pläne, die Anzahl der Arbeitsregionen zu erhöhen. Das Hinzufügen neuer Regionen ist sehr schwierig und teuer. Die meisten Unternehmen sind nur in einer Region tätig, ganz zu schweigen von zwei oder drei.

Der Vorteil der Arbeit in drei Regionen besteht darin, dass eine von ihnen fallen kann und die anderen beiden an ihre Stelle fallen und Kunden aus der betroffenen Region bedienen. Netflix nennt den Fall der Evakuierung der Region.

Betrachten Sie ein Beispiel. Angenommen, Sie sehen eine neue Folge von "House of Cards" in London, England. Höchstwahrscheinlich ist Ihr Gerät mit der Region Dublin verbunden, da es dieser am nächsten liegt. Was passiert, wenn die Region Dublin fällt? Wird Netflix nicht mehr für Sie arbeiten? Nein. Sobald ein Problem erkannt wird, leitet Netflix Sie nach Virginia weiter. Ihr Gerät kommuniziert mit der Virgin-Region anstelle von Dublin. Möglicherweise bemerken Sie nicht einmal Fehler.

Wie oft fällt die AWS-Region aus? Einmal im Monat. Nun, eigentlich scheitert die Region nicht jeden Monat. Netflix führt monatliche Tests durch. Jeden Monat löscht Netflix speziell die gesamte Region, um sicherzustellen, dass das System regionale Fehler behandelt. Sie können die Region in sechs Minuten evakuieren.

Netflix nennt dies ein globales Servicemodell. Jeder Kunde kann aus jeder Region bedient werden. Das ist erstaunlich. Und das passiert nicht automatisch. AWS hat keine magische Sauce, um das Versagen von Regionen zu behandeln oder Kunden aus verschiedenen Regionen zu bedienen. Netflix selbst hat den Job gemacht. Das Unternehmen ist ein Pionier bei der Entwicklung zuverlässiger Systeme in mehreren Regionen. Ich kenne keine anderen Unternehmen, die solche Maßnahmen ergreifen würden, um eine solche Zuverlässigkeit des Dienstes sicherzustellen.

Ein weiterer Vorteil der Arbeit in diesen drei Regionen besteht darin, dass Netflix die ganze Welt abdecken kann. Netflix führte Überprüfungen durch und stellte fest, dass Sie durch den Start der Anwendung überall auf der Welt in jedem Fall einen schnellen Service von einer dieser Regionen erhalten.

Netflix speichert mit AWS

Dies mag viele überraschen, aber AWS für Netflix ist billiger. Die Kosten für die Cloud beim Anzeigen des Videos sind um ein Vielfaches geringer als bei Verwendung alter Rechenzentren. Warum? Aufgrund der Elastizität der Wolke.

Netflix kann nach Bedarf Server hinzufügen und diese zurückgeben, wenn sie nicht benötigt werden. Anstatt dass eine Reihe zusätzlicher Computer nichts tun und nur auf die Spitzenlast warten, verwendet das Unternehmen genau so viele Computer, wie es benötigt und wenn nötig.

Was passiert auf AWS, bevor Sie auf Wiedergabe klicken?

Alles, was nicht mit der Ablage des Videos verbunden ist, wird in AWS verarbeitet. Dies umfasst skalierbare Rechenleistung, skalierbaren Speicher, Geschäftslogik, skalierbare verteilte Datenbanken, Verarbeitung und Analyse von Big Data, Empfehlungen, Transcodierung und Hunderte anderer Funktionen. Sie müssen sie nicht alle verstehen, aber da Ihnen dies interessant erscheint, werde ich sie kurz erläutern.

Skalierbare Rechenleistung und Speicher

Die skalierbare Rechenleistung beträgt EC2 und der Speicher S3. Hier gibt es nichts Neues für uns. Ihr Gerät ist ein iPhone, ein Fernseher, eine Xbox, ein Android-Smartphone, ein Tablet usw. - kommuniziert mit einem in EC2 ausgeführten Dienst. Ihr Gerät erhält eine Liste potenzieller Filme, die Sie ansehen können, indem Sie sich an einen Computer wenden, auf dem EC2 ausgeführt wird. Detaillierte Informationen zu dem Video, das Ihr Gerät dort empfängt. Alles funktioniert genauso wie bei anderen Cloud-Diensten.

Skalierbare verteilte Datenbanken

Netflix verwendet DynamoDB und Cassandra als verteilte Datenbanken. Diese Namen sollten Ihnen nichts bedeuten - sie sind nur hochwertige Datenbanken. Daten werden in der Datenbank gespeichert. Informationen zu Ihrem Profil, zu Konten, zu allen angesehenen Filmen - all dies wird in der Datenbank gespeichert. Verteilte Datenbanken funktionieren nicht auf einem großen Computer, sondern auf vielen Computern. Ihre Daten werden auf viele Computer kopiert, sodass Ihre Daten auch dann sicher sind, wenn ein oder zwei Computer, auf denen Ihre Daten gespeichert sind, ausfallen. In der Realität werden alle Daten in alle drei Regionen kopiert. Aus diesem Grund sind Ihre Daten im Falle eines Regionsfehlers in einer anderen Region verfügbar, in die Sie umgeschaltet werden. Und Skalierung bedeutet, dass die Datenbank so viele Daten speichern kann, wie Sie hinzufügen. Dies ist einer der Hauptvorteile verteilter Datenbanken. Wenn mehr Daten eintreffen, können weitere Computer hinzugefügt werden.

Big Data-Verarbeitung und -Analyse

Big Data ist nur eine Menge Daten. Netflix sammelt viele Informationen. Das Unternehmen weiß, wer wann und wo zugesehen hat. Das Unternehmen weiß, welche Videos seine Kunden angesehen, aber nicht bestellt haben. Sie weiß, wie oft jedes Video gesehen wurde - und vieles mehr.

Das Sammeln und Konvertieren aller Daten in ein Standardformat wird als Verarbeitung bezeichnet. Und ihnen Bedeutung entziehen - Analyse. Die Daten werden analysiert, um Antworten auf bestimmte Fragen zu erhalten.

Netflix personalisiert Bilder speziell für Sie

Hier ist ein großartiges Beispiel dafür, wie Netflix Sie dazu verleitet, mithilfe von Datenanalysefunktionen mehr Filme anzusehen. Haben Sie beim Durchsuchen von Listen und bei der Auswahl der anzuzeigenden Objekte darauf geachtet, dass für jeden Film ein Bild ausgegeben wird? Dies ist das Titelbild.

Das Titelbild sollte Sie faszinieren, Ihre Aufmerksamkeit erregen und Sie dazu bringen, dieses Video auszuwählen. Die Idee ist, dass je faszinierender das Bild ist, desto wahrscheinlicher ist es, dass Sie das Video ansehen. Und je mehr Videos Sie ansehen, desto unwahrscheinlicher ist es, dass Sie sich von Netflix abmelden.

Hier ist ein Beispiel für die verschiedenen Titelbilder der Serie Stranger Things:



Sie werden überrascht sein, dass jedes Bild für jedes Video speziell für Sie ausgewählt wurde. Nicht jeder sieht die gleichen Bilder.

Bisher sahen alle die gleichen Titelbilder. So hat es funktioniert. Den Kunden wurde ein zufällig ausgewähltes Bild aus einem Satz angezeigt, wie in der obigen Abbildung gezeigt. Netflix zählte alle Videoansichten und zeichnete auf, welches Bild dem Benutzer bei Auswahl eines Videos angezeigt wurde. Nehmen wir für unser Beispiel mit der Serie an, dass das Video 1000 Mal angesehen wurde, wenn das zentrale Bild aus der Collage gezeigt wurde. Und wenn der Rest der Bilder gezeigt wird - nur einmal.

Da das Gruppenbild besser als andere war, um Benutzer zum Anzeigen zu bewegen, musste Netflix es für immer zum Titelbild der Serie machen. Dies wird als datenbasierte Auswahl bezeichnet. Netflix basiert auf Datenanalyse. Daten werden gesammelt - in diesem Fall die Anzahl der Ansichten, die jedem Bild zugeordnet sind - und verwendet, um die besten Entscheidungen zu treffen - in diesem Fall, um ein Titelbild auszuwählen.

Listig, aber kann das noch besser gemacht werden? Ja, mit noch mehr Daten. Für dieses Thema liegt die Zukunft in der Lösung von Problemen durch Lernen aus Daten. Wir sind verschiedene Leute. Denken Sie, dass dieselben Bilder uns motivieren können? Wahrscheinlich nicht. Wir haben unterschiedliche Geschmäcker, unterschiedliche Vorlieben. Und Netflix weiß das - jetzt personalisiert es alle Bilder, die es Ihnen zeigt. Sie versucht, ein Bild auszuwählen, das den wichtigsten Aspekt des Videos für Sie hervorhebt. Wie macht sie das?

Denken Sie daran, dass Netflix alles aufzeichnet und zählt, was Sie auf seiner Website tun. Sie weiß, welche Filme du magst, welche Schauspieler du magst und so weiter. Angenommen, zu Ihren Empfehlungen gehört der Film "Good Will Hunting". Netflix sollte ein geeignetes Header-Bild auswählen. Das Ziel ist es, ein Bild zu zeigen, das Ihnen sagt, dass dieser Film für Sie von Interesse sein könnte. Welches Bild müssen Sie zeigen?

Wenn Sie Komödien mögen, zeigt Ihnen Netflix ein Bild mit Robin Williams. Wenn Sie Melodramen bevorzugen, zeigt Ihnen Netflix ein Bild von Matt Damon und Minnie Driver, die sich gerade küssen.



Der Dienst mit Robin Williams sagt Ihnen, dass der Film wahrscheinlich Humor hat, und da Netflix weiß, dass Sie Komödien mögen, ist dieses Video genau das Richtige für Sie. Bild Matt Damon und Minnie Driver senden eine ganz andere Nachricht. Wenn Sie Komödien mögen und dieses Bild sehen, werden Sie es höchstwahrscheinlich vermissen. Daher ist die Auswahl des richtigen Bildes so wichtig. Es sendet eine starke personalisierte Nachricht über das Thema des Films.

Hier ist ein weiteres Beispiel - Pulp Fiction:



Wenn Sie viele Filme mit Uma Thurman gesehen haben, sehen Sie wahrscheinlich das Titelbild mit Uma. Wenn Sie viele Filme mit Travolta gesehen haben, sehen Sie wahrscheinlich das Titelbild mit John. Sehen Sie, wie die Auswahl des bestmöglichen personalisierten Bildes die Wahrscheinlichkeit erhöhen kann, ein bestimmtes Video anzusehen?

Netflix spricht Ihr Interesse bei der Auswahl von Bildern an, aber der Dienst möchte Sie nicht anlügen. Er möchte Ihnen nicht nur ein attraktives Bild zeigen, damit Sie sich ein Video ansehen, das Ihnen nicht gefällt. Es gibt keinen Anreiz. Der Dienst berechnet keine Gebühren für die Anzahl der Aufrufe. Der Dienst versucht, das Bedauern so gering wie möglich zu halten, und möchte, dass Ihnen das, was Sie gerade sehen, gefällt. Daher wählt er für Sie das bestmögliche Titelbild aus. Und dies ist nur ein kleines Beispiel für die Datenanalyse. Netflix verwendet solche Strategien überall.

Empfehlungen

Netflix zeigt Ihnen normalerweise 40-50 Videoauswahlmöglichkeiten, aber der Dienst bietet Angebote von Tausenden von Videos. Wie entscheidet Netflix, was angezeigt werden soll? Durch maschinelles Lernen.

Dies ist Teil der Big-Data-Verarbeitung und -Analyse, über die wir gerade gesprochen haben. Der Dienst überprüft die Daten und sagt voraus, was Ihnen gefallen könnte. Im Allgemeinen wurde alles, was Sie auf dem Netflix-Bildschirm sehen, mithilfe von maschinellem Lernen speziell für Sie ausgewählt.

Transcodierung von der Quelldatei in das gewünschte Format

Und so lernen wir, wie Netflix mit Videos umgeht. Bevor Sie mit dem Ansehen auf Ihrem Lieblingsgerät beginnen können, muss Netflix das Video in das Format konvertieren, das am besten zu Ihrem Gerät passt. Dieser Vorgang wird als Transcodierung bezeichnet. Es konvertiert eine Videodatei von einem Format in ein anderes, sodass das Video auf verschiedenen Plattformen und Geräten angesehen werden kann. Netflix codiert alle seine Videos in AWS auf 300.000 Prozessoren gleichzeitig. Das ist mehr als fast jeder Supercomputer!

Quelldatenquelle

Wer lädt Videos auf Netflix hoch? Studios und Produktionsverbände. Netflix nennt dies die Rohdaten. Das neue Video wird zur Verarbeitung an das Content-Team gesendet. Es kommt in hoher Auflösung, viele Terabyte groß. Um sich ein Terabyte an Informationen vorzustellen, stellen Sie sich 60 Papiersäulen vor, von denen jede gleich hoch wie der Eiffelturm ist.

Bevor Sie das Video ansehen können, setzt Netflix es einem harten mehrstufigen Prozess aus.

Qualitätsprüfung

Erstens verbringt Netflix viel Zeit damit, die Videoqualität zu überprüfen. Sie sucht nach digitalen Artefakten, Farbänderungen, verworfenen Frames, die aufgrund früherer Transcodierungsversuche oder Datenübertragungsproblemen auftreten können. Wenn Probleme festgestellt werden, wird das Video abgelehnt.

Verarbeitungsförderer

Nach Bestätigung wird die Qualität des Videos an die Verarbeitungspipeline gesendet. Dies ist eine Abfolge von Schritten, die die Daten durchlaufen, bevor sie verwendet werden können - so etwas wie ein Förderband in einer Fabrik. Über 70 verschiedene Verarbeitungsprogramme werden verwendet, um jedes Video zu erstellen.

Die Verarbeitung einer einzelnen Datei mit mehreren Terabyte ist unpraktisch. Der erste Schritt in der Pipeline besteht darin, das Video in viele kleine Teile aufzuteilen. Stücke laufen entlang des Förderers, so dass sie parallel codiert werden können - das heißt, sie werden gleichzeitig verarbeitet.

Wir zeigen die Parallelisierung anhand eines Beispiels.



Angenommen, Sie haben hundert schmutzige Hunde, die gewaschen werden müssen. Wie geht das schneller - wenn eine Person einen Hund nach dem anderen wäscht oder wenn Sie hundert Hundewaschmaschinen mieten und alle gleichzeitig waschen?

Offensichtlich wird der Prozess schneller sein, wenn einhundert Waschmaschinen gleichzeitig arbeiten. Das ist Parallelität. Deshalb verwendet Netflix so viele EC2-Server. Sie benötigen viele Server, um diese riesigen Videodateien parallel zu verarbeiten. Und es funktioniert - das Unternehmen behauptet, dass die Quelldatei in nur 30 Minuten verschlüsselt und an das CDN gesendet werden kann.

Wenn die Teile codiert sind, werden sie überprüft, um sicherzustellen, dass sie keine neuen Probleme haben. Dann werden sie erneut in einer Datei gesammelt und erneut überprüft.

Das Ergebnis ist eine Reihe von Dateien

Der Codierungsprozess erstellt viele Dateien. Warum?Das ultimative Ziel von Netflix ist die Unterstützung aller mit dem Internet verbundenen Geräte. Das Unternehmen wurde 2007 auf der Microsoft Windows-Plattform in Betrieb genommen. Im Laufe der Zeit wurden viele andere Geräte hinzugefügt - Roku, LG, Samsung Blu-ray, Apple Mac, Xbox 360, LG DTV, Sony PS3, Nintendo Wii, Apple iPad, Apple iPhone, Apple TV, Android, Kindle Fire und Comcast X1.

Insgesamt unterstützt Netflix 2.200 verschiedene Geräte. Für jeden von ihnen gibt es ein Videoformat, das am besten aussieht. Wenn Sie Netflix auf einem iPhone ansehen, sehen Sie das Video, das auf einem iPhone am besten aussieht. Das Unternehmen nennt alle verschiedenen Videoformate ein Kodierungsprofil. Netflix erstellt auch Dateien, die für unterschiedliche Netzwerkgeschwindigkeiten optimiert sind. Wenn Sie eine Datei in einem Hochgeschwindigkeitsnetzwerk ansehen, sehen Sie ein Video mit besserer Qualität als in einem langsameren Netzwerk.

Es gibt auch Dateien für verschiedene Audioformate. Audio wird in verschiedenen Qualitätsstufen und Sprachen codiert. Darüber hinaus gibt es Dateien mit Untertiteln. Ein Video kann mehrere Untertitel in verschiedenen Sprachen haben. Für jedes Video gibt es verschiedene Anzeigeoptionen. Was Sie sehen, hängt von Ihrem Gerät, der Verbindungsqualität, dem Servicetarif und der Sprachauswahl ab.

Wie viele Dateien gibt es?

Für die Serie speichert The Crown Netflix etwa 1200 Dateien. Die zweite Staffel von Stranger Things hat noch mehr Dateien. Es wurde in 8K-Auflösung aufgenommen und hat neun Folgen. Quelldateien belegen viele Terabyte an Daten. Es dauerte 190.000 Prozessorstunden, um nur eine Saison zu codieren. Das Ergebnis sind 9.570 verschiedene Video-, Audio- und Textdateien.

Nun wollen wir sehen, wie Netflix all diese Dateien wiedergibt.

Drei verschiedene Strategien zum Streamen von Videos

Netflix bietet drei verschiedene Strategien für die Wiedergabe von Streaming-Videos: ein eigenes kleines CDN, ein CDN eines Drittanbieters und Open Connect. Beginnen wir mit der Definition von CDN. CDN ist ein Netzwerk zur Verbreitung von Inhalten. Für Netflix sind Inhalte natürlich die Videodateien, die wir im vorherigen Abschnitt besprochen haben. Freigabe bedeutet, dass Dateien von einem zentralen Ort über das Netzwerk kopiert und auf Computern gespeichert werden, die auf der ganzen Welt verteilt sind. Bei Netflix ist S3 der zentrale Speicherort für Dateien.

Warum ein CDN erstellen?

Die Idee ist einfach: Sie müssen das Video so nah wie möglich an den Benutzern platzieren und Computer auf der ganzen Welt verteilen. Wenn ein Benutzer ein Video ansehen möchte, suchen Sie den Computer in seiner Nähe und organisieren Sie von dort aus einen Stream zu seinem Gerät. Die größten Vorteile von CDN sind Geschwindigkeit und Zuverlässigkeit.

Stellen Sie sich vor, Sie sehen ein Video in London und es wird Ihnen aus Portland, Oregon, übertragen. Der Videostream muss viele Netzwerke durchlaufen, einschließlich des Unterwasserkabels, damit die Verbindung langsam und unzuverlässig sein kann. Wenn Sie das Video näher an die Personen bringen, die es ansehen, können Sie den Nervenkitzel beim Ansehen eines Videos am schnellsten und zuverlässigsten machen.

Jeder Standort des Computers, auf dem das Video gespeichert ist, wird als PoP (Point of Presence) bezeichnet. Jeder PoP ist ein physischer Ort mit Internetzugang. Es gibt Server, Router und andere Telekommunikationsgeräte. Wir werden später über PoP sprechen.

Das erste CDN war zu klein

Als Netflix 2007 seinen Streaming-Dienst zum ersten Mal einführte, hatte es 36 Millionen Abonnenten in 50 Ländern, die jeden Monat mehr als eine Milliarde Stunden Video sahen und mehrere Terabit Daten pro Sekunde erhielten. Um den Dienst zu unterstützen, hat Netflix an fünf verschiedenen Standorten in den USA ein eigenes einfaches CDN erstellt. Der Videokatalog des Unternehmens war klein genug und alle Dateien wurden an allen Orten gespeichert.

Das zweite CDN war zu groß

Im Jahr 2009 entschied sich Netflix für die Verwendung eines CDN eines Drittanbieters. Zu dieser Zeit begannen die Kosten für CDN zu sinken. Die Verwendung von Netzwerken von Drittanbietern war für Netflix ein kluger Schachzug. Warum Zeit und Mühe beim Aufbau Ihrer Netzwerke verschwenden, wenn Sie mit vorhandenen CDNs sofort jeden Ort auf dem Planeten erreichen können?

Netflix hat daran gearbeitet, CDN-Dienste für Unternehmen wie Akamai, Limelight und Level 3 bereitzustellen. Es ist nichts Falsches daran, CDNs von Drittanbietern zu verwenden. Tatsächlich tun dies fast alle Unternehmen. Zum Beispiel nutzte die NFL die Dienste von Akamai, um American-Football-Wettbewerbe live zu präsentieren. Ohne eigene CDNs zu erstellen, konnte Netflix Zeit für die Arbeit an anderen vorrangigen Projekten gewinnen.

Das Unternehmen hat viel Zeit und Mühe darauf verwendet, intelligentere Kunden zu entwickeln. Netflix hat Algorithmen entwickelt, die sich an sich ändernde Netzwerkbedingungen anpassen. Selbst bei Fehlern, Netzwerk- oder Serverüberlastungen möchte das Unternehmen, dass die Benutzer das bestmögliche Bild erhalten. Eine der vom Unternehmen entwickelten Technologien - die Umstellung auf eine andere Videoquelle - beispielsweise auf ein anderes CDN oder einen anderen Server -, um das beste Ergebnis zu erzielen.

Gleichzeitig unternimmt Netflix große Anstrengungen, um alle zuvor erwähnten AWS-Services zu unterstützen. Netflix nennt AWS-Dienste eine Referenzebene. Die Steuerebene ist ein Netzwerkbegriff für den Teil des Systems, der alles andere steuert. In Ihrem Körper ist Ihr Gehirn die Kontrollebene - es steuert alles andere.

Und dann entschied Netflix, dass sie den Service verbessern könnten, indem sie ihr eigenes CDN entwickeln.

Open Connect war perfekt

Im Jahr 2011 erkannte Netflix, dass sie in ihrer Größenordnung eine dedizierte CDN-Lösung benötigten, um die Netzwerkeffizienz zu maximieren. Die Verbreitung von Videos ist eine Kernkompetenz des Unternehmens und kann einen enormen Wettbewerbsvorteil darstellen. Aus diesem Grund begann Netflix mit der Entwicklung von Open Connect, einem eigenen speziellen CDN. Es begann im Jahr 2012. Open Connect hat viele Vorteile:

• Sie ist nicht so teuer. CDNs von Drittanbietern sind teurer. Es selbst zu tun bedeutet, viel Geld zu sparen.
• Bessere Qualität. Netflix argumentierte, dass durch die Steuerung des gesamten Videowegs - Transcodierung, CDN, Clients, Geräte - eine hervorragende Servicequalität erzielt werden kann.
• . . , .

CDNs von Drittanbietern sollten Benutzer unterstützen, die von überall auf der Welt Zugriff auf Inhalte benötigen. Netflix 'Aufgabe war viel einfacher.

Netflix kennt seine Benutzer bei der Anmeldung genau. Sie weiß, welche Videos übertragen werden müssen. Nur weil Sie nur große Videostreams übertragen müssen, können Sie viele Maßnahmen ergreifen, um Netzwerke intelligent zu optimieren, die andere CDNs nicht können. Netflix weiß auch viel über seine Kunden. Das Unternehmen weiß, welche Videos sie mögen und wann sie sie gerne sehen.

Mit diesem Wissen hat Netflix ein Hochgeschwindigkeits-CDN erstellt. Schauen wir uns die Funktionsweise von Open Connect genauer an.

Öffnen Sie Connect Devices

Erinnern Sie sich, wie wir darüber gesprochen haben, dass CDN-Computer auf der ganzen Welt verteilt sind? Netflix hat ein eigenes Videospeicher-Computersystem entwickelt. Netflix nennt es Open Connect-Geräte (Open Connect Appliances, OCA). So sah eine der frühen OCA-Installationen aus:



Auf dem Foto - mehrere OCA gleichzeitig. OCA sind in Clustern mehrerer Server zusammengefasst. Jeder OCA ist ein schneller Server, der für die Ausgabe großer Dateien optimiert ist. Viele Festplatten oder Flash-Laufwerke speichern Videos. So sieht einer der OCA-Server aus:



Für verschiedene Zwecke gibt es verschiedene Arten von OCA. Es gibt große OCA, die das gesamte Videoverzeichnis des Unternehmens speichern können. Es gibt kleine OSAs, die nur einen Teil des Videoverzeichnisses speichern können. Kleine OCAs werden während der Spitzenzeiten während des proaktiven Caching täglich mit Videodateien gefüllt.

In Bezug auf die Ausstattung hat die OSA nichts Besonderes. Sie basieren auf herkömmlichen PC-Komponenten und werden von verschiedenen Anbietern in verschiedenen Paketen zusammengebaut. Sie können die gleichen Computer kaufen, wenn Sie möchten. Bitte beachten Sie, dass alle Netflix-Computer rot sind. Das Unternehmen bestellt sie speziell so, dass sie der Farbe des Logos entsprechen.

In Bezug auf Software verwenden OSAs das FreeBSD-Betriebssystem und nginx als Webserver. Ja, jeder OSA ist ein Webserver. Videostreams verwenden Nginx. Wenn diese Namen Ihnen nichts sagen - lassen Sie sich nicht entmutigen, ich füge sie nur hinzu, um das Bild zu vervollständigen.

Die Anzahl der lokalen OSAs hängt von der Zuverlässigkeit ab, die Netflix an einem bestimmten Ort erreichen möchte, von der Menge des Verkehrs, den es bedient, und vom Prozentsatz des Verkehrs, den dieses Center als Stream senden kann. Wenn Sie auf "Abspielen" klicken, sehen Sie einen Videostream, der von einem bestimmten OSA stammt - wie dem oben genannten, der sich in Ihrer Nähe befindet.

Für ein optimales Seherlebnis möchte Netflix das Video direkt bei Ihnen zu Hause zwischenspeichern. Dies ist jedoch vorerst unpraktisch. Die nächstbeste Option ist die Platzierung eines Mini-Netflix in der Nähe Ihres Hauses. Wie kann das gemacht werden?

Wo hostet Netflix die OCA?

Netflix verteilt riesige Mengen an Videos von Tausenden von Servern in mehr als 1000 Rechenzentren auf der ganzen Welt. Schauen Sie sich diese Standortseite des Videoservers an:



Andere Videodienste wie YouTube und Amazon liefern Videos über ihre eigenen Netzwerke. Diese Unternehmen haben buchstäblich ihre eigenen globalen Netzwerke aufgebaut, um Videos für Benutzer bereitzustellen. Es ist sehr kompliziert und teuer. Netflix verfolgt beim Erstellen eines CDN einen völlig anderen Ansatz.

Netflix funktioniert nicht in seinem Netzwerk, es funktioniert nicht in seinen eigenen Rechenzentren. Stattdessen erklären sich Internetdienstanbieter (ISPs) damit einverstanden, die OCA zu hosten. Netflix bietet Anbietern die kostenlose Integration ihrer Server in ihr Netzwerk an. Darüber hinaus platziert Netflix die OSA in der Nähe der Verkehrsknotenpunkte (Internet Exchange Site, IXP).

Diese Strategie ermöglicht es Netflix, keine eigenen Rechenzentren zu errichten, aber das Unternehmen bietet alle Vorteile eines solchen Zentrums - es gehört nur jemand anderem. Genial! Lassen Sie uns die letzten Absätze in einfachere Schritte unterteilen.

Verwenden des ISP zum Erstellen eines CDN

ISP ist Ihr Internetdienstanbieter. Dies ist derjenige, der Ihnen das Internet als Service zur Verfügung stellt. Es kann Verizon, Comcast, Beeline oder einer von Tausenden anderen sein. Die Hauptsache ist, dass ISPs auf der ganzen Welt ansässig und kundennah sind. Durch das Hosting von OCA in ISP-Rechenzentren wird Netflix auch weltweit und in der Nähe seiner Kunden vertrieben.

Verwenden von IXP zum Erstellen eines CDN

Ein Verkehrsaustauschpunkt ist ein Rechenzentrum, in dem ISP und CDN Verkehr zwischen Netzwerken austauschen. Es ist wie auf eine Party zu gehen, um Weihnachtsgeschenke mit Freunden auszutauschen. Das Teilen ist einfacher, wenn sich alle an einem Ort versammelt haben.

IXP auf der ganzen Welt verstreut:



So sieht der IXP in London aus:



Wenn Sie sich diesen gelben Glasfaserkabeln nähern, sehen Sie Folgendes (basierend auf dem AMS-IX-Austauschpunkt in Amsterdam):



Jedes Kabel verbindet ein Netzwerk mit einem anderen. Auf diese Weise tauschen verschiedene Netzwerke Verkehr miteinander aus. IXP ist wie ein Autobahnkreuz, nur mit Drähten:



Für Netflix ist dies ein weiterer Vorteil. IXPs befinden sich auf der ganzen Welt. Durch die Platzierung der OSA in IXP verfügt das Unternehmen möglicherweise nicht mehr über eigene Rechenzentren.

Video proaktiv auf OSA zwischengespeichert

Netflix hat eine Reihe von Videos in S3. Videoübertragungscomputer befinden sich auf der ganzen Welt. Es fehlt nur eines: das Video selbst! Netflix verwendet einen Prozess namens proaktives Caching, um Videos effizient in OCA zu kopieren.



Was ist Cache? Cache - Cache]? Dies ist ein Ort, der sich oft im Land befindet und an dem geheime Patronen, Lebensmittel und Schätze geheim aufbewahrt werden. Wissen Sie, wie Eichhörnchen Nüsse für den Winter verstecken? Jeder Ort, an dem ein Eichhörnchen eine Nuss versteckte, ist ein Cache. Im Winter kann jedes Eichhörnchen einen Cache mit Nüssen finden und diese kauen. Arktisforscher schicken kleine Teams voraus, die Lebensmittel, Treibstoff und andere Vorräte auf ihrem Weg zwischenspeichern. Ein größeres Team, das hinterher läuft, hält an jedem Cache an und stellt es wieder her. Sowohl Proteine ​​als auch Arktisforscher arbeiten proaktiv. Sie tun etwas im Voraus, um sich auf die Zukunft vorzubereiten.

Jede OCA ist ein Video-Cache dessen, was Sie höchstwahrscheinlich sehen möchten. Netflix speichert das Video im Cache und sagt voraus, was Sie sehen möchten. Auf der ganzen Welt weiß Netflix mit großer Sicherheit, dass seine Kunden gerne zuschauen. Denken Sie daran, wir haben gesagt, Netflix ist ein datengetriebenes Unternehmen? Sie verwendet Beliebtheitsdaten, um vorherzusagen, welche Videos ihre Kunden morgen wahrscheinlich irgendwo sehen möchten. Mit Ort ist hier ein OSA-Cluster gemeint, der sich beim ISP oder IXP befindet. Das Unternehmen kopiert die vorhergesagten Videos an jedem Ort in eine oder mehrere OCA. Dies wird als vorläufiges Layout bezeichnet. Das Video wird auf der OSA gehostet, bevor jemand danach fragt. Dadurch erhalten die Kunden einen exzellenten Service. Das Video, das sie ansehen möchten, befindet sich bereits in einer für sie bereitgestellten Form in ihrer Nähe.



Netflix arbeitet mit sogenannten verknüpfter Cache. Kleine OCAs werden von ISP oder IXP gehostet. Sie sind zu klein, um in den gesamten Videokatalog zu passen. An anderer Stelle gibt es OSAs, die fast das gesamte Netflix-Videoverzeichnis haben. Und woanders gibt es Orte, an denen die OSA den gesamten Netflix-Katalog enthält. Sie bekommen Video von S3.

Jede Nacht wacht die OSA auf und fragt den AWS-Service nach den von ihm benötigten Videos ab. Der Dienst sendet ihm eine Liste von Videos, die er auf der Grundlage von Vorhersagen erstellen sollte. Jede OCA ist dafür verantwortlich, dass alle Videos in dieser Liste enthalten sind. Wenn einer der OCA an einem Ort eines der erforderlichen Videos hat, kopiert der Cache-OCA dieses Video von ihm. Andernfalls wird das Video von einer nicht weit entfernten OSA gefunden und aufgenommen.

Da Netflix vorhersagt, dass es morgen populär sein wird, gibt es immer einen Handicap einen Tag, bevor das Video auf der OSA benötigt wird. Dies bedeutet, dass das Video in einer ruhigen Zeit außerhalb der Spitzenlast kopiert werden kann, wodurch die Verwendung der ISP-Bandbreite erheblich reduziert wird.

Open Connect hat nie Cache-Fehler. Ein Fehler liegt vor, wenn ein bestimmtes Video von der OSA angefordert wird und er antwortet, dass er es nicht hat. Bei anderen CDNs treten Fehler auf, weil sie es sich nicht leisten können, den gesamten Inhalt überall zu kopieren. Da Netflix alle Videos kennt, die zwischengespeichert werden müssen, weiß es genau, wo und welche Videos sich zu welchem ​​Zeitpunkt befinden. Wenn eine kleine OSA nicht über das gewünschte Video verfügt, wird dies von einer der großen OSA garantiert.

Und warum kopiert Netflix nicht einfach alle seine Videos in alle OCA der Welt? Ihr Videoverzeichnis ist dafür zu groß. Im Jahr 2013 betrug das Katalogvolumen mehr als 3 Petabyte. Was er heute ist, weiß ich nicht, ich kann nur so viel mehr annehmen. Aus diesem Grund hat das Unternehmen eine Methode zur Auswahl von Videodateien entwickelt, die auf jedem OSA gespeichert werden müssen. Dabei werden Daten verwendet, die vorhersagen, dass Abonnenten sie sehen möchten.

Nehmen Sie ein Beispiel. "House of Cards" ist eine sehr beliebte Show. Auf welche OSA soll es kopiert werden? Höchstwahrscheinlich überall, da Abonnenten aus der ganzen Welt es sehen wollen. Aber was ist, wenn das Video nicht so beliebt ist wie das Kartenhaus? Netflix entscheidet, an welchen Orten Kopien gespeichert werden sollen, um den Anforderungen aller unmittelbaren Kunden bestmöglich gerecht zu werden.

An einem Ort werden die beliebtesten Videos in viele OSA kopiert. Je beliebter das Video ist, desto mehr Server speichern eine Kopie davon. Warum? Wenn ein sehr beliebtes Video nur eine Kopie hätte, würde der Videostream zu allen Clients den Server überlasten.

Ein Video gilt nicht als für die Verteilung vorbereitet, wenn es nur auf eine OSA kopiert wird. Netflix möchte in der Lage sein, weltweit zur gleichen Zeit denselben Inhalt abzuspielen. Nur wenn eine ausreichende Anzahl von OSA mit einer ausreichenden Anzahl von Kopien des Videos vorhanden ist, um es in der richtigen Qualität bereitzustellen, gilt das Video als für die Anzeige vorbereitet.

Zum Beispiel war die zweite Staffel der Daredevil-Show im Jahr 2016 das erste Mal, dass Netflix alle Episoden der Serie auf allen Geräten in allen Ländern gleichzeitig veröffentlichte.

OSA-Platzierung: Warum brauchen Anbieter das?

Warum stimmen Anbieter zu, OSA-Cluster zu hosten? Auf den ersten Blick ist dies zu großzügig - aber es wird für Sie interessant sein herauszufinden, dass es hier tatsächlich um persönlichen Gewinn geht. Um dies zu verstehen, müssen wir darüber sprechen, wie Netzwerke funktionieren. In diesem Buch haben wir diskutiert, dass der Zugriff auf Cloud-Dienste über das Internet erfolgt. Im Fall von Netflix ist dies nicht der Fall. Wenn Sie Videos über die Netflix-Anwendung anzeigen, wird über das Internet mit AWS kommuniziert. [es ist nicht sehr klar, welchen Unterschied der Autor im Sinn hatte // ca. perev.]

Das Internet ist die Verbindung von Netzwerken. Sie haben einen Anbieter, der Internetzugang bietet. Ich bekomme meinen Internetdienst von Comcast. Dies bedeutet, dass mein Zuhause über Glasfaser mit dem Comcast-Netzwerk verbunden ist. Das Comcast-Netzwerk gehört ihnen - dies ist nicht das Internet, das Internet ist etwas anderes.

Angenommen, ich möchte eine Suche bei Google durchführen, gebe eine Anfrage in den Browser ein und drücke die Eingabetaste. Meine Anfrage geht zuerst über das Comcast-Netzwerk. Google befindet sich nicht im Comcast-Netzwerk. Irgendwann sollte meine Anfrage an das Google-Werbenetzwerk gehen. Dafür gibt es das Internet. Das Internet verbindet das Comcast-Netzwerk mit dem Google-Netzwerk. Es gibt Routing-Protokolle, die wie ein Straßenverkehrsleiter und direkter Netzwerkverkehr funktionieren. Wenn meine Anfrage an das Internet gesendet wird, befindet sie sich außerhalb des Comcast-Netzwerks und außerhalb des Google-Netzwerks. Es befindet sich im Rückgrat des Internets . Das Internet ist über viele private Netzwerke verbunden, die sich für eine Interaktion entscheiden. IXP ist eine der Möglichkeiten, wie Netzwerke miteinander kommunizieren.

In den USA gibt es eine Karte entfernter Glasfasernetzwerke:



Netflix hat mit Open Connect Folgendes getan: Es hat OSA-Cluster in ISP-Netzwerken gehostet. Wenn ich mir ein Netflix-Video ansehe, spreche ich mit einem OSA im Comcast-Netzwerk. Mein gesamter Videoverkehr geht über das Netzwerk und nicht online.

Der Schlüssel zur Skalierung der Videoübertragung liegt darin, so nah wie möglich am Benutzer zu sein. Wenn Sie dies tun, verwenden Sie keine Internet-Backbones. Anforderungen werden im lokalen Teil des Netzwerks erfüllt. Warum ist das gut? Denken Sie daran, wir haben gesagt, dass Netflix in den USA bereits mehr als 37% des Internetverkehrs verbraucht. Wenn der ISP nicht mit dem Unternehmen zusammenarbeiten würde, würde er noch mehr Internet nutzen. Das Internet konnte nicht den gesamten Datenverkehr verarbeiten. Anbieter müssten mehr Kapazität hinzufügen, was sehr teuer ist.

Jetzt werden fast 100% der Netflix-Inhalte innerhalb der Anbieternetzwerke übertragen. Dies reduziert die Kosten für die Netzwerkwartung, da das Internet nicht verstopft wird. Gleichzeitig erhalten Netflix-Abonnenten qualitativ hochwertige Videos, und die Netzwerkleistung wird für alle verbessert. Jeder gewinnt.

Öffnen Sie Connect Reliable and Resilient

Wir haben bereits diskutiert, wie Netflix die Systemzuverlässigkeit erhöht, indem es in drei AWS-Regionen arbeitet. Die Open Connect-Architektur erreicht dieselben Ziele. Dies mag nicht offensichtlich sein, aber die OCA sind unabhängig voneinander. OCAs fungieren als eigenständige Videoübermittlungs-Archipele. Abonnenten, die Videos von einem OSA empfangen, leiden nicht unter Ausfällen anderer OSA.

Was passiert, wenn die OSA ausfällt? Das von Ihnen verwendete Client-Programm wechselt sofort zu einem anderen OSA und setzt die Anzeige fort. Was passiert, wenn zu viele Menschen OCA an einem Ort verwenden? Das Client-Programm findet einen weniger geladenen OSA. Was passiert, wenn das zur Videoübertragung verwendete Netzwerk überlastet ist? Das gleiche - das Programm findet eine andere OSA im Netzwerk, die besser funktioniert. Open Connect ist ein sehr zuverlässiges und fehlertolerantes System.

Netflix steuert den Client

Netflix behandelt Fehler geschickt, da es den Client auf allen Geräten steuert. Das Unternehmen selbst entwickelt Anwendungen für Android und iOS, sodass wir davon ausgehen können, dass es diese steuert. Aber auch auf Plattformen wie Smart TV, auf denen Netflix keine Clients erstellt hat, wird es weiterhin gesteuert, da es das Application Development Package (SDK) steuert.

SDKs sind eine Reihe von Entwicklungsprogrammen, mit denen Sie Anwendungen erstellen können. Jede Netflix-Anwendung stellt AWS-Anforderungen und spielt Videos mit dem SDK ab. Durch die Steuerung des SDK kann sich Netflix ständig und in Echtzeit an langsame Netzwerke, fehlgeschlagene OSA und andere mögliche Probleme anpassen.

Und schließlich: Dies passiert, wenn Sie auf "Abspielen" klicken.

Wir haben einen langen Weg in diese Richtung zurückgelegt und viel gelernt. Folgendes wissen wir im Moment:

• Netflix kann in drei Teile unterteilt werden: Backend, Client und CDN.
• Alle Kundenanfragen werden von AWS bearbeitet.
• Alle Videos werden vom nächsten Open Connect (OCA) -Gerät zum CDN übertragen.
• Netflix arbeitet mit drei AWS-Regionen und kann normalerweise Fehler in jeder Region bewältigen, sodass niemand etwas davon merkt.
• Der neue Inhalt wird im Unternehmen in viele verschiedene Formate konvertiert, sodass Sie die am besten geeignete Option basierend auf Gerätetyp, Netzwerkqualität, geografischem Standort und Teilnehmerrate auswählen können.
• Bei Open Connect verteilt das Unternehmen jeden Tag Videos auf der ganzen Welt, ohne vorherzusagen, was Abonnenten in verschiedenen Teilen der Welt sehen möchten.

Hier ist das Bild, das Netflix bei der Wiedergabe beschreibt:



Beenden wir es:

• Sie wählen ein Video aus, das Sie mit einem Client ansehen möchten, der auf einem Gerät ausgeführt wird. Der Client sendet eine Wiedergabeanforderung mit Angabe des benötigten Videos an den AWS-basierten Playback Apps-Dienst.
• Wir haben dies noch nicht besprochen, aber das meiste, was passiert, wenn Sie auf "Abspielen" klicken, hängt mit der Lizenzierung zusammen. Nicht jeder Teil der Welt hat eine Lizenz zum Ansehen jedes Videos. Netflix sollte feststellen, ob Sie eine Lizenz zum Ansehen eines bestimmten Videos haben. Wir werden dieses langweilige Thema nicht diskutieren, aber denken Sie daran, dass dies die ganze Zeit passiert. Einer der Gründe, warum Netflix begann, eigene Inhalte zu erstellen, war der Versuch, Lizenzprobleme zu vermeiden [und es gibt immer noch absurde Situationen, in denen das Unternehmen die Netflix-Produktionsserie nicht zeigen kann, weil es die Rechte daran an einen lokalen Inhaltsanbieter verkauft hat - ganz zu schweigen davon Alle Gebiete, die für die Arbeit amerikanischer Unternehmen verboten sind. übersetzt.]. Netflix möchte gleichzeitig Shows für alle Menschen auf der ganzen Welt veröffentlichen. Das Erstellen eigener Inhalte ist der einfachste Weg, um Lizenzprobleme zu vermeiden.
• Bei allen relevanten Informationen gibt der Playback Apps-Dienst die URL an mehrere, bis zu zehn OSA-Server zurück. Dies sind die gleichen URLs, die Sie in Ihrem Browser sehen können. Netflix verwendet Ihre IP-Adresse und Informationen von Ihrem Anbieter, um zu bestimmen, welche OSA-Cluster für Sie am besten geeignet sind.
• Der Kunde analysiert die Situation und wählt die OCA aus. Er überprüft die Qualität der Verbindung mit jedem von ihnen. Es wird eine Verbindung zum schnellsten und zuverlässigsten OSA hergestellt. Der Client führt diese Überprüfungen während der Videowiedergabe ständig durch.
• Der Client versucht, den besten Weg zu finden, um Inhalte von der OSA zu empfangen.
• Der Client stellt eine Verbindung zum OSA her und beginnt mit der Ausgabe des Videostreams auf Ihrem Gerät.
• Haben Sie beim Ansehen eines Videos bemerkt, dass sich die Bildqualität ändert? Manchmal gibt es Pixel, und nach einiger Zeit kehrt das Bild wieder zu hoher Qualität zurück? Dies liegt daran, dass sich der Client an die Qualität des Netzwerks anpasst. Wenn die Qualität sinkt, reduziert der Client die Qualität des Videos entsprechend. Wenn die Qualität zu stark abnimmt, wechselt der Client zu einem anderen OSA.

Dies passiert, wenn Sie auf Netflix auf "Wiedergabe" klicken. Wer hätte gedacht, dass so eine einfache Sache wie das Ansehen eines Videos so kompliziert sein könnte?