Das Bildverarbeitungssystem für Filmtrailer sagt voraus, wer ins Kino kommt

Ein Merlin Video Hybrid-Empfehlungsmodelldiagramm zur Definition des Filmpublikums. Die logistische Regressionsschicht kombiniert ein kollektives Filtermodell mit Informationen über die Häufigkeit und Dauer eines Kinobesuchs, um die Wahrscheinlichkeit eines Wunsches zu berechnen, diesen Film anzusehen. Das Modell wird von Anfang bis Ende (Ende-zu-Ende) trainiert, und die Verlustfunktion wird auf alle trainierten Komponenten zurückverteilt

Die Veröffentlichung des Trailers ist das wichtigste Element bei der Vorbereitung der Filmpremiere. Spektakulärer Trailer erhöht die Bewertung der Erwartungen des Publikums, macht das Publikum mit der Handlung vertraut, repräsentiert die Hauptfiguren, vermittelt die allgemeine Stimmung des Bildes. Gleichzeitig erhalten die Filmemacher laut den Kritiken auf dem Trailer die Möglichkeit zu verstehen, welche Aspekte des Films das Publikum mag oder nicht mag - diese Informationen werden in der Regel zur Grundlage für eine weitere Marketingkampagne. Der Trailer korreliert direkt mit den Gebühren in den frühen Tagen der Show. Dann erregte die Zahl der hohen Gebühren in den frühen Tagen die Aufmerksamkeit des Massenpublikums und der Medien, was den gesamten kommerziellen Erfolg des Bildes weitgehend sicherstellt.

Da es sich um Hunderte Millionen Dollar handelt, arbeiten die besten Wissenschaftler daran, effizientere Anhänger zu entwickeln. Spezialisten für maschinelles Lernen von 20th Century Fox veröffentlichten eine wissenschaftliche Arbeit , die ein System namens Merlin Video beschreibt. Dieses Bildverarbeitungssystem generiert aus dem Anhänger ein Darstellungsdiagramm (siehe Abbildung oben). Repräsentationsdaten werden verwendet, um die Reaktion der Zuschauer vorherzusagen . Laut den Autoren der wissenschaftlichen Arbeit ist dies das erste Mal, dass ein Filmstudio ein Computer-Vision-System verwendet, um das Interesse der Zuschauer an einem Film zu berechnen.

Das Tool basiert auf dem innovativen Hybridmodell der „kollektiven Filterung“ (Collaborative Filtering, CF), das die charakteristischen Merkmale des Trailer-Videos isoliert: Farbe, Beleuchtung, Gesichter, Objekte, Landschaften.

Diese Informationen werden mit demografischen Daten und Informationen zum Kinobesuch (Häufigkeit, Datum des letzten Besuchs) kombiniert. Als Ergebnis des Trainings können Sie mit dem System genaue Vorhersagen treffen und Empfehlungen basierend auf dem Trailer abgeben.

Das neuronale Netzwerk wurde auf den Nvidia Tesla P100-GPU-GPUs in der Google Cloud, im TensorFlow-Deep-Learning-Framework und in der primitiven cuDNN-Bibliothek trainiert . Als Trainingsdaten wurden in den letzten Jahren Hunderte von Filmtrailern sowie Millionen von Aufzeichnungen über das Verhalten der Zuschauer veröffentlicht.

„Nachdem Sie eine geeignete Darstellung dieser Zeichen gefunden und in ein Modell geladen haben, das Zugriff auf historische Aufzeichnungen über den Kinobesuch hat, können Sie nicht triviale Assoziationen zwischen den Zeichen des Trailers und der zukünftigen Auswahl des Publikums finden, nachdem der Film in Kinos oder in Streaming-Diensten veröffentlicht wurde“, schreiben die Autoren des wissenschaftlichen Artikels.

Die Ergebnisse der Systeme Merlin Text (in Text) und Merlin Video (in Video) zur Vorhersage des Publikums des Films „The Greatest Showman“ sind in der Tabelle aufgeführt. In der rechten Spalte - das eigentliche Publikum in der Tat.



Wie Sie sehen können, hat die Textanalyse das Publikum des Films ziemlich genau vorhergesagt, aber die Analyse der Videosequenz hat mehrere fehlende Fragmente hinzugefügt. Experimente haben gezeigt, dass ein Computer-Vision-System mit Trailer-Analyse mit einer kleinen Datenmenge ein um 6,5% besseres AUC-Ergebnis (Fläche unter der ROC-Kurve) zeigt als ein Textanalysesystem, d. H. Ein Skript.

Mit Hilfe einer solch schwachen künstlichen Intelligenz können die Marketingabteilungen der Filmstudios die Interessen des Publikums genauer verstehen. Sie werden besser verstehen können, welche Art von Menschen an dem neuen Film interessiert sind. Das Wichtigste ist, mit welchen vergangenen Filmen sich dieses Publikum überschneidet. Auf diese Weise können Sie effektivere Marketingkampagnen für eine bestimmte Zielgruppe durchführen.

Die Forscher arbeiten nun daran, ein System zur Vorhersage des Publikums zur Analyse des Szenarios und des Trailer-Filmmaterials in einem einzigen System zu kombinieren. In diesem Fall ist die Prognose so genau wie möglich.

Der wissenschaftliche Artikel wurde am 12. Juli 2018 auf der Preprint-Site arXiv.org (arXiv: 1807.04465v1) veröffentlicht.