Autos werden schlauer. Bereits jetzt generieren sie Inhalte von solcher Qualität, dass selbst ein Fachmann sie nicht immer von den „menschlichen“ unterscheidet. Sergey Marin von Data Studio sprach auf unserer Konferenz „
Contenting “ darüber, warum Journalisten und Redakteure keine Angst vor dem Wettbewerb haben sollten und über die Aussichten für die Automatisierung des Journalismus.
Unter dem abgeschnittenen Protokoll seines Berichts.
Über den SprecherSergey Marin ist Experte für künstliche Intelligenz, Leiter und Gründer von
Data Studio .
Drei Wale künstlicher Intelligenz
Wenn wir über künstliche Intelligenz sprechen - im Journalismus oder in einem anderen Bereich - müssen wir zunächst ihre Struktur verstehen. KI besteht aus drei Hauptkomponenten: maschinelles Lernen, Empfehlungssysteme und neuronale Netze. Übrigens betrachten viele neuronale Netze als Synonym für künstliche Intelligenz, aber dies ist nur eines der Werkzeuge, nicht einmal das massivste: In jedem Fall werden die Algorithmen verwendet, die am besten funktionieren.
Maschinelles Lernen: Regal
Maschinelles Lernen wird verwendet, um nach versteckten Mustern in Daten zu suchen. Stellen Sie sich vor, wir haben eine Reihe von Informationszeilen oder Veröffentlichungen, die klassifiziert werden müssen, dh ihnen werden automatisch einige Tags zugewiesen. Oder einfach nur Texte mit vielen Wörtern, die in bestimmte Klassen, Interessen, Stimmungen usw. unterteilt werden müssen. Wie machen wir das? Wenn wir über maschinelles Lernen sprechen, suchen wir keine Schlüsselwörter, um daraus Schlussfolgerungen zu ziehen. Stattdessen zeigen wir der Maschine die größtmögliche Anzahl von Texten, die wir bereits mit einer großen Anzahl von Klassen markiert haben. Danach geben wir einen neuen Text und die Maschine selbst klassifiziert ihn in den Bereich, zu dem er gehört. Das heißt, wir lehren zuerst, zeigen viele Beispiele.
Das heißt, die Hauptanwendung des maschinellen Lernens im Journalismus ist die Klassifizierung. Zum Beispiel haben wir eine große Anzahl von Informationsleitungen - aus dem Internet, sozialen Netzwerken, Nachrichtenagenturen - und wir müssen sie schnell klassifizieren. Wir haben unser Modell vorab trainiert, und wenn wir einen neuen Informationsleitfaden haben, versteht die Maschine, wo sie hingehört, was ihr Thema ist, welche Stimmung sie vermittelt und für welches Publikum sie angewendet werden kann. Popularität wird ähnlich vorhergesagt, die Bewertung einiger Newsfeeds.
Empfehlungssysteme: Finden Sie einen persönlichen Ansatz
Das Hauptanwendungsgebiet von Empfehlungssystemen ist die Personalisierung. Wir möchten Inhalte anzeigen, die für mindestens ein bestimmtes Segment relevant sind, und im Idealfall für jede Person auswählen. In dieser Hinsicht unterscheidet sich die Präsentation des Inhalts nicht vom Verkauf. Erinnern Sie sich an die Marktführer beim Verkauf gezielter Produkte: Online-Shops wie Amazon und Online-Kinos können ihre Produkte empfehlen. Und wenn wir Inhalte als Produkt betrachten, stellt sich heraus, dass wir bereits wissen, wie wir sie empfehlen und gezielt einsetzen können.
Wie machen wir das? Es gibt zwei Grundprinzipien. Das erste sind Empfehlungssysteme, die tatsächlich Personen untereinander anhand ihrer Einkäufe vergleichen, in diesem Fall anhand der Inhalte, die sie zuvor konsumiert haben. Nehmen wir ein einfaches Beispiel: Igor und Peter haben sich dieselben Filme angesehen, und wenn einer der Filme nur von Igor angesehen wurde, ist es logisch, ihn Peter zu empfehlen.
Ein anderes Prinzip ist viel stärker in Bezug auf die Empfehlung von Inhalten - eine Einschätzung seiner Popularität, PageRank. Das erste Beispiel ist Suchen, Suchen in Yandex, Google. Wie kann man feststellen, dass eine bestimmte Seite von Bedeutung ist? Wir berücksichtigen die Anzahl der Links oder Verweise auf diese Seite in anderen Ressourcen und erhalten eine Art Bewertung, die ihr zugewiesen ist. Es ist jedoch eine Sache, wenn fünf unbekannte Seiten auf die Veröffentlichung verweisen, und eine andere, wenn die Links von bekannten Marken oder großen Nachrichtenagenturen bereitgestellt werden. Es stellt sich heraus, dass wir die Bewertung derjenigen berücksichtigen müssen, die auf unsere Seite verlinken - wir erhalten eine solche Hierarchie.
Zunder funktioniert genauso: Wenn Sie von links nach rechts scrollen, wird die Bewertung für Sie und für die Personen berechnet, die Ihnen angezeigt werden. Sie zeigen Ihnen Fotos von Personen, die ungefähr die gleiche Bewertung bei sich haben - dies ist die empfohlene Bedeutung des Dienstes.
Dies ist eine sehr effektive Methode zur automatisierten Bewertung der Bedeutung bestimmter Informationen. Wenn Sie nicht nur Erwähnungen, sondern auch deren Bedeutung zählen können, können Sie alle Newsfeeds automatisch nach bestimmten Zielgruppen sortieren. Daher werden Empfehlungen hauptsächlich für ein solches Level-Targeting verwendet.
Neuronale Netze: Nachahmung des Gehirns
Das Konzept der neuronalen Netze ist einfach und langweilig. Bis etwa in die 60er Jahre des letzten Jahrhunderts zeichneten Studien der Prinzipien des menschlichen Gehirns das folgende Bild: Es gibt eine bestimmte Gruppe von Neuronen, die Eingangssignale empfangen. Danach nimmt jedes Neuron eine kleine Modifikation des Signals vor und gibt es weiter. Um zu verstehen, wie diese Neuronen in Gruppen innerhalb des Gehirns zusammenkommen, haben wir beschlossen, ein Computermodell zu erstellen - eine Reihe von Neuronen, die irgendwie miteinander verbunden sind. So wurden die ersten neuronalen Netze geboren, und in dieser Form werden sie immer noch zur Lösung von Problemen des maschinellen Lernens verwendet. Aber wenn wir über etwas Fortgeschritteneres sprechen, dann passt ein solches System nicht.
Irgendwann in den 90er Jahren des letzten Jahrhunderts stellten Wissenschaftler fest, dass das menschliche Gehirn nicht so funktioniert. Neuronen interagieren wirklich miteinander, aber alles ist hierarchisch aufgebaut. Wenn ich zum Beispiel ein Bild sehe, werden Informationen aus jedem seiner Bereiche gesammelt, die weiter zu einer anderen, kleineren Gruppe von Neuronen aggregiert werden. Und dort wird es in Form einer internen Darstellung gespeichert. Tatsächlich denken wir mit diesen internen Darstellungen und nicht mit den realen Bildern, die wir sehen. Die Theorie wurde sofort in neuronalen Netzen neu erstellt, und jetzt funktionieren solche neuronalen Netze nach der Klassifizierung von Bildern viel besser als Menschen. Diese neuronalen Netze werden Faltungsnetze genannt - weil der Generalisierungsprozess stattfindet.
Der zweite Durchbruch ereignete sich, als sie herausfanden: Eine Person nimmt Informationen nicht im Moment wahr, sondern unter Berücksichtigung eines bestimmten Kontexts. Um Computer für die Analyse der gesammelten Erfahrungen zu schulen, bauten sie sogenannte wiederkehrende neuronale Netze auf. Sie verwenden die Arbeit früherer neuronaler Netze zuerst, um Inhalte zu klassifizieren und dann zu erstellen. Dies alles wird jetzt in der Sequenzmodellierung und, wenn es einfacher ist, in Chat-Bots verwendet. Wenn Yandex beispielsweise ähnliche Wörter auswählt, handelt es sich um wiederkehrende neuronale Netze, die nachbilden, wie eine Person Informationen verarbeitet.
Wie neuronale Netze im Journalismus eingesetzt werden
Der erste Anwendungsbereich für neuronale Netze ist die Generierung von Inhalten. Wenn wir eine Art Informationsleitfaden haben, können wir mit einem trainierten neuronalen Netzwerk das Thema bestimmen und einen gut verständlichen Text schreiben. Es gibt bereits Unternehmen, die die entsprechende Software herstellen. Es gibt Veröffentlichungen, die es für routinemäßige Informationszeilen verwenden - Austauschberichte, Finanzindikatoren von Unternehmen. Zur sachlichen Information - ein Erdbeben ist hier vorbeigekommen, ein Schiff ist dort gesegelt und so weiter - funktioniert es einwandfrei. Wenn es sich jedoch um erweiterte Informations-Feeds handelt, müssen wir ernsthaft daran arbeiten, den vom neuronalen Netzwerk erzeugten Inhalt in etwas wirklich Sinnvolles und Angemessenes umzuwandeln.
Der zweite Bereich ist die Klassifizierung, die oben bereits erwähnt wurde. Das dritte ist die Wahrnehmungsbewertung oder A / B-Prüfung, die außerhalb des Verkaufs nur selten angewendet wird. Im Journalismus ist das Prinzip ähnlich: Wir haben verschiedene Arten der Veröffentlichung und möchten testen, wie es in verschiedenen Zielgruppen ablaufen wird. Mit solchen Methoden kann dieser Prozess vollständig automatisiert werden.
Die letztere Richtung wird diejenigen ansprechen, die denselben Inhalt für verschiedene Kanäle, Ressourcen und Zielgruppen schreiben müssen. Um einen Artikel über Habré zu veröffentlichen, der bereits in einer anderen Veröffentlichung veröffentlicht wurde, können Sie nicht einfach nur kopieren. Um es anzupassen, können Sie entweder einen Texter anziehen oder ein neuronales Netzwerk verwenden. Für einen Computer ist dies sogar einfacher als maschinelle Übersetzung: Text muss nicht in eine andere Sprache, Syntax usw. konvertiert werden. Aber insgesamt ist es das gleiche.
Wo wird es verwendet? Ein Pionier unter den großen Agenturen ist die Associated Press. Sie verwenden die automatische Inhaltsgenerierung für Finanznachrichten, in denen es nur wenige Analysen, aber viele Zahlen und Beweise gibt. Es gibt drei Anbieter, die solche Software herstellen: Narrative Science, Automated Insights und Article Forge. Wenn Sie zu ihren Websites gehen, können Sie viele reale Fälle sehen - Beispiele für Veröffentlichungen, die von Robotern geschrieben wurden. Alle diese Artikel basieren auf einigen Beweisen.
Gibt es einen spürbaren Unterschied zwischen Authoring und generierten Inhalten? In den USA und in Deutschland führten sie Forschungen durch, bei denen eine große Anzahl von Artikeln Gruppen von Journalisten gezeigt wurde - jeweils in englischer und in deutscher Sprache. Die Hälfte der Texte wurde von Menschen geschrieben, die andere Hälfte von Maschinen. Im Durchschnitt konnten die Menschen nicht zwischen ihnen unterscheiden. Und als die Probanden gebeten wurden, die Texte nach ihrer Zuverlässigkeit und ihrem Interesse zu klassifizieren, stellte sich heraus, dass sie die von der Maschine geschriebenen Texte zuverlässiger finden. Gleichzeitig stellten die Befragten fest, dass das Lesen nicht so interessant ist wie „menschliche“ Artikel.
Es stellt sich heraus, dass die Leute besser dran sind, unterhaltsame Inhalte zu machen. Und wenn Sie Neuigkeiten mitbringen müssen - benutzen Sie das Auto, sie werden es mehr glauben.Nutzen und Gefahren
Mit Robotern können Sie sich auf den Inhalt konzentrieren, den Sie in den Inhalt einbetten möchten, anstatt sich auf den mühsamen Prozess der Anpassung an verschiedene Formate zu konzentrieren. Ein weiterer Vorteil von Maschinen ist die Reaktionsgeschwindigkeit: Wenn Sie Informationsleitungen schnell verarbeiten müssen, ist dies Ihr Werkzeug. Wir haben bereits über die Personalisierung von Benutzern gesagt, dies ist ein klares Plus. Der vierte Vorteil ist das Crowdsourcing: Wenn Sie eine große Anzahl von Quellen verwenden, kann das Gerät die von ihnen empfangenen Informationen automatisch klassifizieren, zwischen guten und schlechten unterscheiden und geeignete auswählen.
Es gibt potenzielle Gefahren. Die erste ist eine Echokamera. Der Inhalt, den sie mir zeigen, wird basierend auf der Ähnlichkeit meiner Interessen personalisiert - unter Berücksichtigung dessen, was ich bereits gelesen habe, und der Interessen von Menschen wie mir. Nach einer bestimmten Anzahl von Iterationen beginne ich in meinem geschlossenen Informationsfeld zu kochen.
Die zweite Gefahr sind Informationsblasen. Wenn Sie eine fiktive Situation oder ein Ereignis erstellen, kann die Maschine viele verschiedene Versionen von Veröffentlichungen schreiben, die authentisch aussehen. Mit Hilfe von Bots, sozialen Netzwerken usw. können solche Fehlinformationen an ein großes Publikum weitergegeben werden.
Jetzt sprechen sie über die sogenannten kontradiktorischen Angriffe auf das neuronale Netzwerk. Ein Beispiel mit dem KFC-Logo wird gegeben: Wenn Sie einem selbstfahrenden Auto ein solches Bild zeigen, steigt es sofort an - künstliche Intelligenz erkennt das Bild als Stoppschild. Wenn solche Manipulationen mit Texten möglich sind, kann ein bedeutungsloser Satz von Wörtern, der einem bestimmten Algorithmus entspricht, eine hohe Bewertung neuronaler Netze erhalten, und der Leser wird eine Art Kauderwelsch sehen.
Glücklicherweise ist ein solcher Angriff in der Praxis sehr schwierig. Denken Sie daran, dass das neuronale Netzwerk - wie unser Gehirn - jedes Bild in Übereinstimmung mit der internen Darstellung bringt. Schauen Sie sich das Bild an: links im Gesicht, wie wir sie sehen, und rechts - wie das neuronale Netzwerk sieht. Beim Zugriff auf das neuronale Netzwerk selbst können Bilder ausgewählt werden, wie im Beispiel mit dem KFC-Logo. Tatsächlich ist das Problem auch aus der Kryptographie bekannt, da es ein Analogon zum Hacken von Hash-Funktionen ist. Das neuronale Netzwerk ist in diesem Fall eine Hash-Funktion: Sie konvertieren einen bestimmten Langtext in eine kleine interne Darstellung. Wenn Sie etwas finden, das passt - hacken Sie. Um jedoch iterieren zu können, müssen Sie auf den Algorithmus zugreifen.
Kein Konkurrent, sondern ein Assistent
Fast alle Veröffentlichungen zu diesem Thema werfen das Problem der zukünftigen Nachfrage nach Journalisten auf. Die Frage scheint mir nicht ganz richtig zu sein: Jemand wird ersetzt, jemand nicht, aber es ist klar, dass nicht jeder Journalismus durch Maschinen ersetzt werden kann. Eine Person wird ihnen nur einige grundlegende, banale, einfache Veröffentlichungen geben. Das Problem ist anders: Da grundlegende Veröffentlichungen automatisch und einfach erstellt werden können, ist der Prozentsatz der sehr bald generierten Inhalte viel höher als der von Personen geschriebene. Wie wir bereits herausgefunden haben, wird der generierte Inhalt in Bezug auf Zuverlässigkeit besser wahrgenommen - und dies ermöglicht es Ihnen, ein leistungsstarkes Werkzeug zur Manipulation von Bewusstsein und Wahrnehmung zu erstellen. Dies ist wahrscheinlich das Schlimmste und Wichtigste.
Um Inhalte mithilfe von maschinellem Lernen zu erstellen, wird der Mensch-Maschine-Interaktionsprozess verwendet - nicht separat, sondern zusammen in einem Paar. Erstens sucht die Maschine nach Informationsproblemen, klassifiziert sie, sagt Wichtigkeit voraus, generiert Inhalte ... Dies ist der Fall, wenn wir einen großen Fluss verschiedener Arten von Informationen haben und schnell darauf reagieren möchten. Wenn Sie Zeit zum Nachdenken haben, ist dies ein völlig anderes Szenario. Der von der Maschine vorbereitete Inhalt geht an einen Journalisten oder Redakteur, der ihn beobachtet, bewertet und anhängt. Darüber hinaus kann der Text zur Veröffentlichung oder erneut zum Roboter gehen, um verschiedene Versionen der Veröffentlichung für verschiedene Zielgruppen zu erstellen. Danach beschäftigt sich das Auto mit der Personalisierung und wählt für jede Person aus, was sie ihm zeigen soll. Natürlich wird dies nicht überall zusammen implementiert, aber der allgemeine Workflow sieht ungefähr so aus.
Eine Person ist nicht von der Vorbereitung des Inhalts ausgeschlossen. Roboter sind nichts anderes als zusätzliche Werkzeuge, die den Prozess beschleunigen und vereinfachen und Routineaufgaben von uns entfernen.
Die Berichte von „
Contenting “ im Videoformat können hier bestellt
werden . Für Habr-Benutzer ein Rabatt auf den habr_online_promo-Gutscheincode.
Vielen Dank an die Sponsoren:
Freunde, für weitere 10 Tage nehmen wir Bewerbungen für einen technotechnischen Wettbewerb zum Thema „Staat und IT“ entgegen und laden alle technischen Autoren zur Teilnahme ein. Sie können eine Geschichte über Technologie, Entwicklung, Verfeinerung von Diensten, das Gerät verschiedener Systeme und Anwendungen, Interviews mit einem Experten, eine Auswahl von Life-Hacks, eine Überprüfung und andere Materialien zu diesem Thema erzählen - die Hauptsache ist, dass sie auf Habré veröffentlicht werden. Detaillierte Informationen auf der Wettbewerbsseite .