Zum zweiten Mal drehen wir (DZ Systems) eine Reihe digitaler Transformationsprogramme. In der Regel handelt es sich dabei um „geschäftsbezogene“ Programme, die sich hauptsächlich an Top-Manager richten und dazu dienen, den geschäftlichen Wert der sogenannten digitalen Transformation zu verstehen.
In diesem Jahr drehen wir aber auch die zweite „Programmreihe“ - DZ Online Tech, die sich bereits auf die technologischen Aspekte desselben Themas konzentriert. Kurz gesagt - das ist "unter der Haube".
Unten finden Sie eine Abschrift einer anderen solchen Übertragung, in der Ivan Yamschikov und ich (Yandex, ABBYY und ein hochkarätiger Fachmann im Allgemeinen) über die Verwendung neuronaler Netze in der modernen Welt sprechen.
Bei Interesse können
Sie sich das Programm selbst ansehen .
Und für diejenigen, die gerne lesen - eine Abschrift unten:
- Guten Tag. Unser heutiger Gast ist Ivan Yamshchikov von ABBYY, der
wird uns sagen, wie moderne künstliche Intelligenz funktioniert.
In Bezug auf KI gibt es bedingt zwei Positionen: Menschen, die sagen: „Wir wollen nicht
Verstehe nichts über das Wesentliche dessen, was im System geschieht. Wir haben statistische Methoden,
wer selbst wird das Modell aus dem äußeren Leben nehmen. Dieses Modell wird korrekt sein
Fühle alle semantischen Feinheiten. " Und es gibt Leute, die sagen: "Nein, das ist
nicht erlaubt. Wir verstehen, was passiert. Wir müssen dieses Verständnis in das System einbringen.
künstliche Intelligenz, und dann wird es wertvoller, besser und besser. " Diese Schlacht
Hat es irgendwelche Kriterien?"Lassen Sie mich in einer weniger philosophischen Sprache erklären." Es gibt Leute, die sagen: „Wir brauchen mehr
Stärkere, leistungsfähigere Algorithmen und mehr Daten. Wir werden mehr nehmen
Ein produktiver Algorithmus, der uns eine größere Zielqualität bei einem größeren Volumen bietet
Metriken, egal was passiert. “ Ich kenne keine Leute, die sagen, dass sie keine Daten benötigen oder
Algorithmen Daher verfolgt die zweite Personengruppe meiner Meinung nach den folgenden Ansatz: „Zusätzlich zu
Von alledem wäre es schön, wenn wir immer noch menschliche Markierungen in der einen oder anderen Form hätten
Expertenwissen, oben hinzufügen. "
Bei Google gibt es einen Witz, der oft zitiert wird: Je weniger Linguisten daran arbeiten
Produkt, desto besser wird die endgültige Qualität sein. Dieser Witz ist wahrscheinlich durch Übung gerechtfertigt.
Massen-B2C-Dienste. Aber wenn wir über B2B im Kontext von engen Lebensmitteln sprechen
Lösungen im Kontext einer sehr klar definierten Aufgabe und eines genau definierten Feldes
Expertenwissen spielt eine ziemlich wichtige Rolle. Wir kombinieren in ABBYY und
ontologische Modelle, die Linguisten entwickeln, und rein maschinelle Lernansätze.
- Ich möchte ein Beispiel geben: Wir haben ein Projekt für Mosvodokanal durchgeführt. Es gab eine solche Aufgabe:
Mosvodokanal ist ein komplexes Netzwerk, es funktioniert irgendwie und verhält sich irgendwie. Und ich will etwas
Um es zu verstehen, ist es ratsam, Unfälle vorherzusagen und zu fühlen, wenn etwas nicht stimmt
los.- Sie haben ein Überwachungssystem erstellt.
- Ja, wir haben eine Art Verhaltensanalysesystem durchgeführt, das sagen sollte: „In diesem
In der Ecke stimmt etwas nicht. “ Wir können wirklich nicht sagen, ob dies ein Unfall oder nur eine Schwankung ist.
Verhaltensweisen, weil sie physisch nicht zu unterscheiden sind ...- Ich habe ungefähr das gleiche System zur Überwachung des Verkehrs erstellt.
- Ein sehr ähnliches Thema. Während des Projekts haben wir mit Ingenieuren gekämpft, die sagten:
„Hör zu, du machst Müll. Es ist notwendig, alle Rohre zu messen, ihre Durchmesser sind außen und
intern, geben Sie dann Informationen über die Glätte der Wände ein. Und dann zählen
hydrodynamisches Modell, und sie wird alles zeigen. " Und wir sagten: „Tu es nicht.
Geben Sie uns die Daten von den Sensoren, wir werden sie in das statistische Modell einspeisen, und sie weiß nichts darüber
Physik, es wird sowieso funktionieren, weil es echtes Verhalten herausnehmen wird. " Es ist gerade
der ultimative Fall von dem, worüber wir sprechen. Einerseits ist dies ultimatives Wissen.
die Physik der Arbeit des Phänomens, das wir semantisch direkt packen, und die zweite
Seite ist das ultimative Missverständnis. Wir verstehen nicht, wie es funktioniert
Hydrodynamik - das wollten wir gar nicht verstehen.- Arroganz ist sehr charakteristisch für Menschen, die die Statistiken gut kennen. Wie Mark sagte
Twain: "Es gibt drei Arten von Lügen - Lügen, schamlose Lügen und Statistiken."
- Wir haben sie aus einem ganz einfachen Grund besiegt: um Informationen über alle zu sammeln
Diese Rohre sind unmöglich. Auf der anderen Seite jedoch eine gewisse Tiefe des Wissens über das Thema
Bereich kann aber nicht helfen.- Menschen, die die Vehikel dieses Wissens sind, glauben, dass es wahr ist, weil es wahr ist
ihr Fachgebiet. Gleichzeitig verstehen wir aber auch die natürliche Sprache mit
Informatik, viel weniger als wir möchten, weil viele
Begriffe und Kategorien werden nicht mathematisch, sondern intuitiv definiert. Dies führt dazu, dass
Es ist verständlich, dass Menschen, die vollständig von der Seite der Informatik kommen
Misstrauen gegenüber Menschen, die von der Seite der Linguistik kommen und umgekehrt. Bei ABBYY ist es so
entschieden, dass beide am Produkt arbeiten, für verschiedene Teile verantwortlich sind und Sie
Es ist möglich zu messen, wie viel Qualität dies und das zu Ihnen beiträgt. Das ist der Weg
Tests und Experimente.
- Das ist auch ein großes Problem. Wir alle wissen, dass es ein Problem der lokalen Optimierung gibt.- Natürlich. Das ist Umschulung. Aber nur sehr oft bezogen sich Dinge auf das Gemeinsame
Mit sprachlichen Ansätzen können Sie sich mit Umschulungen befassen. Weil Linguisten oft versuchen, eine allgemeine Regel zu schaffen, und dann gibt es eine großartige und wundervolle Geschichte
über Ausnahmen. Jeder, der Rosenthals Buch über Russisch in der Schule gelesen hat, ist ratlos:
Oh mein Gott, was machen Philologen? Sie nennen die Regeln was eigentlich
ist ...
- Eine Reihe von Ausnahmen.- Aber im Wesentlichen ist dies genau die gleiche Geschichte über den Fehler beim Test. Wenn Sie es mit betrachten
Sicht des maschinellen Lernens, eine sehr große Anzahl von Sprachregeln
decken Sie eine ziemlich große Anzahl von Beispielen ab und lassen Sie einen Fehler an
Testdaten. Wenn Sie diese Regeln anwenden und auf die Daten Ihres Modells anwenden
Ich habe nie gesehen, das Modell an diesem Ort ist falsch. Aber viele sprachliche Heuristiken
So können Sie sich vor Umschulungen schützen.
- Ich habe Sie richtig gehört, wenn wir ein Buch über die russische Sprache nehmen und es fahren
Ist das Modell dann, wenn man diese Regeln extrapoliert, notwendigerweise falsch?- Natürlich. Genau so. Strenge Regeln führen immer zu Fehlern, weil,
Leider oder zum Glück ist künstliche Intelligenz viel flexibler als manche
einfache Regeln.
- Dies liegt auch daran, dass wir über die Formalisierung der Regeln des Natürlichen sprechen
Sprache sind wir an diesem Ort unweigerlich mit einer unlösbaren Aufgabe beschäftigt. Tiefe davon
Der Prozess ist endlos.- Dies ist eine philosophische Frage. Auf Maschinenebene scheint die Tiefe nicht unendlich zu sein, aber es gibt sie
Ein interessanter Artikel, meiner Meinung nach, 2015. Ein kurzer Ausflug: Es gibt einen solchen Abschnitt der Mathematik,
das heißt Informationstheorie. Insbesondere wird es in der Codierungstheorie verwendet.
In Russland wurde es von Kolmogorov und Mitarbeitern hergestellt, in den USA von Shannon. Zuallererst sein
im Kontext der Kryptographie erfunden.
In der Informationstheorie gibt es so etwas wie "allgemeine Information". Wenn ganz an den Fingern
Sagen Sie: Stellen Sie sich vor, wie Ihre Bedeutungen eines Wortes in einem Text korrelieren
abhängig von der Entfernung zwischen ihnen. Stellen Sie sich eine solche Metrik vor. Wenn ich hier habe
es heißt "Petya", dann n-Wörter und dann das Wort "aß". In der Tat, die Wörter "aßen" und "Petya"
korrelieren, obwohl das Wort "gegessen" ziemlich weit von "Petit" entfernt sein kann.
Wenn wir statistisch ein Modell dieser Korrelationen konstruieren, stellt sich heraus, dass dies eine Funktion von ist
Entfernungen nimmt diese allgemeine Information in Texten eher langsam ab - nicht polynomiell, sondern
langsamer. Grob gesagt besteht in Texten in natürlicher Sprache eine Korrelation zwischen Wörtern,
weit auseinander.
Etwa das Gleiche wird in DNA- "Texten" beobachtet: Unsere Nukleotide korrelieren auch weiter
relativ große Entfernung. Insbesondere versucht diese Art von System zu beschreiben
Komplexitätstheorie usw. Die ganze Geschichte über den Schmetterlingseffekt - es geht darum, dass Sie ein wenig haben
Abweichungen an einer Stelle können zu erheblichen Änderungen führen.
Natürliche Sprache wird durch solche Abhängigkeiten beschrieben. Sagen wir jetzt LSTM (Long
Kurzzeitgedächtnis-Netzwerk) gilt als das am weitesten fortgeschrittene neuronale Gedächtnis
Ein Netzwerk, in dem die Sprache analysiert wird, um diese weitreichenden Freunde zu finden
Korrelationen von einem Freund zu fangen. Hier nimmt sie, die Infektion, das Gedächtnis schneller ab als nötig.
Dies ist ein großes Thema für die Forschung. Insbesondere versuchen wir am Max-Planck-Institut dies
zu tun. Es gibt ein interessantes Ergebnis aus der Graphentheorie, das besagt, dass wenn Sie Zyklen in Ihrem Netzwerk haben, es mehr Speicher haben sollte. Wir wissen, dass es in unserem Gehirn einige gibt
Dies sind charakteristische Frequenzen, und es gibt Zyklen im Gehirn. Ein Signal läuft entlang, Neuronen stimulieren
einander in einem Kreis mit einer bestimmten Frequenz. In künstlichen neuronalen Netzen sind wir immer noch
kann nicht reproduzieren.
"Warum können wir nicht?" Loops hinzufügen! Bitte füllen Sie die Zyklen aus der Tasche."Und ich werde es dir sagen." Wie lernen wir neuronale Netze? Backpropagation verwenden
Fehler. Die Rückausbreitung eines Fehlers erfolgt, wenn Sie eine direkte neuronale Passage haben
Netzwerk und umgekehrt.
- Sobald es Zyklen gibt, beginnen Sie sofort Probleme mit der Schleife dieser sehr
Fehler?- Ja! Was zu tun ist? Wie mache ich eine Rückausbreitung?
Freunde, machen Sie die Ausbreitung im Zyklus zurück und Sie werden einen starken Durchbruch in der Entwicklung erzielen
künstliche Intelligenz. Ich sage allen: Wir müssen das tun, es ist sehr cool. Das ist real
eine schwierige Aufgabe.
- Und wenn diese Leute, die sich mit dem Gehirn beschäftigen, herausfinden, wie es im Gehirn funktioniert, dann ist es das auch
kann es gesetzt werden? Es scheint, dass heute der Anthropomorphismus dessen ist, was wir tun
sehr niedrig.- Komm schon: Was haben ImageNet von Google und die Muschel gemeinsam? Es stellt sich mehr oder weniger heraus
das ist alles Anfangs wurde die Molluske zerlegt und sah, dass ihre Gesichtsfelder wie folgt angeordnet waren
moderne Faltungsnetzwerke, wenn Sie möchten. Es war einmal in den 50er Jahren Rosenblatt und seine Kameraden
zerlegt und ein Perzeptron entwickelt, das sich hauptsächlich mit lebhaften und sehr einfachen Dingen befasst. Sie sind
dachte, wir würden jetzt verstehen, wie primitive Organismen funktionieren, und dann werden wir anfangen zu bauen
kompliziert.
- Warum haben sie es nicht geschafft? In jenen Tagen glaubte man, dass das Perzeptron nicht lebte.
Nicht genug Leistung?- Es gab viele Probleme. Komm schon: Es gab jedes Mal mehrere KI-Winter, also Leute
Überlegen Sie sich einen neuen Durchbruch auf dem Gebiet der künstlichen Intelligenz und denken Sie: „Das war's,
Jarvis wird morgen mein bester Freund sein und besser mit mir kommunizieren als ich
Psychoanalytiker. " Und dann passiert etwas, wie der gleiche Jarvis. Ich liebe diesen Witz sehr
aus dem Film "Iron Man", in dem zunächst alles gut geht und man dann einige ausspricht
einige Preiselbeeren. Also sagt Jarvis der Hauptfigur, als er ihn fragt, ob er debuggt
alle Systeme.
- Wie sieht es praktisch aus? Wo liegen die Einschränkungen, wenn Sie den Antrag stellen
Seite?- Erstens, jetzt sogar die mächtigsten Dinge, die wir künstlich sammeln, stark
kleiner als unser Gehirn einfach in der Größenordnung.
Und der zweite Punkt hängt mit der Tatsache zusammen, dass wir nicht verstehen, warum sie funktionieren. Es ist getrennt
großes Forschungsgebiet.
- Es scheint, dass sie bereits anfangen zu erzählen.- Zuerst fanden sie heraus, was funktioniert, dann begannen sie herauszufinden, wie es funktioniert.
Es gibt eine separate Anleitung zur Visualisierung des Betriebs eines neuronalen Netzwerks. Es gibt eine separate
ein mathematischer Formalismus namens Information Decomposition, der zu beschreiben versucht
Wie ist die Zerlegung von Informationen in verschiedene Ströme innerhalb des Netzwerks, um zu verstehen, was
Welche Schichten ist los. Bei Bildern beginnt es sich herauszustellen und das letzte stellt sich heraus
ein paar Jahre. Mit Texten wird es schwieriger.
Warum verstehen wir nicht, wie es funktioniert? Weil wir keine gute Mathematik haben
ein Ergebnis, das uns alles erklären würde. Wir haben keinen nachgewiesenen Satz, der sagen würde
dass es funktioniert. Denn zum Beispiel auf der Ebene eines Faltungsnetzwerks: Haben Sie
Bild, ein Hund ist darauf gezeichnet. Dieses Bild enthält jeweils so viele Pixel
Pixel gibt es so viele Werte. Wenn Sie zusammen versuchen, die Menge zu zählen
Optionen für eine Kombination von Pixeln, die sich immer noch zu einem Hund summieren - Sie werden müde. Bei
Sie sollten einen ziemlich großen Dimensionsraum und viele Optionen haben
Entscheidungen. Darüber hinaus, wenn Sie anfangen, ein Faltungs-Neuronales Netzwerk mit der Nummer zu trainieren
Die Parameter sind viel geringer als die Anzahl der möglichen Bilder eines Hundes, den Sie trainieren
auf relativ einfache Weise. Sie sagt dir am Ausgang, ist es ein Hund oder kein Hund, aber
du sagst ihr ja oder nein. Plötzlich nach einer Weile stellt sich heraus, dass sie dich kann
Geben Sie sehr gute Qualität auf Bildern von Hunden, die sie nicht gesehen hat.
- Ist der Generalisierungsgrad unerwartet hoch?- Ja, dies ist ein unerwarteter Grad an Verallgemeinerung. Jeder hat sich damit abgefunden, dass es funktioniert, jeder
wende es überall an, aber streng begründetes mathematisches Ergebnis, das würde
erklärt, warum ein solcher Grad an Verallgemeinerung möglich ist, nein. Und es gibt mehrere Hypothesen, eine
von denen es mir am interessantesten erscheint. Es ist nicht jedermanns Sache
Neuron und wie Sie diese Neuronen verbinden. Die Struktur des Netzwerks, anscheinend für Sie
ermöglicht es Ihnen, eine bestimmte Verallgemeinerung auf einer bestimmten Ebene zu erreichen. Es ist interessant
Hypothese, denn wenn es wahr ist, dann ist es gut mit der Neurophysiologie verbunden, und dann
Sie können etwas anderes aus der Neurophysiologie nehmen und ausprobieren. Es gibt einige andere
Annahmen, aber das ist eine Frage: Die Leute schreiben jetzt Kilogramm Artikel pro Monat darüber, wie es geht
funktioniert.
- Es besteht das Gefühl, dass Python eine KI-Sprache ist. Ist das ein Unfall oder nicht? Warum
Python gibt es schließlich viele Basic.- Weil ein Großteil der Arbeit eines Datenwissenschaftlers jetzt gleich ist
Prototyping. Es ist praktisch, Prototypen in Python zu erstellen. Es wurde als Sprache für erstellt
Prototyping und nicht als Sprache für industrielle Lösungen. Wir bei ABBYY haben Leute
Wer Prototyp in Python, und es gibt Leute, die endgültige Modelle in C ++ schreiben,
welche umgesetzt werden. Die Python-Community nutzt diese Welle aktiv und es gibt ein positives Feedback. Es gibt eine Nachfrage, d. H. Datenwissenschaft wird zunehmend betrieben
Python bzw. die Community beginnt mit Menschen gesättigt zu sein, die es versuchen
die Sprache selbst entwickeln. All dies ist verbunden.
- Wenn wir über Prototyping sprechen, geht es darum, einen großen zu betreiben
Anzahl der Tests, Experimente. Es gibt ein Problem mit der Datenverarbeitung
Ressourcen.- Die Computerressourcen selbst sind billiger geworden, es gibt Cloud-Lösungen, die gemacht haben
ihre erschwinglichen. Grob gesagt kann ein Student mit Internetzugang kurz
Geld, um einen ziemlich leistungsfähigen Server zu bekommen, um etwas darauf und einige zu fahren
Holen Sie sich das Modell und schrauben Sie die KI zum Beispiel an die Kaffeemaschine. Es gab viele Faktoren, die
fahren sich gegenseitig. Aufgrund des Internets ist der Schwellenwert für die Eingabe der Programmierung und in
Technologie im Allgemeinen. Es erschien viel relativ billiges Eisen, es ging auch hinein
die Wolke. Sie können Zeit kaufen, nicht bügeln. Es sind viele Live-Daten erschienen.
In den 80er Jahren hatten beispielsweise Mitarbeiter der Datenwissenschaft ein grundlegendes Problem: Wo
Daten nehmen? Und jetzt ist für eine Reihe von angewandten Aufgaben klar, wo sie zu bekommen sind.
Schlüsselelemente für maschinelles Lernen: Algorithmus, Daten und Hardware, auf denen dies basiert
Der Algorithmus funktioniert. Alle drei Optionen sind zugänglicher geworden. In diesem Fall ist der Algorithmus geworden
günstiger in dem Sinne, dass es Box-Lösungen von guter Qualität gibt. Sie sind
implementiert in einer Sprache mit einer intuitiven einfachen Syntax, niedrig
Einstiegsniveau und eine Reihe von Bildungsressourcen.
- Microsoft-Leute erzählten die Geschichte, wie eine kleine Gruppe ein neuronales Netzwerk einnahm
und das Geschäftsmodell eines kleinen, einfachen Unternehmens, das Brot lieferte. Und von Stöcken und
Es stellte sich heraus, dass ein Modell gebaut wurde, das dieses Geschäft optimierte und + 10% ergab.
zur Effizienz. Sind solche Bilder eher eine Ausnahme oder eine Regel?- Dies ist eher eine Regel. Meiner Meinung nach hat Kelly (eine berühmte Zukunftsforscherin) einen guten Vortrag darüber
zukünftige KI, in der er sagt, dass sie uns in 20 Jahren genauso behandeln werden wie wir
Wir behandeln diejenigen, die Pioniere des Internets waren. Wir sagen jetzt: „Wie einfach war es für Sie in 90-
e Jahre, um Internetgeschäfte zu machen. “ Und in 20 Jahren werden sie uns auch behandeln und sagen: „Wie
Es war einfach für Sie, mit AI Geschäfte zu machen. Er nahm alles, fügte KI hinzu und wurde ein Anführer in diesem Bereich
Kategorien. " Zumindest ist dies Kellys Meinung und ich teile sie.
- Sie und ich haben eine gewisse Menge von dem erlebt, was in der Branche passiert, und dies gesehen
Das Bild, als das, was heute Ware ist, einst Stand der Technik war. Basierend auf seinem
Erfahrung können wir Menschen beraten, die jetzt Teil der KI-Technologie sind
und wie sollen sie sich bewegen?- Ich habe zwei Tipps, die mir vernünftig erscheinen. Machen Sie zuerst keinen in der Ecke.
Finde ein paar Gleichgesinnte, arbeite miteinander und zeige es dir
Was machst du in der breiteren Community? Und zweitens weniger darüber nachdenken
bestimmte Modelle, die Sie verwenden werden, weil sie sich ändern werden,
besser werden. Und wenn Sie gerade nicht auf dem Niveau sind, sie selbst zu verbessern, Sie
Sie müssen weniger darüber wissen, wie genau dieses Modell funktioniert und warum es besser ist. Du brauchst
Denken Sie mehr über das Problem nach, das Sie lösen.