Bei der Arbeit treten häufig lange und eintönige Aufgaben auf, für deren Lösung viele Menschen benötigt werden. Entschlüsseln Sie beispielsweise mehrere hundert Audioaufnahmen, markieren Sie Tausende von Bildern oder filtern Sie Kommentare heraus, deren Anzahl ständig zunimmt. Für diese Zwecke können Sie Dutzende von Vollzeitbeschäftigten behalten. Aber alle müssen gefunden, ausgewählt, motiviert, kontrolliert, sichergestellt und weiterentwickelt werden. Und wenn der Arbeitsaufwand reduziert wird, müssen sie umgeschult oder entlassen werden.
In vielen Fällen, insbesondere wenn keine spezielle Schulung erforderlich ist, können solche Arbeiten von den Ausführenden der Crowdsourcing-Plattform
Toloka , Yandex, durchgeführt werden. Dieses System ist leicht skalierbar: Wenn weniger Aufgaben von einem Kunden ausgeführt werden, wechseln die Kunden zu einem anderen. Wenn die Anzahl der Aufgaben zunimmt, sind sie nur zufrieden.
Im Folgenden finden Sie Beispiele dafür, wie Toloka Yandex und anderen Unternehmen bei der Entwicklung ihrer Produkte hilft. Alle Überschriften sind anklickbar - Links führen zu Berichten.
MIPT verwendete Toloka, um die Qualität von Chat-Bots im Rahmen des DeepHack.Chat-Hackathons zu bewerten. Es waren 6 Teams beteiligt. Die Aufgabe bestand darin, einen Chatbot zu entwickeln, der anhand des ihm gegebenen Profils mit einer kurzen Beschreibung der persönlichen Merkmale über sich selbst sprechen kann.
Toloker und Bots erhielten Profile und mussten sich als die Person im Dialog ausgeben, deren Beschreibung dort gegeben wurde, über sich selbst erzählen und mehr über den Gesprächspartner erfahren. Die Dialogteilnehmer sahen die Profile der anderen nicht.
Nur Benutzer, die den Englischtest bestanden haben, durften an der Aufgabe teilnehmen, da alle Chat-Bots innerhalb des Hackathons Englisch sprachen. Es war unmöglich, einen Dialog mit dem Bot direkt über den Toloka zu organisieren, daher wurde in der Aufgabe ein Link zum Telegrammkanal gegeben, auf dem der Chat-Bot gestartet wurde.
Nach einem Gespräch mit dem Bot erhielt der Benutzer eine Dialog-ID, die zusammen mit der Auswertung des Dialogs als Antwort in den Toloka eingefügt wurde.
Um unehrliche Toloker auszuschließen, musste überprüft werden, wie gut der Benutzer mit dem Bot sprach. Zu diesem Zweck haben wir eine separate Aufgabe erstellt, in deren Rahmen die Darsteller die Dialoge lesen und das Verhalten des Benutzers bewerten, dh den Schützen aus der vorherigen Aufgabe.
Während des Hackathons haben die Teams ihre Chat-Bots hochgeladen. Tagsüber testeten die Tolker sie, zählten die Qualität und meldeten die Punktzahl an die Teams. Anschließend bearbeiteten die Entwickler das Verhalten ihrer Systeme.
In vier Tagen haben sich die Hackathonsysteme deutlich verbessert. Am ersten Tag hatten die Bots unangemessene und doppelte Antworten, am vierten Tag wurden die Antworten angemessener und detaillierter. Bots lernten nicht nur, Fragen zu beantworten, sondern auch ihre eigenen zu stellen.
Beispieldialog am ersten Tag des Hackathons:
Am vierten Tag:
Statistik: Die Bewertung dauerte 4 Tage, etwa 200 Tolker nahmen daran teil und 1800 Dialoge wurden bearbeitet. Sie gaben 180 Dollar für die erste Aufgabe und 15 Dollar für die zweite aus. Der Prozentsatz der gültigen Dialoge war höher als bei der Arbeit mit Freiwilligen.
Eine wichtige Aufgabe des Erstellers der Drohne ist es, ihm beizubringen, Informationen über umgebende Objekte aus den Daten zu extrahieren, die er von Sensoren erhält. Während der Fahrt zeichnet das Auto alles auf, was es sieht. Diese Daten werden in die Cloud übertragen, wo die primäre Analyse durchgeführt wird, und anschließend zur Nachbearbeitung, einschließlich Markup. Beschriftete Daten werden an Algorithmen für maschinelles Lernen gesendet, das Ergebnis wird an die Maschine zurückgegeben und der Zyklus wird wiederholt, wodurch die Qualität der Objekterkennung verbessert wird.
Die Stadt hat viele verschiedene Objekte, die alle abgegrenzt werden müssen. Diese Aufgabe erfordert bestimmte Fähigkeiten und nimmt viel Zeit in Anspruch, und Zehntausende von Bildern werden benötigt, um ein neuronales Netzwerk zu trainieren. Sie können aus offenen Datensätzen entnommen werden, werden jedoch im Ausland gesammelt, sodass die Bilder nicht der russischen Realität entsprechen. Sie können getaggte Bilder für nur 4 US-Dollar kaufen, aber das Markup in Tolok war etwa zehnmal billiger.
Da Sie in Tolok jede Schnittstelle einbetten und Daten über die API übertragen können, haben die Entwickler einen eigenen visuellen Editor eingefügt, der Ebenen, Transparenz, Auswahl, Vergrößerung und Unterteilung in Klassen umfasst. Dies erhöhte die Geschwindigkeit und Qualität des Markups um ein Vielfaches.
Darüber hinaus können Sie mit der API Aufgaben automatisch in einfachere aufteilen und das Ergebnis aus Teilen sammeln. Bevor Sie beispielsweise ein Bild markieren, können Sie markieren, welche Objekte sich darauf befinden. Dies gibt ein Verständnis dafür, auf welchen Klassen das Bild markiert werden soll.
Danach können Objekte im Bild klassifiziert werden. Zum Beispiel, um den Schützen eine Auswahl von Bildern anzubieten, auf denen sich Menschen befinden, und um sie zu bitten, zu klären, ob es sich um Fußgänger, Radfahrer, Motorradfahrer oder eine andere Person handelt.
Wenn der Tolker das Markup abgeschlossen hat, muss es überprüft werden. Zu diesem Zweck werden Testaufgaben erstellt, die anderen Darstellern angeboten werden.
Nicht nur Toloker, sondern auch neuronale Netze sind an der Markierung beteiligt. Einige von ihnen haben bereits gelernt, mit dieser Aufgabe nicht schlechter umzugehen als Menschen. Aber auch die Qualität ihrer Arbeit muss bewertet werden. Daher werden bei Aufgaben neben Bildern, die mit Tolokern markiert sind, auch Bilder mit einem neuronalen Netzwerk markiert.
So integriert sich Toloka direkt in den Lernprozess neuronaler Netze und wird Teil der Pipeline allen maschinellen Lernens.
Ozon verwendet Toloka, um ein Referenzmuster zu erstellen. Dies dient mehreren Zwecken.
• Qualitätsbewertung der neuen Suchmaschine.
• Ermittlung des effektivsten Ranking-Modells.
• Verbesserung der Qualität des Suchalgorithmus durch maschinelles Lernen.
Das erste Testmuster wurde manuell erstellt - wir haben 100 Anfragen entgegengenommen und selbst markiert. Selbst eine so kleine Stichprobe half dabei, Suchprobleme zu identifizieren und Bewertungskriterien zu bestimmen. Das Unternehmen wollte ein eigenes Tool erstellen, um die Qualität der Suche zu bewerten, Gutachter einzustellen und zu schulen. Dies würde jedoch zu viel Zeit in Anspruch nehmen. Daher entschieden wir uns für eine vorgefertigte Crowdsourcing-Plattform.
Die schwierigste Phase bei der Vorbereitung des Auftrags für Toloker war die Schulung - selbst die Mitarbeiter des Unternehmens konnten den ersten Testauftrag nicht durchführen. Nachdem wir das Feedback des Teams erhalten hatten, entwickelten wir einen neuen Test: Wir bauten Schulungen von einfachen bis zu komplexen und kompilierten Aufgaben auf, wobei die wichtigen Eigenschaften des Darstellers für das Unternehmen berücksichtigt wurden.
Um Fehler zu beseitigen, führte Ozon einen Testlauf durch. Die Aufgabe bestand aus drei Blöcken - Training, Kontrolle mit einem Schwellenwert von 60% der richtigen Antworten und die Hauptaufgabe mit einem Schwellenwert von 80% der richtigen Antworten. Um die Qualität der Stichprobe zu verbessern, wurde fünf Darstellern eine Aufgabe angeboten.
Testlaufstatistik: 350 Aufgaben in 40 Minuten. Das Budget betrug 12 Dollar. Die erste Etappe wurde von 147 Darstellern besucht, 77 wurden geschult, 12 erhielten die Fähigkeit und führten die Hauptaufgabe aus.
Das Szenario des Hauptstarts ist komplizierter geworden: Nicht nur neue Token, sondern auch diejenigen, die in der Testphase die erforderlichen Fähigkeiten erhalten haben, haben daran teilgenommen. Der erste verlief entlang der Standardkette, der zweite wurde sofort zu den Hauptaufgaben zugelassen. Beim Hauptstart wurden zusätzliche Fähigkeiten hinzugefügt - der Prozentsatz der richtigen Antworten in der Hauptstichprobe und die Mehrheitsmeinung. Der Auftrag wurde noch fünf Darstellern angeboten.
Hauptstartstatistik: 40.000 Arbeitsplätze in einem Monat. Das Budget belief sich auf 1150 Dollar. 1117 Tolkers kamen zu dem Projekt, 18 erhielten Fähigkeiten, 6 erhielten Zugang zum größten Hauptpool und bewerteten ihn.
Jetzt ist Ozons Tolok-Job so:
Der Auftragnehmer sieht die Suchanfrage und 9 Produkte aus den Suchergebnissen. Seine Aufgabe ist es, eine der Bewertungen zu wählen - "geeignet", "nicht geeignet", "für den Ersatz geeignet", "zusätzlich", "öffnet nicht". Eine abschließende Bewertung hilft bei der Identifizierung technischer Probleme auf der Website. Um das Verhalten des Benutzers so genau wie möglich zu simulieren, haben Entwickler über den Iframe die Oberfläche des Online-Shops neu erstellt.
Parallel zum Start der Aufgabe in Toloka wurde das Markup von Suchanfragen anhand der Regeln durchgeführt. Der Schwerpunkt lag auf populären Anfragen, um deren Ausgabe in erster Linie zu verbessern.
Das Markup durch die Regeln ermöglichte es, schnell Daten zu einer kleinen Anzahl von Abfragen zu erhalten, und zeigte gute Ergebnisse bei Top-Abfragen. Es gab aber auch Nachteile: Mehrdeutige Anfragen können nach den Regeln nicht geschätzt werden, es gibt viele kontroverse Situationen. Darüber hinaus war diese Methode auf lange Sicht ziemlich teuer.
Markup mit Hilfe von Menschen deckt diese Nachteile ab. In Tolok können Sie die Meinungen einer großen Anzahl von Darstellern sammeln. Die Bewertung ist abgestufter, sodass Sie tiefer mit der Auslieferung arbeiten können. Nach der Ersteinrichtung arbeitet die Plattform stabil und verarbeitet große Datenmengen.
Handarbeit und Mechanismen der künstlichen Intelligenz stehen sich nicht gegenüber. Je mehr künstliche Intelligenz sich entwickelt, desto mehr Handarbeit ist für das Training erforderlich. Andererseits können je besser trainierte neuronale Netze, desto mehr Routineaufgaben automatisiert werden, wodurch eine Person vor ihnen gerettet wird.
Fast jede, auch umfangreiche Aufgabe kann in viele kleine Aufgaben unterteilt und auf der Basis von Crowdsourcing aufgebaut werden. Die meisten Aufgaben, die in
Tolok gelöst
werden, sind der erste Schritt zur Schulung von Modellen und zur Automatisierung von Prozessen anhand der von Personen gesammelten Daten.
In der nächsten Veröffentlichung zu diesem Thema werden wir darüber sprechen, wie Crowdsourcing verwendet wird, um Alice zu schulen, Kommentare zu moderieren und Regeln in Yandex.Buses durchzusetzen.