Das Projekt ca. Tech Data Tolk wurde als Diskussionsplattform für Spezialisten geboren, die mit der Verarbeitung und Analyse von Big Data befasst sind. Jedes Mal betonen wir, dass die Hauptaufgabe unserer Treffen nicht Berichte sind, obwohl sie auch sehr wichtig sind, sondern eine offene Diskussion des Publikums mit Rednern, in der die Teilnehmer Zeit haben, um alle Fragen im Rahmen der Veranstaltung zu diskutieren. Wir glauben, dass in dieser Situation, in der die Anzahl der Probleme und ungelösten Probleme im Bereich der Datenwissenschaft schnell zunimmt, ein offener Dialog sehr wichtig ist.
Wir haben zwei Sitzungen abgehalten.
Zuerst haben wir die Vor- und Nachteile verschiedener Ansätze zur Datenspeicherung und die Auswirkungen dieser Ansätze auf die Arbeit verschiedener Teams erörtert und auch die Entwicklung von Data Warehouses angesprochen.
Das zweite Treffen war der Ausbildung in Data Science gewidmet. Vertreter unterschiedlicher Meinungen trafen sich auf der Website, Redner sprachen über die Bedeutung der Universitätsausbildung, die Vielfalt der Online-Kurse und ihre Funktionen sowie über die Fähigkeiten, die Sie benötigen, um ein cooles und begehrtes Rechenzentrum zu werden.
Im Vorgriff auf das
dritte Treffen , das
am 6. November in Moskau stattfinden wird und sich mit Empfehlungssystemen befassen wird, haben wir mit Rednern über ihren Weg zur Entwicklung von Empfehlungssystemen gesprochen, darüber, wie sie ihre Zukunft in diese Richtung sehen, und sie gebeten, zu empfehlen, was jetzt getan werden soll, damit Wissen und Wissen Fähigkeiten blieben auch nach einigen Jahren relevant. Wir haben auch gefragt, worüber sie auf dem Treffen sprechen werden und warum es sich lohnt, an dieser Veranstaltung teilzunehmen.
Registrieren Sie sich für Data Explore # 3Erzähl mir etwas über dich?
Andrey Kuznetsov, KlassenkameradenHallo, ich bin ausgebildeter Telekommunikationsingenieur. Nach seinem Abschluss schrieb er eine Dissertation und unterrichtete gleichzeitig. Irgendwann schien es mir, dass ich an der alten Stelle alles getan habe, was ich wollte, und in Data Science gearbeitet habe. Ich habe mich vor nicht allzu langer Zeit mit Empfehlungen im Unternehmen befasst, aber ich habe die wichtigsten Erfahrungen in diesem Bereich durch Online-Kurse und wettbewerbsfähige DS gesammelt.
Vladislav Grozin, JoomEr betrat die Welt der Empfehlungssysteme an der Spitze von Alexei Natekin, von der er am DataMining Lab studierte. Ich hatte wenig Verständnis dafür, was ich vorhatte, aber am Ende war ich viel besser als das Schreiben von Netzwerktreibern für Linux in einem Labor an der Universität (was ich zuvor getan habe).
Evgeny Frolov, SkolTechMeine Reise zu Empfehlungssystemen begann ganz einfach. 2014 war ich Student bei Skoltech und suchte nach Möglichkeiten für angewandte Forschung in Bereichen des maschinellen Lernens, die mich interessieren. Ich wollte genau etwas mit intellektuellen Assistenten zu tun haben. In diesem Moment kündigte mein zukünftiger Vorgesetzter, Ivan Oseledets, ein neues Projekt mit einem deutschen Büro an, das daran interessiert ist, die Anwendbarkeit fortgeschrittener mathematischer Methoden für Empfehlungssysteme zu untersuchen. Die Sterne kamen zusammen, also fing ich an zu promovieren.
Erzählen Sie mir von Ihrem ersten Rollout in der Produktion?
Andrey Kuznetsov, KlassenkameradenDer erste Rollout in der Produktion stand im Zusammenhang mit den Empfehlungen der Gruppen in OK und war natürlich eine aufregende Erfahrung. Die Anwesenheit erfahrener Kollegen und debuggerter Tools und Prozesse im Team vereinfacht das Leben erheblich. Die Hypothese hat übrigens funktioniert und die Pipeline wurde hergestellt, aber nach 3 Monaten haben wir sie durch eine effektivere Lösung ersetzt.
Vladislav Grozin, JoomBei dem ersten Modell, das ich im Produkt vorgestellt habe, ging es nicht wirklich um die Empfehlungen, sondern um die Suche. Ich erinnere mich perfekt an den Moment, als Live-Verkehr darauf strömte. Der Datenverkehr war gering, jede oder jede zweite Sekunde kam eine Benutzeranfrage herein und erzeugte eine weitere Zeile auf dem Bildschirm (ich sah mir die Protokolle an). Es war aufregend: Ich war sowohl für das Modell als auch für die Infrastruktur verantwortlich und erwartete, dass etwas kaputt gehen und dringend eingreifen würde. Aber alles verlief reibungslos, und nach ungefähr fünfzehn Minuten beruhigte ich mich und ging Kaffee trinken.
Evgeny Frolov, SkolTechIn der Produktion habe ich persönlich keine Modelle ausgerollt. "Ich bin ein Forscher." Meine bisherigen Aufgaben beziehen sich hauptsächlich auf die Entwicklung neuer Ansätze und Methoden und gehen nicht über die Implementierung von Prototypen hinaus.
Was ist Ihrer Meinung nach wichtiger: coole Algorithmen oder Domänenverständnis?
Andrey Kuznetsov, KlassenkameradenIm Bereich der Empfehlungen scheinen dies zwei gleiche Wale zu sein, an denen alle großen Projekte durchgeführt werden. Wenn Sie die Besonderheiten der Daten selbst kennen, wissen, wie sie erfasst werden und wie das System funktioniert (insbesondere unter Lasten, die mit unseren vergleichbar sind), können Sie im Voraus beurteilen, ob dieser oder jener Algorithmus funktioniert und ob sich die Zeit lohnt. Nun, Sie müssen die Algorithmen und Tools kennen, die sie implementieren, um sie schnell an Ihre Aufgabe anprobieren und einen Proof-of-Concept für A / B-Tests einführen zu können.
Vladislav Grozin, JoomEs ist wichtig, den coolsten Algorithmus zu verwenden, der der Aufgabe und den Zeitlimits für Entwicklung und Ressourcen entspricht, und keine Angst zu haben, ihn im Produkt zu starten.
Evgeny Frolov, SkolTechWenn wir speziell über den Bereich der Empfehlungssysteme sprechen, ist, wie die Praxis zeigt (und nicht ohne Unterbrechung der Forschung), das Verständnis des Themenbereichs wichtiger. Es gibt eine so etablierte Meinung, der ich eher zustimme, dass Algorithmen 5% des Erfolgs eines Empfehlungssystems ausmachen. Jetzt hat das Gebiet bereits das Stadium der Entwicklung erreicht, in dem es recht einfach ist, eine praktische Bibliothek oder ein Softwarepaket zu finden, es in die Produktion zu rollen und Gewinne zu erzielen. Ja, es kann sein, dass die Auswahl nicht optimal ist, aber zunächst einmal reicht dies aus und ermöglicht es Ihnen, sich auf wichtige Geschäftsaufgaben zu konzentrieren.
In welchen neuen Bereichen werden Empfehlungssysteme angewendet?
Andrey Kuznetsov, KlassenkameradenDie ehrgeizigste Zukunft wartet meiner Meinung nach auf Empfehlungssysteme im Bildungsbereich, wenn das Bildungssystem selbst (insbesondere das russische) dafür bereit ist :). Tatsächlich sind wir bereits durch kommerzielle Empfehlungen ziemlich verwöhnt, aber eine „Berufsberatung zu Steroiden“ ist viel wert.
Vladislav Grozin, JoomEs scheint, dass bald Empfehlungssysteme in die Roboterpolizei eingebaut werden, um ihnen Empfehlungen zur Relevanz der Anwendung physikalischer Aufprallmethoden auf die rechtsstaatlichen Subjekte im Hinblick auf eine konstruktive Moralisierung zu geben.
Evgeny Frolov, SkolTechMethoden von Empfehlungssystemen können verwendet werden, um viele Probleme zu lösen, bei denen das Problem fehlender Daten besteht. Zum Beispiel haben Chemiker entdeckt, dass auf diese Weise neue, bisher unbekannte anorganische Verbindungen auf der Grundlage von Kombinationen verschiedener Ionen / Kationen vorhergesagt werden können. Eine weitere Aufgabe ist die Identifizierung wirksamer Medikamente gegen Viren auf der Basis von Proteinen mit besonderen inhibitorischen Eigenschaften. Es ist äußerst schwierig zu wissen, welche Proteine einem bestimmten Virusstamm wirksam entgegenwirken, wenn keine vorherigen Tests durchgeführt wurden. Für beide gibt es viele Möglichkeiten. Viren entwickeln sich auch schnell. Sie können nicht alles messen. Anhand einiger gängiger Muster bei der Reaktion von Viren können Sie jedoch versuchen, das Ergebnis vorherzusagen, wenn noch keine Tests durchgeführt wurden. Fast wie im Online-Handel, aber mit dem gegenteiligen Effekt - der Virus sollte das „Produkt“ nicht besonders mögen.
Nun, dies sind schüchterne Schritte, aber ich denke, wir werden eine immer stärkere Durchdringung der Methoden von Empfehlungssystemen über die üblichen Bereiche Handel, Unterhaltung und Werbung hinaus sehen. Das würde ich zumindest hoffen. Es scheint, dass es allmählich zu einer Verlagerung von der einfachen Bereitstellung von Komfort hin zu einer qualitativen Veränderung des Lebensstandards kommen wird, indem komplexe Entscheidungen getroffen werden, z. B. die Erstellung eines individuellen Lernpfads für eine gute Ausbildung, die Wahl eines interessanten und begehrten Berufs oder die Erlangung personalisierter medizinischer Dienstleistungen.
Welches Buch oder welchen Artikel sollte jemand lesen, der mit Empfehlungssystemen arbeitet?
Andrey Kuznetsov, KlassenkameradenEs ist schwierig, ein bestimmtes Buch zu empfehlen, da das Feld ziemlich angewendet wird. Ich würde Online-Kurse empfehlen, zum Beispiel ist die Spezialisierung auf Datenanalyse von MIPT bei Coursera sehr gut.
Vladislav Grozin, JoomEs scheint mir, dass alle Wissenschaftler GroupLens lesen sollten: Eine offene Architektur für das kollaborative Filtern von Netnews. Dieser Artikel beschreibt eines der ersten bereitgestellten Empfehlungssysteme, wie wir sie jetzt kennen. Dieser Artikel unterscheidet sich sehr von dem, was wir jetzt so oft lesen, da er nicht nur den Algorithmus selbst betrifft, sondern auch die Umgebung, in der er funktionieren wird.
Evgeny Frolov, SkolTechEs gibt nicht so viele Bücher in diesem Bereich, und wenn Sie möchten, können Sie zumindest alles lesen, zumindest auf fließendem Niveau. Wenn ich mir anschaue, wie viele Anfänger denselben Weg gehen, der zu demselben "Rechen" führt, würde ich einen Artikel aus dem Jahr 2010 über den PureSVD-Ansatz von Paolo Cremonesi, Yehuda Koren und Roberto Turrin erwähnen. Es ist kein Zufall, dass sie das dritte Zitat in den Sammlungen der ACM-Konferenz über Empfehlungssysteme in der gesamten Geschichte dieser Konferenz ist. Einmal hat sie mir geholfen, den Artikelstapel, der oben in den Suchergebnissen angezeigt wird, anders zu betrachten, wenn die Anfrage zu ausführlich formuliert ist.
Beste Open Source Bibliothek für Empfehlungen?
Andrey Kuznetsov, KlassenkameradenDies hängt vom zu lösenden Problem, der Datenmenge und der Plattform ab, auf der das Empfehlungssystem aufgebaut wird. Es scheint, dass einige LightFM als Basis für fast alle Aufgabenempfehlungen empfohlen werden können.
Vladislav Grozin, JoomPyTorch?
Evgeny Frolov ^ SkolTechIn meinem Fall liegt die Antwort auf der Hand - die
Polara- Bibliothek, die ich entwickle.
Was wird Ihr Bericht über oktech Data Explained # 3 sein und warum sollten Sie ihn anhören?
Andrey Kuznetsov, KlassenkameradenDer Bericht wird die Geschichte der Entwicklung eines Empfehlungssystems für Projektteams in OK sein. Ich werde darüber sprechen, warum dies an sich ein interessanter Fall ist und wie er sich von klassischen Empfehlungen unterscheidet, beispielsweise von Produkten im E-Commerce. Ich werde separat erwähnen, welche Unebenheiten wir während der Entwicklung bekommen haben, welche Schlussfolgerungen gezogen wurden und warum es nie genug Daten und universelle Algorithmen gibt.
Vladislav Grozin, JoomIch werde Ihnen sagen, was Sie auf Konferenzen erwarten können. Viele Leute wollen gehen, weil es cool und cool aussieht, aber sie zögern, Zeit und Geld zu investieren, weil die Details und die praktischen Vorteile der Reise nicht klar sind. Ich hoffe, diese Fragen mit meiner Geschichte zu klären.
Evgeny Frolov, SkolTechIch werde über unsere Entwicklung sprechen - ein neues Modell namens HybridSVD - das ich kürzlich auf der ACM RecSys-Konferenz vorgestellt habe. Dies ist eine direkte Verallgemeinerung des PureSVD-Modells für hybride Empfehlungssysteme, die zusätzliche Informationen zu Benutzern und Produkten berücksichtigen. Das Modell ist insofern interessant, als es nicht über die Berechnung einer singulären Zerlegung hinausgeht, was bedeutet, dass es alle Rechenvorteile und die Benutzerfreundlichkeit erbt. Ich werde darüber sprechen und mich auch eingehender mit den technischen Aspekten befassen.
Leute, vielen Dank, dass ihr euch die Zeit genommen habt, die Fragen zu beantworten!
Wir warten auf alle, die beim Treffen am 6. November in ihrem Moskauer Büro mit Experten auf dem Gebiet der Empfehlungssysteme sprechen möchten.
Komm, es wird interessant sein!
Registrieren Sie sich für die Veranstaltung .