Samsungs neuer kostenloser Online-Kurs zur Textanalyse für neuronale Netze

Wir verwenden gewöhnlich die Internetsuche, kommunizieren mit Chat-Bots, lesen dank Übersetzern Dokumente in beliebigen Sprachen. Bestellen Sie den Reinigungsroboter Start Reinigung mit Hilfe der Stimme? Nichts Besonderes ... Sprachassistenten auf einem Smartphone gehören für viele zum Alltag. Eine Zukunft, in der Computer-Fremd Notiz über Fußball zu lesen, entsprechend den Ton der Nachrichten über das Wetter ändert, ist jetzt.

Wie funktioniert das alles? Wie werde ich ein Spezialist für NLP (steht für Natural Language Processing, verwechsle es nicht mit neurolinguistischer Programmierung :))?

Diejenigen Khabrowsker, die solche Fragen stellen, laden wir zu dem kürzlich eröffneten Online-Kurs Samsung Research Russia ein. Unter Katzendetails ...

Autoren der Lehrveranstaltung „Neuronale Netze und Textverarbeitung“

Im Juni dieses Jahres schrieben wir über den Start unseres ersten Online - Kurs „ Neuronale Netze und Computer Vision .“ Es stellte sich als erfolgreich heraus: Es gibt bereits mehr als 20.000 Zuhörer, hervorragende Kritiken und wir haben im September sogar die Stepik Awards für den besten Kurs von neuen Autoren dafür erhalten!



Seit dem Start des ersten Kurses nahm 5 Monate und wir haben nicht untätig gesessen! Mit der Erfahrung, die durch den Erfolg der Kollegen gewonnen und inspiriert wurde, meisterte ein weiteres Autorenteam - Entwickler des Samsung Centers for Artificial Intelligence in Moskau, die Experten für maschinelles Lernen Roman Suvorov, Anastasia Yanina und Alexey Silvestrov - mit der ständigen redaktionellen Unterstützung von Nikolai Kapyrin die gigantische Menge an Arbeit und am 15. Oktober auf dem Kanal “ Samsung Research Russia Open Education »Die Stepik-Plattform startete den zweiten Kurs -" Neuronale Netze und Textverarbeitung ".

Der Kurs ist für 7 Wochen ausgelegt. Wenn Sie im Durchschnitt 3-5 Stunden pro Woche Videovorträge ansehen, Fragen beantworten und praktische Aufgaben erledigen, werden Sie verstehen, was sich unter der Haube moderner Suchmaschinen, Chat-Bots und Textgeneratoren verbirgt. Das Team hat große Anstrengungen unternommen, um sicherzustellen, dass die Studenten nach nur einem Kurs sicher mit Technologien auf der Ebene eines Junior-Entwicklers oder eines technischen Spezialisten navigieren können, der keine besonderen Erfahrungen in der Arbeit mit NLP hat, sich aber jetzt damit befassen muss.

Was sind die besonderen Vorteile unseres Kurses?

• Es wurde vom Samsung Center for Artificial Intelligence entwickelt, das das Gepäck von kommerziellen Projekten in diesem Bereich hinter sich hat
  
• und Praxis ist die Theorie - Sie werden sehen, wie ein neuronales Netzwerk für die Verarbeitung von Text PyTorch erstellen, implementieren die meisten aktuellen Architektur und lernen, wie sie an Ihre Bedürfnisse anzupassen
  
• Wie schon im ersten Jahr im Bereich Computer Vision werden die besten Absolventen zu einem Interview bei Samsung Research Russia eingeladen!
  

Auf der Infografik unten, reflektieren wir kurz den Inhalt der aktuellen und quantitative Merkmale des New Deal:

Absolventen des Kurses erhalten Zertifikate. Es gibt zwei mögliche Optionen:

• ein normales Zertifikat, für das Sie Punkte erzielen können, indem Sie alle Probleme im Hauptteil des Kurses lösen;
  
• Zertifikat mit Auszeichnung: Dafür müssen Sie alle Probleme für die höchste Punktzahl lösen, die theoretischen Spuren des Kurses durchgehen (dort ähneln die Aufgaben denen, die für die Mitarbeiter bei den Vorstellungsgesprächen festgelegt wurden) und das endgültige Problem bei Kaggle lösen.
  

Lehrer und Kursentwickler

Kursprogramm

1. Einleitung

In diesem Modul in erster Näherung, erfahren wir, dass heute ein Wort Werkzeuge des maschinellen Lernens Verarbeitung, die eine Komplexität hat und welche Aufgaben Linguistik heute nur durch die Methoden des maschinellen Lernens gelöst werden kann.

1. Hallo allerseits! Erzähl uns etwas über dich!
   
2. Im Allgemeinen: natürliche Sprache und Text
   
3. Merkmale der Verarbeitung natürlicher Sprache
   
4. Allgemein: Sprachanalyse
   
5. Im Allgemeinen: Feature-Extraktion
   
6. Angewandte Textverarbeitungsaufgaben und Summen
   

2. Vektortextmodell und Klassifizierung von Langtexten

Die Mathematik beginnt. Spärliche Vektormodelle, Token, gegenseitige Informationen ... was ist das alles? Wir werden die Methoden zur Übersetzung einer mehrdimensionalen und facettenreichen Struktur, die im Text enthalten ist, in Zahlen durchgehen, damit ML-Algorithmen ihre Arbeit aufnehmen können.

1. Vektortextmodell und TF-IDF
   
2. Erstellen Sie ein neuronales Netzwerk für die Arbeit mit Text
   
3. Theoretische Probleme: Vektormustertext
   
4. Workshop: Klassifizierung von Nachrichtentexten
   

3. Grundlegende neuronale Netzwerkmethoden für die Arbeit mit Texten

Verwenden wir vollständig verbundene neuronale Netze? Was ist die Operation „Faltung der Texte?“ Es scheint eine Operation für Matrizen zu sein? Die Antworten finden Sie in diesem Modul, in dem wir die ersten erfolgreichen Versuche untersuchen, neuronalen Netzen beizubringen, mit der Bedeutung des Textes zu arbeiten.

1. Allgemeiner Algorithmus zum Arbeiten mit Texten über neuronale Netze
   
2. Verteilungs- und Wortsemantik Einbettung
   
3. Workshop: Lebensmittelrezepte und Word2Vec bei PyTorch
   
4. Theoretische Fragen: Grundlagen der Verarbeitung von neuronalen Netzen Text
   
5. Die Haupttypen neuronaler Netzwerkmodelle für die Textverarbeitung
   
6. Faltungsneuronale Netze für die Textverarbeitung
   
7. Workshop: POS-Tagging mit Faltungs-Neuronalen Netzen
   
8. Theoretische Fragen: Faltungsneuronale Netze in der Textverarbeitung
   

4. Die Sprachmodelle und die Erzeugung des Textes

Tauchen Sie tiefer in neuronale Netze ein. Der Text kann beliebig lang sein, aber nur wiederkehrende neuronale Netze ermöglichen es dem Algorithmus, Text ohne besondere Tricks zu generieren. Wir haben versucht, dem Netzwerk das Lesen beizubringen, jetzt geben wir ihm die Möglichkeit, zu komponieren.

1. Wiederkehrende Neuronale Netze
   
2. Sprachmodellierung
   
3. Workshop: Generieren von Namen und Slogans mit RNN
   
4. Aggregation Aufmerksamkeitsmechanismus
   
5. Transformator und Selbst Aufmerksamkeit
   
6. Workshop: Modellieren einer Sprache mit Transformer
   
7. Theoretische Fragen: Sprachmodell und Transformatoren
   

5. Umwandlung der Sequenzen: 1 zu 1 und N zu M

Was aber, wenn die Eingabe Text ist und die Ausgabe Text benötigt? Dies ist eine Aufgabe für den Übersetzer, für den, wie wir wissen, der Kontext am wichtigsten ist. Wenn Sie ein Textfeld in ein anderes oder in mehrere übersetzen müssen, erhalten Sie mit diesem Modul alles, was Sie brauchen!

1. Anerkennung ebene Struktur von kurzen Texten
   
2. Seminar: Anerkennung von Verschreibungen Struktur
   
3. Workshop: Aspekt-Sentiment-Analyse als NER
   
4. Sequenzkonvertierung (seq2seq)
   
5. Workshop: Codeteile mit Stapelüberlauf generieren
   
6. Theoretische Fragen
   

6. Transferlernen, Modellanpassung

Haben Sie ein großartiges Projekt, aber keine Ressourcen für Superhelden-Computing? Nehmen Sie dann ein vorgefertigtes neuronales Netzwerk und trainieren Sie es weiter, um Ihr spezielles Problem zu lösen! Sie müssen einige Namen und einige Tricks des Trainings kennen, und der Punkt ist im Hut.

1. Kontextualisierte Darstellungen und Wissenstransfer
   
2. Workshop: Pytorch-Transformatoren oder wie man BERT betreibt
   
3. Workshop: BERT für Fragen- und Antwortsuche
   
4. theoretische Fragen
   

7. Schluss Wettbewerb auf Kaggle und Abschluss

Wenn Sie den Cursor näher an die Schaltfläche „Training starten“ bewegen, sehen Sie bereits, wie sich mehrdimensionale Ketten von Pseudozeichen entfalten und die Aufmerksamkeit der Maschine zwischen den Konzepten fließt. Dann zeigen Sie sich in unserem Endrunde!

1. Was gibt es noch zu lesen, wie man sich entwickelt?
   
2. Kaggle-Wettbewerb: Überblick über das Problem und die grundlegende Lösung
   

Anforderungen für Studenten

Der Kurs richtet sich an Studierende, die sich mit maschinellem Lernen auskennen.

Was brauchst du, um den Kurs zu beginnen?

1. Grundkenntnisse in neuronalen Netzen
2. Grundkenntnisse auf dem Gebiet der mathematischen Statistik
3. Seien Sie bereit, in Python zu programmieren

Wir können sagen, dass der Kurs " Neuronale Netze und Textverarbeitung " eine Fortsetzung des ersten Kurses in Computer Vision ist, da er sich auf das Basiswissen über neuronale Netze stützt, das wir bereits gegeben haben.

Vielleicht wissen Sie bereits etwas über NLP - dass es nicht nur um Textbearbeitung geht; Das Erstellen von Chat-Bots, das Nacherzählen von Texten, das Klassifizieren von Emotionen und das Beantworten von Wikipedia-Fragen sind einfache Aufgaben, für die keine Nachforschungen mehr erforderlich sind. Diese Aufgaben stehen Ihnen nach Abschluss dieses Kurses zur Verfügung. Am wichtigsten ist jedoch, dass wir Ihnen beibringen, die richtigen Fragen in der Welt des modernen NLP zu stellen und ob Sie die Antworten selbst oder über das externe neuronale Netzwerk finden - gibt es einen Unterschied. Was weiter? Es liegt an dir.

Sind Sie mit uns?

Dann willkommen in den Online - Kurs !