Essenz

Es stellt sich heraus, dass es ausreicht, nur einen solchen Befehlssatz auszuführen:

git clone https://github.com/attardi/wikiextractor.git cd wikiextractor wget http://dumps.wikimedia.org/ruwiki/latest/ruwiki-latest-pages-articles.xml.bz2 python3 WikiExtractor.py -o ../data/wiki/ --no-templates --processes 8 ../data/ruwiki-latest-pages-articles.xml.bz2 

und dann ein wenig mit einem Skript für die Nachbearbeitung polieren

 python3 process_wikipedia.py 

Das Ergebnis ist eine fertige .csv Datei mit Ihrem Körper.

Es ist klar, dass:

• http://dumps.wikimedia.org/ruwiki/latest/ruwiki-latest-pages-articles.xml.bz2 kann in die gewünschte Sprache geändert werden, weitere Details hier [4] ;
• Alle Informationen zu den wikiextractor Parametern finden Sie im Handbuch (im Gegensatz zu Mana wurde anscheinend sogar das offizielle Dock nicht aktualisiert).

Ein Nachbearbeitungsskript konvertiert Wiki-Dateien in eine Tabelle wie die folgende:

article_uuid - ein pseudo-eindeutiger Schlüssel, dessen Ideenreihenfolge nach einer solchen Vorverarbeitung beibehalten werden sollte.

Warum

Vielleicht hat die Entwicklung von ML-Tools im Moment ein solches Niveau erreicht [8], dass buchstäblich ein paar Tage ausreichen, um ein funktionierendes NLP-Modell / eine funktionierende Pipeline zu erstellen. Probleme treten nur auf, wenn keine zuverlässigen Datensätze / fertigen Einbettungen / fertigen Sprachmodelle vorhanden sind. Der Zweck dieses Artikels ist es, Ihre Schmerzen ein wenig zu lindern, indem gezeigt wird, dass ein paar Stunden ausreichen, um die gesamte Wikipedia zu verarbeiten (theoretisch das beliebteste Korpus zum Trainieren von Worteinbettungen in NLP). Wenn ein paar Tage ausreichen, um ein einfaches Modell zu erstellen, warum sollten Sie dann viel mehr Zeit damit verbringen, Daten für dieses Modell abzurufen?

Das Prinzip des Skripts

wikiExtractor speichert Wiki-Artikel als durch <doc> wikiExtractor getrennten Text. Tatsächlich basiert das Skript auf der folgenden Logik:

• Erstellen Sie eine Liste aller Dateien in der Ausgabe.
• Wir teilen Dateien in Artikel;
• Entfernen Sie alle verbleibenden HTML-Tags und Sonderzeichen.
• Mit nltk.sent_tokenize teilen nltk.sent_tokenize in Sätze;
• Damit der Code nicht zu groß wird und lesbar bleibt, wird jedem Artikel eine eigene UUID zugewiesen.

Als Textvorverarbeitung ist es einfach (Sie können es leicht selbst schneiden):

• Nicht-Buchstaben-Zeichen löschen;
• Stoppwörter löschen;

Datensatz ist, was jetzt?

Hauptanwendung

In der Praxis muss man sich in NLP meistens mit der Aufgabe befassen, Einbettungen zu erstellen.

Verwenden Sie zur Lösung normalerweise eines der folgenden Tools:

• Fertige Vektoren / Einbettungen von Wörtern [6];
• Die internen Zustände von CNN, die auf Aufgaben wie das Definieren gefälschter Sätze / Sprachmodellierung / Klassifizierung trainiert wurden [7];
• Eine Kombination der obigen Methoden;

Darüber hinaus wurde mehrfach gezeigt [9], dass man als gute Basis für das Einbetten von Sätzen auch einfach gemittelte (mit ein paar kleinen Details, die wir jetzt weglassen werden) Wortvektoren verwenden kann.

Andere Anwendungsfälle

• Wir verwenden zufällige Sätze aus dem Wiki als negative Beispiele für den Triplettverlust.
• Wir trainieren Encoder für Sätze unter Verwendung der Definition von falschen Phrasen [10];

Ein paar Grafiken für das russische Wiki

Längenverteilung von Sätzen für russische Wikipedia

Keine Logarithmen (auf der X-Achse sind die Werte auf 20 begrenzt)

In dezimalen Logarithmen

Referenzen

1. Fast-Text- Wortvektoren, die in einem Wiki trainiert wurden;
2. Fast-Text- und Word2Vec- Modelle für die russische Sprache;
3. Fantastische Wiki-Extraktionsbibliothek für Python;
4. Die offizielle Seite mit Links für Wiki;
5. Unser Skript zur Nachbearbeitung;
6. Hauptartikel über Worteinbettungen : Word2Vec , Fast-Text , Tuning ;
7. Mehrere aktuelle SOTA-Ansätze:
   
   1. InferSent ;
   2. Generatives CNN vor dem Training ;
   3. ULMFiT ;
   4. Kontextuelle Ansätze zur Darstellung von Wörtern (Elmo);
8. Imagenet Moment in NLP ?
9. Grundlagen für die Einbettung der Vorschläge 1 , 2 , 3 , 4 ;
10. Definition von gefälschten Phrasen für Angebotscodierer;