Russische Sprachen im Internet

Ich habe vor langer Zeit angefangen, diesen Text zu schreiben, daher war er nicht als politisch relevant geplant. Es stellte sich jedoch heraus, dass die Medien an diesen Tagen einen Informationsleitfaden zu den kleinen (Minderheits-) Sprachen Russlands veröffentlichten. Es ist möglich, dass die Studie, über die ich unten schreibe, jemandem in diesem Sinne etwas klar macht.

Wie viele Sprachen gibt es in Russland?

Das ist nicht so einfach zu realisieren, aber in Russland sprechen sie eine beeindruckende Anzahl von Sprachen. Darüber hinaus sprechen sie in Russland solche Sprachen, die nirgendwo anders verbreitet sind. Sagen wir, Millionen Ukrainer und Usbeken leben in Russland, aber gleichzeitig gibt es die souveränen Staaten Ukraine und Usbekistan, in denen die entsprechenden Sprachen offiziell sind. Aber in Russland sprechen sie Baschkirisch, Tuvanisch, Udmurtisch und viele (in der Tat viele) andere Sprachen, die nirgendwo anders ihren staatlichen Status haben.

Der Status des Staates ist wichtig. Im Zeitalter der Globalisierung brauchen Sprachen Unterstützung, die sich positiv auf Print, Medien, Kunst und letztendlich auf den Wunsch und die Fähigkeit der Menschen auswirkt, ihre Muttersprache zu sprechen, um zu überleben.

Und wie haben sich diese Sprachen an die neuen digitalen Realitäten angepasst? Stimmt es, dass sie nur in abgelegenen Bergdörfern gesprochen werden? Oder sind sie immer noch eine vollständige Möglichkeit, online zu kommunizieren? Vor einigen Jahren haben meine Kollegen und ich beschlossen, es herauszufinden.

Dies war zunächst eine Studie im Rahmen des inzwischen aufgelösten Zentrums für das Studium des Internets und der NES-Gesellschaft (jetzt wurde sie erfolgreich in den Club der Internet- und Gesellschaftsliebhaber umgewandelt ), dann organisierten wir ein Forschungsprojekt in der Magistratur der School of Linguistics der Higher School of Economics und waren im Allgemeinen erfolgreich. Alle Ergebnisse werden auf einer speziellen Website, Languages ​​of Russia, präsentiert , aber ich erzähle Ihnen von den interessantesten, was wir getan haben und wie (sowie was passiert ist).

Zunächst musste festgestellt werden, wie viele Sprachen es in Russland im Allgemeinen gibt und welche Sprachen sie sind. Die Linguisten hatten keine allgemein akzeptierte Liste: Über einige Sprachen ist nicht bekannt, ob mindestens ein anderer Sprecher lebt, über einige gibt es keine Einigung darüber, ob dies wirklich eine Sprache oder tatsächlich ein Dialekt einer anderen Sprache ist. Und es gibt keine klaren Kriterien für die Unterscheidung. Es gibt einen Witz: "Sprache ist ein Dialekt mit der Armee und der Marine", aber bei allem Witz dieser Aussage von Weinreich gibt es genug Gegenbeispiele: Brasilien hat eine Armee und eine Marine, aber keine eigene Sprache (Brasilianer verwenden Portugiesisch, die Sprache ihrer ehemaligen Metropole). Die Amerikaner, die Besitzer der mächtigsten Armee der Welt, verwenden nur einen Dialekt und nicht ihre eigene Sprache. Island hat keine Armee oder Flotte (nur Schiffe der Küstenwache), aber niemand greift in die Besonderheit seiner Sprache ein (obwohl niemand argumentiert, dass er ein Verwandter des modernen Norwegisch ist).

Mit einem Wort, die Aufgabe war nicht einfach. Von besonderer Schwierigkeit waren die Sprachen Dagestans. Es gibt so viele Sprachen (echte Sprachen, keine Dialekte! Ihre Träger verstehen sich nicht), dass Sie dies nur nach Rücksprache mit Spezialisten herausfinden können.

Wir haben auch beschlossen, die Titelsprachen anderer Staaten aus unserer Liste zu entfernen. Wenn ein ganzes Land außerhalb Russlands eine Sprache spricht, wird höchstwahrscheinlich auch die staatliche Ressource zur Unterstützung der Sprache verwendet. Es ist möglich, eine solche Sprache als die Sprache Russlands zu betrachten, aber es wäre falsch, ihre Präsenz im Internet im Vergleich zu anderen Sprachen zu bewerten, die nicht aus dem Ausland stammen: Ingusch und Kasachstan werden in völlig unterschiedlichen Gewichtsklassen sein. Es stellte sich heraus, dass Ossetisch über unserer Studie liegt: Trotz der Tatsache, dass es in Russland eine ganze Titelregion gibt, in der Ossetisch gesprochen wird, gibt es auch ein von Russland anerkanntes separates Land, Südossetien, für das diese Sprache offiziell ist. Genau genommen sprechen sie in Süd- und Nordossetien verschiedene Dialekte, Eisen und Digor. Aber automatisch, Computer, ist es sehr schwierig, zwischen ihnen zu unterscheiden. Es ist daher besser, sie als eine Sprache zu betrachten, die nicht zur Sprachklasse Russlands gehört.

Ein weiterer Vorfall betrifft Jiddisch. In Russland gibt es nominell auch eine Region, in der jiddischsprachige Menschen leben sollten - die jüdische autonome Region. Gleichzeitig erklärten uns unsere Experten, dass es in der EAO fast keine jiddischen Sprecher gab und alle Texte im Internet in dieser Sprache fast ausschließlich in Israel und den Vereinigten Staaten verfasst wurden. Die Darstellung des Jiddischen im Internet als Sprache Russlands zu analysieren, ist also dumm. Dies kommt zu der Tatsache hinzu, dass wir Kopfschmerzen haben würden, die mit einer Vielzahl von Rechtschreiboptionen verbunden sind. Hier sind einige relevante Links dazu: [ 1 ], [ 2 ], [ 3 ].
Also haben wir uns für die Sprachen entschieden. Es waren 96 von ihnen.

Wie kann man sie jetzt im Web suchen? Sie können das gesamte Internet entleeren und versuchen, die erforderlichen Texte in der resultierenden Sammlung zu finden ... Aber warten Sie, Sie können wirklich nicht das gesamte Internet entleeren. Das heißt, es ist möglich, wenn Sie ein großes IT-Unternehmen mit einer geeigneten Serverflotte und einem Entwicklungsteam sind. Und wenn Sie ein kleines Universitäts-Team zur Verfügung haben, gibt es nichts zu denken. Andererseits müssen Sie zu diesem Zeitpunkt nichts herunterladen, da die Suchmaschinen bereits das gesamte Netzwerk umgangen haben. Es ist nur notwendig, die Suchmaschinen nach den richtigen Fragen zu fragen. Richtig, Suchmaschinen mögen keine automatischen Treffer. Wenn Sie jedoch wirklich fragen, können Sie beispielsweise Yandex.XML verwenden, bei dem die Anzahl der Anforderungen begrenzt ist. Dies ist jedoch nicht dasselbe wie das Arbeiten mit Suchergebnissen mit Ihren Händen.

Markierungswörter

Aber was soll man fragen? Worte werden gebraucht - das ist klar. Suchindizes werden aus Wörtern gebildet. Sie müssen also Wörter für jede gesuchte Sprache auswählen, die in dieser bestimmten Sprache gefunden werden und die Zusammensetzung der Buchstaben keinem Wort in einer anderen Sprache entsprechen. In gewissem Sinne sollte die Suche nach russischen Sprachen einfacher sein, da fast alle Sprachen auf unserer Liste kyrillische Schriften haben. Dies ist ein relativ seltener Fall für Weltsprachen, sodass die Wahrscheinlichkeit, dass zwei Wörter aus verschiedenen Sprachen zusammenfallen, stark verringert wird: Es kann zu Verwechslungen kommen Nur Wörter aus Sprachen aus dem postsowjetischen Raum und Wörter aus einigen Sprachen Ozeaniens verursachen keinen Lärm.

Aber woher kommen die Worte? Wenn wir uns wieder den Linguisten zuwenden, werden sie Ihnen sagen, dass es eine alte und wohlverdiente Veröffentlichung gibt - Gilyarevsky R. S., Grivnin V. S. Die Determinante der Sprachen der Welt durch die geschriebene Sprache (M., 1961 für die zweite Ausgabe). Jede der beschriebenen Sprachen (ca. 200) hat eine Seite, auf der eine Vorlage den Namen der Sprache, zwei Kurztexte, das Alphabet, seine Hauptmerkmale und Informationen zur Anzahl der Träger und zur genetischen Zugehörigkeit enthält.

Es scheint, dass das Buch für unsere Zwecke völlig nutzlos ist, aber auf Seite 259 gibt es einen zusätzlichen Abschnitt, „Typische Kombinationen und Dienstwörter einiger Sprachen“. Es scheint, dass dies das ist, was Sie brauchen, aber leider sind die dort zitierten Wörter sehr kurz und stimmen in der Buchstabenzusammensetzung mit den Wörtern aus der russischen Sprache überein. Zum Beispiel ist es für Balkar das Wort "bla", das bei der Suche eine ungeheure Menge Müll ergibt, die überhaupt nicht der Balkarsprache entspricht (nicht nur bla bla, sondern auch " unbemanntes Luftfahrzeug "), und für Berg Mari - "don" ( die Suche wird noch schlimmer sein). Trotzdem sind die Wörter in diesem Abschnitt eher eine Seltenheit. Und durch Buchstabenkombination in Yandex werden Sie nicht schauen.

Also würden Linguisten vorschlagen, dies zu tun. Informatiker hätten eine andere Lösung. Warum nicht Wikipedia nehmen (schließlich gibt es Wikipedia in den Sprachen der Völker Russlands), daraus ein Frequenzbuch erstellen, Wörterbücher kreuzen, auf diese Weise eindeutige Token finden und sie für Suchanfragen verwenden? Dies wird leider auch nicht funktionieren. Erstens ist Wikipedia nicht für alle Sprachen Russlands geeignet. Es gibt nur 22 "echte" Wikipedia-Abschnitte, nicht von einem Inkubator. Der Inkubator fügt 41 weitere hinzu. In der Regel sind es jedoch maximal mehrere Dutzend sehr kurze Texte, dh sie liefern keine statistisch signifikanten Ergebnisse. Hier ist ein Inkubator mit Tabasaran Wikipedia (5 Artikel). Hier ist ein Nogai Inkubator (23 Artikel). Außerdem gibt es in einigen überhaupt keinen Text, sondern den dortigen Artikel über die Baschkiren . Usw.

Aber echte Wikipedia (ohne Inkubation) kann nicht als gute Quelle dienen. Weil sie ... nicht von Menschen geschrieben wurden! Die größte Wikipedia in den Sprachen der Völker Russlands leidet unter dem, was Wikipedianer " Arachnophilie " nennen. Das heißt, das automatische Ausfüllen des Abschnitts mit Artikeln, die von der Vorlage generiert wurden und in die einige numerische Daten aus einer geöffneten Datenbank oder Registrierung eingefügt wurden. Sagen wir, die Baschkirische und Tatarische Wikipedia für einen sehr kleinen Prozentsatz von "Menschen" gibt es Zehntausende von automatischen Artikeln über Flüsse und Seen. Versuchen Sie, auf den Link " Zufälliger Artikel " in der Baschkirischen Wikipedia zu klicken. Wie oft von 10 gelangen Sie zu einem "Nicht-Wasser-Artikel" (Sie können nach "Fluss" mit dem Schlüsselwort "Yylkha" suchen)? Jetzt hat sich die Situation etwas verbessert, es gibt immer noch Artikel über Länder und Siedlungen, aber vor fünf Jahren gab es in 8 von 10 Fällen „Wasser“ -Themen. Ich habe jetzt geklickt, es stellte sich 7: 3 zugunsten der Flüsse heraus. Was ist mit dir?

Alles wäre in Ordnung, aber die Frequenzwörter in solchen Texten sind überhaupt keine Frequenzwörter in der Sprache. Wie sieht ein „normales“ Frequenzwörterbuch aus, das auf Texten natürlichen Ursprungs basiert? Die ersten paar Dutzend Positionen sind mit verschiedenen offiziellen Wörtern besetzt, die in der Sprache um ein Vielfaches häufiger vorkommen als alle bedeutenden. Hier ist ein Frequenzwörterbuch für die russische Sprache . Das erste Substantiv (Jahr) erscheint dort am Ende der dritten zehn. Und davor ist alles vollständig - Konjunktionen, Präpositionen, Pronomen und Teilchen. Und hier ist das Frequenzwörterbuch der tatarischen Wikipedia für 2013:

Es gibt nur zwei offizielle Wörter, von denen nur eines - “ m "und" - wirklich besonders häufig in echten Texten vorkommt. Der Rest wurde natürlich nur aufgrund der Besonderheiten der Originalprobe in die Liste aufgenommen.

Es gab nur einen Ausweg für uns: Wörter für die manuelle Definition von Suchanfragen für jede Sprache zu sammeln. Dies ist eine Expertenarbeit. Sie müssen in Wörterbüchern und Grammatiken suchen, dann die Kandidatenwörter in die Suche einfließen lassen, das Ergebnis betrachten und bewerten, wie viel Müll herauskommt. Darüber hinaus muss jedes Wort zwei verbindliche Kriterien erfüllen. Erstens sollte es die Häufigkeit für Ihre Sprache sein. Daher würde das tatarische Ich und passen passen. In der Tat ist dieses Wort in den meisten Texten in tatarischer Sprache enthalten, und eine Anfrage, die dieses Wort enthalten würde, würde es uns ermöglichen, die meisten Websites mit Texten in tatarischer Sprache zu empfangen und damit zu fangen. Zweitens muss ein solches Wort eindeutig sein, dh nur in dieser Sprache verwendet werden, aber nicht in einer anderen. Unter diesem Gesichtspunkt „fliegt“ Um , leider, weil genau das gleiche Wort in Baschkirisch ist.
Es gibt noch eine Nuance. In den Alphabeten der Landessprachen gibt es viele "Sonderzeichen", dh Buchstaben, die nicht im russischen Alphabet enthalten sind. Unter Verwendung dieser Zeichen (wie Linguisten "Grapheme" sagen) werden spezielle Laute (wie Linguisten "Phoneme" sagen) dieser Sprachen aufgezeichnet. Zum Beispiel enthält das Komi-Zyryan-Wort tashtöm ein solches Symbol, weit entfernt von dem exotischsten, das es geben kann (andere Beispiele sind in der tatarischen Liste der „Wasser“ -Wörter oben zu sehen).

Tatsache ist, dass all dieser grafische Luxus nicht auf der russischen Standardtastatur vorhanden ist, auf der im Grunde jeder tippt. Daher geben echte Benutzer diese Buchstaben nicht ein und ersetzen sie durch andere, die in Rechtschreibung oder Klang ähnlich sind. Das Wort tashtöm wird als tashtem oder tashtom übersetzt. In Baschkirisch wird der Buchstabe "ә" als "e" oder "a" und der Buchstabe "ҙ" als "z" übertragen. Hier auf KDPV sollte eigentlich nur das Wort "menan" "menen" geschrieben werden. In Anlehnung an den Linguisten A. A. Zaliznyak nennen wir ein solches Rechtschreibregime „alltägliches Schriftsystem“. Über die gleichen Prozesse (nur ohne Tastaturen und andere Software) beschrieb Zaliznyak für den alten Novgorod-Dialekt, der auf Birkenrindenbuchstaben aufgezeichnet wurde.

Was bedeutet das in der Praxis? Im Idealfall werden nicht nur Markierungswörter benötigt, die für diese Sprache und Häufigkeit in dieser Sprache einzigartig sind. Solche Wörter werden auch benötigt, damit sie diese „Sonderzeichen“ nicht enthalten. Da solche Zeichen in Wirklichkeit nicht von allen geschrieben werden und Sie eine Anfrage an die Suchmaschine mit dem Wort im „richtigen“ Zeitplan senden, wird sich die Vollständigkeit der Antwort als mittelmäßig herausstellen: Wir werden nicht auf eine große Anzahl von Texten stoßen, die im Heimsystem geschrieben sind.

Darüber hinaus gibt es schlauere Symbole, zum Beispiel "Ich": "Jakowlew 'Zauberstab" (in verschiedenen kaukasischen Sprachen bedeutet dies entweder einen Kehlkopfbogen oder den sogenannten "missbräuchlichen" Klang). In einem Haushaltssystem wird es häufig durch eine Einheit ersetzt, es kommt jedoch vor, dass sie auch das Symbol „|“ schreiben, eine vertikale Leiste, die als Suchoperator „oder“ verwendet wird (Suche nach Seiten, die eines der mit diesem Operator verknüpften Wörter enthalten).

Kurz gesagt, es ist nicht einfach. Aber wir haben solche Listen mit Markierungswörtern für die meisten Sprachen erstellt, an denen wir interessiert waren. Und dies ist das einzige, was wir nicht öffentlich veröffentlichen, da solche Wörter immer noch für die Suche nach Texten nützlich sein können und diese Liste sehr leicht zu zerstören ist, beispielsweise wenn jemand sie zum Generieren von Such-Spam verwenden möchte.

Suche

Wir haben also Suchbegriffe, senden sie der Reihe nach an Yandex.XML und erhalten die Ergebnisse. Auch hier ist das nicht so einfach. Erstens beschränkt Yandex.XML unseren Appetit auf 10.000 Anfragen pro Tag. Nicht so wenig? Ja, aber er gibt Seite für Seite Links aus (10 pro Seite) und der Übergang zur nächsten Seite wird als separate Anfrage betrachtet ...

Außerdem bekommen wir immer noch Müll am Ausgang. Auch für "gute" Marker. Was haben wir Spiegel und Doppel. Besonders viel Wikipedia nimmt. Und warum sollten wir Wikipedia in Betracht ziehen, wenn unser Ziel darin besteht, alle Texte in einer bestimmten Sprache zu sammeln? Immerhin kann Wikipedia mit einem Klick heruntergeladen werden! Was sonst? Sprachwissenschaftliche Artikel. Einige Linguisten schreiben einen Artikel auf Russisch und geben ein Beispiel für einen Satz in einem Rutulian, und dieser Satz enthält unser Markierungswort. Das ist auch nicht gut, denn vor uns liegt eigentlich ein Text in russischer Sprache. Oder es könnte ein Wörterbuch sein. Es wird auch das Wort geben, nach dem wir gesucht haben, aber es wird keinen Text geben. Eine Überraschung für uns waren Musikseiten. Sie enthalten MP3s zahlreicher Volks- oder Copyright-Songs in einer kleinen Sprache. Es gibt dort auch keine Texte, aber es gibt kurze Sätze, die für die Anfrage geeignet sind - die Namen der Musikwerke. Für einige Sprachen sind diese Websites so zahlreich, dass sie die gesamte Ausgabe verstopfen. Da wir nach Texten suchen, haben wir beschlossen, dass dies auch nicht unsere Kunden sind.

Etwas muss abgeschnitten werden. Der erste Filter kann in der Phase der Kontaktaufnahme mit der Suchmaschine eingegeben werden. Wenn wir mehrere Markierungen für die Sprache haben und eine Domain ganz unten gefunden haben, können wir die Suchmaschine fragen, ob andere Wörter aus unserer Liste auf derselben Site vorhanden sind. Wenn ja, dann ist es wahrscheinlich, dass wir genau die Stelle erreicht haben, die wir brauchen. Wenn ein Marker vorhanden ist, der Rest jedoch nicht dargestellt ist, halten wir höchstwahrscheinlich einen Dummy in unseren Händen. Es gibt zum Beispiel das wunderbare Khakass-Wort "Sinus" ("wieder"). Es erfüllt alle Kriterien für ein oben aufgeführtes Markierungswort. Aber hier ist die Sache. Wenn sie auf Russisch schreiben, machen sie manchmal Fehler und geben "Sinus" anstelle von "Sinus" (Nase) ein. Unser Filter hilft zu verstehen, ob ein Tippfehler im russischen Text oder im Khakass-Text enthalten ist. Die Sache ist, dass dies zusätzliche Anfragen sind, von denen es so wenige gibt.

Nicht alles ist eindeutig mit der Liste der Websites, auf denen die benötigten Texte gefunden wurden. Wenn wir diese Stellen nicht nur finden, sondern auch herauspumpen wollen, um den Korpus zu bilden, müssen wir wissen, bis zu welcher Tiefe gepumpt werden soll. Wir haben alle gefundenen Domains in drei Kategorien unterteilt (all dies kann auch durch die richtigen Yandex-Abfragen herausgefunden werden).
, ( — ) .

, ( ) .

, . Youtube ( - «» ) stihi.ru ( , , ).

, , VK.com. , , , , ( ), , , -, . , , . .

VK.com . : - , - , vk.com. 2016 , .

. . , . Scrapy , . VK API .

. , . , , . , , , , - . ( — , ngram) . - , , , . , . .

, - . , , , . — ( , ), — . . . - «» . , , , . , , .
, , , .

Ergebnisse

, . . ?

, . , , , . «» . .
- . ? , , - ?

, ( ) .

? — ?

, - , .

?

, , 2012 . Warum? , . , vk.com.

. : , ( , ). ( , , , - , ). ? ?

, - ( 0.7), - . , , , . , , , . , , . , , .

, . ? , , , , .

, . , , , , , .

, -, ?

, , : - , , - , , .

Soziale Netzwerke

, vk.com. - , - , : , . . .

:

, , , , — . , — . , , . . , .

- ?

• : 19-31;
• : ;
• , «» -;
• , .

, «» :

• ;
• .

?

- . , , . , , . , 90- 2000-.

Wir haben also gelernt, dass es im Internet kleine Sprachen Russlands gibt. Sie leben auf Websites und in sozialen Netzwerken und seit 2012 hauptsächlich in sozialen Netzwerken. Sowohl dort als auch dort sind sie gezwungen, dem harten Wettbewerb mit der "prestigeträchtigen" russischen Sprache standzuhalten. Die Vitalität einer Sprache im Internet hängt nicht wesentlich davon ab, wie viel sie diese Sprache „im Leben“ spricht. Das Wichtigste ist, ob sich um diese Sprache herum eine aktive Netzwerkgemeinschaft entwickelt hat, die auf renommierten Internetseiten (Wikipedia, Vkontakte) arbeitet. Wenn es passiert ist, dann ist es "vor Ort" in der Region passiert, in der Muttersprachler dieser Sprache leben.

Aber werden kleine Sprachen in einer Situation der Globalisierung überleben, müssen wir noch zu unseren Lebzeiten lernen.

Der gesamte Projektcode befindet sich im Repository . Alle Textsammlungen und Listen von Domains und Communitys stehen zum Download zur Verfügung .

Und ich kann die Community auf vk.com mit niedlichen Memes in kleinen Sprachen mit Katzen nur empfehlen.