Herausforderung

Hallo Habr! Ich interessierte mich für Fähigkeiten für Alice und begann zu überlegen, welche Vorteile sie bringen könnten. Es gibt viele verschiedene coole Spiele auf der Website (einschließlich meiner), aber ich wollte ein funktionierendes Tool erstellen, das für die Sprachleistung wirklich benötigt wird, und nicht nur den vorhandenen Chat-Bot mit Schaltflächen kopieren.

Die Stimme ist relevant, wenn entweder die Hände beschäftigt sind oder Sie viele aufeinanderfolgende Vorgänge ausführen müssen, insbesondere auf dem Telefonbildschirm. So entstand die Idee einer Fertigkeit, die mit einem Befehl eine Angabe von Datum und Uhrzeit aus dem Text extrahiert und Google Kalender ein Ereignis mit diesem Text hinzufügt. Wenn ein Benutzer beispielsweise sagt, dass übermorgen um 23:00 Uhr ein wunderschöner Sonnenuntergang angezeigt wird , wird im Kalender für übermorgen um 23:00 Uhr ein wunderschöner Sonnenuntergang im Kalender angezeigt.

Unter dem Cutter befindet sich die Beschreibung des Algorithmus der Hors- Bibliothek: ein Datums- und Zeiterkenner in natürlicher russischer Sprache. Pferd ist der slawische Gott der Sonne.

Github | Nuget

Bestehende Lösungen

Dateparser in Python
Die Unterstützung der russischen Sprache wird erklärt, aber auf Russisch kann die Bibliothek nicht einmal grundlegende Dinge bewältigen:

>>> import dateparser >>> dateparser.parse(u'13  2015 .  13:34') datetime.datetime(2015, 1, 13, 13, 34) >>> dateparser.parse(u' ') >>> dateparser.parse(u'    9 ') >>> dateparser.parse(u'13 ') datetime.datetime(2019, 10, 13, 0, 0) >>> dateparser.parse(u'13   9 ') 

chronisch auf Ruby
Eine Bibliothek, die Rubisten bekannt ist und die ihren Job perfekt macht. Aber Unterstützung für den Russen wird nicht gefunden.

Google-Assistent
Da wir über das Hinzufügen von Sprache zu Google Kalender sprechen, fragen wir, warum Sie nicht den Assistenten verwenden sollten. Es ist möglich, aber die Idee des Projekts ist es, die Arbeit in einem Satz ohne unnötige Gesten und Klicks zu erledigen. Und das zuverlässig. Der Assistent hat vorerst Probleme damit:

Voreinstellungen

Ich habe eine Bibliothek auf .NETStandard 2.0 (C #) geschrieben . Da die Bibliothek ursprünglich für Alice erstellt wurde, sollen alle Ziffern im Text Zahlen sein, da Alice diese Konvertierung automatisch durchführt. Wenn Sie Ziffern in Zeichenfolgen haben, gibt es einen wunderbaren Doomer3D- Artikel darüber, wie man Wörter in Zahlen umwandelt .

Morphologie

Wenn Sie mit Spracheingabe arbeiten, können Sie die richtigen Wörter am zuverlässigsten von den falschen unterscheiden, indem Sie Wortformen verwenden. Ein Freund und ich haben darüber in einem Video-Tutorial für die Alice School von Yandex ausführlicher gesprochen. In diesem Artikel werde ich die Arbeit mit Wortformen hinter den Kulissen lassen. Solche Konstrukte erscheinen im Code:

 Morph.HasOneOfLemmas(t, "", "", ""); 

Diese Funktion gibt true zurück true wenn das Wort t eine Form eines der drei folgenden Wörter ist, z. B. past , past , previous .

Theorie

Um zu verstehen, wie Datumsangaben im Text erfasst werden, müssen Sie die typischen Ausdrücke auflisten, mit denen wir Datumsangaben in realen Konversationen angeben. Zum Beispiel:

- Ich gehe morgen spazieren
- Ich werde morgen Abend spazieren gehen
- nächsten Donnerstag gehe ich ins Kino
- nächsten Donnerstag um 21 Uhr gehe ich ins Kino
- Sitzung am 21. März um 10 Uhr

Wir sehen, dass die Wörter als Ganzes in drei Typen unterteilt sind:

1. Diejenigen, die sich immer auf Datum und Uhrzeit beziehen (Namen von Monaten und Tagen)
2. Diejenigen, die sich auf das Datum und die Uhrzeit an einer bestimmten Position im Verhältnis zu anderen Wörtern beziehen ("Tag", "Abend", "Weiter", Zahlen)
3. Diejenigen, die niemals Datum und Uhrzeit haben

Beim ersten und letzten ist alles klar, aber beim zweiten gibt es Schwierigkeiten. Die ursprüngliche Version des Algorithmus war ein schrecklicher Spaghetti-Code mit einer großen Anzahl von if , weil ich versuchte, alle möglichen Kombinationen und Permutationen der benötigten Wörter zu berücksichtigen, aber dann kam ich auf eine bessere Option. Tatsache ist, dass die Menschheit bereits ein System erfunden hat, mit dem Sie Permutationen und Zeichenkombinationen schnell und einfach berücksichtigen können: die Engine für reguläre Ausdrücke.

Eine Linie kochen

Wir brechen die Linie in Token auf, entfernen die Satzzeichen und reduzieren alles auf Kleinbuchstaben. Danach ersetzen wir jedes nicht leere Token durch ein einzelnes Zeichen, um die Arbeit mit regulären Ausdrücken zu erleichtern.

Folgendes passiert für die Zeilen, die wir erwähnt haben:

Anerkennung

- Oh, Entsetzen! - Du sagst, - es wurde nur noch schlimmer! Solch ein Kauderwelsch und eine Person können nicht verstehen. Ja, ich musste einen Kompromiss zwischen der Bequemlichkeit des Lesens durch eine Person und der Bequemlichkeit der Arbeit mit Stammgästen eingehen, siehe unten genau, wie.

Dann wenden wir ein Muster an, das als Aufgabenkette bezeichnet wird : Das Eingabedatenarray wird nacheinander verschiedenen Prozessoren zugeführt, die es möglicherweise ändern oder nicht und weiter übertragen. Ich rief den Handler Recognizer und erstellte einen solchen Handler für jede Variante eines typischen (wie mir schien) Ausdrucks, der sich auf Datum und Uhrzeit bezieht.

Recognizer sucht nach einem bestimmten regulären Ausdrucksmuster in einer Zeichenfolge und startet eine Verarbeitungsfunktion für jede gefundene Übereinstimmung, mit der die Eingabezeichenfolge geändert und abgefangene Daten zu einem speziellen Array hinzugefügt werden können.

Darüber hinaus müssen die Handler in der richtigen Reihenfolge aufgerufen werden: von "sicherer" zu weniger. Zum Beispiel müssen Sie ganz am Anfang Handler ausführen, die mit "strengen" Wörtern verknüpft sind, die sich genau auf Datumsangaben beziehen: die Namen von Tagen, Monaten, Wörtern wie "morgen", "übermorgen" usw. Und am Ende Handler, die versuchen, anhand von Rohbilanzen zu bestimmen, ob noch etwas mit dem Datum zu tun hat.

Zum Beispiel:

Datum und Monat

 "((0N?)+)(M|#)"; // 24, 25, 26...  27 / 

Hier beginnt sich der Reiz der Verwendung regulärer Ausdrücke zu manifestieren. Auf ziemlich einfache Weise haben wir eine komplexe Folge von Token identifiziert: Eine Anzahl von nicht negativen Zahlen unter 1901 ungleich Null folgt aufeinander, möglicherweise getrennt durch die Vereinigung „und“, und entweder der Name des Monats oder das Wort „Zahl“ folgt ihnen.

Darüber hinaus fangen wir in der Matchgruppe sofort bestimmte Elemente, falls vorhanden, und nicht, wenn keine vorhanden sind, und stellen aus diesem Satz das Enddatum zusammen. Im folgenden Code wird es einen unverständlichen Abschnitt geben, der sich auf die Funktionen Fix , FixPeriod . Wir werden am Ende des Artikels darauf FixPeriod .

Zeitraffer

 "(i)?((0?[Ymwdhe]N?)+)([bl])?"; // ()     2  4  10  (/) 

Es ist wichtig zu beachten, dass manchmal nur die Tatsache des Zusammentreffens mit der regulären Saison nicht ausreicht und Sie dem Handler noch etwas Logik hinzufügen müssen. Es war zwar möglich, für solche Fälle zwei separate Handler zu erstellen, aber es schien mir ein Übermaß zu sein. Infolgedessen stimme ich sowohl mit dem anfänglichen "Durch" als auch mit dem endgültigen "Später / Rückwärts" überein, aber der Handler-Code beginnt mit einer Überprüfung:

 if (match.Groups[1].Success ^ match.Groups[4].Success) 

Wobei ^ das exklusive ODER ist.

Damit solche Funktionen funktionieren, muss die Engine übrigens das aktuelle Benutzerdatum übertragen.

Jahr

 "(1)Y?|(0)Y"; // [] 15 /2017 () 

Ich kann die Bequemlichkeit des Ansatzes mit Stammgästen nicht noch einmal bemerken. Wiederum haben wir mit einem einfachen Ausdruck sofort Optionen angegeben: Der Benutzer benennt eine Zahl ähnlich einem Jahr, jedoch ohne das Wort „Jahr“, oder der Benutzer benennt eine zweistellige Zahl (die ein Datum sein kann), fügt jedoch das Wort „Jahr“ hinzu und unterstützt Ausdrücke „in 18 Jahre ", aber wir wissen nicht, ob es 1918 oder 2018 bedeutet, also glauben wir, dass 2018.

Zeit

 "([rvgd])?([fot])?(Q|H)?(h|(0)(h)?)((0)e?)?([rvgd])?"; // (//) (/) /9 () (30 ()) (///) 

Der schwierigste Ausdruck in meiner Sammlung ist dafür verantwortlich, dass die Phrasen die Tageszeit angeben, von streng um 9.30 Uhr bis viertel bis 23.00 Uhr.

Alle Handler in der Reihenfolge der Anwendung

Das System ist modular aufgebaut. Es versteht sich, dass Sie Handler hinzufügen / entfernen, ihre Reihenfolge ändern usw. können. Ich habe 11 davon gemacht (von oben nach unten in der Reihenfolge der Anwendung):

¹ "" "" "" " ",

Zusammennähen

Ok, wir haben einige elementare Datums- / Uhrzeit-Token definiert. Aber jetzt müssen wir noch irgendwie alle Kombinationen aller Arten von Token berücksichtigen: Der Benutzer kann zuerst den Tag und dann die Uhrzeit benennen. Oder nennen Sie den Monat und den Tag. Wenn er nur Zeit sagt, dann geht es wahrscheinlich um heute und so weiter. Dazu entwickeln wir das Konzept der Fixierung .

Ein Fix in unserem Fall ist eine Bitmaske in jedem Datums- / Uhrzeit-Token, die anzeigt, welche Datums- und Zeitelemente darin festgelegt sind.

 public enum FixPeriod { None = 0, Time = 1, TimeUncertain = 2, Day = 4, Week = 8, Month = 16, Year = 32 } 

TimeUncertain ist ein Commit, um die Zeit anzugeben, nach der eine Verfeinerung folgen kann, beispielsweise abends / morgens . Es kann nicht 18 Uhr morgens gesagt werden, aber es kann 6 Uhr abends gesagt werden, daher hat die Nummer 6 sozusagen weniger "Gewissheit" darüber, welche Zeit es bedeutet als die Nummer 18 .

Als nächstes werden wir zwei Regeln verwenden:

• Wenn die Daten nahe sind und sie keine gemeinsamen Bits haben, führen wir sie zu einem zusammen
• Wenn die Daten nahe sind und wir sie nicht kombiniert haben, aber eines von ihnen Bits hat, die das zweite nicht hat, dann belegen wir die Bits (und die ihnen entsprechenden Werte) von dem, wo sie sind, bis zu dem, wo sie nicht sind. aber nur zum Größeren: Das heißt, wir können keinen Tag nehmen, wenn nur ein Monat angegeben ist, aber wir können einen Monat nehmen, wenn nur ein Tag festgelegt ist.

Wenn der Benutzer am Montag um 21 Uhr spricht, wird das Token am Montag , bei dem nur der Tag festgelegt ist, mit dem Token um 21 Uhr kombiniert, bei dem die Uhrzeit festgelegt ist. Wenn er jedoch am 10. und 15. März des Tages sagt, nimmt der letzte Token am 15. des Tages einfach den Monat März vom vorherigen Token.

Die Gewerkschaft ist trivial, aber mit dem Ausleihen werden wir einfach weitermachen. Wir nennen das Basisdatum, für das wir uns beschäftigen, und die sekundäre Sekunde, von der wir etwas ausleihen möchten. Dann kopieren wir das sekundäre Datum und lassen nur die Bits übrig, die die Basis nicht hat:

 var baseDate = data.Dates[firstIndex]; var secondDate = data.Dates[secondIndex]; var secondCopy = secondDate.CopyOf(); secondCopy.Fixed &= (byte)~baseDate.Fixed; 

Wenn die Basis beispielsweise ein Jahr hatte, werden wir die Jahresfixierung für die Kopie des Minderjährigen nicht verlassen (selbst wenn dies der Fall war). Wenn die Basis keinen Monat hatte, die sekundäre jedoch, bleibt sie bei der Kopie als sekundäre. Danach führen wir den Prozess des Kombinierens des Basisdatums und der sekundären Kopie durch.

In Kombination haben wir auch ein Basisdatum und ein absorbiertes Datum. Wir gehen von oben nach unten vom größten Zeitraum (Jahr) zum kleinsten (Zeit). Wenn das Basisdatum keinen Parameter hat, den das absorbierte hat, fügen wir ihn der Basis des absorbierten hinzu.

Separat müssen Sie einige Nuancen berücksichtigen:

• Das Basisdatum kann einen festen Tag haben, aber keine Woche. In diesem Fall müssen Sie eine Woche ab dem absorbierten Datum, aber den Wochentag von der Basis nehmen.
• Wenn für das absorbierte Datum jedoch kein Tag festgelegt ist, sondern eine Woche festgelegt ist, müssen wir den Tag daraus DateTime Jahr + Monat + Datum) und die Woche auf diese Weise festlegen, da das DateTime Objekt keine separate Entität "Woche" DateTime .
• Wenn TimeUncertain auf dem Basisdatum festgelegt ist, während Time auf dem absorbierten Datum absorbiert wird und die Anzahl der Stunden auf dem absorbierten Datum mehr als 12 beträgt, während das Basisdatum weniger beträgt, sollten der Basis 12 Stunden hinzugefügt werden. Weil Sie nicht von 5 bis 17 Uhr abends sagen können. Die Zeit des "unsicheren" Datums kann nicht von einer Hälfte des Tages stammen, wenn die Zeit des "sicheren" Datums daneben von der anderen Hälfte des Tages stammt. Die Leute sagen das nicht. Wenn wir den Satz von 5 bis 17 Uhr sagten, haben beide Daten eine „sichere“ Zeit, und es gibt kein Problem.

Wenn nach dem Kombinieren einige Daten leere Bits haben, ersetzen wir sie durch Werte aus dem aktuellen Datum des Benutzers: Wenn der Benutzer beispielsweise das Jahr nicht benannt hat, sprechen wir über das aktuelle Jahr, wenn Sie den Monat nicht benannt haben, dann über den aktuellen Monat und so weiter. Natürlich kann jedes DateTime Objekt aus DateTime der Flexibilität an den Parameter "aktuelles Datum" übergeben werden.

Krücken

Nicht alle Momente der Bibliothek wurden anmutig durchdacht. Damit es richtig funktioniert, wurden die folgenden Krücken hinzugefügt:

• Die Daten werden separat für Token kombiniert, die mit "b \ s \ co" beginnen, und separat für Token, die mit "b \ to \ on" beginnen. Denn wenn der Benutzer den Zeitraum benannt hat, ist es unmöglich, Token ab dem Startdatum und dem Enddatum zu kombinieren.
• Ich habe nicht begonnen, eine separate Fixierungsstufe für den Wochentag einzuführen, da diese an genau einer Stelle benötigt wird: wo sie eindeutig durch ein Wort mit dem Namen des Wochentags angegeben wird. Habe dafür eine Flagge gemacht.
• Ein separater Lauf kombiniert Daten, die in einem bestimmten Abstand voneinander liegen. Dies wird durch den Parameter collapseDistance gesteuert, der standardmäßig 4 Token beträgt. Das heißt zum Beispiel, der Satz wird funktionieren: Übermorgen ein Treffen mit einem Freund um 12 Uhr . Aber es wird nicht funktionieren: Übermorgen werde ich meinen geliebten und wunderbaren Freund um 12 treffen .

Zusammenfassung

• Sie können die Bibliothek in Ihren Projekten verwenden. Sie kommt bereits mit vielen Optionen zurecht, aber ich verfeinere und überarbeite sie. Pull-Anfragen mit Tests sind willkommen. Überlegen Sie sich im Allgemeinen einen Test, der realistisch klingt (wie die Leute im Leben sagen), aber die Bibliothek zerstört.
• Live-Demo auf .NET Fiddle funktioniert auch, obwohl der Code angeblich mit Fehlern unterstrichen ist, aber es beginnt. Am unteren Rand der Konsole können Sie Phrasen auf Russisch eingeben, ohne zu vergessen, dass Zahlen Zahlen sein sollten.
• Dieselbe Demo wie eine Konsolenanwendung

Live stellte sich so heraus: