Défi

Bonjour, Habr! Je me suis intéressée aux compétences d'Alice et j'ai commencé à réfléchir aux avantages qu'elles pouvaient apporter. Il existe de nombreux jeux sympas différents sur le site (y compris le mien), mais je voulais créer un outil de travail vraiment nécessaire pour les performances vocales, et pas seulement copier le bot de chat existant avec des boutons.

La voix est pertinente lorsque les mains sont occupées ou que vous devez effectuer de nombreuses opérations séquentielles, en particulier sur l'écran du téléphone. C'est ainsi qu'est née l'idée d'une compétence qui, par une seule commande, extrait une indication de la date et de l'heure du texte et ajoute un événement avec ce texte à Google Agenda . Par exemple, si un utilisateur dit qu'après-demain à 23 heures, il y aura un beau coucher de soleil , alors la ligne Il y aura un beau coucher de soleil dans le calendrier pour après-demain à 23h00.

Sous le cutter se trouve la description de l'algorithme de la bibliothèque Hors : un outil de reconnaissance de la date et de l'heure dans la langue russe naturelle. Le cheval est le dieu slave du soleil.

Github | Nuget

Solutions existantes

dateparser en Python
La prise en charge de la langue russe est déclarée, mais en russe, la bibliothèque ne peut même pas faire face aux choses de base:

>>> import dateparser >>> dateparser.parse(u'13  2015 .  13:34') datetime.datetime(2015, 1, 13, 13, 34) >>> dateparser.parse(u' ') >>> dateparser.parse(u'    9 ') >>> dateparser.parse(u'13 ') datetime.datetime(2019, 10, 13, 0, 0) >>> dateparser.parse(u'13   9 ') 

chronique sur Ruby
Une bibliothèque connue des rubistes qui, disent-ils, fait parfaitement son travail. Mais le soutien au Russe n'est pas trouvé.

Assistant Google
Puisque nous parlons d'ajouter de la voix à Google Agenda, nous demandons pourquoi ne pas utiliser l'Assistant? C'est possible, mais l'idée du projet est de faire le travail en une phrase sans gestes ni tapotements inutiles. Et pour le faire de manière fiable. L'assistant a des problèmes avec ceci pour l'instant:

Presets

J'ai écrit une bibliothèque sur .NETStandard 2.0 (C #) . Étant donné que la bibliothèque a été créée à l'origine pour Alice, tous les chiffres du texte sont censés être des nombres, car Alice effectue automatiquement cette conversion. Si vous avez des chiffres dans des chaînes, alors il y a un merveilleux article Doomer3D sur la façon de transformer des mots en nombres.

Morphologie

Lorsque vous travaillez avec la saisie vocale, la manière la plus fiable de distinguer les bons mots des mauvais est d'utiliser des formes de mots. Un ami et moi en avons parlé plus en détail dans un didacticiel vidéo pour l'école Alice de Yandex. Dans cet article, je vais laisser les coulisses travailler avec des formes de mots. Ces constructions apparaîtront dans le code:

 Morph.HasOneOfLemmas(t, "", "", ""); 

Cette fonction renvoie true si le mot t est une forme quelconque de l'un des trois mots suivants, par exemple: past , past , previous .

Théorie

Pour comprendre comment saisir des dates dans le texte, vous devez répertorier les expressions typiques que nous utilisons pour indiquer des dates dans de vraies conversations. Par exemple:

- Je vais me promener demain
- Je vais me promener demain soir
- jeudi prochain, je vais au cinéma
- jeudi prochain à 21h je vais au cinéma
- Réunion du 21 mars à 10 h

Nous voyons que les mots dans leur ensemble sont divisés en trois types:

1. Celles qui se réfèrent toujours aux dates et heures (noms des mois et des jours)
2. Celles qui concernent la date et l'heure à une certaine position par rapport à d'autres mots ("jour", "soir", "suivant", nombres)
3. Ceux qui ne datent et ne se produisent jamais

Avec le premier et le dernier, tout est clair, mais avec le second il y a des difficultés. La version originale de l'algorithme était un terrible code de spaghetti avec un grand nombre de if , car j'ai essayé de prendre en compte toutes les combinaisons et permutations possibles des mots dont j'avais besoin, mais j'ai ensuite trouvé une meilleure option. Le fait est que l'humanité a déjà inventé un système qui permet de prendre en compte rapidement et facilement les permutations et combinaisons de caractères: le moteur d'expression régulière.

Cuisiner une ligne

Nous séparons la ligne en jetons, supprimant les signes de ponctuation et réduisant tout en minuscules. Après cela, nous remplaçons chaque jeton non vide par un seul caractère pour faciliter le travail avec les expressions régulières.

Voici ce qui se passe pour les lignes que nous avons mentionnées:

La reconnaissance

- Oh, l'horreur! - Vous dites, - Ça n'a fait qu'empirer! Un tel charabia et une personne ne peut pas comprendre. Oui, j'ai dû faire un compromis entre la commodité de la lecture par une personne et la commodité de travailler avec des habitués, voir ci-dessous exactement comment.

Ensuite, nous appliquons un modèle appelé la chaîne de tâches : le tableau de données d'entrée est envoyé séquentiellement à différents processeurs, qui peuvent ou non le modifier et le transmettre plus loin. J'ai appelé le gestionnaire de Recognizer et créé un tel gestionnaire pour chaque variante d'une phrase typique (comme il me semblait) concernant la date et l'heure.

Recognizer recherche un modèle d'expression régulière donné dans une chaîne et lance une fonction de traitement pour chaque correspondance trouvée qui peut modifier la chaîne d'entrée et ajouter des dates capturées à un tableau spécial.

De plus, les gestionnaires doivent être appelés dans le bon ordre: de plus "confiants" à moins. Par exemple, au tout début, vous devez exécuter des gestionnaires associés à des mots "stricts" qui se rapportent exactement aux dates: les noms des jours, des mois, des mots comme "demain", "après-demain", etc. Et à la fin, les gestionnaires qui essaient de déterminer par des soldes bruts s'il peut y avoir autre chose lié à la date.

Par exemple:

Date et mois

 "((0N?)+)(M|#)"; // 24, 25, 26...  27 / 

Ici, le charme de l'utilisation des expressions régulières commence à se manifester. D'une manière assez simple, nous avons identifié une séquence complexe de jetons: un nombre non nul de nombres non négatifs inférieurs à 1901 se succèdent, éventuellement séparés par l'union «et», et soit le nom du mois soit le mot «nombre» les suit.

De plus, dans le groupe de correspondance, nous capturons immédiatement des éléments spécifiques, le cas échéant, et n'attrapons pas s'il n'y en a pas, et à partir de cet ensemble, nous composons la date finale. Dans le code ci-dessous, il y aura une section incompréhensible liée aux fonctions Fix , FixPeriod , nous y passerons à la fin de l'article.

Laps de temps

 "(i)?((0?[Ymwdhe]N?)+)([bl])?"; // ()     2  4  10  (/) 

Il est important de noter que parfois le simple fait de coïncider avec la saison régulière ne suffit pas, et vous devez encore ajouter une certaine logique au gestionnaire. Bien qu'il soit possible de faire deux gestionnaires distincts pour de tels cas, mais cela me semblait un excès. En conséquence, je fais correspondre à la fois le "travers" initial et le "plus tard / en arrière" final, mais le code du gestionnaire commence par une vérification:

 if (match.Groups[1].Success ^ match.Groups[4].Success) 

Où ^ est le OU exclusif.

Soit dit en passant, pour que ces fonctions fonctionnent, le moteur doit transférer la date actuelle de l'utilisateur.

Année

 "(1)Y?|(0)Y"; // [] 15 /2017 () 

Je ne peux encore une fois noter la commodité de l'approche avec les habitués. Encore une fois, avec une expression simple, nous avons immédiatement indiqué des options: l'utilisateur nomme un nombre similaire à une année, mais sans le mot «année», ou l'utilisateur nomme un nombre à deux chiffres (qui peut être une date), mais ajoute le mot «année» et prend en charge les expressions «dans 18 ans, "cependant, nous ne savons pas si cela signifie 1918 ou 2018, nous pensons donc que 2018.

Le temps

 "([rvgd])?([fot])?(Q|H)?(h|(0)(h)?)((0)e?)?([rvgd])?"; // (//) (/) /9 () (30 ()) (///) 

L'expression la plus difficile de ma collection est responsable des phrases pour indiquer l'heure de la journée, de stricte à 9h30 au quart à 23h.

Tous les gestionnaires par ordre d'application

Le système est modulaire, il est entendu que vous pouvez ajouter / supprimer des gestionnaires, modifier leur ordre, etc. J'en ai fait 11 (de haut en bas par ordre d'application):

¹ "" "" "" " ",

Coudre ensemble

Ok, nous avons défini des jetons élémentaires date-heure. Mais maintenant, nous devons toujours tenir compte de toutes les combinaisons de tous les types de jetons: l'utilisateur peut d'abord nommer le jour, puis l'heure. Ou nommez le mois et le jour. S'il ne dit que le temps, alors c'est probablement au sujet d'aujourd'hui, et ainsi de suite. Pour ce faire, nous proposons le concept de fixation .

Un correctif dans notre cas est un masque de bits à l'intérieur de chaque jeton date-heure, qui montre quels éléments de date et d'heure y sont définis.

 public enum FixPeriod { None = 0, Time = 1, TimeUncertain = 2, Day = 4, Week = 8, Month = 16, Year = 32 } 

TimeUncertain est un commit pour indiquer le temps après lequel un raffinement peut suivre, par exemple, le soir / matin . On ne peut pas dire 18 heures du matin , mais on peut dire 6 heures du soir , donc le chiffre 6 a, pour ainsi dire, moins de «certitude» sur l'heure qu'il signifie que le chiffre 18 .

Ensuite, nous utiliserons deux règles:

• Si les dates sont proches et qu'elles n'ont pas de bits communs, nous les fusionnons en un seul
• Si les dates sont proches et que nous ne les avons pas combinées, mais que l'une d'elles a des bits que le second n'a pas, alors nous occupons les bits (et les valeurs qui leur correspondent) de celui où ils sont, dans celui où ils ne le font pas, mais seulement pour le plus grand: c'est-à-dire que nous ne pouvons pas prendre un jour si seulement un mois est donné, mais nous pouvons prendre un mois si seulement un jour est fixé.

Ainsi, si l'utilisateur parle le lundi à 21 heures , le jeton du lundi , où seul le jour est défini, est combiné avec le jeton à 21 heures , où l'heure est définie. Mais s'il dit le 10 et le 15 mars de la journée , le dernier jeton du 15 prendra simplement le mois de mars du jeton précédent.

L'union est banale, mais avec l'emprunt, nous procéderons simplement. Nous appellerons la date de base pour laquelle nous occupons, et la seconde secondaire , à partir de laquelle nous voulons emprunter quelque chose. Ensuite, nous copions la date secondaire et ne laissons que les bits que la base n'a pas:

 var baseDate = data.Dates[firstIndex]; var secondDate = data.Dates[secondIndex]; var secondCopy = secondDate.CopyOf(); secondCopy.Fixed &= (byte)~baseDate.Fixed; 

Par exemple, si la base avait une année, nous ne laisserons pas l'année de fixation pour la copie du mineur (même si elle l'était). Si la base n'a pas eu un mois, mais que le secondaire l'a, elle restera avec la copie comme secondaire. Après cela, nous effectuons le processus de combinaison de la date de base et de la copie secondaire.

Une fois combinés, nous avons également une date de base et une date absorbée . Nous allons de haut en bas de la plus grande période (année) à la plus petite (temps). Si la date de base n'a pas de paramètre que l'absorbé a, nous l'ajoutons à la base de l'absorbé.

Séparément, vous devez prendre en compte quelques nuances:

• La date de base peut avoir un jour fixe, mais pas une semaine. Dans ce cas, vous devez prendre une semaine à partir de la date absorbée, mais le jour de la semaine à partir de la base.
• Cependant, si la date absorbée n'a pas de jour fixe, mais qu'une semaine est fixe, nous devons prendre le jour (c'est-à-dire, année + mois + date) et définir la semaine de cette manière, car il n'y a pas d'entité distincte "Semaine" dans l'objet DateTime .
• Si TimeUncertain fixé à la date de base, et Time absorbé à celui absorbé, et le nombre d'heures à l'absorbé est supérieur à 12, tandis que la base est inférieure, alors 12 heures doivent être ajoutées à la base. Parce que vous ne pouvez pas dire de 5 à 17 heures du soir . L'heure de la date "incertaine" ne peut pas être à partir d'une moitié de la journée, si l'heure de la date "confiante" à côté de celle-ci est à partir de l'autre moitié de la journée. Les gens ne disent pas ça. Si nous avons dit la phrase de 5 heures du matin à 17 heures , alors les deux dates ont une heure «confiante», et il n'y a aucun problème.

Après avoir combiné, si certaines dates ont des bits vides, nous les remplaçons par des valeurs de la date actuelle de l'utilisateur: par exemple, si l'utilisateur n'a pas nommé l'année, nous parlons de l'année en cours, si vous n'avez pas nommé le mois, puis le mois en cours et ainsi de suite. Bien sûr, tout objet DateTime peut être passé au paramètre "date actuelle" pour plus de flexibilité.

Béquilles

Tous les moments de la bibliothèque n'ont pas été pensés avec élégance. Pour le faire fonctionner correctement, les béquilles suivantes ont été ajoutées:

• Les dates sont combinées séparément pour les jetons commençant par "b \ s \ co" et séparément pour les jetons commençant par "b \ to \ on". Parce que, si l'utilisateur a nommé la période, il est impossible de combiner des jetons entre la date de début et la date de fin.
• Je n'ai pas commencé à introduire un niveau de fixation séparé pour le jour de la semaine, car il est nécessaire à exactement un endroit: où il est clairement donné par un mot avec le nom du jour de la semaine. J'ai fait un drapeau pour ça.
• Une exécution distincte combine des dates qui sont à une certaine distance les unes des autres. Ceci est contrôlé par le paramètre collapseDistance , qui par défaut est de 4 jetons. C'est-à-dire, par exemple, la phrase fonctionnera: après-demain, une réunion avec un ami à 12 ans . Mais ça ne marchera pas: après-demain, je rencontrerai ma chère et merveilleuse amie à 12 ans .

Résumé

• Vous pouvez utiliser la bibliothèque dans vos projets. Elle fait déjà face à de nombreuses options, mais je l'affine et la refactorise. Les demandes de tirage avec tests sont les bienvenues. En général, proposez un test qui semble réaliste (comme les gens le disent dans la vie), mais qui brise la bibliothèque.
• La démonstration en direct sur .NET Fiddle fonctionne également, bien que le code soit prétendument souligné d'erreurs, mais il démarre. Au bas de la console, vous pouvez saisir des phrases en russe, sans oublier que les chiffres doivent être des chiffres.
• La même démo qu'une application console

Vivez ça s'est avéré comme ceci: