Desafío

Hola Habr! Me interesé en las habilidades para Alice y comencé a pensar qué beneficios podrían aportar. Hay muchos juegos geniales diferentes en el sitio (incluido el mío), pero quería crear una herramienta de trabajo que sea realmente necesaria en la ejecución de voz, y no solo copiar el chatbot existente con botones.

La voz es relevante cuando las manos están ocupadas o si necesita realizar muchas operaciones secuenciales, especialmente en la pantalla del teléfono. Entonces surgió la idea de una habilidad que, en un comando, extrae una indicación de la fecha y la hora del texto y agrega un evento con este texto a Google Calendar . Por ejemplo, si un usuario dice que pasado mañana a las 11 pm habrá una hermosa puesta de sol , entonces la línea habrá una hermosa puesta de sol en el calendario para pasado mañana a las 23:00.

Debajo del gato hay una descripción del algoritmo de la biblioteca Hors : un reconocedor de fecha y hora en el habla rusa natural. El caballo es el dios eslavo del sol.

Github | Nuget

Soluciones existentes

dateparser en Python
Se declara la compatibilidad con el idioma ruso, pero en ruso la biblioteca ni siquiera puede hacer frente a cosas básicas:

>>> import dateparser >>> dateparser.parse(u'13  2015 .  13:34') datetime.datetime(2015, 1, 13, 13, 34) >>> dateparser.parse(u' ') >>> dateparser.parse(u'    9 ') >>> dateparser.parse(u'13 ') datetime.datetime(2019, 10, 13, 0, 0) >>> dateparser.parse(u'13   9 ') 

crónica en Ruby
Una biblioteca conocida por los rubistas, que, dicen, hace su trabajo perfectamente. Pero no se encuentra apoyo para el ruso.

Asistente de Google
Como estamos hablando de agregar voz a Google Calendar, preguntamos, ¿por qué no usar el Asistente? Es posible, pero la idea del proyecto es hacer el trabajo en una frase sin gestos y toques innecesarios. Y para hacerlo de manera confiable. El asistente tiene problemas con esto por ahora:

Presets

Escribí una biblioteca en .NETStandard 2.0 (C #) . Dado que la biblioteca se creó originalmente para Alice, se supone que todos los números en el texto son números, porque Alice realiza esta conversión automáticamente. Si tiene números en cadenas, entonces hay un maravilloso artículo de Doomer3D sobre cómo convertir palabras en números.

Morfología

Cuando se trabaja con entrada de voz, la forma más confiable de distinguir las palabras correctas de las incorrectas es usar formas de palabras. Un amigo y yo hablamos sobre esto con más detalle en un video tutorial para la Escuela Alice de Yandex. En este artículo, dejaré el trabajo detrás de escena con formas de palabras. Tales construcciones aparecerán en el código:

 Morph.HasOneOfLemmas(t, "", "", ""); 

Esta función devuelve true si la palabra t es cualquier forma de una de las tres palabras siguientes, por ejemplo: pasado , pasado , anterior .

Teoría

Para comprender cómo capturar fechas en el texto, debe enumerar las frases típicas que usamos para indicar fechas en conversaciones reales. Por ejemplo:

- Mañana saldré a caminar
- Iré a caminar mañana por la noche
- el jueves que viene voy al cine
- El próximo jueves a las 9 de la noche voy al cine
- 21 de marzo a las 10 am reunión

Vemos que las palabras en su conjunto se dividen en tres tipos:

1. Los que siempre se refieren a fechas y horas (nombres de meses y días)
2. Los que se relacionan con la fecha y la hora en una determinada posición en relación con otras palabras ("día", "tarde", "siguiente", números)
3. Los que nunca tienen fecha y hora

Con el primero y el último, todo está claro, pero con el segundo hay dificultades. La versión original del algoritmo era un terrible código de espagueti con una gran cantidad de if , porque traté de tener en cuenta todas las combinaciones y permutaciones posibles de las palabras que necesitaba, pero luego se me ocurrió una mejor opción. El hecho es que la humanidad ya ha inventado un sistema que le permite tener en cuenta rápida y fácilmente las permutaciones y combinaciones de caracteres: el motor de expresión regular.

Cocinando una línea

Rompemos la línea en tokens, eliminando los signos de puntuación y reduciendo todo a minúsculas. Después de eso, reemplazamos cada token no vacío con un solo carácter para que sea más fácil trabajar con expresiones regulares.

Esto es lo que sucede para las líneas que mencionamos:

Reconocimiento

- ¡Oh horror! - Dices, - ¡Solo empeoró! Tal galimatías y una persona no puede entender. Sí, tuve que hacer un compromiso entre la conveniencia de leer por una persona y la conveniencia de trabajar con clientes habituales, vea a continuación exactamente cómo.

Luego aplicamos un patrón llamado cadena de tareas : la matriz de datos de entrada se alimenta secuencialmente a diferentes procesadores, que pueden o no cambiarla y transmitirla más. Llamé al manejador Recognizer e hice un manejador para cada variante de una frase típica (como me pareció) relacionada con la fecha y la hora.

Recognizer busca un patrón de expresión regular dado en una cadena y lanza una función de procesamiento para cada coincidencia encontrada que puede modificar la cadena de entrada y agregar fechas capturadas a una matriz especial.

Además, los manejadores deben llamarse en el orden correcto: de más "seguro" a menos. Por ejemplo, al principio, debe ejecutar controladores asociados con palabras "estrictas" que se relacionen exactamente con las fechas: los nombres de días, meses, palabras como "mañana", "pasado mañana", etc. Y al final, los controladores que intentan determinar por saldos brutos si puede haber algo más relacionado con la fecha.

Por ejemplo:

Fecha y mes

 "((0N?)+)(M|#)"; // 24, 25, 26...  27 / 

Aquí el encanto de usar expresiones regulares comienza a manifestarse. De una manera bastante simple, hemos identificado una secuencia compleja de tokens: un número distinto de cero de números no negativos menos de 1901 se suceden, posiblemente separados por la unión "y", y el nombre del mes o la palabra "número" los sigue.

Además, en el grupo de coincidencias capturamos inmediatamente elementos específicos, si los hay, y no capturamos si no hay ninguno, y a partir de este conjunto componimos la fecha final. En el siguiente código, habrá una sección incomprensible relacionada con las funciones Fix , FixPeriod , pasaremos a esto al final del artículo.

Lapso de tiempo

 "(i)?((0?[Ymwdhe]N?)+)([bl])?"; // ()     2  4  10  (/) 

Es importante tener en cuenta que a veces solo el hecho de la coincidencia con la temporada regular no es suficiente, y aún necesita agregar algo de lógica al controlador. Aunque, fue posible hacer dos manejadores separados para tales casos, pero me pareció un exceso. Como resultado, hago coincidir tanto el "a través" inicial como el "posterior / posterior" final, pero el código del controlador comienza con una comprobación:

 if (match.Groups[1].Success ^ match.Groups[4].Success) 

Donde ^ es el OR exclusivo.

Por cierto, para que tales funciones funcionen, el motor necesita transferir la fecha actual del usuario.

Año

 "(1)Y?|(0)Y"; // [] 15 /2017 () 

No puedo volver a notar la conveniencia del enfoque con los clientes habituales. Nuevamente, con una expresión simple, indicamos opciones de inmediato: el usuario nombra un número similar a un año, pero sin la palabra "año", o el usuario nombra un número de dos dígitos (que puede ser una fecha), pero agrega la palabra "año" y admite las expresiones "en 18 años ", sin embargo, no sabemos si significa 1918 o 2018, por lo que creemos que 2018.

Tiempo

 "([rvgd])?([fot])?(Q|H)?(h|(0)(h)?)((0)e?)?([rvgd])?"; // (//) (/) /9 () (30 ()) (///) 

La expresión más difícil en mi colección es responsable de que las frases indiquen la hora del día, desde estrictas a las 9.30 a.m. a un cuarto a las 11 p.m.

Todos los manejadores en orden de aplicación

El sistema es modular, se entiende que puede agregar / quitar controladores, cambiar su orden, etc. Hice 11 de estos (de arriba a abajo en orden de aplicación):

¹ "" "" "" " ",

Coser juntos

Ok, definimos algunos tokens de fecha y hora elementales. Pero ahora aún debemos tener en cuenta de alguna manera todas las combinaciones de todos los tipos de tokens: el usuario puede nombrar primero el día y luego la hora. O nombra el mes y el día. Si solo dice el tiempo, entonces probablemente sea sobre hoy, y así sucesivamente. Para hacer esto, se nos ocurre el concepto de fijación .

Una solución en nuestro caso es una máscara de bits dentro de cada token de fecha y hora, que muestra qué elementos de fecha y hora están configurados.

 public enum FixPeriod { None = 0, Time = 1, TimeUncertain = 2, Day = 4, Week = 8, Month = 16, Year = 32 } 

TimeUncertain es un compromiso para indicar el tiempo después del cual puede seguir un refinamiento, por ejemplo, en la tarde / en la mañana . No se puede decir las 18 en punto de la mañana , pero se puede decir las 6 en punto de la tarde , por lo tanto, el número 6 tiene, por así decirlo, menos "certeza" sobre qué hora significa que el número 18 .

A continuación, utilizaremos dos reglas:

• Si las fechas están cerca y no tienen partes comunes, las fusionamos en una sola.
• Si las fechas están cerca y no las combinamos, pero una de ellas tiene bits que la segunda no tiene, entonces ocupamos los bits (y los valores correspondientes a ellos) desde el lugar donde están, hasta el que no tienen, pero solo para el mayor: es decir, no podemos tomar un día si solo se da un mes, pero podemos tomar un mes si solo se establece un día.

Por lo tanto, si el usuario habla el lunes a las 9 p.m. , entonces el token del lunes , donde solo se establece el día, se combina con el token a las 9 p.m. , donde se establece la hora. Pero si dice el 10 y 15 de marzo del día , entonces el último token del 15 del día simplemente tomará el mes de marzo del token anterior.

La unión es trivial, pero con los préstamos procederemos de manera simple. Llamaremos a la fecha base para la que ocupamos, y la segunda secundaria , de la que queremos pedir prestado algo. Luego copiamos la fecha secundaria y dejamos solo aquellos bits que la base no tiene:

 var baseDate = data.Dates[firstIndex]; var secondDate = data.Dates[secondIndex]; var secondCopy = secondDate.CopyOf(); secondCopy.Fixed &= (byte)~baseDate.Fixed; 

Por ejemplo, si la base tenía un año, no dejaremos la fijación del año para la copia del menor (incluso si lo fuera). Si la base no tenía un mes, pero el secundario lo tiene, permanecerá con la copia como secundaria. Después de eso, llevamos a cabo el proceso de combinar la fecha base y la copia secundaria.

Cuando se combinan, también tenemos una fecha base y una fecha absorbida . Vamos de arriba a abajo desde el período más grande (año) hasta el más pequeño (tiempo). Si la fecha base no tiene algún parámetro que tenga el absorbido, lo agregamos a la base del absorbido.

Por separado, debe tener en cuenta un par de matices:

• La fecha base puede tener un día fijo, pero no una semana. En este caso, debe tomar una semana desde la fecha de absorción, pero el día de la semana desde la base.
• Sin embargo, si la fecha absorbida no tiene un día fijo, pero una semana es fija, debemos quitarle el día (es decir, año + mes + fecha) y establecer la semana de esta manera, porque no hay una entidad separada "Semana" en el objeto DateTime .
• Si TimeUncertain fija en la fecha base, mientras que Time absorbe en la fecha absorbida y el número de horas en la fecha absorbida es más de 12, mientras que la base tiene menos, entonces se deben agregar 12 horas a la base. Porque no puedes decir de 5 a 17 de la tarde . La hora de la fecha "incierta" no puede ser de la mitad del día, si la hora de la fecha "segura" al lado es de la otra mitad del día. La gente no dice eso. Si dijimos la frase de 5 a.m. a 5 p.m. , ambas fechas tienen un horario "seguro" y no hay problema.

Después de combinar, si algunas fechas tienen bits vacíos, los reemplazamos con valores de la fecha actual del usuario: por ejemplo, si el usuario no nombró el año, estamos hablando del año actual, si no nombró el mes, entonces el mes actual y así sucesivamente. Por supuesto, cualquier objeto DateTime se puede pasar al parámetro "fecha actual" para mayor flexibilidad.

Muletas

No todos los momentos de la biblioteca fueron pensados ​​con gracia. Para que funcione correctamente, se agregaron las siguientes muletas:

• Las fechas se combinan por separado para los tokens que comienzan con "b \ s \ co" y por separado para los tokens que comienzan con "b \ to \ on". Porque, si el usuario nombró el período, entonces es imposible combinar tokens desde la fecha de inicio y la fecha de finalización.
• No comencé a introducir un nivel de fijación separado para el día de la semana, porque se necesita exactamente en un lugar: donde está claramente dado por una palabra con el nombre del día de la semana. Hizo una bandera para esto.
• Una ejecución separada combina fechas que están a cierta distancia entre sí. Esto está controlado por el parámetro collapseDistance , que por defecto es 4 tokens. Es decir, por ejemplo, la frase funcionará: pasado mañana, una reunión con un amigo a las 12 . Pero no funcionará: pasado mañana conoceré a mi querido y maravilloso amigo a las 12 .

Resumen

• Puedes usar la biblioteca en tus proyectos. Ella ya maneja muchas opciones, pero la refino y refactorizo. Las solicitudes de extracción con pruebas son bienvenidas. En general, inventa una prueba que suene realista (como la gente dice en la vida), pero que rompe la biblioteca.
• La demostración en vivo en .NET Fiddle también funciona, aunque el código supuestamente está subrayado con errores, pero comienza. En la parte inferior de la consola, puede ingresar frases en ruso, sin olvidar que los números deben ser números.
• La misma demostración que una aplicación de consola

Vive resultó así: