Conjunto de datos de Año Nuevo 2018: semántica abierta del idioma ruso

La semántica abierta del idioma ruso, sobre cuya historia puedes leer aquí y aquí , recibió una gran actualización. Hemos recopilado suficientes datos para aplicar el aprendizaje automático sobre el marcado recopilado y construir un modelo de lenguaje semántico. Lo que salió de él, ver debajo del corte.

Que hacemos

Toma dos grupos de palabras:

• correr, disparar, trazar, caminar, caminar;
• corredor, fotógrafo, ingeniero, turista, deportista.

No es difícil para una persona determinar que el primer grupo contiene sustantivos que nombran acciones o eventos ; en el segundo - llamando a la gente . Nuestro objetivo es enseñarle a una máquina a resolver tales problemas.

Para hacer esto, debes:

1. Descubre qué clases naturales existen en el idioma.
2. Marque un número suficiente de palabras sobre el tema de pertenecer a las clases en el párrafo 1 .
3. Cree un algoritmo que aprenda sobre el marcado del elemento 2 y reproduzca la clasificación en palabras desconocidas.

Qué se ha hecho y dónde descargar

El resultado del trabajo, publicado en el repositorio de GC y disponible para descargar, es una descripción de la jerarquía de clases y el marcado (manual y automático) de los sustantivos para estas clases.

Para familiarizarse con el conjunto de datos, puede usar el navegador interactivo (enlace en el repositorio). También hay una versión simplificada del conjunto en el que eliminamos toda la jerarquía y asignamos una sola etiqueta semántica grande a cada palabra: "personas", "animales", "lugares", "cosas", "acciones", etc.

Enlace a Github: semántica abierta del idioma ruso (conjunto de datos) .

Sobre clases de palabras

En los problemas de clasificación, las clases mismas a menudo están dictadas por el problema que se resuelve, y el trabajo del ingeniero de datos se reduce a encontrar un conjunto exitoso de atributos sobre el cual se puede construir un modelo de trabajo.

En nuestro problema, las clases de palabras, estrictamente hablando, no se conocen de antemano. Aquí un gran estrato de investigación semántica realizado por lingüistas nacionales y extranjeros, la familiaridad con los diccionarios semánticos existentes y WordNet'es viene al rescate.

Esta es una buena ayuda, pero la decisión final ya se formó dentro de nuestra propia investigación. Aquí está la cosa. Muchos recursos semánticos comenzaron a crearse en la era previa a la computadora (al menos en la comprensión moderna de la computadora) y la elección de las clases fue dictada en gran medida por la intuición del lenguaje de sus creadores. A fines del siglo anterior, WordNet se utilizó activamente en las tareas de análisis automático de texto, y muchos recursos recién creados se agudizaron para aplicaciones prácticas específicas.

El resultado fue que estos recursos lingüísticos contienen simultáneamente información enciclopédica, tanto lingüística como extralingüística, sobre las unidades de la lengua. Es lógico suponer que es imposible construir un modelo que verifique la información extralingüística, basándose únicamente en el análisis estadístico de textos, porque la fuente de datos simplemente no contiene la información necesaria.

En base a esta suposición, buscamos solo clases naturales que puedan detectarse y verificarse automáticamente en base a un modelo puramente lingüístico. Al mismo tiempo, la arquitectura del sistema permite agregar una cantidad arbitrariamente grande de capas adicionales de información sobre unidades lingüísticas, que pueden ser útiles en aplicaciones prácticas.

Vamos a demostrar lo anterior con un ejemplo específico, analizando la palabra "refrigerador". A partir del modelo lingüístico, podemos descubrir que un "refrigerador" es un objeto material, un diseño, es un contenedor del tipo "caja o bolsa", es decir no destinado al almacenamiento de líquidos o sólidos sin un recipiente adicional. Además, de este modelo no está claro que el "refrigerador" sea un producto básico, además, un producto duradero, y tampoco está claro que se trate de un artefacto, es decir, Objeto hecho por el hombre. Esta es información no lingüística, que debe suministrarse por separado.

¿Por qué se necesita todo esto?

Sea como fuere, una persona en el proceso de aprendizaje y cognición de la realidad colgó información adicional sobre los objetos y fenómenos que lo rodean en un marco natural, adquirido por él en la infancia. Sin embargo, algunos conceptos son universales, independientes del área temática y pueden reutilizarse con éxito.

Decir "vendedor" es una persona + un rol funcional . En algunos casos, el vendedor puede ser un grupo de personas o una organización, pero la subjetividad siempre se conserva: de lo contrario, la acción objetivo no será posible. Las palabras "intercambio" o "capacitación" se refieren a acciones, es decir, tienen participantes, duración y resultado. El contenido exacto de estas acciones puede variar significativamente según la situación y el área temática, pero ciertos aspectos serán invariables. Este es el marco de lenguaje en el que se superpone el conocimiento extralingüístico variable.

Nuestro objetivo es encontrar y explorar la máxima información intralingüística disponible y construir sobre una base un modelo explicativo del lenguaje. Esto mejorará los algoritmos existentes para el procesamiento automático de texto, incluidos tan complejas como la resolución de la ambigüedad léxica, la resolución de la anáfora, los casos complicados de marcado morfológico. En el proceso, necesariamente descansaremos en algún lugar en contra de la necesidad de atraer conocimiento extralingüístico, pero al menos sabremos hacia dónde va la frontera cuando el conocimiento interno del idioma ya no sea suficiente.

Clasificación y entrenamiento, conjunto de atributos.

Por el momento, solo trabajamos con sustantivos, por lo tanto, a continuación, cuando decimos "palabra", nos referiremos a signos que se relacionan solo con esta parte del discurso. Como decidimos usar solo información intralingüística, trabajaremos con textos equipados con marcado morfológico.

Como signos, tomamos todos los microcontextos posibles en los que aparece esta palabra. Para los sustantivos, estos serán:

• APP + X (hermosa X: ojos)
• GLAG + X (vdite X: hilo)
• VL + PRED + X (ingrese X: puerta)
• X + SUSCH_ROD (X: borde de la tabla)
• SUSHCH + X_ROD (manejar X: sables)
• X_ SUBJECT + GL (X: la trama se está desarrollando)

Hay más tipos de microcontextos, pero los anteriores son los más frecuentes y ya dan un buen resultado al aprender.

Todos los microcontextos se reducen a la forma básica y componimos un conjunto de características a partir de ellos. A continuación, para cada palabra, componimos un vector cuya coordenada i-ésima se correlacionará con la aparición de una palabra dada en el microcontexto i-ésimo .

Valor objetivo, jerarquía de corte semántico

El lenguaje tiene mecanismos naturales para la reutilización de palabras, lo que provoca la aparición de un fenómeno como la polisemia. Además, a veces no solo se reutilizan palabras individuales, sino que se realiza una transferencia metafórica de conceptos completos. Esto es especialmente notable en la transición de conceptos materiales a conceptos abstractos.

Este hecho dicta la necesidad de una clasificación jerárquica, en la que las secciones semánticas se organizan en una estructura de árbol y la partición se produce en cada nodo interno. Esto le permite lidiar con la ambigüedad en los microcontextos de manera mucho más efectiva.

Selección de algoritmo

Como algoritmo, utilizamos la regresión logística. Esto se debe a varios factores:

1. De una forma u otra, el marcado inicial contiene una cierta cantidad de errores y ruido.
2. Los signos pueden estar desequilibrados y también contienen errores: polisemia y uso metafórico (figurado) de la palabra.
3. El análisis preliminar sugiere que una interfaz adecuadamente seleccionada debe repararse con un algoritmo bastante simple.
4. La buena interpretabilidad del algoritmo es importante.

El algoritmo mostró bastante buena precisión:

Análisis de errores

Los errores que surgen de la clasificación automática son causados ​​por tres factores principales:

1. Homonimia y polisemia: las palabras que tienen el mismo tipo pueden tener diferentes significados (atormentar a y m u ka, detenerse como un proceso y detenerse como una ubicación ). Esto también incluye el uso metafórico de palabras y metonimia (por ejemplo, una puerta se clasificará como un espacio cerrado; esta es una característica esperada del lenguaje).
2. Desequilibrio en el contexto del uso de la palabra. Algunos usos orgánicos pueden no estar disponibles en el paquete original, lo que lleva a errores de clasificación.
3. Límite de clase no válido. Puede trazar límites que no sean computables a partir de contextos y que requieran la participación de conocimiento extralingüístico. Aquí el algoritmo será impotente.

En esta etapa, solo prestamos atención a los errores del tercer tipo y ajustamos el límite seleccionado entre las clases. Los errores de los dos primeros tipos en una configuración dada del sistema no pueden eliminarse, pero con una cantidad suficiente de datos etiquetados, no representan un gran problema; esto puede verse en la precisión del marcado de las proyecciones superiores.

Que sigue

Por el momento, el conjunto de datos cubre la mayoría de los sustantivos existentes en el idioma ruso y representados en el corpus en una variedad suficiente de contextos. El foco principal estaba en los objetos materiales, como los más comprensibles y elaborados en trabajos científicos. Las tareas permanecen para refinar el marcado existente, teniendo en cuenta los datos recibidos del algoritmo, y trabajar con clases en los niveles inferiores, donde se observa una disminución en la precisión de la predicción, debido al desenfoque de los límites entre las categorías.

Pero este es un tipo de trabajo de rutina, que siempre está ahí. Una capa de investigación cualitativamente nueva se referirá a la posibilidad de clasificar una palabra en particular en un contexto u oración específica, lo que permitirá tener en cuenta los fenómenos de homonimia y polisemia, incluida la metáfora (significados figurativos).

Además, actualmente estamos trabajando en varios proyectos relacionados:

• diccionario de reconocibilidad de las palabras RY: una variación del diccionario de frecuencia, donde la comprensión y familiaridad de la palabra se evalúa como resultado del marcado de crowdsourcing, y no se calcula de acuerdo con el cuerpo de los textos.
• corpus abierto para resolver la ambigüedad léxica: en base a la competencia RUSSE 2018 WSI & D Shared Task celebrada como parte de la conferencia Dialogue 2018 , la utilidad del corpus con la ambigüedad léxica eliminada para probar algoritmos automáticos para desambiguación y agrupación de significados de palabras se hizo evidente. También necesitaremos este cuerpo para pasar a la etapa de trabajo sobre semántica abierta descrita en el párrafo anterior.

Diccionario tonal de la lengua rusa

El diccionario tonal son las palabras y expresiones del DO, marcadas por la tonalidad y la fuerza de la gravedad de la carga de evaluación emocional. En pocas palabras, cuánto una palabra en particular es "mala" o "buena".

Por el momento, 67.392 caracteres están marcados (de los cuales 55.532 palabras y 11.860 expresiones).

Comentarios y distribución

Agradecemos cualquier comentario en los comentarios, desde críticas al trabajo y nuestros enfoques hasta enlaces a estudios interesantes y artículos relacionados.

Si tiene conocidos o colegas que pueden estar interesados ​​en un conjunto de datos publicado, envíeles un enlace a un artículo o repositorio para ayudar a difundir los datos abiertos.

Enlace de descarga y licencia

Conjunto de datos: semántica abierta del idioma ruso

El conjunto de datos está licenciado bajo CC BY-NC-SA 4.0 .