Conjunto de dados de ano novo 2018: semântica aberta do idioma russo

A semântica aberta do idioma russo, sobre a história da qual você pode ler aqui e aqui , recebeu uma grande atualização. Coletamos dados suficientes para aplicar o aprendizado de máquina sobre a marcação coletada e criar um modelo de linguagem semântica. O que saiu disso, veja abaixo do corte.

O que fazemos

Tome dois grupos de palavras:

• corrida, tiro, plotagem, caminhada, caminhada;
• corredor, fotógrafo, engenheiro, turista, atleta.

Não é difícil para uma pessoa determinar que o primeiro grupo contém substantivos que nomeiam ações ou eventos ; na segunda pessoa que chama. Nosso objetivo é ensinar uma máquina a resolver esses problemas.

Para fazer isso, você deve:

1. Descubra quais classes naturais existem no idioma.
2. Marque um número suficiente de palavras sobre o assunto de pertencer às classes do parágrafo 1 .
3. Crie um algoritmo que aprenda sobre a marcação do item 2 e reproduza a classificação em palavras desconhecidas.

O que foi feito e onde fazer o download

O resultado do trabalho publicado no repositório no GC e disponível para download é uma descrição da hierarquia de classes e marcação (manual e automática) de substantivos para essas classes.

Para se familiarizar com o conjunto de dados, você pode usar o navegador interativo (link no repositório). Há também uma versão simplificada do conjunto em que removemos toda a hierarquia e atribuímos uma única tag semântica grande a cada palavra: "pessoas", "animais", "lugares", "coisas", "ações" etc.

Link para o Github: semântica aberta do idioma russo (conjunto de dados) .

Sobre classes de palavras

Em problemas de classificação, as próprias classes geralmente são ditadas pelo problema que está sendo resolvido, e o trabalho do engenheiro de dados se resume a encontrar um conjunto bem-sucedido de atributos sobre os quais você pode construir um modelo de trabalho.

No nosso problema, as classes de palavras, estritamente falando, não são conhecidas antecipadamente. Aqui, uma grande quantidade de pesquisas semânticas feitas por linguistas nacionais e estrangeiros, familiaridade com os dicionários semânticos existentes e o WordNet, vem em socorro.

Essa é uma boa ajuda, mas ainda assim a decisão final já está formada em nossa própria pesquisa. Aqui está a coisa. Muitos recursos semânticos começaram a ser criados na era pré-computador (pelo menos na compreensão moderna do computador) e a escolha de classes foi amplamente ditada pela intuição da linguagem de seus criadores. No final do século anterior, o WordNet era usado ativamente nas tarefas de análise automática de texto e muitos recursos recém-criados foram aprimorados para aplicações práticas específicas.

O resultado foi que esses recursos linguísticos contêm simultaneamente informações lingüísticas e extralinguísticas e enciclopédicas sobre as unidades da língua. É lógico supor que é impossível construir um modelo que verifique informações extralinguísticas, baseando-se apenas na análise estatística de textos, porque a fonte de dados simplesmente não contém as informações necessárias.

Com base nessa premissa, procuramos apenas classes naturais que possam ser detectadas e verificadas automaticamente com base em um modelo puramente linguístico. Ao mesmo tempo, a arquitetura do sistema permite a adição de um número arbitrariamente grande de camadas adicionais de informações sobre unidades linguísticas, o que pode ser útil em aplicações práticas.

Demonstraremos o acima com um exemplo específico, analisando a palavra "geladeira". A partir do modelo linguístico, podemos descobrir que um "refrigerador" é um objeto material, um design, um contêiner do tipo "caixa ou bolsa", ou seja, não se destina ao armazenamento de líquidos ou sólidos sem um recipiente adicional. Além disso, não está claro nesse modelo que o "refrigerador" é uma mercadoria, além disso, um produto durável, e também não está claro que esse seja um artefato, ou seja, objeto feito humano. Esta é uma informação não linguística, que deve ser fornecida separadamente.

Por que tudo isso é necessário

Seja como for, no processo de aprendizado e cognição da realidade, uma pessoa fornece informações adicionais sobre os objetos e fenômenos que a cercam na estrutura natural que aprendeu na infância. No entanto, alguns conceitos são universais, independentes da área de assunto e podem ser reutilizados com sucesso.

Digamos que "vendedor" seja uma pessoa + um papel funcional . Em alguns casos, o vendedor pode ser um grupo de pessoas ou uma organização, mas a subjetividade é sempre preservada: caso contrário, a ação-alvo não será possível. As palavras "troca" ou "treinamento" se referem a ações, ou seja, eles têm participantes, duração e resultado. O conteúdo exato dessas ações pode variar significativamente, dependendo da situação e da área de assunto, mas certos aspectos serão invariáveis. Essa é a estrutura da linguagem na qual o conhecimento extralinguístico variável é colocado em camadas.

Nosso objetivo é encontrar e explorar o máximo de informações intralinguísticas disponíveis e construir com base em um modelo explicativo da linguagem. Isso melhorará os algoritmos existentes para o processamento automático de palavras, incluindo complexos, como resolver ambiguidade lexical, resolver anáfora, casos complicados de marcação morfológica. Nesse processo, estaremos necessariamente em algum lugar contra a necessidade de atrair conhecimento extra-lingüístico, mas pelo menos saberemos para onde a fronteira vai quando o conhecimento interno da língua não for mais suficiente.

Classificação e treinamento, conjunto de atributos

Por enquanto, trabalhamos apenas com substantivos; portanto, abaixo, quando dizemos “palavra”, significaremos sinais que se relacionam apenas a essa parte do discurso. Como decidimos usar apenas informações intralinguísticas, trabalharemos com textos equipados com marcação morfológica.

Como sinais, tomamos todos os microcontextos possíveis nos quais essa palavra ocorre. Para substantivos, estes serão:

• APP + X (X bonito: olhos)
• GLAG + X (vdite X: segmento)
• VL + PRED + X (digite X: porta)
• X + SUSCH_ROD (X: borda da tabela)
• SUSHCH + X_ROD (identificador X: sabres)
• X_ ASSUNTO + GL (X: o gráfico está em desenvolvimento)

Existem mais tipos de microcontextos, mas os itens acima são os mais frequentes e já dão um bom resultado ao aprender.

Todos os microcontextos são reduzidos à forma básica e compomos um conjunto de recursos a partir deles. Em seguida, para cada palavra, compomos um vetor cuja i-ésima coordenada se correlacionará com a ocorrência de uma determinada palavra no i-ésimo microcontext.

Valor alvo, hierarquia de fatiamento semântico

A linguagem possui mecanismos naturais para a reutilização de palavras, o que causa o surgimento de um fenômeno como a polissemia. Além disso, às vezes não apenas palavras individuais são reutilizadas, mas é feita uma transferência metafórica de conceitos inteiros. Isso é especialmente perceptível na transição dos conceitos materiais para os abstratos.

Esse fato determina a necessidade de classificação hierárquica, na qual as seções semânticas são organizadas em uma estrutura em árvore e a partição ocorre em cada nó interno. Isso permite que você lide com a ambiguidade em microcontextos com muito mais eficiência.

Seleção de algoritmo

Como algoritmo, usamos regressão logística. Isso ocorre devido a vários fatores:

1. De uma forma ou de outra, a marcação inicial contém uma certa quantidade de erros e ruídos.
2. Os sinais podem ser desequilibrados e também conter erros - polissemia e uso metafórico (figurativo) da palavra.
3. A análise preliminar sugere que uma interface adequadamente selecionada seja corrigida com um algoritmo bastante simples.
4. A boa interpretabilidade do algoritmo é importante.

O algoritmo mostrou uma precisão bastante boa:

Análise de erro

Erros decorrentes da classificação automática são causados ​​por três fatores principais:

1. Homonímia e polissemia: palavras que têm o mesmo tipo podem ter significados diferentes (atormentar a e mu ka, parar como um processo e parar como um local ). Isso também pode incluir o uso metafórico de palavras e metonímia (por exemplo, uma porta será classificada como um espaço fechado - esse é um recurso esperado do idioma).
2. Desequilíbrio no contexto do uso da palavra. Alguns usos orgânicos podem não estar disponíveis na embalagem original, causando erros de classificação.
3. Limite de classe inválido. Você pode traçar limites que não são computáveis ​​a partir de contextos e exigem o envolvimento de conhecimento extra-linguístico. Aqui o algoritmo será impotente.

Nesta fase, prestamos atenção apenas aos erros do terceiro tipo e ajustamos o limite selecionado entre as classes. Os erros dos dois primeiros tipos em uma determinada configuração do sistema não podem ser eliminados, mas com uma quantidade suficiente de dados rotulados, eles não representam um grande problema - isso pode ser visto pela precisão da marcação das projeções superiores.

O que vem a seguir

No momento, o conjunto de dados cobre a maioria dos substantivos existentes no idioma russo e representados no corpus em uma variedade suficiente de contextos. O foco principal foi colocado nos objetos materiais - como os mais compreensíveis e elaborados em trabalhos científicos. As tarefas permanecem para refinar a marcação existente, levando em consideração os dados recebidos do algoritmo e trabalhar com classes nas camadas inferiores, onde é observada uma diminuição na precisão da previsão, devido ao desfoque dos limites entre as categorias.

Mas este é um tipo de trabalho de rotina, que está sempre lá. Uma nova camada qualitativa de pesquisa diz respeito à possibilidade de classificar uma palavra específica em um contexto ou sentença específica, o que permitirá levar em consideração os fenômenos da homonímia e da polissemia, incluindo a metáfora (significados figurativos).

Além disso, atualmente estamos trabalhando em vários projetos relacionados:

• dicionário de reconhecibilidade das palavras RY: uma variação do dicionário de frequência, em que a compreensibilidade e a familiaridade da palavra são avaliadas como resultado da marcação de crowdsourcing e não calculadas de acordo com o corpo dos textos.
• corpo aberto para resolver ambiguidade lexical: com base no concurso Tarefa compartilhada RUSSE 2018 WSI & D, realizada como parte da conferência Dialogue 2018 , ficou clara a utilidade do corpus com a ambiguidade lexical removida para testar algoritmos automáticos para desambiguação e agrupamento de significados de palavras. Também precisaremos desse corpo para ir ao estágio de trabalho sobre semântica aberta descrito no parágrafo anterior.

Dicionário tonal da língua russa

O dicionário tonal são as palavras e expressões do JO, marcadas pela tonalidade e força da gravidade da carga emocional-avaliadora. Simplificando, quanto uma palavra em particular é "ruim" ou "boa".

No momento, estão marcados 67.392 caracteres (dos quais 55.532 palavras e 11.860 expressões).

Feedback e distribuição

Agradecemos qualquer feedback nos comentários - desde críticas ao trabalho e nossas abordagens a links para estudos interessantes e artigos relacionados.

Se você tiver conhecidos ou colegas que possam estar interessados ​​no conjunto de dados publicado, envie um link para o artigo ou repositório para ajudar a disseminar dados abertos.

Link e licença para download

Conjunto de dados: semântica aberta do idioma russo

O conjunto de dados é licenciado sob CC BY-NC-SA 4.0 .