Atribuição automática de tarefas em Jira usando ML

Olá Habr! Meu nome é Sasha e sou desenvolvedor de back-end. No meu tempo livre, estudo ML e me divirto com os dados hh.ru.

Este artigo é sobre como automatizamos o processo de atribuição de tarefas de rotina para testadores que usam aprendizado de máquina.

O Hh.ru possui um serviço interno para o qual as tarefas são criadas no Jira (dentro da empresa, elas são chamadas de HHS) se alguém não trabalhar ou estiver trabalhando incorretamente. Além disso, essas tarefas são tratadas manualmente pelo líder da equipe de controle de qualidade Alexey e atribuídas à equipe cuja área de responsabilidade inclui a falha. Lesha sabe que tarefas chatas devem ser executadas por robôs. Portanto, ele se voltou para mim em busca de ajuda com relação à ML.



O gráfico abaixo mostra a quantidade de HHS por mês. Estamos crescendo e o número de tarefas está aumentando. As tarefas são criadas principalmente durante o horário de trabalho, algumas por dia, e isso deve ser constantemente distraído.


Portanto, de acordo com dados históricos, é necessário aprender a determinar a equipe de desenvolvimento à qual o HHS pertence. Esta é uma tarefa de classificação de várias classes.

Dados

Nas tarefas de aprendizado de máquina, o mais importante são os dados de qualidade. O resultado da solução para o problema depende deles. Portanto, qualquer tarefa de aprendizado de máquina precisa começar com o estudo dos dados. Desde o início de 2015, acumulamos cerca de 7000 tarefas que contêm as seguintes informações úteis:

• Resumo - Título, Descrição Breve
• Descrição - uma descrição completa do problema
• Etiquetas - uma lista de tags relacionadas ao problema
• Reporter é o nome do criador do HHS. Esse recurso é útil porque as pessoas trabalham com um conjunto limitado de funcionalidades.
• Criado - data de criação
• Responsável é a pessoa a quem a tarefa está atribuída. A variável de destino será gerada a partir deste atributo.

Vamos começar com a variável alvo. Em primeiro lugar, cada equipe tem áreas de responsabilidade. Às vezes eles se cruzam, às vezes uma equipe pode se cruzar em desenvolvimento com outra. A decisão será baseada no pressuposto de que o cessionário, que permaneceu com a tarefa no momento do encerramento, é responsável por sua solução. Mas precisamos prever não uma pessoa específica, mas uma equipe. Felizmente, todas as equipes em Jira são mantidas e podem ser mapeadas. Mas existem vários problemas com a definição de uma equipe por pessoa:

• nem todos os HHS estão relacionados a problemas técnicos, e estamos interessados ​​apenas nas tarefas que podem ser atribuídas à equipe de desenvolvimento. Portanto, você precisa executar tarefas em que o responsável não é do departamento técnico
• às vezes as equipes deixam de existir. Eles também são removidos do conjunto de treinamento.
• Infelizmente, as pessoas não trabalham para sempre na empresa e, às vezes, mudam de equipe para equipe. Felizmente, conseguimos obter um histórico de mudanças na composição de todas as equipes. Tendo a data de criação do HHS e do responsável, é possível descobrir qual equipe estava envolvida na tarefa em um horário específico.

Após filtrar dados irrelevantes, a amostra de treinamento foi reduzida para 4900 tarefas.

Vejamos a distribuição de tarefas entre equipes:


As tarefas precisam ser distribuídas entre 22 equipes.

Sinais:

Resumo e Descrição são campos de texto.

Primeiro, eles devem ser limpos de caracteres em excesso. Para algumas tarefas, faz sentido deixar nas linhas caracteres que carregam informações, por exemplo + e #, para distinguir entre c ++ e c #, mas nesse caso eu decidi deixar apenas letras e números, porque não encontrou onde outros caracteres podem ser úteis.

As palavras precisam ser lematizadas. Lematização é a redução de uma palavra a um lema, sua forma normal (vocabulário). Por exemplo, gatos → gato. Eu também tentei stemming, mas com a lematização a qualidade foi um pouco maior. Stamming é o processo de encontrar a base de uma palavra. Esta base é devida ao algoritmo (em diferentes implementações são diferentes), por exemplo, por gatos → gatos. O significado do primeiro e do segundo é justapor as mesmas palavras de formas diferentes. Eu usei o wrapper python para o Yandex Mystem .

Além disso, o texto deve ser limpo de palavras de parada que não carregam uma carga útil. Por exemplo, "era", "eu", "ainda". Interromper as palavras que normalmente retiro do NLTK

Outra abordagem que tento nas tarefas de trabalhar com texto é uma fragmentação de palavras baseada em caracteres. Por exemplo, há uma "pesquisa". Se você o dividir em componentes de 3 caracteres, obterá as palavras "poi", "ois", "ação judicial". Isso ajuda a obter conexões adicionais. Suponha que exista a palavra "pesquisar". A lematização não leva a "pesquisar" e "pesquisar" de uma forma geral, mas uma partição de 3 caracteres destacará a parte comum - "reivindicação".

Eu fiz dois tokens. O tokenizador é um método que recebe texto na entrada e a saída contém uma lista de tokens - os componentes do texto. O primeiro destaca palavras e números lematizados. O segundo apenas destaca palavras lematizadas, que são divididas em três caracteres, ou seja, na saída, ele tem uma lista de tokens de três caracteres.

Os tokenizadores são usados ​​no TfidfVectorizer , que é usado para converter dados de texto (e não apenas) em uma representação vetorial baseada em tf-idf . Uma lista de linhas é alimentada e, na saída, obtemos uma matriz M por N, onde M é o número de linhas e N é o número de sinais. Cada recurso é uma resposta de frequência de uma palavra em um documento, onde a frequência é multada se a palavra ocorrer muitas vezes em todos os documentos. Graças ao parâmetro ngram_range TfidfVectorizer, adicionei bigrams e trigrams como atributos.

Também tentei usar palavras incorporadas obtidas com o Word2vec como recursos adicionais. Incorporar é uma representação vetorial de uma palavra. Para cada texto, calculei a média das incorporação de todas as suas palavras. Mas isso não deu nenhum aumento, então eu recusei esses sinais.

Para etiquetas, foi utilizado um CountVectorizer . As linhas com tags são alimentadas na entrada e, na saída, temos uma matriz em que as linhas correspondem às tarefas e as colunas correspondem às tags. Cada célula contém o número de ocorrências da marca na tarefa. No meu caso, é 1 ou 0.

O LabelBinarizer surgiu para o Reporter. Ele binariza atributos um para todos. Só pode haver um criador para cada tarefa. Na entrada do LabelBinarizer, uma lista de criadores de tarefas é enviada e a saída é uma matriz, na qual as linhas são tarefas e as colunas correspondem aos nomes dos criadores de tarefas. Acontece que em cada linha há "1" na coluna correspondente ao criador, e no restante - "0".

Para Criado, a diferença de dias entre a data em que a tarefa foi criada e a data atual é considerada.

Como resultado, foram obtidos os seguintes sinais:

• tf-idf para Resumo em palavras e números (4855, 4593)
• tf-idf para Resumo em três partições de caracteres (4855, 15518)
• tf-idf para Descrição em palavras e números (4855, 33297)
• tf-idf para Descrição em partições de três caracteres (4855, 75359)
• número de entradas para etiquetas (4855, 505)
• sinais binários para Reporter (4855, 205)
• tempo de vida da tarefa (4855, 1)

Todos esses sinais são combinados em uma grande matriz (4855, 129478), na qual o treinamento será realizado.

Separadamente, vale a pena notar os nomes dos sinais. Porque alguns modelos de aprendizado de máquina podem identificar recursos que têm maior impacto no reconhecimento de classe, você precisa usá-lo. TfidfVectorizer, CountVectorizer, LabelBinarizer têm métodos get_feature_names que exibem uma lista de recursos cuja ordem corresponde a colunas de matrizes de dados.

Seleção do Modelo de Previsão

Muitas vezes, o XGBoost fornece bons resultados. E ele começou com isso. Mas eu gerei um grande número de recursos, cujo número excede significativamente o tamanho da amostra de treinamento. Nesse caso, a probabilidade de reciclagem do XGBoost é alta. O resultado não é muito bom. A dimensão alta é bem digerida LogisticRegression . Ela mostrou maior qualidade.

Também tentei, como exercício, construir um modelo em uma rede neural no Tensorflow usando este excelente tutorial, mas acabou pior do que com uma regressão logística.

Seleção de hiperparâmetros

Também joguei com os hiperparâmetros XGBoost e Tensorflow, mas deixo-o fora da publicação, porque o resultado da regressão logística não foi superado. Por fim, torci todas as canetas que poderiam ser. Todos os parâmetros, como resultado, permaneceram padrão, exceto dois: solver = 'liblinear' e C = 3.0

Outro parâmetro que pode afetar o resultado é o tamanho da amostra de treinamento. Porque Estou lidando com dados históricos e, ao longo de vários anos, a história pode mudar seriamente; por exemplo, a responsabilidade por algo pode ser transferida para outra equipe; dados mais recentes podem ser mais úteis e dados antigos podem até diminuir a qualidade. Nesse sentido, criei heurísticas - quanto mais antigos os dados, menor a contribuição que eles devem dar para modelar o treinamento. Dependendo da idade, os dados são multiplicados por um determinado coeficiente, que é retirado da função. Gerei várias funções para atenuar os dados e usei a que deu o maior aumento nos testes.



Por esse motivo, a qualidade da classificação aumentou 3%

Avaliação da qualidade

Em problemas de classificação, precisamos pensar sobre o que é mais importante para nós - precisão ou integridade ? No meu caso, se o algoritmo estiver errado, não há nada errado, temos um conhecimento muito bom entre as equipes e a tarefa será transferida para os responsáveis ​​ou para o principal no controle de qualidade. Além disso, o algoritmo não comete erros aleatoriamente, mas encontra um comando próximo ao problema. Portanto, foi decidido levar 100% para a integridade. E para medir a qualidade, foi escolhida a métrica de precisão - a proporção de respostas corretas, que para o modelo final foi de 76%.

Como mecanismo de validação, usei a validação cruzada pela primeira vez - quando a amostra é dividida em N partes e a qualidade é verificada em uma parte, e o treinamento é realizado no restante, e assim N vezes, até que cada parte esteja na função de teste. O resultado é então calculado a média. Mas no meu caso, essa abordagem não se encaixava, porque a ordem dos dados está mudando e, como já se tornou conhecido, a qualidade depende da atualização dos dados. Portanto, estudei o tempo todo nos antigos e fui validado nos novos.

Vamos ver quais comandos o algoritmo mais frequentemente confunde:



Em primeiro lugar, estão Marketing e Pandora. Isso não é surpreendente, pois a segunda equipe cresceu fora da primeira e assumiu a responsabilidade por muitas funcionalidades. Se você considerar o restante da equipe, também poderá ver os motivos associados à cozinha interna da empresa.

Para comparação, quero olhar para modelos aleatórios. Se você designar uma pessoa responsável aleatoriamente, a qualidade será de cerca de 5% e, para a classe mais comum, - 29%

Os sinais mais significativos

LogisticRegression para cada classe retorna coeficientes de atributo. Quanto maior o valor, maior a contribuição desse atributo para essa classe.

Sob o spoiler, a saída do topo dos sinais. Os prefixos indicam de onde vieram os sinais:

• sum - tf-idf para Resumo em palavras e números
• sum2 - tf-idf para Resumo em divisões de três caracteres
• desc - tf-idf para Descrição em palavras e números
• desc2 - tf-idf para Descrição em partições de três caracteres
• laboratório - campo Etiquetas
• rep - repórter de campo

Os sinais refletem aproximadamente o que as equipes estão fazendo.

Uso do modelo

Com isso, a construção do modelo é concluída e é possível construir um programa em sua base.


O programa consiste em dois scripts Python. O primeiro cria um modelo e o segundo faz previsões.

1. O Jira fornece uma API através da qual você pode fazer o download de tarefas já concluídas (HHS). Uma vez por dia, o script é iniciado e os baixa.
2. Os dados baixados são convertidos em tags. Primeiro, os dados são batidos para treinamento e teste e submetidos ao modelo de ML para validação, para garantir que a qualidade não comece a declinar do início ao início. E, na segunda vez em que o modelo é treinado em todos os dados. Todo o processo leva cerca de 10 minutos.
3. O modelo treinado é salvo no disco rígido. Eu usei o utilitário dill para serializar objetos. Além do próprio modelo, também é necessário salvar todos os objetos que foram utilizados para obter as características. Isso é para obter sinais no mesmo espaço para o novo HHS.
4. Usando o mesmo endro, o modelo é carregado no script para previsão, que é executado uma vez a cada 5 minutos.
5. Vá para Jira para o novo HHS.
6. Obtemos os sinais e os passamos para o modelo, que retornará para cada HHS o nome da classe - o nome da equipe.
7. Nós encontramos a pessoa responsável pela equipe e atribuímos a ele uma tarefa por meio da API do Jira. Pode ser um testador, se a equipe não tiver um testador, será um líder de equipe.

Para tornar o programa conveniente para implantar e ter as mesmas versões de biblioteca que durante o desenvolvimento, os scripts são empacotados em um contêiner do Docker.

Como resultado, automatizamos o processo de rotina. A precisão de 76% não é muito grande, mas neste caso as falhas não são críticas. Todas as tarefas encontram seus desempenhos e, o mais importante, para isso, você não precisa mais se distrair várias vezes ao dia para entender a essência das tarefas e procurar os responsáveis. Tudo funciona automaticamente! Viva!