Automatische Aufgabenzuweisung in Jira mit ML

Hallo Habr! Mein Name ist Sasha und ich bin ein Backend-Entwickler. In meiner Freizeit lerne ich ML und habe Spaß mit hh.ru Daten.

In diesem Artikel geht es darum, wie wir den Routinezuweisungsprozess für Tester mithilfe von maschinellem Lernen automatisiert haben.

Hh.ru verfügt über einen internen Service, für den in Jira Aufgaben erstellt werden (innerhalb des Unternehmens werden sie als HHS bezeichnet), wenn jemand nicht oder falsch arbeitet. Darüber hinaus werden diese Aufgaben vom QA-Teamleiter Alexey manuell erledigt und dem Team zugewiesen, dessen Verantwortungsbereich den Fehler umfasst. Lesha weiß, dass langweilige Aufgaben von Robotern ausgeführt werden müssen. Deshalb bat er mich um Hilfe bezüglich ML.



Die folgende Grafik zeigt die Menge an HHS pro Monat. Wir wachsen und die Anzahl der Aufgaben wächst. Aufgaben werden hauptsächlich während der Arbeitszeit erstellt, einige pro Tag, und dies muss ständig abgelenkt werden.


Historischen Daten zufolge muss daher gelernt werden, wie das Entwicklungsteam bestimmt wird, zu dem HHS gehört. Dies ist eine Klassifizierungsaufgabe für mehrere Klassen.

Daten

Bei maschinellen Lernaufgaben sind Qualitätsdaten das Wichtigste. Das Ergebnis der Lösung des Problems hängt von ihnen ab. Daher müssen alle maschinellen Lernaufgaben mit dem Studium der Daten beginnen. Seit Anfang 2015 haben wir ungefähr 7000 Aufgaben gesammelt, die die folgenden nützlichen Informationen enthalten:

• Zusammenfassung - Titel, Kurzbeschreibung
• Beschreibung - eine vollständige Beschreibung des Problems
• Beschriftungen - Eine Liste der Tags, die sich auf das Problem beziehen
• Reporter ist der Name des Erstellers von HHS. Diese Funktion ist nützlich, da Benutzer mit einer begrenzten Anzahl von Funktionen arbeiten.
• Erstellt - Erstellungsdatum
• Beauftragter ist die Person, der die Aufgabe zugewiesen ist. Die Zielvariable wird aus diesem Attribut generiert.

Beginnen wir mit der Zielvariablen. Erstens hat jedes Team Verantwortungsbereiche. Manchmal überschneiden sie sich, manchmal überschneidet sich ein Team in der Entwicklung mit einem anderen. Die Entscheidung basiert auf der Annahme, dass der Abtretungsempfänger, der zum Zeitpunkt des Abschlusses bei der Aufgabe blieb, für die Lösung verantwortlich ist. Aber wir müssen nicht eine bestimmte Person, sondern ein Team vorhersagen. Glücklicherweise bleiben alle Teams in Jira erhalten und können zugeordnet werden. Es gibt jedoch eine Reihe von Problemen bei der Definition eines Teams nach Personen:

• Nicht alle HHS beziehen sich auf technische Probleme, und wir sind nur an den Aufgaben interessiert, die dem Entwicklungsteam zugewiesen werden können. Daher müssen Sie Aufgaben verwerfen, bei denen der Beauftragte nicht aus der technischen Abteilung stammt
• Manchmal hören Teams auf zu existieren. Sie werden auch aus dem Trainingsset entfernt.
• Leider arbeiten die Mitarbeiter nicht für immer im Unternehmen und wechseln manchmal von Team zu Team. Glücklicherweise haben wir es geschafft, eine Geschichte von Änderungen in der Zusammensetzung aller Teams zu erhalten. Mit dem Erstellungsdatum von HHS und Beauftragten können Sie herausfinden, welches Team zu einem bestimmten Zeitpunkt mit der Aufgabe beschäftigt war.

Nach dem Herausfiltern irrelevanter Daten wurde die Trainingsstichprobe auf 4900 Aufgaben reduziert.

Schauen wir uns die Aufgabenverteilung zwischen den Teams an:


Aufgaben müssen auf 22 Teams verteilt werden.

Zeichen:

Zusammenfassung und Beschreibung sind Textfelder.

Erstens sollten sie von überschüssigen Zeichen befreit werden. Für einige Aufgaben ist es sinnvoll, in den Zeilen Zeichen zu belassen, die Informationen enthalten, z. B. + und #, um zwischen c ++ und c # zu unterscheiden. In diesem Fall habe ich mich jedoch entschieden, nur Buchstaben und Zahlen zu belassen, da habe nicht gefunden, wo andere Zeichen nützlich sein könnten.

Wörter müssen lemmatisiert werden. Lemmatisierung ist die Reduktion eines Wortes auf ein Lemma, seine normale (Vokabular-) Form. Zum Beispiel Katzen → Katze. Ich habe auch versucht, Stemming, aber mit Lemmatisierung war die Qualität etwas höher. Stamming ist der Prozess, die Basis eines Wortes zu finden. Diese Basis ist auf den Algorithmus zurückzuführen (in verschiedenen Implementierungen sind sie unterschiedlich), beispielsweise von Katzen → Katzen. Die Bedeutung des ersten und zweiten besteht darin, dieselben Wörter in verschiedenen Formen nebeneinander zu stellen. Ich habe den Python-Wrapper für Yandex Mystem verwendet .

Außerdem sollte der Text von Stoppwörtern befreit werden, die keine Nutzlast enthalten. Zum Beispiel "war", "ich", "noch". Stoppwörter, die ich normalerweise von NLTK nehme.

Ein anderer Ansatz, den ich bei der Arbeit mit Text versuche, ist eine zeichenbasierte Fragmentierung von Wörtern. Zum Beispiel gibt es eine "Suche". Wenn Sie es in Komponenten von 3 Zeichen aufteilen, erhalten Sie die Wörter "poi", "ois", "Klage". Dies hilft, zusätzliche Verbindungen zu erhalten. Angenommen, es gibt das Wort "Suche". Lemmatisierung führt nicht zu "Suchen" und "Suchen" in einer allgemeinen Form, aber eine Partition von 3 Zeichen hebt den gemeinsamen Teil hervor - "Anspruch".

Ich habe zwei Token gemacht. Tokenizer ist eine Methode, die Text an der Eingabe empfängt, und die Ausgabe enthält eine Liste von Token - den Komponenten des Textes. Das erste hebt lemmatisierte Wörter und Zahlen hervor. Das zweite hebt nur lemmatisierte Wörter hervor, die in 3 Zeichen unterteilt sind, d.h. Am Ausgang hat er eine Liste mit dreistelligen Token.

Tokenizer werden in TfidfVectorizer verwendet, mit dem Textdaten (und nicht nur Daten) in eine Vektordarstellung basierend auf tf-idf konvertiert werden . Am Eingang wird eine Liste von Zeilen eingespeist, und am Ausgang erhalten wir eine Matrix M mal N, wobei M die Anzahl der Zeilen und N die Anzahl der Vorzeichen ist. Jedes Merkmal ist ein Frequenzgang eines Wortes in einem Dokument, bei dem die Frequenz begrenzt wird, wenn das Wort in allen Dokumenten mehrmals vorkommt. Dank des Parameters ngram_range TfidfVectorizer habe ich Bigramme und Trigramme als Attribute hinzugefügt.

Ich habe auch versucht, mit Word2vec erhaltene Worteinbettungen als zusätzliche Funktionen zu verwenden. Das Einbetten ist eine Vektordarstellung eines Wortes. Für jeden Text habe ich die Einbettungen aller seiner Wörter gemittelt. Da dies jedoch keine Erhöhung ergab, lehnte ich diese Zeichen ab.

Für Beschriftungen wurde ein CountVectorizer verwendet. Die Zeilen mit Tags werden der Eingabe zugeführt, und am Ausgang haben wir eine Matrix, in der die Zeilen den Aufgaben und die Spalten den Tags entsprechen. Jede Zelle enthält die Anzahl der Vorkommen des Tags in der Aufgabe. In meinem Fall ist es 1 oder 0.

LabelBinarizer kam für Reporter. Es binärisiert alle Attribute. Es kann nur einen Ersteller für jede Aufgabe geben. Am Eingang zum LabelBinarizer wird eine Liste der Aufgabenersteller übermittelt, und die Ausgabe ist eine Matrix, in der die Zeilen Aufgaben sind und die Spalten den Namen der Aufgabenersteller entsprechen. Es stellt sich heraus, dass in jeder Zeile "1" in der Spalte steht, die dem Ersteller entspricht, und im Rest "0".

Bei Erstellt wird die Differenz in Tagen zwischen dem Erstellungsdatum der Aufgabe und dem aktuellen Datum berücksichtigt.

Als Ergebnis wurden die folgenden Zeichen erhalten:

• tf-idf für Zusammenfassung in Wörtern und Zahlen (4855, 4593)
• tf-idf für Zusammenfassung auf drei Zeichenpartitionen (4855, 15518)
• tf-idf für Beschreibung in Wörtern und Zahlen (4855, 33297)
• tf-idf für Beschreibung auf dreistelligen Partitionen (4855, 75359)
• Anzahl der Einträge für Labels (4855, 505)
• Binärzeichen für Reporter (4855, 205)
• Aufgabenlebensdauer (4855, 1)

Alle diese Zeichen werden zu einer großen Matrix (4855, 129478) zusammengefasst, auf der das Training durchgeführt wird.

Separat ist es wert, die Namen der Zeichen zu notieren. Weil Einige Modelle für maschinelles Lernen können Funktionen identifizieren, die den größten Einfluss auf die Klassenerkennung haben. Sie müssen diese verwenden. TfidfVectorizer, CountVectorizer und LabelBinarizer verfügen über Methoden get_feature_names, die eine Liste von Features anzeigen, deren Reihenfolge Spalten von Datenmatrizen entspricht.

Auswahl des Vorhersagemodells

Sehr oft liefert XGBoost gute Ergebnisse. Und er begann damit. Aber ich habe eine große Anzahl von Features generiert, deren Anzahl die Größe des Trainingsmusters deutlich übersteigt. In diesem Fall ist die Wahrscheinlichkeit einer Umschulung von XGBoost hoch. Das Ergebnis ist nicht sehr gut. Hohe Dimension ist gut verdaut LogisticRegression . Sie zeigte eine höhere Qualität.

Ich habe auch versucht, mithilfe dieses hervorragenden Tutorials ein Modell für ein neuronales Netzwerk in Tensorflow zu erstellen, aber es stellte sich als schlechter heraus als die logistische Regression.

Auswahl von Hyperparametern

Ich habe auch mit den Hyperparametern XGBoost und Tensorflow gespielt, aber ich lasse es außerhalb des Beitrags, weil Das Ergebnis der logistischen Regression wurde nicht übertroffen. Zuletzt habe ich alle möglichen Stifte gedreht. Alle Parameter blieben daher standardmäßig, mit Ausnahme von zwei: solver = 'liblinear' und C = 3.0

Ein weiterer Parameter, der das Ergebnis beeinflussen kann, ist die Größe der Trainingsprobe. Weil Ich beschäftige mich mit historischen Daten, und im Laufe mehrerer Jahre kann sich die Geschichte ernsthaft ändern. Beispielsweise kann die Verantwortung für etwas an ein anderes Team gehen, neuere Daten können nützlicher sein und alte Daten können die Qualität sogar verringern. In diesem Zusammenhang habe ich mir Heuristiken ausgedacht - je älter die Daten sind, desto weniger sollten sie zum Modelltraining beitragen. Je nach Alter werden die Daten mit einem bestimmten Koeffizienten multipliziert, der der Funktion entnommen wird. Ich habe mehrere Funktionen generiert, um die Daten zu dämpfen, und die verwendet, die den größten Anstieg beim Testen ergab.



Aufgrund dessen stieg die Qualität der Klassifizierung um 3%

Qualitätsbewertung

Bei Klassifizierungsproblemen müssen wir darüber nachdenken, was für uns wichtiger ist - Genauigkeit oder Vollständigkeit ? In meinem Fall, wenn der Algorithmus falsch ist, gibt es keinen Grund zur Sorge, wir haben sehr gute Kenntnisse zwischen den Teams und die Aufgabe wird an die Verantwortlichen oder an die Hauptaufgabe in der Qualitätssicherung übertragen. Außerdem macht der Algorithmus keine zufälligen Fehler, sondern findet einen Befehl in der Nähe des Problems. Aus Gründen der Vollständigkeit wurde daher beschlossen, 100% zu verwenden. Und für die Messung der Qualität wurde die Genauigkeitsmetrik gewählt - der Anteil der richtigen Antworten, der für das endgültige Modell 76% betrug.

Als Validierungsmechanismus habe ich zuerst die Kreuzvalidierung verwendet - wenn die Probe in N Teile unterteilt ist und die Qualität an einem Teil überprüft wird und das Training für den Rest und somit N-mal durchgeführt wird, bis jedes Teil in der Testrolle ist. Das Ergebnis wird dann gemittelt. Aber in meinem Fall passte dieser Ansatz nicht, weil Die Reihenfolge der Daten ändert sich, und wie bereits bekannt, hängt die Qualität von der Aktualität der Daten ab. Deshalb habe ich die ganze Zeit an alten studiert und wurde an frischen validiert.

Mal sehen, welche Befehle der Algorithmus am häufigsten verwirrt:



An erster Stelle stehen Marketing und Pandora. Dies ist seitdem nicht überraschend Das zweite Team ist aus dem ersten hervorgegangen und hat die Verantwortung für viele Funktionen übernommen. Wenn Sie den Rest des Teams berücksichtigen, können Sie auch die Gründe für die interne Küche des Unternehmens erkennen.

Zum Vergleich möchte ich zufällige Modelle betrachten. Wenn Sie eine verantwortliche Person zufällig zuweisen, beträgt die Qualität etwa 5%, und wenn für die häufigste Klasse - 29%.

Die wichtigsten Zeichen

LogisticRegression für jede Klasse gibt Attributkoeffizienten zurück. Je größer der Wert ist, desto größer ist der Beitrag, den dieses Attribut zu dieser Klasse geleistet hat.

Unter dem Spoiler die Ausgabe der Top-Zeichen. Präfixe geben an, woher die Zeichen kamen:

• sum - tf-idf für Zusammenfassung in Wörtern und Zahlen
• sum2 - tf-idf für Zusammenfassung bei dreistelligen Teilungen
• desc - tf-idf für Beschreibung in Wörtern und Zahlen
• desc2 - tf-idf für Beschreibung auf dreistelligen Partitionen
• lab - Feld Labels
• Repräsentant Reporter

Die Schilder spiegeln ungefähr wider, was die Teams tun.

Modellnutzung

Darauf aufbauend ist der Aufbau des Modells abgeschlossen und es ist möglich, ein Programm auf dessen Basis zu erstellen.


Das Programm besteht aus zwei Python-Skripten. Der erste erstellt ein Modell und der zweite macht Vorhersagen.

1. Jira bietet eine API, über die Sie bereits abgeschlossene Aufgaben (HHS) herunterladen können. Einmal am Tag wird das Skript gestartet und heruntergeladen.
2. Heruntergeladene Daten werden in Tags konvertiert. Zunächst werden die Daten für Training und Test geschlagen und zur Validierung an das ML-Modell übermittelt, um sicherzustellen, dass die Qualität nicht von Anfang an abnimmt. Und dann wird das Modell zum zweiten Mal auf alle Daten trainiert. Der gesamte Vorgang dauert ca. 10 Minuten.
3. Das trainierte Modell wird auf der Festplatte gespeichert. Ich habe das Dill- Dienstprogramm verwendet, um Objekte zu serialisieren. Neben dem Modell selbst müssen auch alle Objekte gespeichert werden, die zum Abrufen der Merkmale verwendet wurden. Dies dient dazu, Schilder für die neue HHS an derselben Stelle zu platzieren.
4. Mit demselben Dill wird das Modell zur Vorhersage in das Skript geladen, das alle 5 Minuten ausgeführt wird.
5. Gehen Sie zu Jira für die neue HHS.
6. Wir erhalten die Zeichen und geben sie an das Modell weiter, das für jede HHS den Klassennamen - den Namen des Teams - zurückgibt.
7. Wir finden die für das Team verantwortliche Person und weisen ihm über die Jira-API eine Aufgabe zu. Es kann ein Tester sein, wenn das Team keinen Tester hat, dann ist es ein Teamleiter.

Um die Bereitstellung des Programms zu vereinfachen und dieselben Bibliotheksversionen wie während der Entwicklung zu verwenden, werden Skripts in einen Docker-Container gepackt.

Infolgedessen haben wir den Routineprozess automatisiert. Die Genauigkeit von 76% ist nicht zu groß, aber in diesem Fall sind die Fehler nicht kritisch. Alle Aufgaben finden ihre Ausführenden, und vor allem müssen Sie jetzt nicht mehr mehrmals am Tag abgelenkt werden, um die Essenz der Aufgaben zu verstehen und nach verantwortlichen Aufgaben zu suchen. Alles funktioniert automatisch! Hurra!