Ich, RoboLoyer, oder wie man in Dokumenten nach Anomalien sucht

Können Sie sich vorstellen, wie viele behördliche Dokumente pro Stunde ein Unternehmensanwalt durchsehen muss und zu welchen Konsequenzen seine Nachlässigkeit führen kann? Ein armer Mitanwalt muss jeden Vertrag lesen, insbesondere wenn es keine Standardvorlage für ihn gibt, was häufig vorkommt.

Mit Blick in die müden Augen unseres Unternehmensrechtsanwalts haben wir beschlossen, einen Dienst zu schaffen, der Probleme in den Dokumenten findet und sie dem dösenden Anwalt signalisiert. Als Ergebnis haben wir eine Lösung mit der Zusammenfassung von Wissen auf einer bestimmten Basis von Verträgen und Tipps für Anwälte geschaffen, die besondere Aufmerksamkeit erhalten sollten. Natürlich nicht ohne Magie. Mathematische Magie namens Anomalieerkennung.

Grundsätzlich werden Anomalieerkennungsansätze verwendet, um das Verhalten einer Vielzahl von Geräten zu analysieren, um Fehler zu erkennen, oder im Bankensektor, um Betrug festzustellen. Und wir haben versucht, diese Algorithmen für die Analyse von Rechtsdokumenten anzuwenden. Folgen Sie dem Schnitt, um herauszufinden, wie wir es gemacht haben.

1. Wir beschäftigen uns mit strukturierten Informationen

Wir haben Glück, weil Die Texte in den Verträgen sind ausreichend strukturiert, trocken und nach bestimmten Vorlagen zusammengestellt. Um an dem Projekt zu arbeiten, wurde die Idee vorgeschlagen, einen Prototyp zu implementieren, der auf Verträgen und Verträgen der Website zakupki.gov.ru basiert (wir haben 200.000 Dokumente erhalten). Bei 170.000 Verträgen konnten wir die Struktur identifizieren: Präambel, Kapitel, Absätze und Anhänge des Vertrags unter Berücksichtigung der Schlüsselwörter, der Position im Text und der Nummerierung.

2. Eine Vielzahl von Vertragsarten

Es ist zu berücksichtigen, dass Verträge unterschiedlicher Art sein können. Alle unterscheiden sich stark in Inhalt, Vertragsgegenstand, Hauptkapiteln usw. Um die Analyse der einzelnen Vertragstypen zu optimieren, müssen Arbeiten an ihrer Klassifizierung oder Clusterbildung durchgeführt werden.
Vielleicht wissen Sie bereits, welche Arten von Verträgen in Ihrer Datenbank vorhanden sind, und Sie kennen die Zeichen, anhand derer sie bestimmt werden können. In unserem Fall haben wir eine Reihe von Verträgen ohne zusätzliche Informationen zu jedem Vertrag und ohne Annahmen über die Klassifizierung von Beschaffungsverträgen. Daher waren wir gezwungen, unsere Vertragsbasis zu bündeln.

Sie können das Clustering mithilfe des Dokumentpräsentationsvektors tf-idf standardisieren. Wir haben uns jedoch entschlossen, den Doc2Vec-Algorithmus nur zum Spaß auszuprobieren. Unter Verwendung des Doc2Vec-Algorithmus wurden Verträge in Vektoren konvertiert und die resultierenden Vertragsvektoren an die Eingabe des Clustering-Algorithmus gesendet. Wir haben den K-Means-Algorithmus verwendet, um Vektoren zu clustern. Da die Ähnlichkeit normalerweise anhand des Kosinusabstands gemessen wird, haben wir ihn anstelle des euklidischen Abstands verwendet.

Nach Erhalt von 20 Dokumentenclustern musste die Qualität des Clusters überprüft werden. Da wir keine Klassifizierung von Verträgen haben, können wir die resultierenden Cluster nicht mit der vorhandenen Partition vergleichen. Dann haben wir uns die Wörter angesehen, die den Cluster beschreiben. Zu diesem Zweck haben wir für jeden Cluster die Elemente "Vertragsgegenstand" verwendet und Stoppwörter, Zahlen und Wörter entfernt, die in den meisten Clustern gefunden wurden. Dann haben wir die 5 häufigsten Wörter für jeden Cluster als Schlüsselwörter ausgewählt. Auf diese einfache Weise kann man die Qualität der Clusterbildung subjektiv beurteilen.

Beispiele für Wörter, die Cluster beschreiben:

• Mieter, Vermieter, Wohnung, Vermietung, Bauträger
• Kompetenz, Lehre, Bildung, akademische, Vollzeit
• Generalunternehmer, Subunternehmer, Generalbau, Designer, Stadtplanung
• Apotheke, Quarantäne, Ausgaben, Pflanzenschutz, luftdicht
• Detektiv, Wachmann, Unterdrückung, Angst, Beleidigung
• Lizenznehmer, Unterlizenznehmer, Film, Lizenzgeber, Staffel
• Kreditnehmer, Treuhandkonto, Gläubiger, Darlehen, Pfandgeber
• zentralisiert, Energieversorgung, Intrazone, Sanitär, Kanalisation

3. Auf welche Anomalien können wir bei Verträgen stoßen?

Lassen Sie uns bestimmen, welche Fälle wir als abnormal betrachten und was wir damit tun können. Wir haben die folgenden Szenarien identifiziert:

1. Dem Vertrag wurde eine zusätzliche Klausel hinzugefügt, die in diesem Zusammenhang noch nie gesehen wurde. Es ist notwendig, die Aufmerksamkeit eines Anwalts auf ihn zu lenken.
2. Der Vertrag enthält keine Klausel, die zuvor in solchen Verträgen angetroffen wurde. Wir müssen dem Anwalt raten, es hinzuzufügen.
3. Ein Absatz ähnelt einem bestimmten Punkt aus der Geschichte, wird jedoch irgendwie umformuliert. Einige Wörter werden hinzugefügt oder gelöscht. Sie können den Anwalt informieren und Ihnen raten, zu bearbeiten.

4. In welcher Form sollen Verträge eingereicht werden?

Wie bereits erwähnt, besteht der Vertrag aus Kapiteln, Kapitel sind in Absätze unterteilt, jeder Absatz kann Unterabsätze enthalten usw. Um den Vertrag in Kapitel und Absätze zu unterteilen, haben wir die Nummerierung, Übertragungen, Schlüsselwörter berücksichtigt: "Kapitel", "Artikel" usw. Jeder Gegenstand besteht aus einem oder mehreren Sätzen. Um ein Element in Sätze zu unterteilen, wurde sent_tokenize aus dem Modul nltk.tokenize verwendet.

Der Vertrag selbst enthält mehrere globale Kapitel, deren Inhalt und Inhalt in den Überschriften enthalten ist: Vertragsgegenstand, Rechte und Pflichten der Parteien, Preis- und Abwicklungsverfahren ... Wir haben versucht, die Kapitel mit denselben Überschriften zu kombinieren und unabhängig voneinander mit verschiedenen Kapiteln zu arbeiten. Die Titel der Kapitel werden häufig umformuliert, haben Tippfehler oder zusätzliche Satzzeichen. Um die Kapitelgruppen groß genug zu machen, haben wir die Überschriften, die sich in Levenshtein-Entfernung befanden, zu einer Gruppe zusammengefasst.

Eines der Probleme, auf die wir definitiv stoßen können, ist das große Volumen an benannten Entitäten in Verträgen, die oft einzigartig sind und mit einer Anomalie verwechselt werden können. Es gibt viele Entitäten in den Verträgen, wie Namen, Firmennamen, Daten, Adressen usw., die von Vertrag zu Vertrag variieren. Es ist notwendig, solche Einheiten zu finden und aus dem Vertrag zu streichen, d.h. Bringen Sie den Vertrag auf ein Vorlagenformular. Wir hatten Glück mit dem Datensatz, weil Beim Entladen von Verträgen gab es einen großen Anteil von Vorlagenverträgen, die als Entitäten bezeichnet wurden und durch Unterstriche ersetzt wurden. Wir haben festgestellt, zwischen welchen Phrasen Unterstriche normalerweise vorkommen, um diese Phrasen in ausgefüllten Dokumenten zu finden und benannte Entitäten aus ihnen zu entfernen. Es ist klar, dass wir auf diese Weise nicht alle benannten Entitäten gelöscht haben. Deshalb gingen wir noch einmal mit der Natasha-Bibliothek durch den Rumpf und löschten die Entitäten, die sie gefunden hatte.

5. Definition abnormaler Klauseln im Vertrag

Wir konnten die Verträge bereits mithilfe von Clustering nach Typ trennen und Gruppen ähnlicher Kapitel identifizieren. Anhand des gesammelten Wissens über eine bestimmte Klausel eines bestimmten Vertragstyps können wir nun verstehen, was im aktuellen Vertrag behoben werden muss. Berechnen wir die Wahrscheinlichkeit seiner Anomalie für jeden Satz des Kapitels.

Für jede Gruppe von Kapiteln speichern wir alle Angebote, die wir getroffen haben, in unseren Schulungsunterlagen aus dem staatlichen Beschaffungswesen. Weil Es gibt ziemlich viele von ihnen. Für jede Gruppe von Kapiteln wurde das Word2Vec-Modell trainiert, und jeder Satz ist einem Vektor der gewichteten (durch tf-idf) Summe der Vektoren der darin enthaltenen Wörter zugeordnet. Ferner wurden Satzvektoren ähnlich der Aufteilung von Vektoren für Dokumente in Cluster unterteilt.

Wenn nun ein Vorschlag zu uns kommt, bestimmen wir, aus welcher Gruppe von Verträgen er stammt, aus welcher Gruppe von Kapiteln, welcher Gruppe von Vorschlägen er am nächsten liegt, und in diesem Cluster finden wir den nächstgelegenen. Die Entfernung zum nächsten Angebot kann als Maß dafür angesehen werden, wie abnormal dieses Angebot ist. Wenn der Abstand zum nächsten Angebot Null ist, ist unser Angebot nicht ungewöhnlich. Mit zunehmender Entfernung bezweifeln wir zunehmend, dass der Vorschlag keine Anomalien enthält. Höchstwahrscheinlich stimmt etwas mit ihm nicht.

6. Was tun mit fehlenden Elementen?

Wir haben herausgefunden, wie man anomale Punkte im Vertrag findet, aber nicht gelernt, wie man Anomalien in Form fehlender Sätze oder Punkte findet. Eine solche Anomalie kann leicht gefunden werden, wenn wir eine Vorlage für diese Art von Vereinbarung zur Hand haben. Es gibt jedoch Zeiten, in denen uns ein anderes Unternehmen eine Vereinbarung gesendet hat, die nach unserer eigenen Vorlage erstellt wurde.
Um solche Anomalien zu erkennen, müssen wir eine Vorlage für den Vertrag mit einer Reihe von verbindlichen Angeboten / Klauseln erstellen, die wiederum ausschließlich auf der Grundlage unserer Verträge basieren.

Wir haben den Algorithmus zum Erstellen der Vorlage entwickelt und getestet. Dieser Algorithmus geht davon aus, dass es in unserer Vertragsdatenbank ein ähnliches Kapitel mit den richtigen Elementen gibt, die wir identifizieren und als Vorlage angeben möchten.

Algorithmus:

1. Trainieren Sie für jede Gruppe von Kapiteln ein Modell, das auf dem MinHashLSH-Algorithmus basiert, mit dem Sie schnell nahe Texte finden können.
2. Suchen Sie für jedes Kapitel des heruntergeladenen Vertrags eine Liste der Absätze in der Nähe aus der Datenbank.
3. Erstellen Sie basierend auf den erhaltenen engen Absätzen ein Sprachmodell und wählen Sie als Vorlagenabsatz mit der höchsten vom Sprachmodell vorhergesagten Wahrscheinlichkeit aus.

Nachdem wir für jedes Kapitel eine Vorlage erhalten haben, können wir die fehlenden Elemente identifizieren, die in der Vorlage vorhanden sind, aber nicht im aktuellen Vertrag enthalten sind, und dem Anwalt raten, sie hinzuzufügen.

7. Vollständige Pipeline

Um alle Schritte zusammenzufassen und zu sammeln:

8. Qualitätsbewertung

Um die Qualität der Problemlösungen zu beurteilen, wurde ein Testsatz von Verträgen gebildet. Anomalien wurden den Verträgen künstlich hinzugefügt, indem ein Teil von Wörtern gelöscht, Wörter / Phrasen in Sätze eingefügt, Sätze aus anderen Kapiteln eingefügt und Sätze gelöscht wurden. Wir haben die Qualität für jede Art von Anomalie bewertet und die folgende Verteilung der Bestimmungsfehler erhalten:


Das heißt, der vorgeschlagene Algorithmus ermöglicht es uns, in 4 von 5 Fällen falsche Einschlüsse zu bestimmen. Es ist anzumerken, dass wir mit der Zunahme des Volumens der Ausbildungsstichprobe und der Bündelung von Verträgen für verschiedene Typen eine Verbesserung dieser Bewertung erzielen können.

9. Visualisierung

Um eine solche Lösung des Problems zu visualisieren, wurde eine Weboberfläche implementiert, in die ein neuer Vertrag geladen werden kann, dessen Text auf der Seite angezeigt und abnormale Angebote hervorgehoben werden. Je dunkler die Farbe des Satzes ist, desto stärker sind wir sicher, dass er anomal ist. Weil Wir haben das nächstgelegene Angebot gefunden. Wir empfehlen, es für den Benutzer in Form dieses nächsten Angebots zu bearbeiten, oder wir empfehlen, den spezifischen Teil des Angebots zu ändern, wenn das nächste einen geringfügigen Unterschied zum Original aufweist.

10. Wo zutreffend?

Die praktische Anwendung der daraus resultierenden Dienstleistung ist am besten geeignet, wenn eine „Stream“ -Prüfung der Rechtsreinheit einer großen Anzahl von Dokumenten des gleichen Typs erforderlich ist: beispielsweise bei der Vergabe von Sicherheitenkrediten an die Öffentlichkeit (Hypothek, Autokredite und Versicherungen). Im Falle einer Hypothek sind dies beispielsweise Verträge über den Verkauf von Immobilien, Immobilien- und Kreditnehmerversicherungsverträge, Immobilienbewertungsverträge usw. - Hunderte von Textseiten in den Dossiers jedes Mandanten, die fast sofort analysiert werden können, und abnormale Stellen werden dem Anwalt zur Analyse auf Risiken oder Betrug "hervorgehoben".

Anwälte aus Fleisch und Blut können also nicht ganz darauf verzichten, aber moderne Technologien ermöglichen es ihnen, das Leben leichter zu machen.

Material vorbereitet von Elena Sannikova ( helen_sunny ).