Wie berechnet man die "Ähnlichkeit" von Zahlen in Pässen? Und das Gleiche auch mit Tippfehlern

HFLabs-Produkte suchen nach doppelten Kunden in den Datenbanken von Bundesunternehmen. Der naheliegendste Weg, um die gleichen Kundenkarten zu finden, ist der Vergleich von Pässen oder anderen Ausweispapieren.

Zuvor haben wir die Anzahl der Dokumente streng verglichen: das Gleiche - ausgezeichnet, nein - sorry. Für die manuelle Analyse blieben aufgrund eines Tippfehlers im Raum sogar Karten mit demselben Namen und derselben Adresse übrig. Diese Vorgehensweise hat das Kundenpersonal unnötig belastet.

Deshalb sind wir in die Daten eingestiegen, haben die Statistiken untersucht und daraus die Kriterien abgeleitet - wenn unterschiedliche Zahlen wirklich unterschiedlich sind und wenn es um Tippfehler geht. Ich sage Ihnen, wie der Algorithmus funktioniert.

Einführung des Ähnlichkeitskoeffizienten

Es ist zu unhöflich, die Anzahl der Pässe und anderen Dokumente in "Match-not-Match" zu unterteilen. Sie können feiner handeln und einfache Fehler abfangen.

Angenommen, das Unternehmen hat die folgenden Regeln zum Auffinden von Duplikaten (DUL - Identitätsdokument):

• "Name, Adresse und DUL stimmen völlig überein" - Verdopplungsfaktor - 100;
• "Vollständiger Name und vollständiger Name" - 97;
• "Name und Anschrift stimmen völlig überein" - 95
• „Namen stimmen völlig überein“ - 80.

Die Automatisierung kombiniert Karten mit einem Verhältnis von mehr als 97. Der Rest wird eines Tages von speziellen Personen - Datenverwaltern - auseinander genommen. Wenn Sie Glück haben und der Turn kommt.

Das Ergebnis - in der Warteschlange für die manuelle Analyse sind ganz offensichtliche Duplikate. Sogar Karten mit dem gleichen Namen und der gleichen Adresse wie Passnummern werden durch einen gemeinsamen Tippfehler unterschieden. Wie bei 4 6 01 859473 und 4 5 01 859473 (die Tasten 6 und 5 befinden sich in der Nähe, sie werden häufig verwechselt.) Datenverwalter werden durch einfache Tippfehler abgelenkt, und echte Duplikate werden langsamer erkannt.

Mit Blick auf das Geschehen haben wir unseren Produkten beigebracht, die „Ähnlichkeit“ von Zahlen in Dokumenten zu zählen. Kunden verwenden bereits die neue Option in den Regeln für das automatische Zusammenführen von Duplikaten.

Wir betrachten "Ähnlichkeit" nach klaren Regeln

Beim Vergleichen von Dokumenten entfernt der Algorithmus zunächst den Müll aus den Zahlen. Lässt nur Buchstaben und Zahlen: A - Z, A - YaE, 0–9. Und dann beginnt die Magie, für die ich diesen Artikel geschrieben habe - die Berechnung des "Ähnlichkeitskoeffizienten".

Wichtiger Vorbehalt: Chancen sind unwahrscheinlich. Diese Nummer wird benötigt, um Duplikate in Gruppen mit der gleichen Art von Fehlern zu unterteilen. Es spielt keine Rolle, wie ähnlich der absolute Wert ist - es ist nur ein Parameter für den Vergleich von Zahlen.

Und nun zu den Berechnungsregeln.

"Ähnlichkeit" wird als Parameter verwendet, wenn wir nach denselben Kunden suchen

Die Bundesbank wendet die neuen Regeln bereits an - mit deren Hilfe suchen sie nach Duplikaten bei potenziellen Kunden. Als nächstes werden wir eine große Versicherung abschließen.

Während der Integration passen wir die doppelten Suchskripte an, um die „Ähnlichkeit“ der Nummern in Dokumenten zu berücksichtigen.

Zurück zu den typischen Regeln für das Finden von Duplikaten, habe ich sie am Anfang beschrieben:

• "Name, Adresse und DUL stimmen völlig überein" - Verdopplungsfaktor - 100;
• "Vollständiger Name und vollständiger Name" - 97;
• "Name und Anschrift stimmen völlig überein" - 95
• „Namen stimmen völlig überein“ - 80.

Durch die Einführung neuer Regeln für den Vergleich von Zahlen ändern wir die Skripte zum Auffinden von Duplikaten beim Kunden:

• "Vollständiger Name, Adresse, DUL" - 100;
• "Vollständiger Name, Anschrift, DUL 90 und höher" - 98;
• "Vollständiger Name und vollständiger Name" - 97;
• "Name und Anschrift stimmten völlig überein" - 95;
• „Namen stimmen völlig überein“ - 80.

Die Automatisierung „klebt“ immer noch alle Karten mit einem Koeffizienten über 97 zusammen. Bei neuen Bestellungen werden Karten, die sich nicht nur in Tippfehlern in Dokumentennummern unterscheiden, nicht für die manuelle Analyse entfernt. Explizite Duplikate brechen sofort zusammen und Datenverwalter klären wirklich komplexe Fälle.

Der Artikel erschien zuerst im HFLabs-Blog .