Großer Transaktionsgraphgenerator mit Mustern krimineller Aktivitäten

Guten Tag.

Vor einigen Jahren stand unser Team (Compliance bei einer Schweizer Bank) vor einer sehr interessanten Aufgabe: Es war notwendig, ein umfangreiches Diagramm der Transaktionen zwischen Kunden, Unternehmen und Geldautomaten zu erstellen, Muster ähnlich denen der Geldwäsche und anderer krimineller Aktivitäten zu diesem Diagramm hinzuzufügen und auch ein Minimum hinzuzufügen Informationen zu den Knoten dieses Diagramms - Namen, Adressen, Zeit usw. Natürlich mussten alle Daten von Grund auf neu generiert werden, ohne vorhandene Kundendaten zu verwenden.

Um dieses Problem zu lösen, wurde ein Generator geschrieben, den ich mit Ihnen teilen möchte. Unter dem Schnitt finden Sie eine Geschichte, die erklärt, warum wir sie brauchten, und eine Beschreibung des Betriebs des Generators. Für ungeduldig - hier liegt der Code . Ich würde mich freuen, wenn jemand von unserer Erfahrung profitieren würde.

Warum machen wir so einen Unsinn?

Unser Team hat beschlossen, als Sponsor am LauzHack- Hackathon teilzunehmen

. Eine der Voraussetzungen für die Teilnahme am Sponsorenformat war die Bereitstellung einer echten Geschäftsaufgabe für die Teilnehmer. Zu diesem Zeitpunkt hatten wir ein sehr interessantes Projekt im Zusammenhang mit der Automatisierung der Suche nach Finanzverbrechen und Geldwäsche bei den Transaktionen unserer Kunden, und ohne zu zögern beschlossen wir, den Hackathon-Teilnehmern dieselbe Aufgabe anzubieten.

Aus offensichtlichen Gründen konnten wir keine realen Daten verwenden, daher mussten wir sie erstellen. Um die Aufgabe so realitätsnah wie möglich zu gestalten, haben wir uns die Statistiken der realen Daten angesehen und versucht, die generierten Daten so nah wie möglich an die realen Verteilungen heranzuführen. Außerdem haben wir nicht an Menge und Komplexität der Daten gespart - wir brauchten keine Lösung, die an einem Diagramm mit 100 Knoten arbeitet Bei 200 Verbindungen suchten wir nach einer Lösung, mit der Diagramme in der Größe von Millionen von Knoten und Milliarden von Verbindungen verarbeitet und alle verfügbaren Informationen zu Knoten und Verbindungen berücksichtigt werden können.

Was haben wir bekommen?

Und wir haben einen ziemlich schnellen (an die Datenmenge angepasst), interessanten und konfigurierbaren Generator! Lassen Sie uns im Detail verstehen

Datentypen

Wir möchten ein Diagramm der Finanztransaktionen haben. Mögliche Teilnehmer an diesem Diagramm sind:

• Kunde - Sie können ein Konto eines abstrakten Kunden einer Bank sagen. Es wird nach Name, E-Mail-Adresse, Alter, Arbeit, politischen Ansichten, Nationalität, Bildung und Wohnadresse beschrieben
• Ein Unternehmen ist eine Geschäftseinheit im Finanzsystem. Es wird durch die Art des Unternehmens, den Namen und das Land bestimmt.
• Geldautomat - grob gesagt, die Ausstiegspunkte des Geldes aus der von uns kontrollierten Grafik. Durch geografische Koordinaten definiert.
• Transaktion - Die Tatsache, dass Geld von einem Knoten des Diagramms zu einem anderen übertragen wird. Definiert durch Start- und Endknoten, Betrag, Währung und Zeit.

Um diese Daten zu erstellen, verwenden wir Mimesis , eine großartige Bibliothek zum Erstellen gefälschter Daten.

Erstellen eines Diagramms: grundlegende Entitäten

Zuerst müssen Sie alle grundlegenden Entitäten erstellen - Kunden, Unternehmen und Geldautomaten. Das Skript verwendet die Anzahl der Kunden, die Sie erstellen möchten, und berechnet auf dieser Grundlage die Anzahl der Unternehmen und Geldautomaten. Nach unseren Daten beträgt die Anzahl der Unternehmen mit einer großen Anzahl von Transaktionen mit Kunden ungefähr 2,5% der Anzahl der Kunden, und die Anzahl der Geldautomaten beträgt 0,05% der Anzahl der Kunden. Diese Werte sind sehr verallgemeinert und nicht konfigurierbar (im Generatorcode verkabelt).

Alle Informationen werden in CSV-Dateien gespeichert. Das Schreiben in diese Dateien erfolgt in Stapeln, jeweils k Zeilen. Dieser Wert wird durch Skriptargumente konfiguriert. Außerdem werden drei Knotentypen parallel generiert.

Erstellen eines Diagramms: Verbindungen zwischen Entitäten

Nachdem wir die grundlegenden Entitäten erstellt haben, beginnen wir, sie miteinander zu verbinden. Zu diesem Zeitpunkt generieren wir die Transaktionen noch nicht selbst, sondern lediglich die Tatsache, dass eine Verbindung zwischen den Knoten besteht. Dies wurde durchgeführt, um den Prozess des Generierens des gesamten Diagramms zu beschleunigen, und funktioniert ungefähr wie folgt: Wenn zwei Knoten verbunden sind, generieren wir eine bestimmte Anzahl von Transaktionen zwischen ihnen, die zeitlich verstreut sind. Wenn keine Verbindung besteht, existieren jedoch keine Transaktionen zwischen diesen Knoten.

Die Wahrscheinlichkeit einer Verbindung zwischen den beiden Knoten wird durch Argumente konfiguriert. Die Standardwerte sind unten aufgeführt.

Mögliche Verbindungstypen:

• Kunde -> Kunde (p = 0,4%)
• Kunde -> Unternehmen (p = 1%)
• Kunde -> Geldautomat (p = 3%)
• Firma -> Kunde (p = 0,5%)

Wie bei Knoten werden alle Arten von Verbindungen parallel generiert und stapelweise in ihre Dateien geschrieben.

Diagrammerstellung: Transaktionen

Wenn die Knoten des Diagramms und die Verbindungen zwischen ihnen unter die gewünschte Verteilung fallen, können wir mit der Generierung von Transaktionen beginnen. Der Prozess ist an sich recht einfach, aber eine Parallelisierung ist ziemlich schwierig. Daher gibt es zu diesem Zeitpunkt nur zwei unabhängige Abläufe - Transaktionen, die vom Kunden stammen, und Transaktionen, die vom Unternehmen stammen.

In dieser Phase passiert nichts besonders Interessantes: Das Skript durchläuft die Liste der Verbindungen und generiert eine zufällige Anzahl von Transaktionen für jede Verbindung. Es wird alles auf die gleiche Weise geschrieben - in CSV-Dateien von Paketen.

Anzahl Kreationen: Muster

Und hier gibt es interessante Punkte. Die Arten von Verhaltensmustern, die wir in der letzten Spalte erhalten wollten:

• Fluss - Ein großer Betrag fließt von einem Knoten zu m zum anderen. Jeder dieser m Knoten überträgt Geld auf die nächste Ebene von n Knoten usw., bis die letzte Ebene das gesamte Geld an einen Empfänger sendet.
• Rundschreiben - Der Geldbetrag bewegt sich im Kreis und kehrt zur Quelle zurück.
• Zeit - Ein bestimmter Geldbetrag fließt mit einer festgelegten Häufigkeit von einem Knoten zum anderen.

Schauen wir uns jedes dieser Muster genauer an:

Flow

Zunächst wird die Anzahl der Ebenen ausgewählt, durch die Geld gehen muss. In unserer Implementierung ist diese Zufallszahl zwischen 2 und 6 nicht konfigurierbar und im Code verdrahtet. Als nächstes werden zwei Knoten des Diagramms ausgewählt - der Absender und der Empfänger. Es wird auch ein zufälliger Betrag ausgewählt, den der Absender an den Empfänger sendet (gemäß der cleveren Formel 50000 * random() + 50000 * random() ).

Jedes Mitglied dieses Netzwerks erhebt eine Gebühr für seine Dienste. In unserer Implementierung beträgt der Höchstpreis für die Weiterleitung von Geld über das Netzwerk 10% des vom Absender überwiesenen Betrags.

Generierte Transaktionen haben eine zeitliche Verschiebung der relativen Transaktionen der vorherigen Netzwerkebene - das heißt, Geld kommt zuerst auf Ebene n-1 und erst dann auf Ebene n. Verzögerungen werden innerhalb von 4-5 Tagen zufällig ausgewählt. Außerdem haben generierte Transaktionen pseudozufällige Beträge (begrenzt durch den ursprünglichen Betrag und unter Berücksichtigung der Gebühren für jeden Knoten).

Rundschreiben

Es wird nach einem ähnlichen Prinzip wie Flow generiert, nur dass anstelle eines unterschiedlichen Senders und Empfängers und mehrerer Ebenen in diesem Muster das Geld in einem Kreis verläuft und zum ursprünglichen Knoten zurückkehrt. Alle Zwischenknoten erheben eine Gebühr, wie dies bei Flow der Fall ist, und Transaktionen haben auch einen Zeitversatz.

Zeit

Das einfachste Muster. Ein bestimmter Betrag wird vom Absender zufällig an den Empfänger gesendet (von 5 bis 50, nicht konfigurierbar), wobei pseudozufällige Zeitverschiebungen auftreten.

Alle neuen Transaktionen werden auf die gleiche Weise stapelweise in CSV-Dateien geschrieben.

Stellen Sie die Randomisierung grafisch dar und sammeln Sie alle Transaktionen in einer Datei

Zu diesem Zeitpunkt haben wir mehrere CSV-Dateien:

• 3 Dateien mit Knoten (Kunden, Unternehmen und Geldautomaten)
• 4 Transaktionsdateien: eine für reguläre Transaktionen und 3 mit Mustern.

Ein zusätzliches Skript mischt Mustertransaktionen mit regulären Transaktionen, sodass Muster in einem Diagramm nicht in der Reihenfolge angezeigt werden können, in der Transaktionen in einer Datei aufgezeichnet werden.

Und was tun mit all dem?

Am Ende haben wir 4 schöne Dateien mit Grafikknoten und Transaktionen zwischen ihnen. Sie können in Neo4J importieren, Sie können über REST verteilen, aber was auch immer Ihr Herz begehrt, Sie können damit tun.

Wir erhielten ein sehr positives Feedback von den Hackathon-Teilnehmern und einige sehr interessante Lösungen, um Muster in massiven Grafiken zu finden.