मनी लॉन्ड्रिंग पैटर्न के साथ एक विशाल वित्तीय ग्राफ कैसे उत्पन्न करें?

कुछ साल पहले मेरी टीम (स्विस बैंकों में से एक में अनुपालन) और मुझे लागू करने का एक दिलचस्प काम था - हमें ग्राहकों, कंपनियों और एटीएम के बीच वित्तीय लेनदेन का एक बड़ा यादृच्छिक ग्राफ उत्पन्न करना था। इसके अलावा, हम चाहते थे कि इस ग्राफ़ में नाम, पते, मुद्राएं आदि जैसे नोड विवरण के साथ कुछ मनी-लॉन्ड्रिंग और अन्य वित्तीय अपराध पैटर्न शामिल हों। जाहिर है, जब तक हम स्पष्ट कारणों से किसी भी वास्तविक डेटा का उपयोग नहीं कर सकते, तब तक सभी डेटा को खरोंच से बेतरतीब ढंग से उत्पन्न किया जाना चाहिए।

समाधान के रूप में हमने एक जनरेटर लिखा था जिसे मैं आपके साथ साझा करना पसंद करूंगा। यह आलेख बताता है कि हमें इसकी आवश्यकता क्यों थी और यह जनरेटर कैसे काम कर रहा है, लेकिन अगर आप पढ़ना नहीं चाहते हैं और इसे अपने दम पर आजमाना चाहते हैं तो कोड है: https://github.com/MGrin/transactions-graph- जनरेटर । मुझे उम्मीद है कि हमारा अनुभव आप में से किसी के लिए उपयोगी होगा।

हम इस तरह के जनरेटर में क्यों रुचि रखते थे?

हमारी टीम ने लॉज़हैक हैकटन को प्रायोजित करने का फैसला किया। प्रायोजकों के लिए शर्तों में से एक प्रतिभागियों के लिए एक वास्तविक व्यवसाय कार्य प्रदान कर रहा था, और एक ही समय में हमारे पास लेनदेन के ग्राफ के बीच मनी लॉन्ड्रिंग खोज से संबंधित एक दिलचस्प परियोजना थी। बेशक, हमने हैकटन प्रतिभागियों को समान कार्य देने का फैसला किया।

जैसा कि मैंने पहले कहा था, हम वास्तविक डेटा का उपयोग नहीं कर सकते हैं, इसलिए हमें इसे बनाने की आवश्यकता है। कार्य को वास्तविक दुनिया के जितना संभव हो सके बनाने के लिए हमने अपने डेटा से कुछ आंकड़े प्राप्त किए हैं और समान वितरण का पालन करने के लिए उत्पन्न डेटा बनाने की कोशिश की है। इसके अलावा, हम एक छोटा सा ग्राफ नहीं रखना चाहते थे - एक दैनिक आधार पर हम लाखों नोड्स के बीच अरबों के लेन-देन के साथ काम कर रहे हैं, और हम प्रतिभागियों को उसी पैमाने पर अपने विचारों को आज़माने की क्षमता देना चाहते थे।

परिणामस्वरूप हमें क्या मिला?

हम एक काफी तेज, रोचक और विन्यास योग्य ग्राफ जनरेटर का निर्माण कर सकते हैं! आइए इसे अधिक विवरण में देखें:

नोड्स प्रकार

हमारे उत्पन्न वित्तीय प्रणाली के प्रतिभागी:

• ग्राहक - एक सार बैंक ग्राहक का एक खाता। नाम, ईमेल, उम्र, पेशे, शिक्षा, राष्ट्रीयता और पते जैसे क्षेत्र शामिल हैं।
• कंपनी - हमारी वित्तीय प्रणाली में एक व्यावसायिक इकाई। प्रकार, नाम और देश जैसे क्षेत्र शामिल हैं।
• एटीएम - हमारे वित्तीय ग्राफ से पैसे के लिए बाहर निकलने का बिंदु जहां इसे अब ट्रैक नहीं किया जा सकता है। जीपीएस निर्देशांक शामिल हैं।
• लेनदेन - 2 ग्राफ नोड्स के बीच धन हस्तांतरण का रिकॉर्ड। स्रोत और लक्ष्य नोड्स, राशि, मुद्रा और निष्पादन की तारीख और समय को इंगित करता है।

इन डेटा को जेनरेट करने के लिए हमने नकली डेटा जेनरेशन के लिए एक बेहतरीन लाइब्रेरी Mimesis का इस्तेमाल किया।

ग्राफ पीढ़ी: बुनियादी संस्थाएं

जनरेटर मूल संस्थाओं के निर्माण से शुरू होता है - ग्राहक, कंपनियां और एटीएम। स्क्रिप्ट इनपुट के रूप में ग्राहकों की एक वांछित संख्या लेती है, और इस संख्या के आधार पर उत्पन्न करने के लिए कंपनियों और एटीएम की संख्या की गणना करती है। हमने अनुमान लगाया कि कंपनियों की संख्या कुल ग्राहकों की संख्या के 2.5% के बराबर है, और एटीएम की संख्या 0.05% के बराबर है। ये पैरामीटर काफी औसत हैं और जनरेटर के अंदर ही हार्डकोड होते हैं।

सभी उत्पन्न जानकारी को .csv फ़ाइलों में सहेजा जाता है। इन फ़ाइलों को लिखना k पंक्तियों के बैचों द्वारा किया जाता है, जो कि एक विन्यास योग्य पैरामीटर है। साथ ही, पूरी प्रक्रिया को गति देने के लिए हर प्रकार के नोड को समानांतर में उत्पन्न किया जाता है।

ग्राफ पीढ़ी: संस्थाओं के बीच किनारों

बुनियादी संस्थाओं के निर्माण के बाद हम उन्हें एक-दूसरे के बीच जोड़ना शुरू करते हैं। इस स्तर पर हम अभी लेन-देन नहीं कर रहे हैं, लेकिन केवल तथ्य यह है कि दो नोड जुड़े हुए हैं। हमने इस प्रक्रिया को गति देने के लिए इस तरह किया और यह निम्नानुसार काम करता है: यदि दो नोड्स के बीच एक बढ़त है तो समय में कुछ संख्या में लेनदेन अलग हो जाएंगे। कोई किनारा नहीं - कोई लेनदेन नहीं।

दो नोड्स और संभव बढ़त प्रकारों के बीच यदि और अगर संभावना है:

• ग्राहक -> ग्राहक, पी = ०.४%
• ग्राहक -> कंपनी, पी = १%
• ग्राहक -> एटीएम, पी = ३%
• कंपनी -> ग्राहक, पी = ०.५%

इन संभावनाओं को जनरेटर मापदंडों का उपयोग करके कॉन्फ़िगर किया जा सकता है।

नोड्स की तरह, सभी किनारे प्रकार समानांतर में उत्पन्न होते हैं और बैचों में फाइलों में लिखे जाते हैं।

ग्राफ पीढ़ी: लेनदेन

नोड्स और किनारों के पास वांटेड डिस्ट्रीब्यूशन होने से हम ट्रांजेक्शन जनरेशन शुरू कर सकते हैं। प्रक्रिया को लागू करने के लिए सीधे आगे है लेकिन समानांतर होने के लिए काफी मुश्किल है। इसके कारण इस स्तर पर केवल दो सूत्र काम कर रहे हैं - एक ग्राहक सोर्सिंग ट्रांजेक्शन जनरेशन के लिए, दूसरा एक - ट्रान्जेक्शन सोर्सिंग कंपनी के लिए। एक किनारे के लिए लेन-देन की संख्या यादृच्छिक और यादृच्छिक रूप से समय में अलग हो जाती है।

जैसा कि ऊपर कुछ भी, उत्पन्न लेनदेन बैचों में .csv फ़ाइलों में लिखे गए हैं।

ग्राफ पीढ़ी: पैटर्न

यह वह जगह है जहाँ चीजें दिलचस्प हो रही हैं। हमने उन तीन पैटर्नों को परिभाषित किया, जिन्हें हम अपने ग्राफ में रखना चाहते थे:

• फ्लो - सोर्स नोड से एन नोड्स के लिए एक बड़ी राशि भेजी जाती है, और इनमें से कोई भी एन नोड किसी अन्य के नोड्स, आदि के लिए पैसा भेजता है। जब तक इस नेटवर्क की अंतिम परत सभी प्राप्त धन को लक्ष्य नोड में भेज देगी।
• परिपत्र - एक बड़ी राशि विभिन्न नोड्स से गुजर रही है और स्रोत नोड पर वापस आती है।
• समय - कुछ राशि को नोड ए से नोड बी में कई बार स्थानांतरित किया जाता है, छद्म यादृच्छिक समय द्वारा अलग किया जाता है।

आइए एक-एक करके इन पैटर्नों की खोज करें।

फ्लो

हम नेटवर्क की कई परतों का चयन करके शुरू करते हैं। हमारे एहसास में यह 2 और 6 के बीच एक यादृच्छिक संख्या है, और ये मान कॉन्फ़िगर करने योग्य नहीं हैं। फिर हम बेतरतीब ढंग से 2 नोड्स चुनते हैं - स्रोत और लक्ष्य। स्रोत नोड द्वारा जारी की जाने वाली राशि भी 50000 * यादृच्छिक () + 50000 * यादृच्छिक () के रूप में यादृच्छिक रूप से उत्पन्न होती है।

इस नेटवर्क का प्रत्येक भागीदार इसकी सेवा के लिए भुगतान ले रहा है। हमारे बोध में पूरे नेटवर्क उपयोग के लिए कुल भुगतान स्रोत राशि का 10% से अधिक नहीं होगा।

सभी उत्पन्न लेनदेन एक परत से दूसरी परत में समय पर विलंबित होते हैं। देरी यादृच्छिक है और 5 दिनों से अधिक नहीं है।

परिपत्र

फ्लो पैटर्न के समान है सिवाय इसके कि स्रोत और लक्ष्य नोड्स समान हैं, और प्रति मध्यवर्ती परत में केवल एक नोड है।

समय

सबसे आसान पैटर्न। लेन-देन के बीच छद्म-यादृच्छिक विलंब के साथ एक यादृच्छिक राशि नोड ए से नोड बी तक कई बार (5 और 50 के बीच यादृच्छिक संख्या, कॉन्फ़िगर करने योग्य नहीं) भेजी जाती है।

अंतिम लेनदेन यादृच्छिकता

इस स्तर पर हमारे पास कई .csv फाइलें हैं:

• नोड्स की जानकारी वाली 3 फाइलें (ग्राहक, कंपनियां, एटीएम)
• लेनदेन के साथ 4 फाइलें: सामान्य लेनदेन के लिए एक और उत्पन्न पैटर्न से लेनदेन के लिए 3।

एक और स्क्रिप्ट है जो सभी लेन-देन को यादृच्छिक बनाती है और उन्हें एक लेनदेन फ़ाइल में समाप्‍त करती है।

इस जनरेटर के उत्पादन के साथ क्या करना है

दिन के अंत में हमारे पास ग्राफ नोड्स और लेनदेन के साथ 4 सुंदर .csv फाइलें हैं। हम इस ग्राफ को Neo4J में आयात कर सकते हैं या इसे REST API पर सेवा दे सकते हैं - मूल रूप से हम इसके साथ कुछ भी कर सकते हैं! ग्राफ़ का आकार जितना चाहें उतना बड़ा हो सकता है (हम 2 बिलियन क्लाइंट्स के साथ ग्राफ़ बनाकर समाप्त हो गए और मेरे मैकबुक 2014 पर लगभग 8 घंटे लग गए)।

हमें हैकटन प्रतिभागियों के साथ-साथ बड़े ग्राफ़ में पैटर्न का पता लगाने की समस्या का वास्तव में अच्छा समाधान करने के लिए बहुत से सकारात्मक प्रतिक्रिया मिली है।

आपके समय के लिए धन्यवाद, और यहां जनरेटर के लिए लिंक है: https://github.com/MGrin/transactions-graph-gatorator