आपराधिक गतिविधि के पैटर्न के साथ बड़े लेनदेन ग्राफ जनरेटर

शुभ दिन।

कुछ साल पहले, हमारी टीम (एक स्विस बैंक में अनुपालन) को एक बहुत ही दिलचस्प काम का सामना करना पड़ा: ग्राहकों, कंपनियों और एटीएम के बीच लेनदेन का एक बड़ा ग्राफ उत्पन्न करना आवश्यक था, इस ग्राफ में मनी लॉन्ड्रिंग और अन्य आपराधिक गतिविधियों के समान पैटर्न जोड़ें, और एक न्यूनतम भी जोड़ें इस ग्राफ के नोड्स के बारे में जानकारी - नाम, पता, समय, आदि। बेशक, सभी डेटा को मौजूदा ग्राहक डेटा का उपयोग किए बिना, खरोंच से उत्पन्न किया जाना था।

इस समस्या को हल करने के लिए, एक जनरेटर लिखा गया था, जिसे मैं आपके साथ साझा करना चाहूंगा। कट के नीचे आपको एक कहानी मिलेगी जिसमें बताया गया था कि हमें इसकी आवश्यकता क्यों थी, और जनरेटर के संचालन का विवरण। अधीर के लिए - यहाँ कोड निहित है । मुझे खुशी होगी अगर कोई हमारे अनुभव से लाभान्वित होगा।

हम ऐसी बकवास क्यों कर रहे हैं?

हमारी टीम ने लॉज़हैक हैकाथॉन में प्रायोजकों के रूप में भाग लेने का फैसला किया

। प्रायोजक प्रारूप में भागीदारी के लिए शर्तों में से एक प्रतिभागियों के लिए एक वास्तविक व्यापार कार्य का प्रावधान था। उस समय, हमारे पास हमारे ग्राहकों के लेन-देन के बीच वित्तीय अपराधों और मनी लॉन्ड्रिंग की खोज के स्वचालन से संबंधित एक बहुत ही दिलचस्प परियोजना थी, और बिना किसी हिचकिचाहट के, हमने हैकाथॉन प्रतिभागियों को एक ही कार्य की पेशकश करने का फैसला किया।

स्पष्ट कारणों के लिए, हम वास्तविक डेटा का उपयोग नहीं कर सकते, इसलिए हमें उन्हें बनाना था। कार्य को वास्तविकता के जितना करीब संभव बनाने के लिए, हमने वास्तविक डेटा के आंकड़ों को देखा और कोशिश की, जैसा कि हम कर सकते हैं, उत्पन्न डेटा को वास्तविक वितरणों के करीब लाने के लिए, और डेटा की मात्रा और जटिलता पर भी कंजूसी नहीं की - हमें 100 नोड के ग्राफ पर काम करने वाले समाधान की आवश्यकता नहीं है और 200 कनेक्शन, हम लाखों नोड्स और अरबों कनेक्शनों के आकार को रेखांकन करने में सक्षम समाधान की तलाश में थे, और नोड्स और कनेक्शनों के बारे में सभी उपलब्ध जानकारी को ध्यान में रखते हुए।

हमें क्या मिला?

और हमें काफी तेज़ (डेटा की मात्रा के लिए समायोजित), दिलचस्प और कॉन्फ़िगर करने योग्य जनरेटर मिला! आइए विस्तार से समझते हैं

डेटा प्रकार

हम चाहते हैं कि इस लेन-देन में क्रमशः वित्तीय लेन-देन का ग्राफ हो:

• ग्राहक - आप किसी बैंक के सार ग्राहक का एक खाता कह सकते हैं। यह नाम, ईमेल, उम्र, काम, राजनीतिक विचारों, राष्ट्रीयता, शिक्षा और निवास के पते द्वारा वर्णित है
• एक कंपनी वित्तीय प्रणाली में एक व्यावसायिक इकाई है। यह कंपनी, नाम और देश के प्रकार से निर्धारित होता है।
• एटीएम - मोटे तौर पर, हमारे द्वारा नियंत्रित ग्राफ से पैसे के निकास बिंदु। भौगोलिक निर्देशांक द्वारा परिभाषित।
• लेन-देन - ग्राफ के एक नोड से दूसरे में धन स्थानांतरित करने का तथ्य। प्रारंभ और अंत नोड, राशि, मुद्रा और समय द्वारा परिभाषित।

इस डेटा को बनाने के लिए, हम नकली डेटा बनाने के लिए एक महान पुस्तकालय Mimesis का उपयोग करते हैं।

एक ग्राफ बनाना: बुनियादी इकाइयाँ

सबसे पहले आपको सभी बुनियादी संस्थाओं - ग्राहकों, कंपनियों और एटीएम बनाने की आवश्यकता है। स्क्रिप्ट उन ग्राहकों की संख्या लेती है जिन्हें आप बनाना चाहते हैं और इसके आधार पर कंपनियों और एटीएम की संख्या की गणना करते हैं। हमारे आंकड़ों के अनुसार, ग्राहकों के साथ किसी भी बड़ी संख्या में लेनदेन करने वाली कंपनियों की संख्या ग्राहकों की संख्या का लगभग 2.5% है, और एटीएम की संख्या ग्राहकों की संख्या का 0.05% है। ये मान बहुत सामान्यीकृत और गैर-विन्यास योग्य हैं (जनरेटर कोड में वायर्ड)।

सभी जानकारी .csv फ़ाइलों में सहेजी जाती है। इन फ़ाइलों को लिखने से एक समय में बैचों, k लाइनों में होता है। यह मान स्क्रिप्ट तर्क द्वारा कॉन्फ़िगर किया गया है। साथ ही, तीन प्रकार के नोड्स समानांतर में उत्पन्न होते हैं।

एक ग्राफ बनाना: संस्थाओं के बीच संबंध

बुनियादी संस्थाओं को बनाने के बाद, हम उन्हें एक साथ जोड़ना शुरू करते हैं। इस स्तर पर, हम अभी तक लेन-देन स्वयं उत्पन्न नहीं कर रहे हैं, लेकिन बस यह तथ्य है कि नोड्स के बीच एक संबंध है। यह पूरे ग्राफ को बनाने की प्रक्रिया को गति देने के लिए किया गया था और लगभग निम्नानुसार काम करता है: यदि दो नोड जुड़े हुए हैं, तो हम समय के साथ बिखरे हुए, उनके बीच एक निश्चित संख्या में लेनदेन उत्पन्न करते हैं। यदि जुड़ा नहीं है, लेकिन इन नोड्स के बीच लेनदेन मौजूद नहीं है।

दो नोड्स के बीच एक कनेक्शन की संभावना को तर्कों के माध्यम से कॉन्फ़िगर किया गया है, मानक मान नीचे सूचीबद्ध हैं।

संभावित कनेक्शन प्रकार:

• ग्राहक -> ग्राहक (p = 0.4%)
• ग्राहक -> कंपनी (पी = 1%)
• ग्राहक -> ATM (p = 3%)
• कंपनी -> ग्राहक (पी = ०.५%)

नोड्स की तरह, सभी प्रकार के कनेक्शन समानांतर में उत्पन्न होते हैं और बैचों में उनकी फाइलों पर लिखे जाते हैं।

ग्राफ निर्माण: लेन-देन

ग्राफ के नोड्स और वांछित वितरण के तहत उनके बीच कनेक्शन होने से, हम लेन-देन शुरू कर सकते हैं। यह प्रक्रिया अपने आप में काफी सरल है, लेकिन इसे समानांतर करना काफी कठिन है। इसलिए, इस स्तर पर, केवल दो स्वतंत्र प्रवाह हैं - ग्राहक से उत्पन्न लेनदेन, और कंपनी से होने वाले लेनदेन।

इस चरण में कुछ भी विशेष रूप से दिलचस्प नहीं होता है: स्क्रिप्ट कनेक्शन की सूची के माध्यम से चलती है और प्रत्येक कनेक्शन के लिए यादृच्छिक संख्या में लेनदेन उत्पन्न करती है। यह सभी एक ही तरीके से लिखा गया है - संकुल द्वारा .csv फाइलें।

गणना क्रिएशन: पैटर्न

और यहाँ दिलचस्प बिंदु हैं। व्यवहार के प्रकार जो हम अंतिम कॉलम में प्राप्त करना चाहते थे:

• प्रवाह - एक बड़ी राशि एक नोड से दूसरे मीटर तक जाती है, इनमें से प्रत्येक मीटर नोड्स नोड्स के अगले स्तर तक धन स्थानांतरित करता है, और इसी तरह, जब तक कि अंतिम स्तर सभी धन एक प्राप्तकर्ता को नहीं भेजता है।
• परिपत्र - धन की राशि एक सर्कल में जाती है और स्रोत पर लौटती है।
• समय - कुछ निश्चित आवृति के साथ एक निश्चित राशि एक नोड से दूसरे नोड में जाती है।

आइए इनमें से प्रत्येक पैटर्न को और अधिक विस्तार से देखें:

फ्लो

शुरू करने के लिए, उन स्तरों की संख्या जिसके माध्यम से पैसा जाना होगा, का चयन किया जाता है। हमारे कार्यान्वयन में, 2 और 6 के बीच यह यादृच्छिक संख्या कॉन्फ़िगर करने योग्य नहीं है और कोड में वायर्ड है। अगला, ग्राफ़ के दो नोड्स चुने गए हैं - प्रेषक और प्राप्तकर्ता। एक यादृच्छिक राशि भी चुनी जाती है, जिसे प्रेषक प्राप्तकर्ता को भेजेगा (चतुर सूत्र 50000 * random() + 50000 * random() ) के अनुसार।

इस नेटवर्क का प्रत्येक सदस्य अपनी सेवाओं के लिए कुछ शुल्क लेता है। हमारे कार्यान्वयन में, नेटवर्क के माध्यम से पैसे पास करने की अधिकतम कीमत प्रेषक द्वारा हस्तांतरित राशि का 10% होगी।

उत्पन्न लेन-देन में पिछले नेटवर्क स्तर के सापेक्ष लेनदेन की समय-सीमा होती है - अर्थात, धन पहले n-1 स्तर पर आता है, और उसके बाद ही स्तर n पर जाता है। विलंब को 4-5 दिनों के भीतर यादृच्छिक रूप से चुना जाता है। इसके अलावा, उत्पन्न लेन-देन में छद्म यादृच्छिक मात्रा होती है (प्रारंभिक राशि तक सीमित और प्रत्येक नोड के लिए शुल्क को ध्यान में रखते हुए)

परिपत्र

यह प्रवाह के समान सिद्धांत के अनुसार उत्पन्न होता है, लेकिन इस पैटर्न में विभिन्न प्रेषक और रिसीवर और कई स्तरों के बजाय, पैसा एक सर्कल में जाता है और मूल नोड में लौटता है। सभी मध्यवर्ती नोड एक शुल्क लेते हैं, जैसा कि फ्लो के साथ होता है, और लेनदेन में एक समय ऑफसेट भी होता है।

समय

सबसे सरल पैटर्न। एक निश्चित राशि प्रेषक से प्राप्तकर्ता को यादृच्छिक संख्या (5 से 50 तक, कॉन्फ़िगर करने योग्य नहीं) के साथ छद्म-यादृच्छिक समय बदलाव के साथ भेजी जाती है।

सभी नए लेनदेन बैचों में .csv फ़ाइलों के समान तरीके से लिखे गए हैं।

ग्राफ रैंडमाइजेशन और एक फाइल में सभी लेनदेन एकत्र करना

इस स्तर पर, हमारे पास कई .csv फाइलें हैं:

• नोड्स के साथ 3 फाइलें (ग्राहक, कंपनियां और एटीएम)
• 4 लेनदेन फाइलें: नियमित लेनदेन के लिए एक और 3 युक्त पैटर्न।

एक अतिरिक्त स्क्रिप्ट नियमित लेनदेन के साथ पैटर्न लेन-देन को मिलाती है ताकि एक ग्राफ में पैटर्न को उस क्रम में देखना संभव न हो जिस क्रम में लेनदेन एक फ़ाइल में दर्ज किया जाता है।

और इस सबका क्या करना है?

अंत में, हमारे पास ग्राफ नोड्स और उनके बीच लेनदेन के साथ 4 सुंदर फाइलें हैं। आप Neo4J में आयात कर सकते हैं, आप REST के माध्यम से वितरित कर सकते हैं, लेकिन जो भी आपका दिल चाहता है, आप उनके साथ कर सकते हैं।

हमारे लिए, हमें हैकाथॉन प्रतिभागियों से एक बहुत ही सकारात्मक प्रतिक्रिया मिली, और बड़े पैमाने पर रेखांकन में पैटर्न खोजने के लिए कुछ बहुत ही रोचक समाधान।