हम आईपी द्वारा गणना करते हैं: सोशल नेटवर्क पर स्पैम से कैसे निपटें

सोशल नेटवर्क और इंस्टेंट मैसेंजर पर स्पैमिंग एक दर्द है। ईमानदार उपयोगकर्ताओं और डेवलपर्स दोनों के लिए दर्द। कैसे वे इसे लडाई में लड़ते हैं, मिखाइल ओविचनिकोव ने हाईलोड ++ पर कहा, फिर इस रिपोर्ट का पाठ संस्करण।


स्पीकर के बारे में: मिखाइल ओविचनिकोव पिछले पाँच सालों से स्पैम पर काम कर रहा है और एंटी-स्पैम है।

Badoo में 390 मिलियन पंजीकृत उपयोगकर्ता (अक्टूबर 2017 के लिए डेटा) हैं। यदि हम रूस के आबादी के साथ सेवा के दर्शकों के आकार की तुलना करते हैं, तो हम कह सकते हैं कि, आंकड़ों के अनुसार, प्रत्येक 100 मिलियन लोगों को 500 हजार पुलिस अधिकारियों द्वारा संरक्षित किया जाता है, और ब्रेट में, केवल एक Antispam कर्मचारी प्रत्येक 100 मिलियन उपयोगकर्ताओं को स्पैम से बचाता है। लेकिन इतनी कम संख्या में प्रोग्रामर भी इंटरनेट पर उपयोगकर्ताओं को विभिन्न परेशानियों से बचा सकते हैं।

हमारे पास एक बड़ा दर्शक वर्ग है, और इसके विभिन्न उपयोगकर्ता हो सकते हैं:

• अच्छा और बहुत अच्छा, हमारे पसंदीदा भुगतान करने वाले ग्राहक;
• बुरे वे हैं, जो इसके विपरीत, हमसे पैसे बनाने की कोशिश कर रहे हैं: वे स्पैम भेजते हैं, पैसे घोटाले करते हैं, और धोखाधड़ी में संलग्न होते हैं।

जिन्हें लड़ना है

स्पैम अलग हो सकता है, अक्सर इसे एक साधारण उपयोगकर्ता के व्यवहार से अलग नहीं किया जा सकता है। यह मैनुअल या ऑटोमैटिक हो सकता है - बॉट जो ऑटोमैटिक मेलिंग में लगे होते हैं वे भी हमसे प्राप्त करना चाहते हैं।

शायद आपने भी एक बार बॉट लिखा था - स्वचालित पोस्टिंग के लिए स्क्रिप्ट बना रहे थे। यदि आप अभी ऐसा कर रहे हैं, तो आगे नहीं पढ़ना बेहतर है - आपको किसी भी तरह से यह पता नहीं लगाना चाहिए कि मैं आपको अब क्या बताऊंगा।

यह, निश्चित रूप से, एक मजाक है। लेख में ऐसी जानकारी नहीं होगी जो स्पैमर्स के जीवन को सरल बनाएगी।



तो हमें किससे लड़ना है? ये स्पैमर और स्कैमर्स हैं।

स्पैम बहुत समय पहले दिखाई दिया, इंटरनेट के विकास की शुरुआत से। हमारी सेवा में, स्पैमर, एक नियम के रूप में, वहां एक आकर्षक लड़की की फोटो अपलोड करके खाता पंजीकृत करने का प्रयास करते हैं। सबसे सरल रूप में, वे सबसे स्पष्ट प्रकार के स्पैम - लिंक को बाहर भेजना शुरू करते हैं।

एक अधिक जटिल विकल्प यह है कि जब लोग कुछ भी स्पष्ट नहीं भेजते हैं, तो कोई लिंक नहीं भेजते हैं, कुछ भी विज्ञापन नहीं करते हैं, लेकिन उपयोगकर्ता को उनके लिए अधिक सुविधाजनक जगह पर आकर्षित करते हैं, उदाहरण के लिए, तत्काल संदेशवाहक : स्काइप, वाइबर, व्हाट्सएप। वहां वे हमारे नियंत्रण के बिना, उपयोगकर्ता को कुछ भी बेच सकते हैं, प्रचार कर सकते हैं, आदि।

लेकिन स्‍पैमर्स सबसे बड़ी समस्‍या नहीं है । वे स्पष्ट और लड़ने में आसान हैं। बहुत अधिक जटिल और दिलचस्प चरित्र स्कैमर हैं जो एक अन्य व्यक्ति होने का दिखावा करते हैं और इंटरनेट पर सभी तरीकों से उपयोगकर्ताओं को धोखा देने की कोशिश करते हैं।

बेशक, स्पैमर और स्कैमर्स दोनों के कार्य हमेशा सामान्य उपयोगकर्ताओं के व्यवहार से बहुत अलग नहीं होते हैं जो कभी-कभी ऐसा भी करते हैं। उन दोनों में कई औपचारिक संकेत हैं जो उनके बीच एक स्पष्ट रेखा को खींचने की अनुमति नहीं देते हैं। यह लगभग कभी संभव नहीं है।

मेसोजोइक युग में स्पैम से कैसे निपटें

1. सबसे सरल बात यह हो सकती है कि प्रत्येक प्रकार के स्पैम के लिए अलग-अलग नियमित अभिव्यक्ति लिखें और प्रत्येक बुरे शब्द और प्रत्येक अलग डोमेन को इस नियमित में दर्ज करें। यह सब मैन्युअल रूप से किया गया था, और, ज़ाहिर है, यह यथासंभव असुविधाजनक और अक्षम था।
   
2. आप मैन्युअल रूप से संदिग्ध आईपी पते पा सकते हैं और उन्हें सर्वर कॉन्फ़िगरेशन में दर्ज कर सकते हैं ताकि संदिग्ध उपयोगकर्ता फिर से आपके संसाधन तक नहीं पहुंच पाएंगे। यह अक्षम है क्योंकि आईपी पते लगातार पुन: असाइन किए जाते हैं, पुनर्वितरित होते हैं।
   
3. प्रत्येक प्रकार के स्पैमर या बॉट के लिए एक बार की स्क्रिप्ट लिखें, अपने लॉग को परिमार्जन करें, मैन्युअल रूप से पैटर्न ढूंढें। यदि स्पैमर के व्यवहार में थोड़ा सा परिवर्तन होता है, तो सब कुछ काम करना बंद कर देता है - पूरी तरह से अप्रभावी भी।
   

सबसे पहले, मैं आपको स्पैम से लड़ने के सबसे सरल तरीके दिखाऊंगा जिसे हर कोई अपने लिए लागू कर सकता है। फिर मैं आपको उन अधिक जटिल प्रणालियों के बारे में विस्तार से बताऊंगा जिन्हें हमने मशीन लर्निंग और अन्य भारी तोपखाने का उपयोग करके विकसित किया था।

स्पैम से निपटने के सबसे आसान तरीके

मैनुअल मॉडरेशन

किसी भी सेवा में, आप मध्यस्थों को काम पर रख सकते हैं जो उपयोगकर्ता की सामग्री और प्रोफ़ाइल को मैन्युअल रूप से देख सकते हैं और यह तय कर सकते हैं कि इस उपयोगकर्ता का क्या करना है। आमतौर पर, यह प्रक्रिया एक हेस्टैक में सुई खोजने की तरह दिखती है। हमारे पास उपयोगकर्ताओं की एक बड़ी संख्या है, मॉडरेटर्स कम हैं।



इस तथ्य के अलावा कि मध्यस्थों को स्पष्ट रूप से बहुत कुछ चाहिए, आपको बहुत अधिक बुनियादी ढांचे की आवश्यकता है। लेकिन, वास्तव में, सबसे कठिन बात एक और है - एक समस्या उत्पन्न होती है: कैसे, इसके विपरीत, उपयोगकर्ताओं को मध्यस्थों से बचाएं।

यह सुनिश्चित करना आवश्यक है कि मध्यस्थों को व्यक्तिगत डेटा तक पहुंच नहीं मिलती है। यह महत्वपूर्ण है क्योंकि मध्यस्थ सैद्धांतिक रूप से नुकसान पहुंचाने की कोशिश भी कर सकते हैं। यही है, हमें एंटीस्पैम के लिए एंटीस्पैम की आवश्यकता है, ताकि मॉडरेटर्स तंग नियंत्रण में हों।

जाहिर है, आप इस तरह से सभी उपयोगकर्ताओं को सत्यापित नहीं कर सकते। फिर भी, मॉडरेशन किसी भी मामले में आवश्यक है , क्योंकि भविष्य में किसी भी सिस्टम को प्रशिक्षण और एक मानवीय हाथ की आवश्यकता है जो यह निर्धारित करेगा कि उपयोगकर्ता के साथ क्या करना है।

सांख्यिकी संग्रह

आप प्रत्येक उपयोगकर्ता के लिए विभिन्न मापदंडों को इकट्ठा करने के लिए - आंकड़ों का उपयोग करने की कोशिश कर सकते हैं।



यूजर इनोकेंटी अपने आईपी पते से लॉग इन करता है। पहली चीज जो हम करते हैं वह लॉग इन है जिसमें आईपी एड्रेस दर्ज किया गया था। इसके बाद, हम सभी IP पतों और सभी उपयोगकर्ताओं के बीच एक फॉरवर्ड और रिवर्स इंडेक्स बनाते हैं, ताकि आप उन सभी IP पतों को प्राप्त कर सकें, जिनसे एक विशिष्ट उपयोगकर्ता लॉग इन करता है, साथ ही सभी उपयोगकर्ता जो एक विशिष्ट IP पते से लॉग इन करते हैं।

इस तरह हम विशेषता और उपयोगकर्ता के बीच संबंध प्राप्त करते हैं। इस तरह के बहुत सारे गुण हो सकते हैं। हम न केवल आईपी-पतों के बारे में जानकारी एकत्र करना शुरू कर सकते हैं, बल्कि फोटो, डिवाइस भी जिसमें से उपयोगकर्ता आया था - हर उस चीज के बारे में जिसे हम निर्धारित कर सकते हैं।



हम ऐसे आंकड़े एकत्र करते हैं और इसे उपयोगकर्ता के साथ जोड़ते हैं। प्रत्येक विशेषता के लिए हम विस्तृत काउंटर एकत्र कर सकते हैं।

हमारे पास एक मैनुअल मॉडरेशन है जो यह तय करता है कि कौन सा उपयोगकर्ता अच्छा है, जो खराब है, और कुछ बिंदु पर उपयोगकर्ता अवरुद्ध या सामान्य के रूप में मान्यता प्राप्त है। हम प्रत्येक विशेषता के लिए अलग से डेटा प्राप्त कर सकते हैं, कितने कुल उपयोगकर्ता, उनमें से कितने अवरुद्ध हैं, कितने सामान्य के रूप में पहचाने जाते हैं।

प्रत्येक विशेषताओं के लिए ऐसे आँकड़े होने से, हम मोटे तौर पर यह निर्धारित कर सकते हैं कि स्पैमर कौन है, कौन नहीं है।



मान लें कि हमारे पास दो आईपी पते हैं - एक पर स्पैमर का 80% और दूसरे पर 1%। जाहिर है, पहले बहुत अधिक स्पैम है, आपको इसके साथ कुछ करने और कुछ प्रकार के प्रतिबंधों को लागू करने की आवश्यकता है।

सबसे सरल बात यह है कि न्यायिक नियम लिखना है । उदाहरण के लिए, यदि अवरुद्ध उपयोगकर्ता 80% से अधिक हैं, और जिन्हें सामान्य माना जाता है - 5% से कम, तो इस आईपी पते को बुरा माना जाता है। फिर हम इस आईपी पते के साथ सभी उपयोगकर्ताओं के साथ प्रतिबंध लगाते हैं या कुछ और करते हैं।

ग्रंथों से आँकड़ों का संग्रह

उपयोगकर्ताओं के पास मौजूद स्पष्ट विशेषताओं के अलावा, आप टेक्स्ट विश्लेषण भी कर सकते हैं। आप स्वचालित रूप से उपयोगकर्ता संदेशों को पार्स कर सकते हैं, उनसे हर चीज को अलग कर सकते हैं जो स्पैम से संबंधित है: संदेशवाहक, फोन, ईमेल, लिंक, डोमेन आदि का उल्लेख करें, और उनसे समान आँकड़े एकत्र करें।



उदाहरण के लिए, यदि 100 उपयोगकर्ताओं द्वारा संदेशों में एक डोमेन नाम भेजा गया था, जिनमें से 50 अवरुद्ध थे, तो यह डोमेन नाम खराब है। इसे ब्लैकलिस्ट किया जा सकता है।

हम संदेश ग्रंथों के आधार पर प्रत्येक उपयोगकर्ताओं के लिए बड़ी मात्रा में अतिरिक्त आंकड़े प्राप्त करेंगे। इसके लिए किसी मशीन लर्निंग की जरूरत नहीं है।

शब्दों को रोकें

स्पष्ट चीजों के अलावा - टेलीफोन और लिंक - आप पाठ से वाक्यांशों या शब्दों को निकाल सकते हैं जो विशेष रूप से स्पैमर्स के लिए आम हैं। आप मैन्युअल रूप से स्टॉप शब्दों की इस सूची को बनाए रख सकते हैं।

उदाहरण के लिए, स्पैमर और स्कैमर के खातों पर, वाक्यांश: "बहुत सारे नकली हैं" अक्सर पाया जाता है। वे लिखते हैं कि वे आम तौर पर यहां केवल वही होते हैं जो किसी गंभीर चीज के लिए स्थापित होते हैं, अन्य सभी नकली, जिन पर किसी भी मामले में भरोसा नहीं किया जा सकता है।

आंकड़ों के अनुसार डेटिंग साइटों पर, सामान्य लोगों की तुलना में अधिक बार स्पैमर्स वाक्यांश का उपयोग करते हैं: "मैं एक गंभीर रिश्ते की तलाश कर रहा हूं।" यह संभावना नहीं है कि एक साधारण व्यक्ति इसे डेटिंग साइट पर लिखेगा - 70% की संभावना के साथ यह एक स्पैमर है जो किसी को लुभाने की कोशिश कर रहा है।

समान खातों के लिए खोजें

ग्रंथों में पाए जाने वाले शब्दों की विशेषताओं और स्टॉप के आंकड़ों के साथ, आप समान खातों की खोज के लिए एक सिस्टम बना सकते हैं। यह एक ही व्यक्ति द्वारा बनाए गए सभी खातों को खोजने और उन पर प्रतिबंध लगाने के लिए आवश्यक है। एक स्पैमर जिसे ब्लॉक किया गया है, वह तुरंत एक नया खाता पंजीकृत कर सकता है।

उदाहरण के लिए, एक उपयोगकर्ता हेरोल्ड लॉग इन करता है, साइट पर लॉग ऑन करता है और अपनी विशिष्ट विशेषताओं को प्रदान करता है: आईपी पता, फोटो, उपयोग किए जाने वाले शब्द को रोकें। हो सकता है कि उसने एक फ़ेसबुक अकाउंट भी साइन किया हो।



हम उन सभी उपयोगकर्ताओं को उनके समान पा सकते हैं जिनके पास इन विशेषताओं में से एक या अधिक मिलान हैं। जब हम यह सुनिश्चित करते हैं कि ये उपयोगकर्ता जुड़े हुए हैं, तो बहुत आगे और रिवर्स इंडेक्स का उपयोग करके, हम विशेषताओं को ढूंढते हैं, और सभी उपयोगकर्ताओं द्वारा, और उन्हें रैंक करते हैं। यदि, हम पहले हेरोल्ड कहते हैं, हम ब्लॉक करते हैं, तो बाकी को भी इस प्रणाली का उपयोग करके "मार" करना आसान है।

मेरे द्वारा बताए गए सभी तरीके बहुत सरल हैं: आंकड़ों को इकट्ठा करना आसान है, फिर इन विशेषताओं का उपयोग करने वाले उपयोगकर्ताओं को खोजना आसान है। लेकिन, सहजता के बावजूद, इस तरह की सरल चीजों की मदद से - सरल मॉडरेशन, सरल आंकड़े, सरल स्टॉप शब्द - वे 50% स्पैम को हराने के लिए प्रबंधन करते हैं ।

हमारी कंपनी में, पहले छह महीनों के काम के लिए, Antispam विभाग ने 50% स्पैम को हराया। शेष 50%, जैसा कि आप जानते हैं, बहुत अधिक जटिल हैं।

स्पैमर के लिए जीवन को कठिन कैसे बनाया जाए

स्पैमर्स कुछ का आविष्कार कर रहे हैं, हमारे जीवन को जटिल बनाने की कोशिश कर रहे हैं, और हम उनसे लड़ने की कोशिश कर रहे हैं। यह एक अंतहीन युद्ध है। उनमें से बहुत अधिक हमारे पास हैं, और प्रत्येक चरण में हम अपने स्वयं के बहु-पथ के साथ आते हैं।

मुझे यकीन है कि स्पैमर के सम्मेलन कहीं न कहीं हो रहे हैं, जहाँ वक्ता इस बात पर चर्चा करते हैं कि कैसे उन्होंने केपीआई के बारे में बीट एंटिस्पैम को हराया, या नवीनतम तकनीक का उपयोग करके स्केलेबल फॉल्ट-टॉलरेंट स्पैम कैसे बनाया जाए।

दुर्भाग्य से, हम इस तरह के सम्मेलनों के लिए आमंत्रित नहीं हैं।

लेकिन हम spammers के लिए जीवन को मुश्किल बना सकते हैं। उदाहरण के लिए, उपयोगकर्ता को सीधे "आप बंद हैं" विंडो दिखाने के बजाय, आप तथाकथित चुपके प्रतिबंध का उपयोग कर सकते हैं - यह तब है जब हम उपयोगकर्ता से यह नहीं कहते हैं कि वह प्रतिबंधित है। उसे उस पर शक भी नहीं करना चाहिए।



उपयोगकर्ता सैंडबॉक्स (साइलेंट हिल) में जाता है, जहां सब कुछ वास्तविक लगता है: आप संदेश भेज सकते हैं, वोट कर सकते हैं, लेकिन वास्तव में यह सब शून्य में चला जाता है, कोहरे में। कोई भी कभी भी देख और सुन नहीं सकता है, कोई भी उसके संदेश और वोट प्राप्त नहीं करेगा।

हमारे पास एक मामला था जब एक स्पैमर लंबे समय तक स्पैम करता था, उसने अपने खराब सामान और सेवाओं को बढ़ावा दिया, और छह महीने बाद सेवा का उपयोग करने का फैसला किया। उसने अपना वास्तविक खाता पंजीकृत किया: वास्तविक तस्वीरें, नाम, आदि। स्वाभाविक रूप से, समान खातों के लिए हमारे खोज इंजन ने जल्दी से इसका पता लगाया और इसे चुपके प्रतिबंध में डाल दिया। उसके बाद, उन्होंने छह महीने तक शून्य में लिखा कि वह बहुत अकेला था, किसी ने जवाब नहीं दिया। सामान्य तौर पर, उन्होंने अपनी पूरी आत्मा को साइलेंट हिल के कोहरे में डाल दिया, लेकिन उन्हें कोई जवाब नहीं मिला।

स्पैमर, ज़ाहिर है, मूर्ख नहीं हैं। वे किसी तरह यह निर्धारित करने की कोशिश कर रहे हैं कि वे सैंडबॉक्स में आ गए और वे अवरुद्ध हो गए, पुराने खाते को छोड़ दिया और एक नया खोज लिया। हमें कभी-कभी यह भी अंदाजा हो जाता है कि इन स्पैमर में से कई को सैंडबॉक्स में एक साथ भेजना अच्छा होगा, ताकि वहां वे एक-दूसरे को अपनी पसंद की हर चीज बेच सकें और जैसा चाहें वैसा ही मस्ती कर सकें। लेकिन जब तक हम इस बिंदु पर नहीं पहुंच गए हैं, हम अन्य तरीकों को तैयार कर रहे हैं, उदाहरण के लिए, फोटो और टेलीफोन सत्यापन।



जैसा कि आप जानते हैं, यह एक स्पैमर के लिए मुश्किल है जो एक बॉट है और फोन या फोटो द्वारा सत्यापन पास करने वाला व्यक्ति नहीं है।

हमारे मामले में, फोटो द्वारा सत्यापन इस तरह दिखता है: उपयोगकर्ता को एक निश्चित इशारे के साथ एक तस्वीर लेने के लिए कहा जाता है, परिणामस्वरूप फोटो की तुलना उन तस्वीरों के साथ की जाती है जो पहले से ही प्रोफ़ाइल में लोड हैं। यदि चेहरे समान हैं, तो सबसे अधिक संभावना है कि व्यक्ति वास्तविक है, अपनी वास्तविक तस्वीरें अपलोड करता है और कुछ समय के लिए पीछे रह सकता है।

स्‍पैमर्स के लिए इस परीक्षा को पास करना आसान नहीं है। यहां तक ​​कि हमें कंपनी के अंदर एक छोटा गेम भी मिला जिसका नाम गेस हू द स्पैमर है। चार तस्वीरों को देखते हुए, आपको यह समझने की आवश्यकता है कि उनमें से कौन एक स्पैमर है।



पहली नज़र में, ये लड़कियां पूरी तरह से हानिरहित दिखती हैं, लेकिन जैसे ही वे फोटो सत्यापन से गुजरना शुरू करते हैं, कुछ बिंदु से यह स्पष्ट हो जाता है कि उनमें से एक पूरी तरह से वह नहीं है जो वह होने का दावा करती है।

किसी भी मामले में, स्पैमर्स के पास फोटो सत्यापन से लड़ने का कठिन समय होता है। वे वास्तव में पीड़ित हैं, किसी तरह इसके चारों ओर जाने की कोशिश करते हैं, धोखा देते हैं और अपने सभी फोटोशॉप कौशल का प्रदर्शन करते हैं।



स्पैमर वे सब कुछ कर रहे हैं जो वे कर सकते हैं, और कभी-कभी वे सोचते हैं, शायद, यह सब पूरी तरह से कुछ अविश्वसनीय आधुनिक प्रौद्योगिकियों द्वारा संसाधित किया जाता है जो इतने खराब तरीके से निर्मित होते हैं कि वे मूर्ख बनाने में आसान होते हैं।

वे नहीं जानते कि प्रत्येक तस्वीर को फिर से मॉडरेटरों द्वारा मैन्युअल रूप से जांचा जाता है।

कोई समय नहीं

वास्तव में, इस तथ्य के बावजूद कि हम स्पैमर्स के लिए जीवन को कठिन बनाने के लिए विभिन्न तरीकों के साथ आते हैं, आमतौर पर पर्याप्त समय नहीं होता है, क्योंकि एंटी-स्पैम को तुरंत काम करना चाहिए। अपनी नकारात्मक गतिविधि शुरू करने से पहले उसे उपयोगकर्ता को खोजना और बेअसर करना होगा।

सबसे अच्छी बात यह है कि पंजीकरण चरण में यह निर्धारित करना है कि उपयोगकर्ता बहुत अच्छा नहीं है। यह, उदाहरण के लिए, क्लस्टरिंग का उपयोग करके किया जा सकता है।

उपयोगकर्ता क्लस्टरिंग

हम पंजीकरण के ठीक बाद सभी संभावित जानकारी एकत्र कर सकते हैं। हमारे पास अभी भी कोई उपकरण नहीं है जिसके साथ उपयोगकर्ता लॉग इन करता है, न ही तस्वीरें, कोई आँकड़े नहीं हैं। हमारे पास उसे सत्यापन के लिए भेजने के लिए कुछ भी नहीं है, उसने कुछ भी संदिग्ध नहीं किया है। लेकिन हमारे पास पहले से ही प्राथमिक जानकारी है:

• मंजिल;
• उम्र;
• पंजीकरण का देश;
• देश और आईपी प्रदाता;
• ईमेल डोमेन
• टेलीफोन ऑपरेटर (यदि कोई हो);
• fb से डेटा (यदि कोई है) - उसके कितने दोस्त हैं, उसने कितनी तस्वीरें अपलोड की हैं, उसने कितने समय तक वहां पंजीकरण किया है, आदि।

इस जानकारी का उपयोग उपयोगकर्ता समूहों का पता लगाने के लिए किया जा सकता है। हम सरल और लोकप्रिय K- साधन क्लस्टरिंग एल्गोरिथ्म का उपयोग करते हैं। यह हर जगह पूरी तरह से लागू है, यह किसी भी मशीन लर्निंग लाइब्रेरी में समर्थित है, यह पूरी तरह से समानांतर है, यह जल्दी से काम करता है। इस एल्गोरिथ्म के स्ट्रीमिंग संस्करण हैं जो आपको उपयोगकर्ताओं को मक्खी पर क्लस्टर पर वितरित करने की अनुमति देते हैं। हमारे संस्करणों में भी, यह सब बहुत जल्दी काम करता है।

ऐसे उपयोगकर्ता समूह (क्लस्टर) प्राप्त करने के बाद, हम कोई भी कार्य कर सकते हैं। यदि उपयोगकर्ता बहुत समान हैं (क्लस्टर अत्यधिक जुड़ा हुआ है), तो सबसे अधिक संभावना है कि यह बड़े पैमाने पर पंजीकरण है, इसे तुरंत रोक दिया जाना चाहिए। उपयोगकर्ता के पास अभी तक कुछ करने का समय नहीं है, बस "रजिस्टर" बटन पर क्लिक करें - और यह सब, वह पहले से ही सैंडबॉक्स में आ गया है।

आंकड़े क्लस्टर पर एकत्र किए जा सकते हैं - यदि क्लस्टर का 50% अवरुद्ध है, तो शेष 50% सत्यापन के लिए भेजा जा सकता है, या अलग-अलग सभी समूहों को मैन्युअल रूप से मॉडरेट किया जा सकता है, उन विशेषताओं को देखें जिनके द्वारा वे मेल खाते हैं, और एक निर्णय लेते हैं। इस तरह के डेटा के आधार पर, विश्लेषक पैटर्न की पहचान कर सकते हैं।

पैटर्न

पैटर्न सबसे सरल उपयोगकर्ता विशेषताओं के सेट होते हैं जो हम तुरंत जानते हैं। कुछ पैटर्न वास्तव में कुछ प्रकार के स्पैमर्स के खिलाफ बहुत प्रभावी ढंग से काम करते हैं।

उदाहरण के लिए, तीन पूरी तरह से स्वतंत्र, काफी सामान्य विशेषताओं के संयोजन पर विचार करें:

1. उपयोगकर्ता यूएसए में पंजीकृत है;
   
2. इसका प्रदाता प्रिविक्स लिमिटेड (वीपीएन ऑपरेटर) है;
   
3. ईमेल-डोमेन: [mail.ru, list.ru, bk.ru, इनबॉक्स.ru]।
   

इन तीन विशेषताओं, प्रतीत होता है कि अलग से कुछ भी नहीं का प्रतिनिधित्व करते हैं, एक साथ संभावना देते हैं कि यह एक स्पैमर है, लगभग 90%।

आप प्रत्येक प्रकार के स्पैमर के लिए ऐसे पैटर्न निकाल सकते हैं, जिन्हें आप पसंद करते हैं। यह मैन्युअल रूप से सभी खातों या यहां तक ​​कि समूहों को देखने की तुलना में बहुत अधिक कुशल और आसान है।

पाठ क्लस्टरिंग

उपयोगकर्ताओं को विशेषताओं द्वारा क्लस्टर करने के अलावा, आप उन उपयोगकर्ताओं को ढूंढ सकते हैं जो एक ही ग्रंथ लिखते हैं। बेशक, यह इतना आसान नहीं है। तथ्य यह है कि हमारी सेवा कई भाषाओं में काम करती है। इसके अलावा, उपयोगकर्ता अक्सर संक्षिप्तीकरण के साथ, कभी-कभी त्रुटियों के साथ लिखते हैं। खैर, संदेश स्वयं आमतौर पर बहुत कम होते हैं, शाब्दिक रूप से 3-4 शब्द (लगभग 25 अक्षर)।

तदनुसार, यदि हम उन अरबों संदेशों के बीच समान पाठ खोजना चाहते हैं जो उपयोगकर्ता लिखते हैं, तो हमें कुछ असामान्य के साथ आने की आवश्यकता है। यदि आप भाषा के आकारिकी और सही ईमानदार प्रसंस्करण के विश्लेषण के आधार पर शास्त्रीय तरीकों का उपयोग करने की कोशिश करते हैं, तो इन सभी प्रतिबंधों, स्लैंग्स, समिश्र और भाषाओं के एक समूह के साथ, यह बहुत मुश्किल है।

आप थोड़ा और बस कर सकते हैं - एन-ग्राम एल्गोरिथम लागू करें। प्रत्येक संदेश जो दिखाई देता है वह टूटकर n-gr। यदि n = 2, तो ये बिगग्राम (अक्षर के जोड़े) हैं। धीरे-धीरे, पूरे संदेश को अक्षरों और आंकड़ों के जोड़े में विभाजित किया जाता है, पाठ में प्रत्येक बार कितनी बार आश्रम होता है।



आप बड़ेग्राम में नहीं रुक सकते हैं, लेकिन ट्रिगर्स, स्किपग्राम (1, 2, आदि अक्षरों के बाद के अक्षरों पर आंकड़े) जोड़ सकते हैं। हम जितनी अधिक जानकारी प्राप्त करेंगे, उतना बेहतर होगा। लेकिन यहां तक ​​कि बिगग्राम पहले से ही काफी अच्छा काम करते हैं।

फिर हमें प्रत्येक संदेश के बिग्रेड से एक वेक्टर मिलता है जिसकी लंबाई वर्णमाला की लंबाई के वर्ग के बराबर होती है।

इस वेक्टर के साथ काम करना और इसे क्लस्टर करना बहुत सुविधाजनक है, क्योंकि:

• संख्याओं के होते हैं;
• संकुचित, कोई voids नहीं हैं;
• हमेशा निश्चित आकार।
• एक निश्चित आकार के ऐसे संकुचित वैक्टर के साथ k- साधन एल्गोरिथ्म बहुत तेज है। हमारे अरबों संदेशों का शाब्दिक रूप से कुछ मिनटों में खंडन किया जाता है।

लेकिन यह सब नहीं है। दुर्भाग्य से, यदि हम केवल उन सभी संदेशों को एकत्र करते हैं जो कि बड़ेग्रामों की आवृत्ति के समान हैं, तो हमें ऐसे संदेश मिलते हैं जो बड़ेग्रामों की आवृत्ति के समान हैं। हालांकि, वे वास्तव में कम से कम कुछ इसी तरह के अर्थ में होने की जरूरत नहीं है। अक्सर लंबे ग्रंथ होते हैं जिनमें वैक्टर बहुत करीब होते हैं, लगभग एक जैसे, लेकिन ग्रंथ खुद ही पूरी तरह से अलग होते हैं। इसके अलावा, पाठ की एक निश्चित लंबाई से शुरू, यह क्लस्टरिंग विधि आम तौर पर काम करना बंद कर देगी, क्योंकि बीघों की आवृत्तियाँ बराबर होती हैं।


इसलिए, आपको फ़िल्टरिंग जोड़ने की आवश्यकता है। चूंकि क्लस्टर पहले से मौजूद हैं, वे काफी छोटे हैं, हम आसानी से शब्दों के स्टेमिंग या बैग का उपयोग करके क्लस्टर के अंदर फ़िल्टरिंग कर सकते हैं। एक छोटे क्लस्टर के अंदर, आप सचमुच सभी संदेशों की सभी के साथ तुलना कर सकते हैं, और क्लस्टर प्राप्त कर सकते हैं जिसमें समान संदेश होने की गारंटी है, जो न केवल आंकड़ों में, बल्कि वास्तविकता में भी मेल खाता है।

, — , , ( ) . , - .

— VPN, TOR, Proxy, . , , , .

, , « IP».



VPN — , IP- , IP- VPN, Proxy .

:

1. ISP (Internet Service Provider), IP- . , .
   
2. Whois . IP- Whois : ; ; , IP-; , IP- .. , IP-.
   
3. GeolP. , IP- , , IP- , , , IP- - .
   
4. — IP- , GeolP, Whois, .
   

, , , IP- VPN .



, — , , .., , IP- VPN.

, . , advanced-, 100% . .

, IP- VPN, , IP- . , , . SOCKS-proxy, IP- .

, , , p0f . , fingerprinting , : , VPN-, Proxy .. , .

, , , , , : ? — ! , , , .

— ? . 2 , .

, , , , , , , .



, , ?

«User Decency»

— , .

«» :

• ;
• ;
• ;
• ;
• .

. . , , , .

, , « ». , , , , . .

1, , , , — .



.

False positive

, — . , IP-. , -, . , fingerprint, , , — , , , , - .

: : «, — Pornhub — ?» , - , .

. , , , .

- «Pornhub». - , - .



- -, .

, , . : , , , , .. , «» . , , , . , , .

, .

-

— MachineLearning, , 0 1 — .


, , , . , , . , - , .

, — . — , .

, ( ) , , . , , , : , , . .

HighLoad++ 2018 , , :

• ML- ,
  
• NVIDIA , .
  
• use case .
  

youtube- , — , .