इंटरनेट के मुद्दे और उपलब्धता रिपोर्ट 2018–2019

इस वर्ष की वार्षिक रिपोर्ट पर काम करते हुए हमने पिछले वर्ष की समाचारों की सुर्खियों में आने से बचने का फैसला किया है, हालांकि, यादों को बिल्कुल अनदेखा करना लगभग असंभव है, हम आपके साथ एक स्पष्ट विचार और एक रणनीतिक दृष्टिकोण का परिणाम साझा करना चाहते हैं। बिंदु जहां हम सभी निकटतम समय में आने वाले हैं - वर्तमान।

परिचय शब्दों को पीछे छोड़ते हुए, यहाँ हमारे महत्वपूर्ण निष्कर्ष हैं:

• औसत DDoS हमले की अवधि 2.5 घंटे तक गिर गई;
• 2018 के दौरान, किसी देश या क्षेत्र के भीतर सैकड़ों गीगाबिट्स-प्रति सेकंड के हमलों की क्षमता हमें "बैंडविड्थ सापेक्षता के क्वांटम सिद्धांत" के कगार पर लाती है;
• DDoS हमलों की आवृत्ति बढ़ती रहती है;
• HTTPS- सक्षम (SSL) हमलों की निरंतर वृद्धि;
• PC मर चुका है: आज ज्यादातर वैध ट्रैफिक स्मार्टफोन से आता है, जो आज DDoS अभिनेताओं के लिए एक चुनौती है और DDoS शमन कंपनियों के लिए अगली चुनौती होगी;
• बीजीपी अंत में एक हमले वेक्टर बन गया, 2 साल बाद हम उम्मीद से अधिक;
• डीएनएस हेरफेर सबसे हानिकारक हमला वेक्टर बन गया है;
• अन्य नए प्रवर्धन वैक्टर संभव हैं, जैसे मेम्केडेड और सीओएपी;
• कोई और "सुरक्षित उद्योग" नहीं हैं जो किसी भी प्रकार के साइबर हमले के लिए अयोग्य हैं।

इस लेख में हमने अपनी रिपोर्ट के सभी सबसे दिलचस्प हिस्सों को चेरी-पिक करने की कोशिश की है, हालांकि अगर आप अंग्रेजी में पूर्ण संस्करण पढ़ना चाहते हैं, तो पीडीएफ उपलब्ध है ।

पूर्वप्रभावी

2018 में, हमारी कंपनी ने अपने नेटवर्क पर दो रिकॉर्ड-ब्रेकिंग हमलों का जश्न मनाया। Memcached प्रवर्धन हमले, जिसे हमने फरवरी 2018 के अंत में विस्तार से वर्णित किया, Qrator Labs के ग्राहक, Qiwi भुगतान प्लेटफ़ॉर्म के मामले में 500 Gbps तक पहुँच गया। फिर, अक्टूबर के अंत में, हमें रूसी संघ के भीतर हमारे ग्राहकों में से एक पर अत्यधिक केंद्रित डीएनएस प्रवर्धन हमला मिला।

डीएनएस प्रवर्धन एक पुराना और प्रसिद्ध डीडीओएस अटैक वेक्टर है जो मुख्य रूप से वॉल्यूमेट्रिक है और दो समस्याओं को उठाता है, सैकड़ों गीगाबिट्स-प्रति सेकंड हमले की स्थिति में, हमारे अपस्ट्रीम चैनल को ओवरलोड करने का एक उच्च मौका है। इससे कैसे लड़ें? जाहिर है, हमें कई चैनलों के बीच ऐसे लोड को फैलाना होगा, जो दूसरे मुद्दे पर ले जाता है - जोड़ा गया विलंबता जो ट्रैफ़िक प्रवाह को हमारे प्रसंस्करण बिंदु में बदलने से उत्पन्न होता है। सौभाग्य से, हमने सफलतापूर्वक केवल लोड-संतुलन के साथ उस विशेष हमले को कम कर दिया।

यह वह जगह है जहां लचीली लोड-बैलेंसिंग अपने वास्तविक मूल्य को प्रदर्शित करती है, और चूंकि क्यूरेटर लैब्स किसी भी बीजीपी नेटवर्क का प्रबंधन करता है, राडार लोड संतुलन को समायोजित करने के बाद हमारे नेटवर्क में ट्रैफ़िक के प्रसार को प्रसारित करता है। बीजीपी एक दूरी-वेक्टर प्रोटोकॉल है, और हम उन राज्यों को जानते हैं क्योंकि दूरी का ग्राफ स्थिर रहता है। उन दूरियों का विश्लेषण और LCPs और समान-लागत वाले मल्टीपाथ पर विचार करके, हम उच्च विश्वास के साथ बिंदु A से बिंदु B तक AS_path का अनुमान लगा सकते हैं।

यह कहना नहीं है कि प्रवर्धन सबसे खतरनाक खतरा है - नहीं, अनुप्रयोग परत के हमले सबसे प्रभावी, नुकीले और अदृश्य रहते हैं क्योंकि उनमें से अधिकांश कम बैंडविड्थ वाले होते हैं।

यह मुख्य कारण है क्यूरेटर लैब्स पॉइंट-ऑफ-उपस्थिति के आधार पर ऑपरेटरों के साथ कनेक्शन को अपग्रेड करना, जबकि उपस्थिति के क्षेत्रों को भी चौड़ा करना। यह इन दिनों किसी भी नेटवर्क ऑपरेटर के लिए एक स्वाभाविक कदम है, यह मानते हुए कि इसकी संख्या बढ़ रही है। हालांकि, हमलावरों के नजरिए से, हमारा मानना ​​है कि एक औसत दर्जे का बॉटनेट इकट्ठा करना आम है और केवल बाद में उपलब्ध सभी एम्पलीटेटर के सबसे अमीर सरणी की तलाश में सबसे अधिक संभव पुनः लोड दर पर सभी बंदूकों से प्रहार करना है। हाइब्रिड हमले यहां हैं, बैंडविड्थ में बढ़ रहे हैं, पैकेट दर, और आवृत्ति।



2018 में बोटनेट काफी विकसित हुए और उनके आकाओं ने उनके लिए एक नई नौकरी पाई - धोखाधड़ी पर क्लिक करें। मशीन लर्निंग और हेडलेस ब्राउजर इंजन के उदय के साथ, क्लिक धोखाधड़ी बहुत आसान हो गई सिर्फ कुछ साल पहले।

आज की औसत वेबसाइट मोबाइल डिवाइस, स्मार्टफोन ब्राउज़र और एप्लिकेशन से अपने ट्रैफ़िक का लगभग 50% से 65% प्राप्त करती है। कुछ वेब सेवाओं के लिए, यह आंकड़ा 90% या 100% के करीब है, जबकि एक डेस्कटॉप-केवल वेबसाइट आज एक दुर्लभ चीज है जो ज्यादातर उद्यम वातावरण या कुछ सीमावर्ती मामलों में सामना किया जा रहा है।

पीसी मूल रूप से 2019 में मर चुका है, जो माउस के उपयोग पर नज़र रखने, जैसे कि बॉट ट्रैकिंग और फ़िल्टरिंग के लिए पूरी तरह से बेकार में से कुछ का उपयोग करता है। वास्तव में, न केवल पीसी (सभी चमकदार लैपटॉप और ऑल-इन-वन डेस्कटॉप मशीनों के साथ) शायद ही कभी कुछ वेबसाइटों के साथ एक प्रमुख ट्रैफिक शेयर का स्रोत होता है, लेकिन यह अक्सर सिर्फ एक अपराधी के रूप में अधिक होता जा रहा है। कभी-कभी, जो कुछ भी उचित स्मार्टफोन ब्राउज़र नहीं है, उस तक पहुंच से इनकार करना, एक बोटनेट हमले को पूरी तरह से कम करने के लिए पर्याप्त है जो मुख्य व्यवसाय प्रदर्शन संकेतकों पर शून्य नकारात्मक प्रभाव के बारे में एक ही समय में होता है।

बोटनेट लेखकों को अपने दुर्भावनापूर्ण कोड में डेस्कटॉप ब्राउज़रों के व्यवहार को लागू करने या उनका अनुकरण करने के लिए उपयोग किया जाता है, जैसे कि वेबसाइट के मालिकों को यह विश्वास करने के लिए उपयोग किया जाता है कि पीसी ब्राउज़र वास्तव में मायने रखते हैं। उत्तरार्द्ध हाल ही में बदल गया है, इसलिए कुछ वर्षों के भीतर पूर्व में भी परिवर्तन होना चाहिए।

हमने पहले ही कहा था कि 2018 के दौरान कुछ भी नहीं बदला, लेकिन परिवर्तन और प्रगति ने एक स्थिर गति बनाए रखी। सबसे महत्वपूर्ण उदाहरणों में से एक मशीन लर्निंग है, जहां सुधार विशेष रूप से स्पष्ट थे, विशेष रूप से जनरेटिव एडवरसियर नेटवर्क्स के क्षेत्र में। धीरे-धीरे, लेकिन लगातार, एमएल बड़े पैमाने पर बाजार तक पहुंच रहा है। मशीन सीखने की दुनिया अधिक सुलभ हो गई है और, वर्ष के अंत तक यह अब शिक्षाविदों तक सीमित नहीं है।

हमें 2019 की शुरुआत तक पहले एमएल-आधारित (या अन्यथा संबंधित) DDoS हमलों को देखने की उम्मीद थी लेकिन यह अभी भी नहीं हुआ है। हम अभी एमएल-जनरेट किए गए डेटा की कम लागत के कारण इस तरह के विकास की उम्मीद करते हैं, लेकिन जाहिर तौर पर यह कम नहीं है।

यदि आप "स्वचालित मानव" उद्योग की वर्तमान स्थिति के बारे में सोचते हैं, तो उसके ऊपर न्यूरो-नेटवर्क डालना बुरा विचार नहीं है। ऐसा नेटवर्क वास्तविक मानव व्यवहार को वेब पेज सामग्री के प्रबंधन के संदर्भ में सीखेगा। यह कुछ ऐसा है जिसे हर कोई "एआई उपयोगकर्ता अनुभव" कहेगा और निश्चित रूप से, एक ब्राउज़र इंजन से लैस ऐसा नेटवर्क दोनों पक्षों के लिए एक बहुत ही दिलचस्प शस्त्रागार का उत्पादन कर सकता है, अपराध और रक्षा।

निश्चित रूप से, नेटवर्क को पढ़ाना महंगा है, लेकिन ऐसी प्रणाली को वितरित करना और आउटसोर्सिंग करना बहुत सस्ती हो सकती है और, संभवतः, मुफ्त, खासकर अगर मैलवेयर, हैक किए गए एप्लिकेशन और इतने पर विचार किया जाता है। संभावित रूप से, इस तरह का परिवर्तन पूरे उद्योग को प्रभावित कर सकता है, उसी तरह GANs ने "दृश्य वास्तविकता" और "भरोसेमंदता" के बारे में जो सोचा था उसे बदल दिया।

चूंकि यह पहली बार Google के साथ खोज इंजनों के बीच एक दौड़ है और अन्य सभी एल्गोरिदम को रिवर्स-इंजीनियर करने की कोशिश कर रहे हैं, यह एक ऐसी स्थिति तक पहुंच सकता है जहां एक बोट एक यादृच्छिक मनुष्य की नकल नहीं करेगा, लेकिन एक विशिष्ट व्यक्ति, जैसे आमतौर पर एक चयनित असुरक्षित कंप्यूटर के पीछे बैठे। कैप्चा और रिकैप्टा के संस्करण इस बात के उदाहरण के रूप में कार्य कर सकते हैं कि हमलावर अपने औजारों और हमले की तकनीकों को कैसे सुधारते हैं।

ज्ञापन के बाद, DDoS हमले के हथियार के एक नए वर्ग की संभावना के बारे में बहुत चर्चा हुई - एक भेद्यता, बॉट, समझौता सेवा, कुछ ऐसा जो अनंत बार हमलावर द्वारा चुने गए एक विशिष्ट पते पर विशेष डेटा भेज सकता है। हमलावर का एक कमांड ट्रैफ़िक के सतत प्रवाह को जारी कर सकता है, जैसे कि syslog या बड़े पैमाने पर बाढ़। वह केवल एक सिद्धांत है। हम यह नहीं कह सकते हैं कि ऐसे सर्वर, या उपकरण, वास्तव में मौजूद हैं, लेकिन अगर वे ऐसा करते हैं, तो यह कहना गलत होगा कि वे गलत हाथों में एक अत्यंत खतरनाक हथियार का प्रतिनिधित्व कर सकते हैं।

2018 में, हमने इंटरनेट के संचालन और दुनिया भर की सभी प्रकार की सरकारों और गैर-लाभकारी सेवाओं से संबंधित सेवाओं में रुचि दिखाई। हम इसे उस बिंदु तक एक तटस्थ विकास के रूप में देखते हैं जहां मौलिक स्वतंत्रता को दबाया जा सकता है, जो हमें उम्मीद है कि विशेष रूप से विकसित देशों में नहीं होगा।

विश्व स्तर पर यातायात पर हमला करने के लिए एकत्र करने और विश्लेषण करने के वर्षों के बाद, Qrator Labs अब पहले अनुरोध ब्लॉक को लागू कर रही है। दुर्भावनापूर्ण व्यवहार की भविष्यवाणी करने के लिए हम जिन मॉडलों का उपयोग करते हैं, वे हमें उच्च आत्मविश्वास के साथ यह निर्धारित करने में सक्षम करते हैं कि उपयोगकर्ता वैध है या नहीं। हम जावास्क्रिप्ट चुनौतियों या कैप्चा के बिना, निर्बाध उपयोगकर्ता अनुभव के हमारे केंद्रीय दर्शन का पालन करते हैं और 2019 में, हम अपनी सुरक्षा को भंग करने से पहले दुर्भावनापूर्ण अनुरोध को अवरुद्ध करने की क्षमता प्राप्त करने की उम्मीद करते हैं।

मेलानाक्स

हमने पिछले वर्षों में अपने आंतरिक परीक्षणों के परिणामस्वरूप 100G मेलानॉक्स स्विच को चुना। हम अभी भी ऐसे उपकरणों का चयन करते हैं जो विशिष्ट स्थितियों में हमारी आवश्यकताओं को पूरा करते हैं। सबसे पहले, लाइन दर पर काम करते समय स्विच किसी भी छोटे पैकेट को नहीं छोड़ना चाहिए - कोई भी गिरावट नहीं हो सकती है। दूसरा, हमें कीमत पसंद आई। हालाँकि, यह सब नहीं है। लागत हमेशा इस बात से उचित होती है कि विक्रेता आपकी विशिष्टताओं के बारे में क्या प्रतिक्रिया देता है।

मेलानोक्स स्विच स्विचडाउन के तहत काम करते हैं, उनके बंदरगाहों को साधारण लिनक्स इंटरफेस में बदलते हैं। मुख्यधारा के लिनक्स कर्नेल का एक हिस्सा होने के नाते, स्विचदेव को प्रलेखन में "स्विच-इन डिवाइस के लिए इन-कर्नेल ड्राइवर मॉडल के रूप में वर्णित किया गया है जो कर्नेल से अग्रेषित डेटा विमान को लोड करता है"। यह दृष्टिकोण बहुत सुविधाजनक है, क्योंकि हमारे द्वारा उपयोग किए जाने वाले सभी उपकरण एक एपीआई के तहत उपलब्ध हैं जो कि प्रत्येक आधुनिक प्रोग्रामर, डेवलपर और नेटवर्क इंजीनियर के लिए अत्यंत स्वाभाविक है। कोई भी प्रोग्राम, जो मानक लिनक्स नेटवर्किंग एपीआई का उपयोग करता है, स्विच पर चलाया जा सकता है। लिनक्स सर्वर के लिए बनाए गए सभी नेटवर्क निगरानी और नियंत्रण उपकरण, जिसमें घर का बना भी शामिल है, उपलब्ध हैं। उदाहरण के लिए, मार्ग तालिका में परिवर्तन लागू करना स्विचदेव से पहले की तुलना में बहुत अधिक आरामदायक है। नेटवर्क चिप के स्तर तक, सभी कोड दृश्यमान और पारदर्शी होते हैं, जिससे यह सीखना और संशोधन करना संभव हो जाता है, जब तक कि विशिष्ट क्षण तक आपको यह जानना न हो कि चिप कैसे बनाया गया है, या कम से कम बाहरी इंटरफ़ेस।

स्विचदेव नियंत्रण के तहत एक मेलानॉक्स डिवाइस वह संयोजन है जिसे हमने अपनी आवश्यकताओं के लिए सबसे उपयुक्त पाया, क्योंकि कंपनी पहले से ही मजबूत ओपन सोर्स ऑपरेटिंग सिस्टम के लिए पूर्ण समर्थन प्रदान करती है।

उत्पादन में चलाने से पहले उपकरणों का परीक्षण करते समय, हमें पता चला कि कुछ अग्रेषित यातायात को गिरा दिया गया था। हमारी जांच से पता चला है कि यह एक इंटरफेस पर ट्रैफिक के कारण कंट्रोल प्रोसेसर के माध्यम से रूट किया गया था, जो निश्चित रूप से इसके उच्च संस्करणों को संभाल नहीं सकता था। हम इस तरह के व्यवहार का सही कारण नहीं जानते थे, लेकिन हमें लगता था कि यह ICMP के पुनर्निर्देशन से जुड़ा था। मेलानॉक्स ने समस्या के कारण की पुष्टि की, और हमने उनसे उस बारे में कुछ करने को कहा। मेलानॉक्स ने तेजी से प्रतिक्रिया व्यक्त की, हमें अल्पावधि में काम करने का समाधान प्रदान किया।

महान काम, मेलानॉक्स!

प्रोटोकॉल और खुला स्रोत

DNS-over-HTTPS, DNS-over-TLS की तुलना में अधिक जटिल तकनीक है। हम पूर्व में खिलते हुए देखते हैं और बाद में धीरे-धीरे भूल जाते हैं। यह एक स्पष्ट उदाहरण है जहां "अधिक जटिल" का अर्थ है "अधिक कुशल," जैसा कि DoH यातायात किसी अन्य HTTPS से अप्रभेद्य है। हमने पहले से ही RPKI डेटा एकीकरण के साथ इसे देखा था, जब इसे शुरू में एक एंटी-हाइजैक समाधान के रूप में तैनात किया गया था और अच्छी तरह से समाप्त नहीं हुआ था, लेकिन फिर स्थिर लीक और गलत रूटिंग सेटअप जैसी गलतियों के खिलाफ एक शक्तिशाली हथियार के रूप में फिर से प्रकट हुआ। शोर सिग्नल में तब्दील हो गया और अब RPKI को सबसे बड़ी IX's का समर्थन प्राप्त है, जो बहुत अच्छी खबर है।

TLS 1.3 आ गया है। Qrator Labs, साथ ही साथ IT उद्योग समग्र रूप से, IETF के भीतर हर चरण में प्रारंभिक मसौदे के विकास की प्रक्रिया को बारीकी से देखता है ताकि समझ और प्रबंधनीय प्रोटोकॉल बन सके कि हम 2019 में समर्थन के लिए तैयार हैं। समर्थन पहले से ही बाजार के बीच स्पष्ट है, और हम इस मजबूत, सिद्ध सुरक्षा प्रोटोकॉल को लागू करने में गति बनाए रखना चाहते हैं। हमें नहीं पता कि DDoS शमन हार्डवेयर निर्माता TLS 1.3 वास्तविकताओं के अनुकूल कैसे होंगे, लेकिन, प्रोटोकॉल समर्थन की तकनीकी जटिलता के कारण, उन्हें कुछ समय लग सकता है।

हम HTTP / 2 का भी अनुसरण कर रहे हैं। अभी के लिए, इस प्रोटोकॉल के आसपास मौजूदा कोड आधार के कारण, Qrator Labs HTTP प्रोटोकॉल के नए संस्करण का समर्थन नहीं करती है। कीड़े और भेद्यता अभी भी नए कोड में अक्सर पाए जाते हैं; एक सुरक्षा सेवा प्रदाता के रूप में, हम अभी तक SLA के तहत ऐसे प्रोटोकॉल का समर्थन करने के लिए तैयार नहीं हैं जिन्हें हम अपने उपभोक्ताओं से सहमत हैं।

Qrator Labs के लिए 2018 का असली सवाल था: “लोग HTTP / 2 को इतना क्यों चाहते हैं? और यह पूरे वर्ष गर्म बहस का विषय था। लोग अभी भी "2" अंक को "तेज, मजबूत, बेहतर" संस्करण के रूप में सोचते हैं, जो कि उस विशेष प्रोटोकॉल के हर पहलू में जरूरी नहीं है। हालाँकि, DoH HTTP / 2 की सिफारिश करता है और यह वह जगह है जहाँ दोनों प्रोटोकॉल बहुत गति प्राप्त कर सकते हैं।

अगली पीढ़ी के प्रोटोकॉल सूट और फीचर्स के विकास के बारे में एक चिंता यह है कि यह आमतौर पर अकादमिक अनुसंधान पर निर्भर करता है, और डीडीओएस शमन उद्योग के लिए यह राज्य काफी खराब है। IETF ड्राफ्ट "QUIC प्रबंधनीयता" की धारा 4.4, जो भविष्य के QUIC प्रोटोकॉल सूट का एक हिस्सा है, को इसके एक आदर्श उदाहरण के रूप में देखा जा सकता है: यह बताता है कि "[DDoS हमलों का पता लगाने और शमन में वर्तमान प्रथाएं आमतौर पर निष्क्रिय होती हैं। माप नेटवर्क प्रवाह डेटा का उपयोग करते हुए ", वास्तव में उत्तरार्द्ध वास्तव में जीवन उद्यम वातावरण (और केवल आईएसपी सेटअपों के लिए केवल इतना ही) में एक मामला है - और किसी भी तरह से शायद ही" सामान्य मामला "व्यवहार में है - लेकिन निश्चित रूप से एक सामान्य मामला अकादमिक शोध पत्र, जो, अधिकांश समय, उचित डीडीओ और संभावित डीडीओएस हमलों की पूरी श्रृंखला के खिलाफ वास्तविक विश्व परीक्षण द्वारा समर्थित नहीं होते हैं, जिसमें अनुप्रयोग परत वाले शामिल हैं (जो, दुनिया भर में टीएलएस तैनाती में प्रगति के कारण, स्पष्ट रूप से कभी नहीं हो सकता है किसी भी तरह के निष्क्रिय माप से नियंत्रित किया जाएगा)। 2019 में DDoS शमन ऑपरेटरों के लिए उचित शैक्षणिक अनुसंधान प्रवृत्ति सेट करना एक और चुनौती है।

स्विचदेव उन उम्मीदों पर पूरी तरह खरे उतरे जो हमने एक साल पहले व्यक्त की थीं। हमें उम्मीद है कि स्विचदेव बनाने पर निरंतर काम आने वाले वर्षों में भी बेहतर होगा, क्योंकि समुदाय मजबूत और विकसित हो रहा है।

पैकेट प्रसंस्करण क्षमता को और बढ़ाने में मदद करने के लिए लिनक्स XDP को सक्षम करने के साथ Qrator Labs का अनुसरण किया जा रहा है। सीपीयू से एनआईसी तक, और यहां तक ​​कि नेटवर्क स्विच तक दुर्भावनापूर्ण ट्रैफ़िक निस्पंदन के कुछ पैटर्न को लोड करना काफी आशाजनक प्रतीत होता है, और हम इस क्षेत्र में अपने अनुसंधान और विकास को जारी रखने के लिए तत्पर हैं।

बॉट के साथ गहरा गोता

कई कंपनियाँ बॉट संरक्षण चाहती हैं, और यह कोई आश्चर्य की बात नहीं है कि हमने 2018 में उस क्षेत्र के विभिन्न क्षेत्रों में काम करने वाले समूहों को देखा। हमें जो दिलचस्प लगा वह यह है कि इन कंपनियों के एक बड़े हिस्से ने कभी भी लक्षित डीडीओएस हमले का अनुभव नहीं किया, कम से कम एक विशिष्ट इनकार बैंडविड्थ या सीपीयू क्षमता जैसे परिमित संसाधनों को निकालने का प्रयास। उन्हें बॉट्स से खतरा महसूस होता है, लेकिन उन्हें वास्तविक उपयोगकर्ताओं से अलग नहीं कर सकते हैं या यह निर्धारित नहीं कर सकते हैं कि वे वास्तव में क्या कर रहे हैं। वे बस जानते हैं कि वे कथित बॉट्स से छुटकारा चाहते हैं।

बॉट और स्क्रेपर्स के साथ समस्याओं का एक महत्वपूर्ण आर्थिक घटक भी है। यदि 30% ट्रैफ़िक नाजायज़ और मशीन-जनित है, तो उस ट्रैफ़िक को बर्बाद करने में समर्थन की लागत का 30% खर्च होता है। आज, यह इंटरनेट व्यवसायों पर एक अतिरिक्त अपरिहार्य कर के रूप में देखा जा सकता है। इसकी संख्या को शून्य तक कम करना कठिन है, लेकिन व्यवसाय के मालिक इसे कम से कम देखना पसंद करेंगे।

आज के इंटरनेट में पहचान एक महत्वपूर्ण मुद्दा बन गया है क्योंकि सर्वश्रेष्ठ बॉट्स को अब इंसानों की नकल नहीं करनी है - वे परजीवी की तरह एक ही स्थान पर कब्जा कर लेते हैं। हम कुछ समय से दोहरा रहे हैं कि सार्वजनिक रूप से उपलब्ध कोई भी जानकारी, प्राधिकरण या प्रमाणीकरण के बिना, सामान्य संपत्ति के रूप में है और समाप्त हो जाएगी - कोई भी इसे रोक नहीं सकता है।

2018 में हमने पहचान और बॉट प्रबंधन के मुद्दों पर ध्यान केंद्रित किया। हालांकि, यहां व्यापक दायरा अलग है; हम एक ऐसे युग में रहते हैं जब ग्राहक द्वारा सर्वर की प्रतिक्रिया का कारण जानने का कोई सटीक तरीका नहीं होता है। आप इसे सही तरीके से पढ़ते हैं: अंततः प्रत्येक व्यवसाय चाहता है कि कोई ग्राहक कुछ खरीदे, यही मौजूदा और लक्ष्य का कारण है, इसलिए कुछ कंपनियां इस बात पर गहराई से विचार करना चाहती हैं कि सर्वर से क्या अनुरोध किया जाए - अगर कोई वास्तविक व्यक्ति है।

यह कोई आश्चर्य नहीं है कि व्यवसाय के मालिक अक्सर तकनीशियनों से सीखते हैं कि उनकी वेबसाइट के यातायात का एक महत्वपूर्ण हिस्सा बॉट्स द्वारा उत्पन्न होता है, न कि ग्राहक।

पहले बताए गए स्वचालित मानव कुछ ब्राउज़र ऐड-ऑन स्थापित के साथ कुछ विशिष्ट नेटवर्क संसाधन को लक्षित कर सकते हैं - और हम मानते हैं कि उन एक्सटेंशनों में से अधिकांश जानबूझकर स्थापित किए गए हैं, एक विशिष्ट उद्देश्य को आगे बढ़ाने के लिए, जो केवल उन नेटवर्क के रचनाकारों के लिए जाना जाता है। धोखाधड़ी, विज्ञापन हेरफेर, पार्सिंग पर क्लिक करें - ऐसे कार्य वास्तविक रूप से वास्तविक मानव की मदद से पूरे किए जाते हैं जहां स्वचालन विफल हो जाता है। ज़रा सोचिए कि अगर मशीन लर्निंग को चेन में सही लिंक पर लागू किया गया तो स्थिति कैसे बदल जाएगी।

पार्सर और स्क्रेपर्स, जो कि व्यापक बॉट समस्या का एक हिस्सा हैं, 2018 के दौरान हम एक समस्या बन गए थे, सबसे पहले हमारे ग्राहकों के लिए धन्यवाद, जिन्होंने अपने अनुभवों के साथ हमसे संपर्क किया और अपने संसाधनों के साथ आगे क्या हुआ, इसकी जांच करने का विकल्प प्रदान किया। बैंडविड्थ या सर्वर सीपीयू लोड की तरह ऐसे बॉट्स भी विशिष्ट मैट्रिक्स पर पंजीकृत नहीं हो सकते हैं। वर्तमान में हम विभिन्न तरीकों का परीक्षण कर रहे हैं, लेकिन अंततः यह स्पष्ट है कि ग्राहकों को अपने पहले अनुरोध पर ऐसे घुसपैठियों को ब्लॉक करने की क्या आवश्यकता है।

स्क्रैपिंग महामारी के दौरान हमने रूस और सीआईएस में देखा, यह स्पष्ट हो गया कि इसमें शामिल बॉट एन्क्रिप्शन में सक्षम हैं। प्रति मिनट एक अनुरोध एक दर है जो आसानी से आने वाले यातायात के विश्लेषण के बिना किसी का ध्यान नहीं जा सकता है। हमारी विनम्र राय में, ग्राहक को हमारे विश्लेषण और मार्कअप प्राप्त करने के बाद अगला कदम तय करना चाहिए। उन्हें ब्लॉक करना है या नहीं, उन्हें (या गुमराह करके) उन्हें छोड़ दो - यह हमारे लिए तय नहीं है।



हालाँकि, कुछ समस्याएँ शुद्ध ऑटोमेशन या "बॉट्स" के साथ मौजूद हैं, जैसा कि हम उन्हें कॉल करने के लिए उपयोग करते हैं। यदि आप निश्चित हैं कि दुर्भावनापूर्ण बॉट ने एक विशिष्ट अनुरोध उत्पन्न किया है, तो सबसे पहली बात यह है कि इसे ब्लॉक करना है, सर्वर से कोई प्रतिक्रिया नहीं भेजना है। हम इस निष्कर्ष पर पहुँचे हैं कि यह संवेदनहीन है क्योंकि इस तरह की कार्रवाइयाँ केवल स्वचालन के लिए अधिक प्रतिक्रिया देती हैं, जिससे इसे अनुकूलन और एक वैकल्पिक हल मिल सकता है। जब तक बॉट सेवा हमले से इनकार नहीं कर रहे हैं, हम अनुशंसा करते हैं कि अभी से इस तरह के ऑटोमेशन को अवरुद्ध न करें क्योंकि इस तरह के बिल्ली और माउस गेम के परिणाम समय और प्रयास के महान बर्बादी से ज्यादा कुछ नहीं हो सकते हैं।

यह प्राथमिक कारण है कि Qrator Labs संदिग्ध और / या दुर्भावनापूर्ण ट्रैफ़िक को चिह्नित करती है और अपने दर्शकों, सेवा और व्यावसायिक लक्ष्यों को ध्यान में रखते हुए संसाधन स्वामी के अगले चरणों के बारे में निर्णय छोड़ देती है। ऐसा ही एक उदाहरण विज्ञापन-अवरुद्ध ब्राउज़र एक्सटेंशन है। अधिकांश विज्ञापन स्क्रिप्ट हैं और स्क्रिप्ट्स को ब्लॉक करके आप विज्ञापनों को रोकना नहीं चाहते हैं और आप जावास्क्रिप्ट चुनौती की तरह कुछ और भी ब्लॉक कर सकते हैं। यह कल्पना करना आसान है कि यह कैसे बढ़ सकता है, जिसके परिणामस्वरूप इंटरनेट व्यवसायों के एक प्रमुख समूह के लिए आय कम हो गई है।

जब हमलावरों को अवरुद्ध किया जाता है और उन्हें उनकी आवश्यकता का फीडबैक प्राप्त होता है, तो वे तेजी से अनुकूलित कर सकते हैं, सीख सकते हैं और फिर से हमला कर सकते हैं। Qrator Labs की तकनीकों को सरल दर्शन पर बनाया गया है कि स्वचालन को कोई प्रतिक्रिया नहीं दी जा सकती है जिसका वे उपयोग कर सकते हैं: आपको उन्हें न तो ब्लॉक करना चाहिए और न ही उन्हें पास करना चाहिए, बस उन्हें चिह्नित करें। इस तरह के निशान बनने के बाद आपको उनके वास्तविक लक्ष्य पर विचार करना चाहिए - वे क्या चाहते हैं? और वे उस विशिष्ट संसाधन या वेबपेज पर क्यों जा रहे हैं? हो सकता है कि आप वेबपेज की सामग्री को थोड़ा बदल सकते हैं, जिस तरह से कोई भी मानव अंतर महसूस नहीं करेगा, लेकिन बॉट वास्तविकता उलटी हो जाएगी? यदि वे पार्सर्स हैं, तो वे गलत डेटा के रूप में भ्रामक पार्सिंग जानकारी प्राप्त कर सकते हैं।

2018 के दौरान उन समस्याओं के बारे में चर्चा करते हुए हमने इस तरह के हमलों को सीधा व्यापार मेट्रिक्स हमला करार दिया। आपकी वेबसाइट और सर्वर ठीक लग सकते हैं, बिना किसी उपयोगकर्ता की शिकायत के, लेकिन आप कुछ बदलते हुए महसूस करते हैं ... जैसे किसी विज्ञापन के CPA मूल्य को आप धीरे-धीरे किसी प्रोग्राम प्लेटफ़ॉर्म से लेते हैं, लेकिन विज्ञापनदाताओं को कहीं और स्टीयरिंग देते हैं।

हमलावरों का प्रोत्साहन हत्या का एकमात्र तरीका है। बॉट को रोकने की कोशिश करने से समय और पैसा बर्बाद होता है। यदि वे आपके द्वारा लाभान्वित कुछ क्लिक करते हैं, तो उन क्लिक्सों को अक्षम करें; यदि वे आपको पार्स करते हैं, तो अविश्वसनीय जानकारी प्रदान करें वे वैध, भरोसेमंद डेटा से अलग नहीं होंगे।

Clickhouse

सामान्य तौर पर, Qrator Labs फ़िल्टरिंग सेवा में दो चरण शामिल होते हैं: पहला, हम तुरंत मूल्यांकन करते हैं कि क्या स्टेटलेस और स्टेटफुल चेक की मदद से कोई निवेदन दुर्भावनापूर्ण है, और, दूसरी बात, हम यह तय करते हैं कि स्रोत को ब्लैकलिस्टेड रखा जाए या नहीं। परिणामी ब्लैकलिस्ट को अद्वितीय आईपी-पतों की सूची के रूप में दर्शाया जा सकता है।

इस प्रक्रिया के पहले चरण में, हम मशीन लर्निंग तकनीकों को किसी दिए गए संसाधन के लिए यातायात के प्राकृतिक प्रवाह को बेहतर ढंग से समझने के लिए सूचीबद्ध करते हैं, क्योंकि हम प्रत्येक ग्राहक के लिए सेवा को व्यक्तिगत रूप से एकत्र किए गए डेटा के आधार पर करते हैं।

यहीं पर Clickhouse आता है। ठीक से समझने के लिए कि एक आईपी-एड्रेस को एक संसाधन के साथ संचार करने पर प्रतिबंध क्यों लगाया गया था, हमें क्लिकहाउस डीबी को मशीन लर्निंग मॉडल का पालन करना होगा। यह डेटा की बड़ी मात्रा के साथ बहुत तेज़ी से काम करता है (एक 500 Gbps डीडीओएस हमले पर विचार करें, कुछ घंटों के लिए रुकें), और उन्हें इस तरह से संग्रहीत करता है जो स्वाभाविक रूप से मशीन लर्निंग चौखटे के साथ संगत है जो हम क्यूरेटर लैब्स में उपयोग करते हैं। अधिक लॉग और अधिक हमले के ट्रैफ़िक हमारे मॉडल से बेहतर और अधिक मजबूत परिणामों की ओर ले जाते हैं, जो सबसे खतरनाक हमलों के तहत वास्तविक समय में सेवा को और अधिक परिष्कृत करने में उपयोग करते हैं।

हम सभी हमले (नाजायज) ट्रैफिक लॉग और बॉट व्यवहार पैटर्न को संग्रहीत करने के लिए Clickhouse DB का उपयोग करते हैं। हमने इस विशिष्ट समाधान को लागू किया, क्योंकि इसने डेटाबेस शैली में बड़े पैमाने पर डेटासेट के प्रसंस्करण के लिए एक प्रभावशाली क्षमता का वादा किया था। हम इस डेटा को विश्लेषण के लिए उपयोग करते हैं और उन पैटर्नों का निर्माण करते हैं जिनका उपयोग हम DDoS फ़िल्टरिंग में करते हैं और फ़िल्टरिंग एल्गोरिदम को बेहतर बनाने के लिए मशीन लर्निंग लागू करते हैं।

अन्य DBs की तुलना में एक महत्वपूर्ण Clickhouse लाभ यह है कि यह डेटा के पूरे स्ट्रिंग को नहीं पढ़ता है - यह केवल आवश्यक, बहुत छोटे, सेगमेंट ले सकता है, यदि आप दिशानिर्देशों द्वारा सब कुछ संग्रहीत कर रहे हैं।

निष्कर्ष

काफी समय से, हम मल्टीपरेटर हमलों के साथ रह रहे हैं जो एक लक्ष्य को अनुपलब्ध करने के लिए कई हमलावर प्रोटोकॉल का पता लगाते हैं।

डिजिटल स्वच्छता और अप-टू-डेट सुरक्षा उपायों को वास्तव में 99% को कवर किया जा सकता है, जो किसी व्यक्ति के चरम या उद्देश्यपूर्ण लक्षित मामलों को छोड़कर, किसी व्यक्तिगत इकाई से सामना करने की संभावना है, और समस्याओं का सामना करने से "औसत" इंटरनेट सेवा को बनाए रख सकता है।

दूसरी ओर, डीडीओएस के हमले दुनिया के किसी भी देश के इंटरनेट कनेक्शन को काटने में सक्षम हैं, हालांकि केवल कुछ ही प्रभावी रूप से बाहरी रूप से लक्षित हो सकते हैं। बीजीपी में ऐसा नहीं है, जहां किसी भी मानचित्र पर केवल कई बिंदुओं को बंद करना संभव है, जिसे आप आकर्षित करना चाहते हैं।

नेटवर्क सुरक्षा का ज्ञान लगातार बढ़ रहा है, जो उत्कृष्ट है। फिर भी, एक बार जब आप नेटवर्क में एम्प्लिकेटर्स से बंधी संख्याओं को देखते हैं या किसी और को स्पूफ करने के विकल्प - वे नीचे नहीं जा रहे हैं! ऐसा इसलिए है क्योंकि प्रत्येक वर्ष छात्र इंटरनेट सिक्योरिटी स्कूल में जितना समय बिताते हैं, यानी लोग इस बात की परवाह करना शुरू करते हैं कि वे कोड कैसे लिखते हैं और अपने एप्लिकेशन का निर्माण करते हैं, यह सुनिश्चित करने के लिए आवश्यक समय की मात्रा से मेल नहीं खाते कि वे कमजोरियां नहीं बना रहे हैं किसी को सफल DDoS हमले के आयोजन के लिए इस तरह के संसाधनों का उपयोग करने की अनुमति दें, या इससे भी बदतर।



2018 के सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि अधिकांश लोग अभी भी प्रौद्योगिकी से काफी अधिक उम्मीद करते हैं जो वर्तमान में वितरित किए जा सकते हैं। यह हमेशा ऐसा नहीं था, लेकिन अभी हम सॉफ्टवेयर या हार्डवेयर सुविधाओं की परवाह किए बिना बहुत अधिक पूछने की एक मजबूत प्रवृत्ति देखते हैं। लोग अधिक उम्मीदें रखते हैं, जो शायद विपणन अभियानों में किए गए वादों के कारण नहीं बदलेगा। हालांकि, लोग उन वादों को खरीद रहे हैं, और कंपनियों को लगता है, कि उन्हें पूरा करने पर काम करना चाहिए।

हो सकता है, यह प्रगति और विकास की प्रकृति हो। इन दिनों, लोगों को निराशा होती है और निराशा होती है कि उन्हें "गारंटी", और जो उन्होंने भुगतान किया, उसके लिए नहीं। तो, यह वह जगह है जहां वर्तमान समस्याएं उत्पन्न होती हैं, जहां हम "पूरी तरह से" एक उपकरण और उसके सभी सॉफ़्टवेयर नहीं खरीद सकते हैं जो हम चाहते हैं, या जहां "मुफ़्त" सेवाएं व्यक्तिगत डेटा के संदर्भ में उच्च कीमत पर आती हैं। ।

उपभोक्तावाद हमें बताता है कि हम कुछ चाहते हैं, और हमें इसके लिए अपने जीवन से भुगतान करना चाहिए। क्या हमें उन उत्पादों या सेवाओं के प्रकार की आवश्यकता है जो भविष्य में हमें उन डेटा पर आधारित बेहतर सौदों को बेचने के लिए अपग्रेड करें जो वे हमारे द्वारा एकत्र किए गए तरीकों के आधार पर कर सकते हैं? हम अनुमान लगा सकते हैं कि 2019 में इक्विफैक्स और कैम्ब्रिज एनालिटिका मामलों के बाद, हम व्यक्तिगत डेटा अधिग्रहण और दुरुपयोग का अंतिम विस्फोट देख सकते हैं।

दस वर्षों के बाद, हमने इंटरकनेक्टेड नेटवर्क की वास्तुकला के बारे में अपनी मुख्य मान्यताओं को नहीं बदला है। यही कारण है कि हम क्रेटर लैब्स फ़िल्टरिंग नेटवर्क के सबसे बुनियादी सिद्धांतों - बीजीपी-बीकास्ट, एन्क्रिप्टेड ट्रैफ़िक को संसाधित करने की क्षमता, कैप्चा और अन्य बाधाओं से बचने, वैध उपयोगकर्ताओं के लिए अधिक दृश्यता की तुलना में बॉट्स की तुलना में अधिक दृश्यता जारी रखते हैं।

जिस क्षेत्र में हम साइबर सुरक्षा के विशेषज्ञों और कंपनियों के साथ काम करना चाहते हैं, उसे देखते हुए हम एक और मुद्दे पर जोर देना चाहते हैं: जब सुरक्षा की बात आती है, तो कोई भी भोला, सरल या तेज दृष्टिकोण लागू नहीं होता है।

यह मुख्य कारण है क्यूआरएआर लैब्स के पास सीडीएन की तुलना में सैकड़ों या यहां तक ​​कि दर्जनों अंक नहीं हैं। टियर -1 श्रेणी के आईएसपी से जुड़े स्क्रबिंग केंद्रों की एक छोटी संख्या को बनाए रखने से, हम सही यातायात विकेंद्रीकरण प्राप्त करते हैं। यही कारण है कि हम फायरवॉल बनाने की कोशिश नहीं करते हैं, जो कि क्यूरेटर लैब्स से पूरी तरह से अलग हैं - कनेक्टिविटी।

हम कुछ समय के लिए कैप्चा और जावास्क्रिप्ट परीक्षण और जांच के बारे में कहानियाँ बता रहे हैं और यहाँ हम हैं - तंत्रिका नेटवर्क पूर्व को हल करने में बेहद उपयोगी हो रहे हैं, और बाद वाले कभी भी कुशल और लगातार हमलावर के लिए एक मुद्दा नहीं थे।

इस साल हमने एक रोमांचक बदलाव महसूस किया है: सालों से DDoS केवल कुछ सीमित क्षेत्रों के लिए एक समस्या थी, आमतौर पर, जहां पैसा पानी के स्तर से ऊपर होता है: ई-कॉमर्स, ट्रेडिंग / स्टॉक, बैंकिंग / भुगतान प्रणाली। हालाँकि, इंटरनेट की निरंतर वृद्धि के साथ, हम अब सभी अन्य उपलब्ध इंटरनेट सेवाओं पर लागू किए जा रहे DDoS हमलों का निरीक्षण करते हैं। DDoS युग की शुरुआत बैंडविड्थ में वृद्धि और दुनिया भर में निजी कंप्यूटरों की संख्या के साथ हुई; यह कोई आश्चर्य की बात नहीं है कि 2018 में, हमारे आसपास के प्रत्येक उपकरण में सिलिकॉन माइक्रोचिप्स के साथ, हमले का परिदृश्य इतनी तेजी से विकसित हो रहा है।

अगर किसी को भी इस प्रवृत्ति को कभी भी बदलने की उम्मीद है, तो वे शायद गलत हैं। जैसे हम, शायद, बहुत हैं। कोई भी यह नहीं बता सकता है कि इंटरनेट वास्तव में कैसे विकसित होगा और आने वाले वर्षों में अपने प्रभाव और शक्ति का प्रसार करेगा, लेकिन 2018 में हमने जो देखा और 2019 में निरीक्षण करना जारी रखा, उसके अनुसार सब कुछ गुणा होने वाला है। 2020 तक इंटरनेट पर कनेक्टेड डिवाइसों की संख्या 30 बिलियन से अधिक होने की उम्मीद है, इसके अलावा कि हम पहले ही उस बिंदु से गुजर चुके हैं जिस पर मानवता ने अपने बनाए ऑटोमेशन से ज्यादा ट्रैफिक उत्पन्न किया। इसलिए, जल्द ही, हमें यह तय करना होगा कि हम इस "खुफिया", कृत्रिम या नहीं का प्रबंधन कैसे करें, क्योंकि हम अभी भी दुनिया में रह रहे हैं, जहां केवल एक इंसान ही सही होने के लिए जिम्मेदार हो सकता है, साथ ही साथ गलत भी हो सकता है।

2018 अंधेरे पक्ष के लोगों के लिए अवसरों का वर्ष था। हम जटिलता और मात्रा और आवृत्ति के संदर्भ में हमलों और हैक में वृद्धि देखते हैं। बदमाशों ने कुछ शक्तिशाली उपकरण प्राप्त किए और उनका उपयोग करना सीख लिया। अच्छे लोगों ने इन विकासों को सिर्फ देखने से थोड़ा अधिक किया। हम उम्मीद करते हैं कि इस साल बदलाव होगा, कम से कम सबसे दर्दनाक सवालों पर।