Seq2Seq ऑटो एनकोडर का उपयोग करके वेब अटैक डिटेक्शन

दशकों तक सूचना सुरक्षा में हमलों का पता लगाना एक महत्वपूर्ण कार्य रहा है। 1980 के दशक की शुरुआत में आईडीएस कार्यान्वयन की तारीख के पहले ज्ञात उदाहरण।

कई दशकों के बाद, हमले का पता लगाने वाले उपकरणों का एक पूरा उद्योग बनाया गया था। वर्तमान में, विभिन्न प्रकार के उत्पाद हैं, जैसे आईडीएस, आईपीएस, डब्ल्यूएएफ, फायरवॉल, जिनमें से अधिकांश नियम-आधारित हमले का पता लगाने की पेशकश करते हैं। उत्पादन आंकड़ों के आधार पर हमलों का पता लगाने के लिए विसंगति का पता लगाने की तकनीक का उपयोग करने का विचार अतीत की तरह यथार्थवादी नहीं लगता है। या सभी एक ही? ..

वेब अनुप्रयोगों में विसंगति का पता लगाने

विशेष रूप से वेब अनुप्रयोगों पर हमलों का पता लगाने के लिए बनाया गया पहला फायरवॉल 1990 के दशक की शुरुआत में बाजार पर दिखाई देने लगा। तब से, हमला करने के तरीके और रक्षा तंत्र में काफी बदलाव आया है, और हमलावर किसी भी समय एक कदम आगे हो सकते हैं।

वर्तमान में, अधिकांश WAFs हमलों का पता लगाने का प्रयास करते हैं: कुछ नियम-आधारित तंत्र हैं जो रिवर्स प्रॉक्सी सर्वर में निर्मित होते हैं। सबसे महत्वपूर्ण उदाहरण mod_security है, Apache वेब सर्वर के लिए WAF मॉड्यूल, जिसे 2002 में विकसित किया गया था। नियमों का उपयोग करके हमलों की पहचान करने में कई कमियां हैं; उदाहरण के लिए, नियम शून्य-दिवस के हमलों का पता नहीं लगा सकते हैं, जबकि समान हमलों को एक विशेषज्ञ द्वारा आसानी से पता लगाया जा सकता है, और यह आश्चर्य की बात नहीं है, क्योंकि मानव मस्तिष्क नियमित अभिव्यक्तियों के सेट की तरह काम नहीं करता है।

WAF के दृष्टिकोण से, हमलों को उन लोगों में विभाजित किया जा सकता है जिन्हें हम अनुरोधों के अनुक्रम द्वारा पता लगा सकते हैं, और जहां एक HTTP अनुरोध (प्रतिक्रिया) को हल करने के लिए पर्याप्त है। हमारे शोध में बाद के प्रकारों - एसक्यूएल इंजेक्शन, क्रॉस साइट स्क्रिप्टिंग, एक्सएमएल बाहरी एंटिटी इंजेक्शन, पथ ट्रैवर्सल, ओएस कमांडिंग, ऑब्जेक्ट इंजेक्शन, आदि का पता लगाने पर ध्यान केंद्रित किया गया है।

लेकिन पहले, हम खुद को परखें।

निम्नलिखित प्रश्नों को देखने पर विशेषज्ञ क्या सोचेगा?

आवेदन करने के लिए HTTP अनुरोध पर एक नज़र डालें:



यदि आपको किसी एप्लिकेशन के लिए दुर्भावनापूर्ण अनुरोधों का पता लगाने का कार्य दिया गया है, तो सबसे अधिक संभावना है कि आप कुछ समय के लिए सामान्य उपयोगकर्ता व्यवहार का निरीक्षण करना चाहते हैं। एप्लिकेशन के कई समापन बिंदुओं के लिए प्रश्नों की जांच करके, आप गैर-खतरनाक प्रश्नों की संरचना और कार्यों का एक सामान्य विचार प्राप्त कर सकते हैं।

अब आपको विश्लेषण के लिए निम्नलिखित प्रश्न मिलते हैं:



यह तुरंत स्पष्ट है कि यहां कुछ गलत है। यह समझने में कुछ समय लगेगा कि वास्तव में यहां क्या है, और एक बार जब आप अनुरोध के उस हिस्से की पहचान करते हैं जो असामान्य लगता है, तो आप यह सोचना शुरू कर सकते हैं कि यह किस प्रकार का हमला है। संक्षेप में, हमारा लक्ष्य हमारी "कृत्रिम बुद्धिमत्ता को हमलों का पता लगाने के लिए" उसी तरह से काम करना है - मानव सोच के समान।

स्पष्ट बात यह है कि कुछ ट्रैफ़िक, जो पहली नज़र में दुर्भावनापूर्ण लगते हैं, किसी विशेष वेबसाइट के लिए सामान्य हो सकते हैं।

उदाहरण के लिए, आइए निम्नलिखित प्रश्नों पर विचार करें:



क्या यह प्रश्न असामान्य है?

वास्तव में, यह अनुरोध जीरा ट्रैकर में एक बग का प्रकाशन है और इस सेवा के लिए विशिष्ट है, जिसका अर्थ है कि अनुरोध अपेक्षित और सामान्य है।

अब निम्नलिखित उदाहरण पर विचार करें:



पहली नज़र में, अनुरोध जूमला सीएमएस पर आधारित वेबसाइट पर एक सामान्य उपयोगकर्ता पंजीकरण की तरह दिखता है। हालाँकि, अनुरोधित ऑपरेशन सामान्य पंजीकरण के बजाय user.register है। पहला विकल्प पुराना है और इसमें एक भेद्यता है जो किसी को भी व्यवस्थापक के रूप में पंजीकृत करने की अनुमति देता है। इस भेद्यता के लिए एक शोषण जूमला <3.6.4 खाता निर्माण / विशेषाधिकार वृद्धि (CVE-2016-8869, CVE-2016-8870) के रूप में जाना जाता है।

हमने कहां से शुरुआत की?

बेशक, पहले हमने समस्या के मौजूदा समाधानों की जांच की। दशकों के लिए सांख्यिकी या मशीन सीखने के आधार पर हमले का पता लगाने वाले एल्गोरिदम बनाने के लिए कई प्रयास किए गए हैं। सबसे लोकप्रिय दृष्टिकोणों में से एक वर्गीकरण समस्या को हल करना है, जब कक्षाएं "अपेक्षित प्रश्न", "एसक्यूएल इंजेक्शन", एक्सएसएस, सीएसआरएफ, आदि जैसी कुछ होती हैं। इस तरह, आप क्लासिफायर का उपयोग करके डेटा सेट के लिए कुछ अच्छी सटीकता प्राप्त कर सकते हैं। हालाँकि, यह दृष्टिकोण हमारे दृष्टिकोण से बहुत महत्वपूर्ण समस्याओं को हल नहीं करता है:

1. कक्षा चयन सीमित और पूर्व निर्धारित है । क्या होगा यदि सीखने की प्रक्रिया में आपके मॉडल को तीन वर्गों द्वारा दर्शाया जाता है, "सामान्य प्रश्न", SQLI और XSS, और सिस्टम ऑपरेशन के दौरान यह CSRF या शून्य-दिवस के हमले का सामना करता है?
2. इन वर्गों का अर्थ । मान लें कि आपको दस ग्राहकों की रक्षा करने की आवश्यकता है, जिनमें से प्रत्येक पूरी तरह से अलग वेब एप्लिकेशन चलाता है। उनमें से ज्यादातर के लिए, आपको पता नहीं है कि SQL इंजेक्शन वास्तव में उनके आवेदन के लिए कैसा दिखता है। इसका मतलब है कि आपको किसी तरह कृत्रिम रूप से प्रशिक्षण डेटासेट बनाना होगा। यह दृष्टिकोण इष्टतम नहीं है, क्योंकि अंततः आप डेटा से सीखेंगे जो वास्तविक डेटा से वितरण में भिन्न होता है।
3. मॉडल परिणामों की व्याख्या । खैर, मॉडल ने SQL इंजेक्शन परिणाम का उत्पादन किया, और अब क्या? आप, इससे भी महत्वपूर्ण बात यह है कि आपका ग्राहक, जो पहली बार चेतावनी देख रहा है और आमतौर पर वेब हमलों का विशेषज्ञ नहीं है, को यह अनुमान लगाना चाहिए कि आपके मॉडल का कौन सा अनुरोध दुर्भावनापूर्ण है।

इन सभी समस्याओं को ध्यान में रखते हुए, हमने वैसे भी क्लासिफायर मॉडल को प्रशिक्षित करने का प्रयास करने का निर्णय लिया।

चूंकि HTTP प्रोटोकॉल एक टेक्स्ट प्रोटोकॉल है, इसलिए यह स्पष्ट था कि हमें आधुनिक टेक्स्ट क्लासिफायर पर एक नज़र डालने की आवश्यकता थी। IMDB फिल्म समीक्षा डेटासेट में एक प्रसिद्ध उदाहरण भावना विश्लेषण है। कुछ समाधान समीक्षा को वर्गीकृत करने के लिए आरएनएन का उपयोग करते हैं। हमने कुछ समान अंतरों के साथ RNN वास्तुकला के साथ एक समान मॉडल की कोशिश करने का फैसला किया। उदाहरण के लिए, प्राकृतिक भाषा आरएनएन आर्किटेक्चर शब्दों के वेक्टर प्रतिनिधित्व का उपयोग करता है, लेकिन यह स्पष्ट नहीं है कि HTTP जैसे अप्राकृतिक भाषा में कौन से शब्द हैं। इसलिए, हमने अपने कार्य के लिए प्रतीकों के वेक्टर प्रतिनिधित्व का उपयोग करने का निर्णय लिया।

रेडी-मेड अभ्यावेदन हमारी समस्या को हल नहीं करते हैं, इसलिए हमने कई आंतरिक मार्करों जैसे कि GO और EOS साथ संख्यात्मक कोड में वर्णों के सरल मैपिंग का उपयोग किया।

मॉडल के विकास और परीक्षण के पूरा होने के बाद, पहले से सभी अनुमानित समस्याएं स्पष्ट हो गई थीं, लेकिन कम से कम हमारी टीम बेकार धारणाओं से कुछ नतीजे पर पहुंच गई।

आगे क्या है?

अगला, हमने मॉडल परिणामों की व्याख्या की दिशा में कुछ कदम उठाने का फैसला किया। कुछ बिंदु पर, हम "ध्यान" तंत्र में आए और इसे अपने मॉडल में लागू करना शुरू किया। और इसने आशाजनक परिणाम दिए। अब हमारे मॉडल ने न केवल कक्षा लेबल प्रदर्शित करना शुरू किया, बल्कि प्रत्येक चरित्र के लिए भी ध्यान आकर्षित किया, जिसे हमने मॉडल में पारित किया था।

अब हम कल्पना कर सकते हैं और वेब इंटरफ़ेस में सटीक स्थान दिखा सकते हैं जहाँ SQL इंजेक्शन का हमला पाया गया था। यह एक अच्छा परिणाम था, लेकिन सूची से अन्य समस्याएं अभी भी अनसुलझी थीं।

यह स्पष्ट था कि हमें ध्यान तंत्र से लाभान्वित होने की दिशा में आगे बढ़ना चाहिए और वर्गीकरण के कार्य से दूर जाना चाहिए। अनुक्रम मॉडल (ध्यान तंत्र [2], [3], [4], वेक्टर प्रतिनिधित्व पर, ऑटोकेनोडर्स के आर्किटेक्चर पर) और हमारे डेटा के साथ प्रयोगों पर, संबंधित अध्ययनों की एक बड़ी संख्या को पढ़ने के बाद, हम एक विसंगति का पता लगाने वाले मॉडल बनाने में सक्षम थे जो अंततः जिस तरह से एक विशेषज्ञ करता है कम या ज्यादा काम करेगा।

ऑटो एनकोडर

कुछ बिंदु पर, यह स्पष्ट हो गया कि Seq2Seq [5] की वास्तुकला हमारे कार्य के लिए सबसे उपयुक्त है।

Seq2Seq मॉडल [7] में दो बहुपरत LSTM होते हैं - एक एनकोडर और एक डिकोडर। एनकोडर एक निश्चित-लंबाई वाले वेक्टर में इनपुट अनुक्रम को मैप करता है। डिकोडर एनकोडर आउटपुट का उपयोग करके लक्ष्य वेक्टर को डीकोड करता है। प्रशिक्षण में, एक ऑटो एनकोडर एक मॉडल होता है जिसमें लक्ष्य मानों को इनपुट मानों के समान सेट किया जाता है।

विचार यह है कि नेटवर्क को उन चीजों को डिकोड करने के लिए सिखाना है जो उसने देखा था, या, दूसरे शब्दों में, पहचान को करीब लाएं। यदि एक प्रशिक्षित ऑटोटेन्कोडर को एक असामान्य पैटर्न दिया जाता है, तो यह शायद उच्च त्रुटि के साथ इसे फिर से बनाता है, केवल इसलिए कि इसे कभी नहीं देखा गया है।

निर्णय

हमारे समाधान में कई भाग होते हैं: मॉडल आरंभीकरण, प्रशिक्षण, पूर्वानुमान और सत्यापन। अधिकांश कोड रिपॉजिटरी में स्थित है, हम आशा करते हैं, कोई स्पष्टीकरण की आवश्यकता नहीं है, इसलिए हम केवल महत्वपूर्ण भागों पर ध्यान केंद्रित करेंगे।

मॉडल Seq2Seq वर्ग के उदाहरण के रूप में बनाया गया है, जिसमें निम्न रचना तर्क हैं:



अगला, ऑटो-एनकोडर परतें आरंभीकृत होती हैं। पहला एनकोडर:



फिर डिकोडर:



चूंकि हम जो समस्या हल कर रहे हैं वह विसंगतियों का पता लगाना है, लक्ष्य मान और इनपुट समान हैं। तो हमारा feed_dict कुछ इस तरह दिखता है:



प्रत्येक युग के बाद, सर्वश्रेष्ठ मॉडल को एक संदर्भ बिंदु के रूप में सहेजा जाता है, जिसे तब डाउनलोड किया जा सकता है। परीक्षण उद्देश्यों के लिए, एक वेब एप्लिकेशन बनाया गया था, जिसमें हमने यह जांचने के लिए मॉडल के साथ बचाव किया था कि क्या वास्तविक हमले सफल थे।

ध्यान तंत्र से प्रेरित होकर, हमने इस क्वेरी के असामान्य भागों को चिह्नित करने के लिए इसे ऑटो-एनकोडर मॉडल पर लागू करने की कोशिश की, लेकिन ध्यान दिया कि अंतिम परत से प्राप्त संभावनाएं बेहतर काम करती हैं।



हमारे विलंबित नमूने पर परीक्षण के चरण में, हमें बहुत अच्छे परिणाम मिले: सटीक और याद रखना 0.99 के करीब है। और आरओसी वक्र 1 को जाता है। यह आश्चर्यजनक लगता है, है ना?

परिणाम

Seq2Seq ऑटो-एनकोडर का प्रस्तावित मॉडल बहुत अधिक सटीकता के साथ HTTP अनुरोधों में विसंगतियों का पता लगाने में सक्षम था।



यह मॉडल एक व्यक्ति की तरह कार्य करता है: यह केवल वेब एप्लिकेशन के लिए "सामान्य" उपयोगकर्ता अनुरोधों का अध्ययन करता है। और जब यह अनुरोधों में विसंगतियों का पता लगाता है, तो यह अनुरोध के सटीक स्थान का चयन करता है, जिसे वह विसंगति मानता है।

हमने एक परीक्षण एप्लिकेशन पर कुछ हमलों पर इस मॉडल का परीक्षण किया और परिणाम आशाजनक थे। उदाहरण के लिए, ऊपर दी गई छवि दिखाती है कि कैसे हमारे मॉडल ने एक वेब फॉर्म में दो मापदंडों में विभाजित SQL इंजेक्शन का पता लगाया। ऐसे एसक्यूएल इंजेक्शन को खंडित कहा जाता है: हमले के पेलोड के कुछ हिस्सों को कई HTTP मापदंडों में वितरित किया जाता है, जिससे नियम-आधारित WAF के लिए पता लगाना मुश्किल हो जाता है, क्योंकि वे आमतौर पर प्रत्येक पैरामीटर का व्यक्तिगत रूप से परीक्षण करते हैं।

मॉडल कोड और प्रशिक्षण और परीक्षण डेटा को जुपिटर लैपटॉप के रूप में प्रकाशित किया जाता है ताकि हर कोई हमारे परिणामों को पुन: पेश कर सके और सुधारों का सुझाव दे सके।

निष्कर्ष में

हम मानते हैं कि हमारा काम नगण्य था। हम न्यूनतम प्रयास के साथ चाहेंगे (सबसे पहले, समाधान की जटिलता के कारण गलतियों से बचने के लिए), हमलों का पता लगाने के लिए एक तरीका है, जैसे कि जादू से, यह तय करना सीख लिया है कि क्या अच्छा है और क्या बुरा। दूसरे, मैं मानव कारक के साथ समस्याओं से बचना चाहता था, जब वास्तव में एक विशेषज्ञ तय करता है कि हमले का संकेत क्या है और क्या नहीं है। संक्षेप में, मैं ध्यान देना चाहूंगा कि विसंगतियों की खोज की समस्या के लिए Seq2Seq वास्तुकला के साथ ऑटो-एनकोडर, हमारी राय में और हमारी समस्या के लिए, एक उत्कृष्ट काम किया।

हम डेटा व्याख्या के साथ समस्या को हल करना चाहते थे। जटिल तंत्रिका नेटवर्क आर्किटेक्चर का उपयोग करना आमतौर पर बहुत मुश्किल होता है। परिवर्तनों की एक श्रृंखला में, अंत में यह कहना मुश्किल है कि डेटा के किस हिस्से ने निर्णय को सबसे अधिक प्रभावित किया। हालांकि, मॉडल द्वारा डेटा व्याख्या के दृष्टिकोण को पुनर्विचार करने के बाद, यह अंतिम परत से प्रत्येक प्रतीक के लिए संभावनाओं को प्राप्त करने के लिए हमारे लिए पर्याप्त निकला।

यह ध्यान दिया जाना चाहिए कि यह एक उत्पादन संस्करण नहीं है। हम एक वास्तविक उत्पाद में इस दृष्टिकोण के कार्यान्वयन के विवरण का खुलासा नहीं कर सकते हैं, और हम चेतावनी देना चाहते हैं कि बस कुछ उत्पाद में इस समाधान को लेने और एम्बेड करने से काम नहीं चलेगा।

गिटहब भंडार: goo.gl/aNwq9U

लेखक : एलेक्जेंड्रा मुरज़िना ( मुरीज़िना_ए ), इरिना स्टेप्यानुक ( गिटहब ), फेडर सखारोव ( गीथहब ), आर्सेनी रुतोव ( आरजे0आर )

संदर्भ:

1. LSTM नेटवर्क को समझना
2. ध्यान और संवर्धित आवर्तक तंत्रिका नेटवर्क
3. ध्यान आप सभी की जरूरत है
4. ध्यान आप सभी की जरूरत है (एनोटेट)
5. तंत्रिका मशीन अनुवाद (seq2seq) ट्यूटोरियल
6. Autoencoders
7. तंत्रिका नेटवर्क के साथ अनुक्रम सीखने के अनुक्रम
8. केरस में ऑटोकारोडर्स का निर्माण