1. लोचदार ढेर: सुरक्षा लॉग विश्लेषण। परिचय

स्प्लंक लॉगिंग और एनालिटिक्स सिस्टम के रूस में बिक्री की समाप्ति के संबंध में, यह सवाल उठता है कि इस समाधान को कैसे बदला जा सकता है? विभिन्न समाधानों से परिचित होने में समय बिताने के बाद, मैं एक असली आदमी के लिए एक समाधान पर बस गया - "ईएलके स्टैक" । इस प्रणाली को इसे कॉन्फ़िगर करने के लिए समय की आवश्यकता होती है, लेकिन इसके परिणामस्वरूप, आप संगठन में सूचना सुरक्षा घटनाओं की स्थिति और परिचालन प्रतिक्रिया का विश्लेषण करने के लिए एक बहुत शक्तिशाली प्रणाली प्राप्त कर सकते हैं। लेखों की इस श्रृंखला में, हम ELK स्टैक की मूल (या शायद नहीं) विशेषताओं पर विचार करेंगे, लॉग को पार्स करने के तरीके, ग्राफ़ और डैशबोर्ड का निर्माण कैसे करें, और उदाहरण के रूप में चेक प्वाइंट फ़ायरवॉल या ओपेनस सुरक्षा स्कैनर से लॉग का उपयोग करके क्या दिलचस्प कार्य किए जा सकते हैं। शुरू करने के लिए, विचार करें कि यह क्या है - ईएलके स्टैक, और इसमें कौन से घटक शामिल हैं।

ईएलके स्टैक तीन ओपन सोर्स प्रोजेक्ट्स के लिए एक संक्षिप्त नाम है: एलेस्टिक्स खोज, लॉगस्टैश और किबाना । सभी संबंधित परियोजनाओं के साथ, इलास्टिक द्वारा विकसित। इलास्टिसर्च संपूर्ण प्रणाली का मूल है, जो एक डेटाबेस, खोज और विश्लेषणात्मक प्रणाली के कार्यों को जोड़ती है। लॉगस्टैश एक सर्वर-साइड डेटा प्रोसेसिंग पाइप लाइन है जो एक ही समय में कई स्रोतों से डेटा प्राप्त करता है, लॉग को पार्स करता है, और फिर इसे एलेस्टिक्सखोज डेटाबेस को भेजता है। किबाना उपयोगकर्ताओं को एलिस्टिक्स खोज में चार्ट और ग्राफ़ का उपयोग करके डेटा की कल्पना करने की अनुमति देता है। इसके अलावा Kibana के माध्यम से आप डेटाबेस को प्रशासित कर सकते हैं। अगला, हम प्रत्येक प्रणाली को अलग से अधिक विस्तार से मानते हैं।

Logstash

लॉगस्टैश विभिन्न स्रोतों से लॉग इवेंट को संसाधित करने के लिए एक उपयोगिता है, जिसके साथ आप एक संदेश में फ़ील्ड और उनके मूल्यों का चयन कर सकते हैं, आप फ़िल्टरिंग और संपादन डेटा भी कॉन्फ़िगर कर सकते हैं। सभी जोड़तोड़ के बाद, लॉगस्टैश घटनाओं को अंतिम डेटा स्टोर पर पुनर्निर्देशित करता है। उपयोगिता केवल कॉन्फ़िगरेशन फ़ाइलों के माध्यम से कॉन्फ़िगर की गई है।
एक सामान्य लॉगस्टैश कॉन्फ़िगरेशन एक फाइल है जो कई आवक सूचना धाराओं (इनपुट), इस जानकारी के लिए कई फिल्टर (फिल्टर) और कई आउटगोइंग स्ट्रीम (आउटपुट) से युक्त है। यह एक या एक से अधिक कॉन्फ़िगरेशन फ़ाइलों की तरह दिखता है, जो सबसे सरल संस्करण (जो कुछ भी नहीं करता है) इस तरह दिखता है:

input { } filter { } output { } 

INPUT में, हम कॉन्फ़िगर करते हैं कि लॉग्स किस पोर्ट में आएंगे और किस प्रोटोकॉल के अनुसार, या किस फ़ोल्डर से नई या लगातार लिखित फाइलें पढ़नी हैं। फ़िल्टर में, हम लॉग पार्सर को कॉन्फ़िगर करते हैं: खेतों को पार्स करना, मूल्यों को संपादित करना, नए पैरामीटर जोड़ना या हटाना। फिल्टर एक मैसेज मैनेजमेंट फील्ड है, जो लॉन्स्टश में टोंस एडिटिंग ऑप्शन के साथ आता है। आउटपुट में, हम कॉन्फ़िगर करते हैं जहां हम पहले से ही पार्स किए गए लॉग को भेजते हैं, अगर यह इलास्टिक्स खोज है, तो एक JSON अनुरोध भेजा जाता है जिसमें मानों के साथ फ़ील्ड भेजे जाते हैं, या, डीबग के भाग के रूप में, इसे स्टडआउट या फ़ाइल के लिए आउटपुट किया जा सकता है।

ElasticSearch

प्रारंभ में, एलेस्टिक्स खोज एक पूर्ण-पाठ खोज समाधान है, लेकिन अतिरिक्त सुविधाओं जैसे कि आसान स्केलिंग, प्रतिकृति और अधिक के साथ, जिसने बड़ी मात्रा में डेटा के साथ अत्यधिक भरी हुई परियोजनाओं के लिए उत्पाद को बहुत सुविधाजनक और अच्छा समाधान बना दिया। एलिस्टिक्स खोज JSON प्रारूप में दस्तावेजों का एक गैर-संबंधपरक भंडार (NoSQL) है, और एक खोज इंजन है जो ल्यूसिन पूर्ण-पाठ खोज पर आधारित है। हार्डवेयर प्लेटफ़ॉर्म जावा वर्चुअल मशीन है, इसलिए सिस्टम को काम करने के लिए बड़ी मात्रा में प्रोसेसर और रैम संसाधनों की आवश्यकता होती है।
प्रत्येक आने वाले संदेश, या तो लॉगस्टैश के साथ या क्वेरी एपीआई का उपयोग करके, "दस्तावेज़" के रूप में अनुक्रमित किया जाता है - रिलेशनल एसक्यूएल में एक टेबल का एनालॉग। सभी दस्तावेजों को सूचकांक में संग्रहीत किया जाता है - SQL में डेटाबेस का एक एनालॉग।

डेटाबेस में एक दस्तावेज़ का एक उदाहरण:

 { "_index": "checkpoint-2019.10.10", "_type": "_doc", "_id": "yvNZcWwBygXz5W1aycBy", "_version": 1, "_score": null, "_source": { "layer_uuid": [ "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0", "dbee3718-cf2f-4de0-8681-529cb75be9a6" ], "outzone": "External", "layer_name": [ "TSS-Standard Security", "TSS-Standard Application" ], "time": "1565269565", "dst": "103.5.198.210", "parent_rule": "0", "host": "10.10.10.250", "ifname": "eth6", ] } ", { "_index": "checkpoint-2019.10.10", "_type": "_doc", "_id": "yvNZcWwBygXz5W1aycBy", "_version": 1, "_score": null, "_source": { "layer_uuid": [ "dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0", "dbee3718-cf2f-4de0-8681-529cb75be9a6" ], "outzone": "External", "layer_name": [ "TSS-Standard Security", "TSS-Standard Application" ], "time": "1565269565", "dst": "103.5.198.210", "parent_rule": "0", "host": "10.10.10.250", "ifname": "eth6", ] } 

डेटाबेस के साथ सभी कार्य REST API का उपयोग करते हुए JSON अनुरोधों पर आधारित होते हैं, जो या तो सूचकांक द्वारा दस्तावेज़ जारी करते हैं, या प्रारूप में कुछ आँकड़े: प्रश्न - उत्तर। अनुरोधों के सभी उत्तरों की कल्पना करने के लिए, किबाना लिखा गया था, जो एक वेब सेवा है।

Kibana

किबाना आपको एलीस्टेक खोज डेटाबेस से डेटा खोजने और अनुरोध करने की अनुमति देता है, लेकिन कई सुंदर ग्राफ़ और डैशबोर्ड उत्तर के आधार पर बनाए जाते हैं। सिस्टम में elasticsearch डेटाबेस प्रशासन कार्यक्षमता भी है, बाद के लेखों में हम इस सेवा पर अधिक विस्तार से विचार करेंगे। अब चेक प्वाइंट फ़ायरवॉल और ओपनवीस भेद्यता स्कैनर पर निर्मित डैशबोर्ड का एक उदाहरण दिखाते हैं।

चेक प्वाइंट के लिए डैशबोर्ड उदाहरण, चित्र क्लिक करने योग्य है:



OpenVas डैशबोर्ड उदाहरण, चित्र क्लिक करने योग्य है:

निष्कर्ष

हमने जांच की कि ईएलके स्टैक में क्या है, थोड़ा मुख्य उत्पादों से परिचित हो गया, फिर पाठ्यक्रम में हम अलग से लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल लिखने पर विचार करेंगे, किबाना पर डैशबोर्ड स्थापित करेंगे, एपीआई अनुरोधों, स्वचालन और बहुत कुछ से परिचित होंगे!

तो बने रहिए ( Telegram , Facebook , VK , TS Solution Blog ), Yandex.Zen ।