🖥️ 💅🏼 🚴🏾 2. इलास्टिक स्टैक: सुरक्षा लॉग का विश्लेषण। Logstash 🏂🏿 🖕 🤼

पिछले लेख में, हमने ELK स्टैक के साथ मुलाकात की कि इसमें कौन से सॉफ्टवेयर उत्पाद हैं। और जब ELK स्टैक के साथ काम करना होता है, तो पहले कार्य का सामना करना पड़ता है ताकि आगे के विश्लेषण के लिए इलास्टिक्स में भंडारण के लिए लॉग भेजा जा सके। हालांकि, यह सिर्फ शब्दों में है, इलास्टिक्स खोज कुछ क्षेत्रों और मूल्यों के साथ दस्तावेजों के रूप में लॉग को संग्रहीत करता है, जिसका अर्थ है कि इंजीनियर को अंतिम सिस्टम से भेजे गए संदेश को पार्स करने के लिए विभिन्न उपकरणों का उपयोग करना होगा। यह कई तरीकों से किया जा सकता है - प्रोग्राम को स्वयं लिखकर, जो एपीआई का उपयोग करके डेटाबेस में दस्तावेज़ जोड़ देगा या तैयार-किए गए समाधानों का उपयोग करेगा। इस पाठ्यक्रम में, हम लॉगस्टैश समाधान को देखेंगे , जो कि ईएलके स्टैक का हिस्सा है। हम देखेंगे कि आप लॉग सिस्टम से लॉग सिस्टम में लॉग कैसे भेज सकते हैं, और फिर हम एलिस्टिक्स खोज डेटाबेस में पार्सिंग और रीडायरेक्ट करने के लिए कॉन्फ़िगरेशन फ़ाइल कॉन्फ़िगर करेंगे। ऐसा करने के लिए, चेक प्वाइंट फ़ायरवॉल से लॉग को आने वाली प्रणाली के रूप में लें।

पाठ्यक्रम के हिस्से के रूप में, ईएलके स्टैक की स्थापना पर विचार नहीं किया जाता है, क्योंकि इस विषय पर बड़ी संख्या में लेख हैं, हम कॉन्फ़िगरेशन घटक पर विचार करेंगे।

लॉगस्टैश कॉन्फ़िगर करने के लिए एक कार्य योजना बनाते हैं:

सत्यापन कि elasticsearch लॉग स्वीकार करेंगे (पोर्ट स्वास्थ्य और खुलेपन की पुष्टि)।
हम विचार करते हैं कि हम लॉगस्टैश में घटनाओं को कैसे भेज सकते हैं, एक विधि चुन सकते हैं और इसे लागू कर सकते हैं।
लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में इनपुट कॉन्फ़िगर करें।
लॉग इन संदेश क्या दिखता है, यह समझने के लिए हम डिबग मोड में लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में आउटपुट कॉन्फ़िगर करते हैं।
फ़िल्टर को कॉन्फ़िगर करें।
ElasticSearch में सही आउटपुट कॉन्फ़िगर करें।
लॉगस्टैश लॉन्च किया गया।
Kibana में लॉग की जाँच करें।

आइए प्रत्येक आइटम पर अधिक विस्तार से विचार करें:

जाँच करना कि इलास्टिक्स खोज लॉग्स को स्वीकार करेगा

ऐसा करने के लिए, आप कर्ल कमांड का उपयोग उस सिस्टम से एलिस्टिक्स की पहुंच को सत्यापित करने के लिए कर सकते हैं जिस पर लॉगस्टैश तैनात है। यदि आपने प्रमाणीकरण कॉन्फ़िगर किया है, तो कर्ल के माध्यम से उपयोगकर्ता / पासवर्ड भी पास करें, पोर्ट 9200 निर्दिष्ट करें यदि आपने इसे नहीं बदला है। यदि नीचे दिया गया उत्तर जैसा प्रतीत होता है, तो सब कुछ क्रम में है।

[elastic@elasticsearch ~]$ curl -u <<user_name>> : <<password>> -sS -XGET "<<ip_address_elasticsearch>>:9200" { "name" : "elastic-1", "cluster_name" : "project", "cluster_uuid" : "sQzjTTuCR8q4ZO6DrEis0A", "version" : { "number" : "7.4.1", "build_flavor" : "default", "build_type" : "rpm", "build_hash" : "fc0eeb6e2c25915d63d871d344e3d0b45ea0ea1e", "build_date" : "2019-10-22T17:16:35.176724Z", "build_snapshot" : false, "lucene_version" : "8.2.0", "minimum_wire_compatibility_version" : "6.8.0", "minimum_index_compatibility_version" : "6.0.0-beta1" }, "tagline" : "You Know, for Search" } [elastic@elasticsearch ~]$

यदि उत्तर नहीं आता है, तो कई प्रकार की त्रुटियां हो सकती हैं: इलास्टिक्स खोज प्रक्रिया काम नहीं करती है, गलत पोर्ट निर्दिष्ट किया जाता है, या पोर्ट को फ़ायरवॉल द्वारा उस सर्वर पर अवरुद्ध किया जाता है, जहां इलास्टिसर्च स्थापित होता है।

एक बिंदु बिंदु फ़ायरवॉल से लॉगस्टैश में लॉग कैसे भेज सकते हैं, इस पर विचार करें

चेक प्वाइंट प्रबंधन सर्वर के साथ, आप log_exporter उपयोगिता का उपयोग करके लॉगस्टैश को लॉगस्टैश में भेज सकते हैं, आप इस लेख में अपने आप को इसके बारे में अधिक विस्तार से परिचित कर सकते हैं, यहां हम केवल उस कमांड को छोड़ देंगे जो स्ट्रीम बनाता है:

cp_log_export नाम जोड़ें check_point_syslog लक्ष्य-सर्वर << ip_address_logstash >> लक्ष्य-पोर्ट 5555 प्रोटोकॉल tcp प्रारूप जेनेरिक रीड-मोड अर्ध-एकीकृत

<< ip_address_logstash >> - जहां लॉगस्टैश चल रहा है, उस सर्वर का पता, लक्ष्य-पोर्ट 5555 - जिस पोर्ट पर हम लॉग भेजेंगे, टीसीपी के जरिए लॉग भेजना सर्वर को लोड कर सकता है, इसलिए कुछ मामलों में udp को सेट करना अधिक सही है।

लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में INPUT कॉन्फ़िगर करें

डिफ़ॉल्ट रूप से, कॉन्फ़िगरेशन फ़ाइल /etc/logstash/conf.d/ निर्देशिका में स्थित है। कॉन्फ़िगरेशन फ़ाइल में 3 सार्थक भाग होते हैं: INPUT, फिल्टर, OUTPUT। INPUT में हम संकेत करते हैं कि सिस्टम लॉग को कहां से ले जाएगा, FILTER में हम लॉग को पार्स करते हैं - मैसेज को फील्ड और वैल्यू में कैसे विभाजित करें, इस बारे में OUTPUT में हम आउटपुट स्ट्रीम को कॉन्फ़िगर करते हैं - जहां पार्स लॉग भेजे जाएंगे।

सबसे पहले, INPUT को कॉन्फ़िगर करें, कुछ प्रकारों पर विचार करें जो हो सकते हैं - फ़ाइल, tcp और exe।

टीसीपी:

 input { tcp { port => 5555 host => “10.10.1.205” type => "checkpoint" mode => "server" } }

मोड => "सर्वर"
कहते हैं कि लॉगस्टैश कनेक्शन स्वीकार करता है।

पोर्ट => 5555
होस्ट => "10.10.1.205"
हम आईपी पते से कनेक्शन स्वीकार करते हैं 10.10.1.205 (लॉगस्टैश), पोर्ट 5555 - पोर्ट को फ़ायरवॉल नीति द्वारा अनुमति दी जानी चाहिए।

टाइप => "चेकपॉइंट"
हम दस्तावेज़ को चिह्नित करते हैं, यदि आपके पास कई आवक कनेक्शन हैं तो यह बहुत सुविधाजनक है। निम्नलिखित में, प्रत्येक कनेक्शन के लिए, यदि आप तार्किक निर्माण का उपयोग करके अपना स्वयं का फ़िल्टर लिख सकते हैं।

फ़ाइल:

 input { file { path => "/var/log/openvas_report/*" type => "openvas" start_position => "beginning" } }

सेटिंग्स का विवरण:
पथ => "/ var / log / openvas_report / *"
उस निर्देशिका को निर्दिष्ट करें जिसमें फ़ाइलों को पढ़ा जाना चाहिए।

प्रकार => "ओपनवास"
घटना का प्रकार।

start_position => "शुरुआत"
फ़ाइल को बदलते समय, यह पूरी फ़ाइल को पढ़ता है; यदि आप "अंत" सेट करते हैं, तो सिस्टम फ़ाइल के अंत में नई प्रविष्टियों के आने की प्रतीक्षा करता है।

कार्यकारी:

 input { exec { command => "ls -alh" interval => 30 } }

इस इनपुट पर, (केवल!) शेल कमांड लॉन्च किया गया है और इसके आउटपुट को लॉग संदेश में लपेटा गया है।

कमांड => "ls -alh"
जिस टीम के आउटपुट में हम रुचि रखते हैं।

अंतराल => 30
सेकंड में कमांड मंगलाचरण अंतराल।

फ़ायरवॉल से लॉग प्राप्त करने के लिए, हम एक tcp या udp फ़िल्टर लिखते हैं, यह इस बात पर निर्भर करता है कि लॉगस्टैश में लॉग कैसे भेजे जाते हैं।

लॉग इन संदेश क्या दिखता है, यह समझने के लिए हम डिबग मोड में लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल में आउटपुट कॉन्फ़िगर करते हैं

हम INPUT को कॉन्फ़िगर करने के बाद, हमें यह समझने की आवश्यकता है कि लॉग संदेश कैसा दिखेगा, लॉग के फ़िल्टर (पार्सर) को कॉन्फ़िगर करने के लिए किन तरीकों का उपयोग किया जाना चाहिए।

ऐसा करने के लिए, हम एक फ़िल्टर का उपयोग करेंगे, जो मूल संदेश को देखने के लिए परिणाम को प्रदर्शित करता है, वर्तमान क्षण के लिए पूरी तरह से कॉन्फ़िगरेशन फ़ाइल इस तरह दिखाई देगी:

 input { tcp { port => 5555 type => "checkpoint" mode => "server" host => “10.10.1.205” } } output { if [type] == "checkpoint" { stdout { codec=> json } } }

सत्यापित करने के लिए कमांड चलाता है:
sudo / usr / share / logstash / bin // logstash -f /etc/logstash/conf.d/checkpoint.conf
हम परिणाम देखते हैं, चित्र क्लिक करने योग्य है:

यदि आप इसे कॉपी करते हैं तो यह इस तरह दिखाई देगा:

 action=\"Accept\" conn_direction=\"Internal\" contextnum=\"1\" ifdir=\"outbound\" ifname=\"bond1.101\" logid=\"0\" loguid=\"{0x5dfb8c13,0x5,0xfe0a0a0a,0xc0000000}\" origin=\"10.10.10.254\" originsicname=\"CN=ts-spb-cpgw-01,O=cp-spb-mgmt-01.tssolution.local.kncafb\" sequencenum=\"8\" time=\"1576766483\" version=\"5\" context_num=\"1\" dst=\"10.10.10.10\" dst_machine_name=\"ts-spb-dc-01@tssolution.local\" layer_name=\"TSS-Standard Security\" layer_name=\"TSS-Standard Application\" layer_uuid=\"dae7f01c-4c98-4c3a-a643-bfbb8fcf40f0\" layer_uuid=\"dbee3718-cf2f-4de0-8681-529cb75be9a6\" match_id=\"8\" match_id=\"33554431\" parent_rule=\"0\" parent_rule=\"0\" rule_action=\"Accept\" rule_action=\"Accept\" rule_name=\"Implicit Cleanup\" rule_uid=\"6dc2396f-9644-4546-8f32-95d98a3344e6\" product=\"VPN-1 & FireWall-1\" proto=\"17\" s_port=\"37317\" service=\"53\" service_id=\"domain-udp\" src=\"10.10.1.180\" ","type":"qqqqq","host":"10.10.10.250","@version":"1","port":50620}{"@timestamp":"2019-12-19T14:50:12.153Z","message":"time=\"1576766483\" action=\"Accept\" conn_direction=\"Internal\" contextnum=\"1\" ifdir=\"outbound\" ifname=\"bond1.101\" logid=\"0\" loguid=\"{0x5dfb8c13,

इन संदेशों को देखते हुए, हम समझते हैं कि लॉग में फॉर्म है: फ़ील्ड = मूल्य या कुंजी = मूल्य, जिसका अर्थ है कि kv नामक एक फिल्टर उपयुक्त है। प्रत्येक विशिष्ट मामले के लिए सही फिल्टर चुनने के लिए, तकनीकी दस्तावेज में उनके साथ खुद को परिचित करना अच्छा होगा, या किसी मित्र से पूछें।

फ़िल्टर को कस्टमाइज़ करें

अंतिम चरण में, उन्होंने kv चुना, फिर इस फिल्टर का विन्यास प्रस्तुत किया गया है:

 filter { if [type] == "checkpoint"{ kv { value_split => "=" allow_duplicate_values => false } } }

हम उस प्रतीक का चयन करते हैं जिसके द्वारा हम फ़ील्ड और मान को विभाजित करेंगे - "="। यदि हमारे पास लॉग में समान प्रविष्टियां हैं, तो हम डेटाबेस में केवल एक उदाहरण को सहेजते हैं, अन्यथा आपको समान मानों की एक सरणी मिलेगी, अर्थात, यदि हमारे पास "foo = some foo = some" संदेश है, तो केवल foo = कुछ लिखें।

ElasticSearch में सही आउटपुट कॉन्फ़िगर करें

फ़िल्टर कॉन्फ़िगर किए जाने के बाद, आप लॉग को इलास्टिक्सखोज डेटाबेस पर अपलोड कर सकते हैं:

 output { if [type] == "checkpoint" { elasticsearch { hosts => ["10.10.1.200:9200"] index => "checkpoint-%{+YYYY.MM.dd}" user => "tssolution" password => "cool" } } }

यदि दस्तावेज़ को चेकपॉइंट प्रकार के साथ हस्ताक्षरित किया गया है, तो ईवेंट को इलास्टिक्सखोज डेटाबेस में सहेजें, जो डिफ़ॉल्ट रूप से 9200 को पोर्ट 9200 पर पोर्ट के लिए 10.10.1.200 पर कनेक्शन स्वीकार करता है। प्रत्येक दस्तावेज़ एक विशिष्ट सूचकांक में सहेजा जाता है, इस मामले में हम सूचकांक "चेकपॉइंट-" + वर्तमान समय की तारीख में सहेजते हैं। प्रत्येक इंडेक्स में फ़ील्ड का एक विशिष्ट सेट हो सकता है, या यह स्वचालित रूप से बनाया जाता है जब संदेश में एक नया फ़ील्ड दिखाई देता है, फ़ील्ड सेटिंग्स और उनके प्रकार को मैपिंग में देखा जा सकता है।

यदि आपने प्रमाणीकरण को कॉन्फ़िगर किया है (हम बाद में विचार करेंगे), एक विशिष्ट सूचकांक में लिखने के लिए क्रेडेंशियल निर्दिष्ट किया जाना चाहिए, इस उदाहरण में यह "कूल" पासवर्ड के साथ "tssolution" है। आप केवल एक विशिष्ट सूचकांक में लॉग लिखने के लिए उपयोगकर्ता अधिकारों के बीच अंतर कर सकते हैं और अधिक नहीं।

लॉगस्टैश लॉन्च करें।

लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल:

 input { tcp { port => 5555 type => "checkpoint" mode => "server" host => “10.10.1.205” } } filter { if [type] == "checkpoint"{ kv { value_split => "=" allow_duplicate_values => false } } } output { if [type] == "checkpoint" { elasticsearch { hosts => ["10.10.1.200:9200"] index => "checkpoint-%{+YYYY.MM.dd}" user => "tssolution" password => "cool" } } }

सही संकलन के लिए कॉन्फ़िगरेशन फ़ाइल की जाँच करें:
/ usr / share / logstash / bin // logstash -f checkpoint.conf

हम लॉगस्टैश प्रक्रिया शुरू करते हैं:
sudo systemctl की शुरुआत logstash से होती है

जांचें कि प्रक्रिया शुरू हो गई है:
sudo systemctl स्टेटस लॉगस्टैश

जांचें कि क्या सॉकेट बढ़ गया है:
netstat -nat | grep 5555

Kibana में लॉग की जाँच करें।

सब कुछ शुरू होने के बाद, किबाना - डिस्कवर पर जाएं, सुनिश्चित करें कि सब कुछ सही तरीके से कॉन्फ़िगर किया गया है, चित्र क्लिक करने योग्य है!

सभी लॉग जगह में हैं और हम सभी क्षेत्रों और उनके मूल्यों को देख सकते हैं!

निष्कर्ष

हमने जांच की कि लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल कैसे लिखी जाती है, परिणामस्वरूप हमें सभी क्षेत्रों और मूल्यों का एक पार्सर मिला। अब हम कुछ क्षेत्रों के लिए खोज और चार्टिंग के साथ काम कर सकते हैं। आगे हम किबाना में दृश्य पर विचार करेंगे, एक सरल डैशबोर्ड बनाएं। यह उल्लेखनीय है कि लॉगस्टैश कॉन्फ़िगरेशन फ़ाइल को निश्चित रूप से कुछ स्थितियों में लगातार जोड़ा जाना चाहिए, उदाहरण के लिए, जब हम फ़ील्ड मान को एक अंक से एक शब्द में बदलना चाहते हैं। बाद के लेखों में, हम हर समय ऐसा करेंगे।

तो बने रहिए ( Telegram , Facebook , VK , TS Solution Blog ), Yandex.Zen ।

2. इलास्टिक स्टैक: सुरक्षा लॉग का विश्लेषण। Logstash