मिकरोटिक लॉग विश्लेषण के लिए ईएलके 7.5 सेटिंग्स को पार्स करना

यह लंबे समय से यह देखने के लिए एक विचार है कि आप ईएलके और लॉग और आंकड़ों के तात्कालिक स्रोतों के साथ क्या कर सकते हैं। हैबर के पन्नों पर, मैं एक व्यावहारिक उदाहरण दिखाने की योजना बना रहा हूं कि कैसे, एक होम मिनी-सर्वर का उपयोग करके, आप बना सकते हैं, उदाहरण के लिए, ईएलके स्टैक पर आधारित लॉग विश्लेषण प्रणाली के साथ हनीपोट। इस लेख में मैं आपको ELK स्टैक का उपयोग करके फ़ायरवॉल लॉग का विश्लेषण करने के सबसे सरल उदाहरण के बारे में बताऊंगा। भविष्य में, मैं नेटफ्लो ट्रैफ़िक के विश्लेषण के लिए पर्यावरण सेटिंग्स का वर्णन करना चाहूंगा और ज़ीक द्वारा पीक डंप।



यदि आपके पास एक सार्वजनिक आईपी पता और गेटवे / फ़ायरवॉल के रूप में अधिक या कम स्मार्ट डिवाइस है, तो आप "स्वादिष्ट" टीसीपी और यूडीपी बंदरगाहों के लिए आने वाले अनुरोधों को स्थापित करके एक निष्क्रिय हनीपोट को व्यवस्थित कर सकते हैं। एक बिल्ली के नीचे मिकरोटिक राउटर को कॉन्फ़िगर करने का एक उदाहरण है, लेकिन अगर आपके पास हाथ में एक अलग विक्रेता राउटर (या कुछ अन्य सुरक्षा प्रणाली) है, तो आपको बस थोड़ा डेटा प्रारूप और विक्रेता-विशिष्ट सेटिंग्स का पता लगाने की आवश्यकता है, और आपको एक ही परिणाम मिलेगा।

त्याग

लेख मूल होने का दिखावा नहीं करता है, यह सेवाओं, सुरक्षा, सर्वोत्तम प्रथाओं, आदि के दोष सहिष्णुता के मुद्दों को संबोधित नहीं करता है। इस सामग्री को अकादमिक के रूप में विचार करना आवश्यक है, यह ईएलके स्टैक की मूल कार्यक्षमता और नेटवर्क डिवाइस के लॉग विश्लेषण तंत्र के साथ परिचित होने के लिए उपयुक्त है। हालांकि, यह एक नौसिखिए के लिए भी दिलचस्प हो सकता है।

प्रोजेक्ट को डोकर-कम्पोज़ फ़ाइल से लॉन्च किया गया है, और आपके समान वातावरण को तैनात करना बहुत आसान है, भले ही आपके पास हाथ पर एक अलग विक्रेता का राउटर हो, आपको बस डेटा प्रारूप और विक्रेता-विशिष्ट सेटिंग्स के बारे में थोड़ा समझने की आवश्यकता है। बाकी के लिए, मैंने ELK के वर्तमान संस्करण में लॉगस्टैश पाइपलाइन और एलिटिक्स खोज मैपिंग को कॉन्फ़िगर करने से जुड़ी सभी बारीकियों का यथासंभव वर्णन करने का प्रयास किया। इस प्रणाली के सभी घटकों को github पर होस्ट किया गया है, जिसमें सेवा विन्यास भी शामिल है। लेख के अंत में, मैं समस्या निवारण अनुभाग करूंगा, जो इस व्यवसाय में नए लोगों को लोकप्रिय समस्याओं का निदान करने के लिए चरणों का वर्णन करेगा।

परिचय

सर्वर पर ही, मैंने प्रोक्समॉक्स वर्चुअलाइजेशन सिस्टम स्थापित किया है, इस पर केवीएम मशीन में डॉकटर कंटेनर लॉन्च किए गए हैं। यह माना जाता है कि आप जानते हैं कि डॉकटर और डॉक-कंपोज़ कैसे काम करते हैं, क्योंकि इंटरनेट उपयोग के बारे में पर्याप्त कॉन्फ़िगरेशन उदाहरण हैं। मैं डॉकर को स्थापित करने के मुद्दों पर स्पर्श नहीं करूंगा, मैं डॉकटर-कम्पोज के बारे में थोड़ा लिखूंगा।

हनीपोट को लॉन्च करने का विचार एलिस्टिक्स, लॉगस्टैश और किबाना के अध्ययन की प्रक्रिया में उत्पन्न हुआ। अपने पेशेवर करियर में, मैं कभी भी इस स्टैक का उपयोग करने के लिए प्रशासित और आम तौर पर शामिल नहीं हुआ, लेकिन मेरे पास शौक परियोजनाएं हैं, जिनकी बदौलत मैंने एलिटिक्सर्च और किबाना सर्च इंजन द्वारा दी जाने वाली संभावनाओं की खोज में एक बड़ी रुचि विकसित की है, जिसके साथ आप डेटा का विश्लेषण और कल्पना कर सकते हैं।

8 जीबी रैम के साथ मेरा नया मिनी एनयूसी सर्वर केवल एक लोचदार नोड के साथ ईएलके स्टैक शुरू करने के लिए पर्याप्त नहीं है। उत्पादन वातावरण में, यह, ज़ाहिर है, अनुशंसित नहीं है, लेकिन प्रशिक्षण के लिए बस सही है। सुरक्षा के मुद्दे के बारे में, लेख के अंत में एक टिप्पणी है।

इंटरनेट समान कार्यों के लिए ईएलके स्टैक को स्थापित करने और कॉन्फ़िगर करने के निर्देशों से भरा है (उदाहरण के लिए, लॉगस्टैश संस्करण 2 का उपयोग करके ssh पर क्रूर बल के हमलों का विश्लेषण करना , फ़ाइलबीट संस्करण 6 का उपयोग करके सुरिकटा लॉग का विश्लेषण करना ), लेकिन ज्यादातर मामलों में, विवरण पर ध्यान नहीं दिया जाता है। सामग्री का 90 प्रतिशत संस्करण 1 से 6 के लिए होगा (लेखन के समय, ईएलके का वर्तमान संस्करण 7.5.0 है)। यह महत्वपूर्ण है क्योंकि संस्करण 6 से एलेस्टिक्स खोज ने मैपिंग प्रकार की इकाई को हटाने का निर्णय लिया , जिससे क्वेरी सिंटैक्स और मैपिंग संरचना बदल गई। इलास्टिक में मैपिंग टेम्प्लेट आम तौर पर एक बहुत महत्वपूर्ण वस्तु है, और इसलिए कि बाद में डेटा सैंपलिंग और विज़ुअलाइज़ेशन में कोई समस्या नहीं होगी, मैं आपको सलाह देता हूं कि आप कॉपी-पेस्ट में शामिल न हों और यह समझने की कोशिश करें कि आप क्या कर रहे हैं। इसके अलावा मैं स्पष्ट रूप से समझाने की कोशिश करूंगा कि वर्णित संचालन और कॉन्फ़िगरेशन का क्या मतलब है।

राउटर सेटअप

होम नेटवर्क के लिए, मैं राउटर के रूप में मिकरोटिक का उपयोग करता हूं, इसलिए एक उदाहरण उसके लिए होगा। लेकिन लगभग किसी भी सिस्टम को दूरस्थ सर्वर पर syslog भेजने के लिए कॉन्फ़िगर किया जा सकता है, चाहे वह एक राउटर हो, सर्वर हो या कोई अन्य सुरक्षा प्रणाली जो लॉग इन कर सकता है।

किसी दूरस्थ सर्वर पर syslog संदेश भेजना

Mikrotik में, CLI के माध्यम से दूरस्थ सर्वर में लॉगिंग को कॉन्फ़िगर करने के लिए, बस कुछ ही कमांड दर्ज करें:

/system logging action add remote=192.168.88.130 remote-port=5145 src-address=192.168.88.1 name=logstash target=remote /system logging add action=logstash topics=info 

लॉगिंग के साथ फ़ायरवॉल नियमों को कॉन्फ़िगर करना

हम केवल कुछ डेटा (hostname, ip-adress, username, url आदि) में रुचि रखते हैं, जिससे आप एक सुंदर दृश्य या चयन प्राप्त कर सकते हैं। सबसे सरल मामले में, पोर्ट स्कैन और एक्सेस प्रयासों के बारे में जानकारी प्राप्त करने के लिए, आपको नियम ट्रिगर करने के लिए फ़ायरवॉल घटक को कॉन्फ़िगर करने की आवश्यकता है। मिकरोटिक पर, मैंने एनएटी तालिका में नियम निर्धारित किए हैं, न कि फ़िल्टर, क्योंकि भविष्य में मैं ऐसे चिनपोट्स लगाने जा रहा हूं जो सेवाओं के काम का अनुकरण करेंगे, इससे मुझे बॉटनेट के व्यवहार के बारे में अधिक जानकारी की जांच करने की अनुमति मिलेगी, लेकिन यह अधिक उन्नत परिदृश्य है और इस समय के बारे में नहीं।

चेतावनी! नीचे कॉन्फ़िगरेशन में, एसएसएच सेवा (22) के मानक टीसीपी पोर्ट को स्थानीय नेटवर्क में लूप किया जाता है। यदि आप बाहर से राउटर तक पहुंचने के लिए एसएसएच का उपयोग करते हैं और सेटिंग्स में पोर्ट 22 (सीएलआई में आईपी ​​सेवा प्रिंट और विनबॉक्स में आईपी ​​सेवा ) है, तो आपको प्रबंधन एसएसएच के लिए पोर्ट को फिर से असाइन करना चाहिए, या तालिका में अंतिम नियम दर्ज नहीं करना चाहिए।
इसके अलावा, WAN इंटरफ़ेस (यदि WAN ब्रिज का उपयोग नहीं किया गया है) के नाम पर निर्भर करता है, तो आपको इन-इंटरफ़ेस पैरामीटर को उपयुक्त एक में बदलना होगा।

 /ip firewall nat add action=netmap chain=dstnat comment="HONEYPOT RDP" dst-port=3389 in-interface=bridge-wan log=yes log-prefix=honeypot_rdp protocol=tcp to-addresses=192.168.88.201 to-ports=3389 add action=netmap chain=dstnat comment="HONEYPOT ELASTIC" dst-port=9200 in-interface=bridge-wan log=yes log-prefix=honeypot_elastic protocol=tcp to-addresses=192.168.88.201 to-ports=9211 add action=netmap chain=dstnat comment=" HONEYPOT TELNET" dst-port=23 in-interface=bridge-wan log=yes log-prefix=honeypot_telnet protocol=tcp to-addresses=192.168.88.201 to-ports=2325 add action=netmap chain=dstnat comment="HONEYPOT DNS" dst-port=53 in-interface=bridge-wan log=yes log-prefix=honeypot_dns protocol=udp to-addresses=192.168.88.201 to-ports=9953 add action=netmap chain=dstnat comment="HONEYPOT FTP" dst-port=21 in-interface=bridge-wan log=yes log-prefix=honeypot_ftp protocol=tcp to-addresses=192.168.88.201 to-ports=9921 add action=netmap chain=dstnat comment="HONEYPOT SMTP" dst-port=25 in-interface=bridge-wan log=yes log-prefix=honeypot_smtp protocol=tcp to-addresses=192.168.88.201 to-ports=9925 add action=netmap chain=dstnat comment="HONEYPOT SMB" dst-port=445 in-interface=bridge-wan log=yes log-prefix=honeypot_smb protocol=tcp to-addresses=192.168.88.201 to-ports=9445 add action=netmap chain=dstnat comment="HONEYPOT MQTT" dst-port=1883 in-interface=bridge-wan log=yes log-prefix=honeypot_mqtt protocol=tcp to-addresses=192.168.88.201 to-ports=9883 add action=netmap chain=dstnat comment="HONEYPOT SIP" dst-port=5060 in-interface=bridge-wan log=yes log-prefix=honeypot_sip protocol=tcp to-addresses=192.168.88.201 to-ports=9060 add action=dst-nat chain=dstnat comment="HONEYPOT SSH" dst-port=22 in-interface=bridge-wan log=yes log-prefix=honeypot_ssh protocol=tcp to-addresses=192.168.88.201 to-ports=9922 

Winbox में, समान IP> फ़ायरवॉल> NAT टैब में कॉन्फ़िगर किया गया है।

अब राउटर प्राप्त पैकेटों को स्थानीय पते 192.168.88.201 और कस्टम पोर्ट पर रीडायरेक्ट करेगा। अभी इन बंदरगाहों पर कोई नहीं सुन रहा है, इसलिए कनेक्शन टूट जाएंगे। भविष्य में, docker में, आप honeypot चला सकते हैं, जिनमें से प्रत्येक सेवा के लिए कई हैं। यदि यह योजनाबद्ध नहीं है, तो NAT नियमों के बजाय, आपको फ़िल्टर श्रृंखला में ड्रॉप कार्रवाई के साथ एक नियम लिखना चाहिए।

ईएलके को डॉकटर-कंपोज के साथ शुरू करना

अगला, आप उस घटक को कॉन्फ़िगर करना शुरू कर सकते हैं जो लॉग को संसाधित करेगा। मैं आपको तुरंत सलाह देता हूं कि कॉन्फ़िगरेशन फ़ाइलों को पूरी तरह से देखने के लिए रिपॉजिटरी को तुरंत अभ्यास और क्लोन करें। सभी वर्णित कॉन्फ़िगरेशन वहां देखे जा सकते हैं, लेख के पाठ में मैं केवल कॉन्फ़िगरेशन के भाग की प्रतिलिपि बनाऊंगा।

 ❯❯ git clone https://github.com/mekhanme/elk-mikrot.git 

एक परीक्षण या देव वातावरण में, डॉक-कंपोज़ का उपयोग करके डॉक कंटेनर चलाने के लिए सबसे सुविधाजनक है। इस परियोजना में, मैं वर्तमान में नवीनतम संस्करण 3.7 के डॉक-कम्पोज़ फ़ाइल का उपयोग करता हूं, इसके लिए डॉक इंजन संस्करण 18.06.0+ की आवश्यकता होती है, इसलिए यह डॉकटर को अपडेट करने के लायक है, साथ ही डॉक-कंपोज़ भी।

 ❯❯ curl -L "https://github.com/docker/compose/releases/download/1.25.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose ❯❯ chmod +x /usr/local/bin/docker-compose 

चूंकि डॉकटर-कम्पोज़ के हाल के संस्करणों में, मेम_लीमेट पैरामीटर को काट दिया गया था और तैनाती को जोड़ा गया था , जो केवल झुंड मोड ( डॉक स्टैक परिनियोजित ) में चलता है, डॉक-कंपोज़ कॉन्फ़िगरेशन को सीमा के साथ लॉन्च करने से त्रुटि होती है। चूंकि मैं झुंड का उपयोग नहीं करता हूं, और मैं संसाधन सीमाएं रखना चाहता हूं, मुझे इसे --compatibility विकल्प के साथ शुरू करना होगा, जो कि डॉक-कंपोज से नए संस्करणों को गैर-वेल्ड समकक्ष के रूप में परिवर्तित करता है।

सभी कंटेनरों का परीक्षण रन (पृष्ठभूमि -d में):

 ❯❯ docker-compose --compatibility up -d 

आपको सभी छवियों के डाउनलोड होने तक इंतजार करना होगा, और लॉन्च पूरा होने के बाद, आप कमांड के साथ कंटेनरों की स्थिति देख सकते हैं:

 ❯❯ docker-compose --compatibility ps 

इस तथ्य के कारण कि सभी कंटेनर एक ही नेटवर्क पर होंगे (यदि आप नेटवर्क को स्पष्ट रूप से निर्दिष्ट नहीं करते हैं, तो एक नया पुल बनाया जाता है, जो इस परिदृश्य में उपयुक्त है) और docker-compose.yml में सभी कंटेनरों के लिए कंटेनर_नाम पैरामीटर शामिल है , कंटेनरों में पहले से ही अंतर्निहित DNS के माध्यम से कनेक्टिविटी होगी। डोकर। नतीजतन, कंटेनर कॉन्फ़िगरेशन में आईपी पते को पंजीकृत करना आवश्यक नहीं है। लॉगस्टैश कॉन्फ़िगरेशन में, 192.168.88.0/24 सबनेट स्थानीय के रूप में पंजीकृत है, आगे कॉन्फ़िगरेशन में और अधिक विस्तृत स्पष्टीकरण होंगे, जिसके अनुसार आप शुरू करने से पहले कॉन्फ़िगरेशन के उदाहरण को विचलित कर सकते हैं।

ELK सेवाएँ कॉन्फ़िगर करें

इसके अलावा ELK घटकों की कार्यक्षमता को कॉन्फ़िगर करने के तरीके के बारे में स्पष्टीकरण होगा, साथ ही कुछ और क्रियाएं जो एलिटिक्स खोज पर किए जाने की आवश्यकता होगी।

IP पते द्वारा भौगोलिक निर्देशांक निर्धारित करने के लिए, आपको MaxMind से मुफ्त GeoLite2 डेटाबेस डाउनलोड करना होगा:

 ❯❯ cd elk-mikrot && mkdir logstash/geoip_db ❯❯ curl -O https://geolite.maxmind.com/download/geoip/database/GeoLite2-City-CSV.zip && unzip GeoLite2-City-CSV.zip -d logstash/geoip_db && rm -f GeoLite2-City-CSV.zip ❯❯ curl -O https://geolite.maxmind.com/download/geoip/database/GeoLite2-ASN-CSV.zip && unzip GeoLite2-ASN-CSV.zip -d logstash/geoip_db && rm -f GeoLite2-ASN-CSV.zip 

लॉगस्टैश सेटअप

मुख्य कॉन्फ़िगरेशन फ़ाइल logstash.yml है , जहां मैंने कॉन्फ़िगरेशन को स्वचालित रूप से पुनः लोड करने का विकल्प पंजीकृत किया है, परीक्षण वातावरण के लिए बाकी सेटिंग्स महत्वपूर्ण नहीं हैं। लॉगस्टैश में डेटा प्रोसेसिंग (लॉग) का कॉन्फ़िगरेशन अलग-अलग गोपनीय फाइलों में वर्णित है, आमतौर पर पाइपलाइन निर्देशिका में संग्रहीत किया जाता है। योजना में, जब कई पाइपलाइनों का उपयोग किया जाता है, तो पाइपलाइनों.आईएमएल फ़ाइल सक्रिय पाइपलाइनों का वर्णन करती है। आउटपुट में एक विशिष्ट संरचना के साथ डेटा प्राप्त करने के लिए एक पाइपलाइन असंरचित डेटा पर क्रियाओं की एक श्रृंखला है। अलग से कॉन्फ़िगर की गई पाइपलाइनों के साथ एक योजना। हाइमल वैकल्पिक है, आप इसके बिना माउंट पाइप लाइन निर्देशिका से सभी कॉन्फ़िगरेशन को डाउनलोड करके कर सकते हैं, हालांकि, एक विशिष्ट पाइपलाइनों के साथ। फ़ाइल के साथ, कॉन्फ़िगरेशन अधिक लचीला है, क्योंकि आप पाइपलाइन निर्देशिका से गोपनीय फ़ाइलों को चालू और बंद कर सकते हैं। आवश्यक कॉन्फ़िगरेशन। इसके अलावा, पुन: लोड करना कॉन्फ़िगर करता है केवल कई पाइपलाइन योजना में काम करता है।

 ❯❯ cat logstash/config/pipelines.yml - pipeline.id: logstash-mikrot path.config: "pipeline/logstash-mikrot.conf" 

इसके बाद Logstash config का सबसे महत्वपूर्ण हिस्सा आता है। पाइपलाइन विवरण में कई खंड शामिल हैं - शुरुआत में, प्लगइन्स इनपुट अनुभाग में इंगित किए जाते हैं जिनकी मदद से लॉगस्टैश डेटा प्राप्त करता है। नेटवर्क डिवाइस से syslog इकट्ठा करने का सबसे आसान तरीका tcp / udp इनपुट प्लग इन का उपयोग करना है। इन प्लगइन्स के लिए एकमात्र आवश्यक पैरामीटर पोर्ट है , इसे राउटर सेटिंग्स के समान निर्दिष्ट किया जाना चाहिए।

दूसरा खंड फ़िल्टर है , जो डेटा के साथ आगे की कार्रवाई निर्धारित करता है जिसे अभी तक संरचित नहीं किया गया है। मेरे उदाहरण में, कुछ पाठ वाले राउटर से अनावश्यक syslog संदेश हटा दिए जाते हैं। यह शर्त और मानक ड्रॉप एक्शन का उपयोग करके किया जाता है, जो स्थिति को संतुष्ट करने पर पूरे संदेश को त्याग देता है। हालत में , संदेश फ़ील्ड को कुछ पाठ की उपस्थिति के लिए जाँच की जाती है।



यदि संदेश ड्रॉप नहीं होता है, तो यह श्रृंखला के और नीचे जाता है और ग्रॉक फ़िल्टर में प्रवेश करता है। जैसा कि दस्तावेज़ीकरण कहता है, नाली अनियंत्रित लॉग डेटा को संरचित और क्वेरी में पार्स करने का एक शानदार तरीका है । इस फ़िल्टर का उपयोग विभिन्न प्रणालियों (लिनक्स syslog, वेब सर्वर, डेटाबेस, नेटवर्क उपकरणों, आदि) के लॉग को संसाधित करने के लिए किया जाता है। तैयार किए गए पैटर्न के आधार पर , आप बहुत समय खर्च किए बिना, किसी भी अधिक या कम दोहराए जाने वाले अनुक्रम के लिए एक पार्सर बना सकते हैं। सत्यापन के लिए एक ऑनलाइन पार्सर का उपयोग करना सुविधाजनक है (किबाना के नवीनतम संस्करण में, देव उपकरण अनुभाग में समान कार्यक्षमता है)।



वॉल्यूम "./logstash/patterns:/usr/share/logstash/patterns" docker -compose.yml में पंजीकृत है , पैटर्न निर्देशिका में मानक समुदाय पैटर्न के साथ एक फ़ाइल है (बस सुविधा के लिए, देखें कि क्या मैं भूल गया), साथ ही साथ एक फ़ाइल भी। सादृश्य द्वारा कई प्रकार के मिकरोटिक संदेशों ( फ़ायरवॉल और प्रामाणिक मॉड्यूल ) के पैटर्न, आप एक अलग संरचना के संदेशों के लिए अपने स्वयं के टेम्पलेट जोड़ सकते हैं।

मानक विकल्प add_field और remove_field आपको किसी भी फ़िल्टर के अंदर संसाधित किए जा रहे संदेश से फ़ील्ड जोड़ने या हटाने की अनुमति देते हैं। इस स्थिति में, होस्ट फ़ील्ड हटा दी जाती है, जिसमें होस्ट नाम होता है जिसमें से संदेश प्राप्त हुआ था। मेरे उदाहरण में, केवल एक मेजबान है, इसलिए इस क्षेत्र में कोई मतलब नहीं है।

इसके अलावा, उसी फ़िल्टर अनुभाग में, मैंने cidr फ़िल्टर पंजीकृत किया, जो दिए गए सबनेट में प्रविष्टि स्थिति के अनुपालन के लिए आईपी पते के साथ फ़ील्ड की जांच करता है और टैग डालता है। आगे की श्रृंखला में टैग के आधार पर, प्रदर्शन किए जाएंगे या नहीं किए जाएंगे (यदि विशेष रूप से, तो भविष्य में स्थानीय पते के लिए जियोआईपी लुकअप न करने के लिए)।

फ़िल्टर सेक्शन की कोई भी संख्या हो सकती है, ताकि एक सेक्शन के भीतर कम स्थितियाँ हों। नए सेक्शन में मैंने src_local टैग के बिना संदेशों के लिए क्रियाएँ परिभाषित की हैं, अर्थात फ़ायरवॉल इवेंट्स को यहाँ संसाधित किया जाता है जिसमें हम स्रोत पते में रुचि रखते हैं।

अब हमें थोड़ा और बात करने की जरूरत है कि लॉगस्टैश को जियोआईपी की जानकारी कहां से मिलती है। Logstash GeoLite2 डेटाबेस का समर्थन करता है। कई डेटाबेस विकल्प हैं, मैं दो डेटाबेस का उपयोग करता हूं: GeoLite2 City (जिसमें देश, शहर, समय क्षेत्र के बारे में जानकारी है) और GeoLite2 ASN (स्वायत्त प्रणाली के बारे में जानकारी जिसमें आईपी पता है)।



जियोआईपी जानकारी को संदेश में जोड़ने के लिए जियोइप प्लगइन भी शामिल है। मापदंडों से, आपको उस फ़ील्ड को निर्दिष्ट करना होगा जिसमें आईपी पता, उपयोग किया गया आधार, और नए फ़ील्ड का नाम जिसमें जानकारी लिखी जाएगी। मेरे उदाहरण में, यही बात गंतव्य आईपी पते के लिए की जाती है, लेकिन अभी तक इस सरल परिदृश्य में यह जानकारी दिलचस्प नहीं होगी, क्योंकि गंतव्य का पता हमेशा राउटर का पता होगा। हालांकि, भविष्य में इस पाइपलाइन से लॉग को न केवल फ़ायरवॉल से जोड़ना संभव होगा, बल्कि अन्य प्रणालियों से भी जहां दोनों पते को देखना प्रासंगिक होगा।

म्यूटेट फ़िल्टर आपको संदेश फ़ील्ड को बदलने और फ़ील्ड में स्वयं पाठ को संशोधित करने की अनुमति देता है; प्रलेखन में विस्तार से वर्णन है कि आप क्या कर सकते हैं। इस मामले में, इसका उपयोग टैग जोड़ने, फ़ील्ड का नाम बदलने के लिए किया जाता है (किबाना में लॉग के विज़ुअलाइज़ेशन के लिए, जियो-पॉइंट ऑब्जेक्ट के एक निश्चित प्रारूप की आवश्यकता होती है, मैं इस विषय पर आगे स्पर्श करूँगा) और अनावश्यक फ़ील्ड हटा दूंगा।



यह डेटा प्रोसेसिंग सेक्शन को समाप्त करता है और केवल यह इंगित कर सकता है कि संरचित संदेश कहां भेजना है। इस मामले में, एलेस्टिक्स खोज डेटा एकत्रित करेगा, आपको केवल आईपी पते, पोर्ट और इंडेक्स नाम दर्ज करना होगा। यह अनुशंसा की जाती है कि आप एक चर दिनांक फ़ील्ड के साथ सूचकांक दर्ज करें ताकि हर दिन एक नया सूचकांक बनाया जाए।

इलास्टिक्स की स्थापना

एलीटेसर्च पर वापस। पहले आपको यह सुनिश्चित करने की आवश्यकता है कि सर्वर ऊपर और चल रहा है। लोचदार को CLI में रेस्ट एपीआई के माध्यम से सबसे अधिक कुशलता से बातचीत की जाती है। कर्ल का उपयोग करते हुए, आप नोड की स्थिति देख सकते हैं (स्थानीय होस्ट को होस्ट डॉकर आईपी पते के साथ बदल सकते हैं):

 ❯❯ curl localhost:9200 

फिर आप किबाना को खोलने की कोशिश कर सकते हैं लोकलहोस्ट : 5601। किबाना वेब इंटरफेस में कुछ भी कॉन्फ़िगर करने की आवश्यकता नहीं है (जब तक कि विषय को अंधेरे में नहीं बदल दिया जाए)। हम यह देखने के लिए इच्छुक हैं कि क्या कोई इंडेक्स बनाया गया है। ऐसा करने के लिए, मैनेजमेंट सेक्शन को खोलें और बाईं ओर सबसे ऊपर मौजूद एलीटेसर्च इंडेक्स मैनेजमेंट को चुनें। यहां आप देख सकते हैं कि कितने दस्तावेज़ अनुक्रमित हैं, यह डिस्क स्थान को कितना ऊपर ले जाता है, आप उपयोगी जानकारी से सूचकांक मैपिंग की जानकारी भी देख सकते हैं।



बस इसके बाद आपको सही मैपिंग टेम्प्लेट को रजिस्टर करना होगा। यह जानकारी इलास्टिक के लिए आवश्यक है ताकि वह समझ सके कि कौन से डेटा किस क्षेत्र के हैं। उदाहरण के लिए, IP पते के आधार पर विशेष चयन करने के लिए, src_ip फ़ील्ड के लिए, आपको स्पष्ट रूप से IP डेटा प्रकार निर्दिष्ट करना होगा, और भौगोलिक स्थिति निर्धारित करने के लिए, आपको एक विशिष्ट प्रारूप में geoip.location क्षेत्र को परिभाषित करने और geo_point प्रकार को पंजीकृत करने की आवश्यकता है । सभी संभावित क्षेत्रों का वर्णन नहीं किया जाना चाहिए, क्योंकि नए क्षेत्रों के लिए डेटा प्रकार स्वचालित रूप से डायनेमिक पैटर्न (स्ट्रिंग के लिए संख्या और कीवर्ड के लिए लंबे समय ) के आधार पर निर्धारित किया जाता है।

आप कर्ल का उपयोग करके एक नया टेम्पलेट लिख सकते हैं, या सीधे किबाना कंसोल (सेक्शन देव टूल्स ) से।

 ❯❯ curl -X POST -H "Content-Type: application/json" -d @elasticsearch/logstash_mikrot-template.json http://192.168.88.130:9200/_template/logstash-mikrot 

मैपिंग बदलने के बाद, आपको सूचकांक को हटाने की आवश्यकता है:

 ❯❯ curl -X DELETE http://192.168.88.130:9200/logstash-mikrot-2019.12.16 

जब सूचकांक में कम से कम एक संदेश आता है, तो मैपिंग की जाँच करें:

 ❯❯ curl http://192.168.88.130:9200/logstash-mikrot-2019.12.16/_mapping 

किबाना में डेटा के आगे उपयोग के लिए, आपको प्रबंधन> किबाना इंडेक्स पैटर्न में एक पैटर्न बनाने की आवश्यकता है। इंडेक्स नाम को चिन्ह * ( logstash-mikrot *) के साथ दर्ज करें ताकि सभी सूचकांकों का मिलान हो जाए, समय और समय के साथ फ़ील्ड के रूप में टाइमस्टैम्प फ़ील्ड का चयन करें। कस्टम इंडेक्स पैटर्न आईडी फ़ील्ड में, आप भविष्य में पैटर्न आईडी (उदाहरण के लिए, लॉगस्टैश-मिकरोट ) दर्ज कर सकते हैं, इससे ऑब्जेक्ट तक पहुंच आसान हो सकती है।

किबाना में डेटा विश्लेषण और दृश्य

एक बार जब आप सूचकांक पैटर्न बना लेते हैं, तो आप सबसे दिलचस्प भाग - डेटा विश्लेषण और विज़ुअलाइज़ेशन के लिए आगे बढ़ सकते हैं। किबाना में बहुत अधिक कार्यक्षमता और अनुभाग हैं, लेकिन अभी तक हम केवल दो में रुचि रखेंगे।

डिस्कवर

यहां आप अनुक्रमित, फ़िल्टर, खोज और प्राप्त जानकारी के दस्तावेज़ देख सकते हैं। यह महत्वपूर्ण है कि समयरेखा के बारे में मत भूलना, जो खोज स्थितियों में समय सीमा निर्धारित करता है।

कल्पना

इस खंड में, आप एकत्रित आंकड़ों के आधार पर विज़ुअलाइज़ेशन का निर्माण कर सकते हैं। सबसे सरल बात यह है कि एक भौगोलिक मानचित्र पर बॉटनेट स्कैनिंग के स्रोतों को प्रदर्शित किया जाए, या तो बिंदीदार या हीटमैप के रूप में। रेखांकन बनाने, चयन करने आदि के भी कई तरीके हैं।



भविष्य में मैं डेटा प्रोसेसिंग, संभवतः विज़ुअलाइज़ेशन, शायद कुछ और दिलचस्प के बारे में अधिक विस्तार से बताने की योजना बना रहा हूं। अध्ययन की प्रक्रिया में मैं ट्यूटोरियल को पूरक करने का प्रयास करूंगा।

समस्या निवारण

यदि अनुक्रमणिका Elasticsearch में प्रकट नहीं होती है, तो आपको पहले Logstash लॉग देखना चाहिए:

 ❯❯ docker logs logstash --tail 100 -f 

अगर एलेस्टेसर्च के साथ कोई कनेक्टिविटी नहीं है, तो लॉगस्टैश काम नहीं करेगा, या पाइपलाइन कॉन्फ़िगरेशन में कोई त्रुटि मुख्य कारण है और यह लॉग के सावधानीपूर्वक अध्ययन के बाद स्पष्ट हो जाता है जो डिफ़ॉल्ट रूप से json docker को लिखा जाता है।

यदि लॉग में कोई त्रुटि नहीं है, तो आपको यह सुनिश्चित करने की आवश्यकता है कि लॉगस्टैश अपने कॉन्फ़िगर किए गए सॉकेट पर संदेशों को पकड़ता है। डिबग उद्देश्यों के लिए, आप आउटपुट के रूप में स्टडआउट का उपयोग कर सकते हैं:

 stdout { codec => rubydebug } 

उसके बाद, लॉगस्टैश डिबग जानकारी लिखेगा जब संदेश सीधे लॉग में प्राप्त होगा।

इलास्टिसर्च की जांच करना बहुत सरल है - बस आईपी पते और सर्वर के पोर्ट पर, या एक विशिष्ट एपीआई एंडपॉइंट पर जीईटी अनुरोध कर्ल करें। उदाहरण के लिए, मानव-पठनीय तालिका में अनुक्रमित की स्थिति को देखें:

 ❯❯ curl -s 'http://192.168.88.130:9200/_cat/indices?v' 

किबाना भी शुरू नहीं होगा अगर एलीस्टेसर्च से कोई संबंध नहीं है, तो लॉग्स द्वारा इसे देखना आसान है।

यदि वेब इंटरफ़ेस नहीं खुलता है, तो आपको यह सुनिश्चित करना चाहिए कि लिनक्स में फ़ायरवॉल सही ढंग से कॉन्फ़िगर या अक्षम है (सेंटोस में iptables और docker के साथ समस्याएं थीं, वे विषय से सलाह पर हल किए गए थे)। यह भी विचार करने योग्य है कि बहुत उत्पादक उपकरण नहीं होने पर, सभी घटक कई मिनटों तक लोड कर सकते हैं। स्मृति की कमी के साथ, सेवाएं बिल्कुल भी लोड नहीं हो सकती हैं। कंटेनर संसाधन उपयोग देखें:

 ❯❯ docker stats 

अगर अचानक किसी को पता नहीं है कि डॉकटर-कंपोज़.आईएमएल फ़ाइल में कंटेनरों के कॉन्फ़िगरेशन को सही तरीके से कैसे बदलना है और कंटेनरों को फिर से शुरू करें, तो यह डॉकटर-कंपोज़.माइल को संपादित करके और समान कमांड रीस्टार्ट के साथ एक ही कमांड का उपयोग करके किया जाता है:

 ❯❯ docker-compose --compatibility up -d 

उसी समय, परिवर्तित अनुभागों में, पुरानी वस्तुओं (कंटेनर, नेटवर्क, वॉल्यूम) को मिटा दिया जाता है और नए को कॉन्फ़िगर के अनुसार फिर से बनाया जाता है। सेवाओं का डेटा उसी समय खो नहीं जाता है, जैसा कि नाम वाले संस्करणों का उपयोग किया जाता है , जो कंटेनर के साथ हटाए नहीं जाते हैं, और होस्ट सिस्टम से कॉन्फ़िगर किए गए हैं, लॉगस्टैश भी कॉन्फ़िगर फ़ाइलों की निगरानी कर सकता है और फ़ाइल के बदलने पर पाइपलाइन कॉन्फ़िगरेशन को पुनरारंभ कर सकता है।

आप docker पुनरारंभ कमांड के साथ सेवा को अलग से पुनः आरंभ कर सकते हैं ( docker-compose.nl के साथ निर्देशिका में होना आवश्यक नहीं है ) :

 ❯❯ docker restart logstash 

आप docker निरीक्षण कमांड के साथ docker ऑब्जेक्ट कॉन्फ़िगरेशन देख सकते हैं, इसे jq के साथ उपयोग करना अधिक सुविधाजनक है।

निष्कर्ष

मैं यह नोट करना चाहता हूं कि इस परियोजना में सुरक्षा की रिपोर्ट नहीं की गई थी क्योंकि यह एक परीक्षण (देव) वातावरण है और इसे राउटर के बाहर जारी करने की योजना नहीं है। यदि आप इसे अधिक गंभीर उपयोग के लिए तैनात करते हैं, तो आपको सर्वोत्तम अभ्यास का पालन करने, HTTPS के लिए प्रमाणपत्र स्थापित करने, बैकअप बनाने, सामान्य निगरानी (जो मुख्य प्रणाली के बगल में शुरू नहीं होती है) स्थापित करने की आवश्यकता है। वैसे, ट्रैफिक मेरे सर्वर पर मेरे डॉक में चलता है, जो कुछ सेवाओं के लिए एक रिवर्स प्रॉक्सी है, और स्वयं पर टीएलएस को भी समाप्त करता है और प्रमाणीकरण करता है। यही है, कॉन्फ़िगर किए गए DNS और रिवर्स प्रॉक्सी के लिए धन्यवाद, इंटरनेट से किबाना वेब इंटरफ़ेस को गैर-पंजीकृत HTTPS और एक पासवर्ड के साथ एक्सेस करना संभव हो जाता है (जैसा कि मैं समझता हूं, सामुदायिक संस्करण में किबाना वेब इंटरफ़ेस के लिए पासवर्ड सुरक्षा का समर्थन नहीं करता है)। मैं आगे डॉकर के साथ होम नेटवर्क पर उपयोग के लिए ट्राफिक की स्थापना में अपने अनुभव का वर्णन करने की योजना बना रहा हूं।