हम एक डेटाबेस में मिकरोटिक फ़ायरवॉल के लॉग एकत्र करते हैं

शुभ दोपहर

मैं आपको बताना चाहता हूं कि आप आसानी से और स्वाभाविक रूप से मिकरोटिक राउटर के लिए नेटवर्क ट्रैफिक मेटाडेटा संग्रह सर्वर को कॉन्फ़िगर कर सकते हैं।

उद्देश्य: लक्ष्य आगे के विश्लेषण के लिए एक डेटाबेस में "चबाया" फ़ायरवॉल लॉग को संग्रहीत करना होगा।

साधन: rsyslogd v8 और उच्चतर के साथ कोई भी नया लिनक्स वितरण कार्यान्वयन के लिए उपयुक्त है, शायद प्रस्तावित सिंटैक्स v7 पर भी काम करेगा। हमें एक डीबीएमएस की भी जरूरत है, मैंने मारीदब को चुना। डेटाबेस वृद्धि लॉग किए गए नियमों की संख्या से भिन्न होगी, क्योंकि ड्राइव का आकार आपके विवेक पर है, मेरे मामले में, 30-40 नियम लॉग किए गए हैं, जो प्रति दिन लगभग 1200 हजार लाइनें हैं। सूचकांक सहित डेटाबेस का उपयोग करने के महीने के दौरान, यह बढ़कर 3.8 जीबी हो गया।

यांत्रिकी: रूटर यूडीपी के माध्यम से रिमोट सर्वर के लिए एक लॉग भेजता है। नियमित अभिव्यक्तियों का उपयोग करते हुए, rsyslog सर्वर अनावश्यक जानकारी के तार को साफ करता है, एक SQL सम्मिलित करता है और इसे DBMS को भेजता है। सम्मिलन से पहले एक ट्रिगर का उपयोग करते हुए DBMS, उन क्षेत्रों की अतिरिक्त सफाई और पृथक्करण करता है जिन्हें rsyslog में पार्स नहीं किया जा सकता था।

RSYSLOG कॉन्फ़िगर करें

फ़ाइल का संपादन /etc/rsyslog.conf
वहां निम्न पंक्तियाँ जोड़ें:

module(load="ommysql") module(load="imudp") input(type="imudp" port="514") 

इस प्रकार, हम आवश्यक मॉड्यूल लोड करते हैं और 514 यूडीपी पोर्ट खोलते हैं।

मिकरोटिक की लॉग लाइन इस तरह दिखती है:

 20180927155341 BLOCKSMKNETS forward: in:ether6 - LocalTORF out:VLAN55 - RT_INET, src-mac 00:15:17:31:b8:d7, proto TCP (SYN), 192.168.0.234:2457->192.168.6.14:65535, len 60 

जैसा कि आप देख सकते हैं, डेटाबेस में भंडारण के लिए बहुत सारे अतिरिक्त और एक स्पष्ट चयन मुश्किल होगा।
सिद्धांत रूप में, मुझे ऐसे डेटा को जोड़ने की आवश्यकता है:

 20180927155341 ether6 VLAN5 192.168.0.234 2457 192.168.6.14 65535 00:15:17:31:b8:d7 TCP SYN forward BLOCKSMKNETS 60 

मुझे केवल एक rsyslog का उपयोग करके इस तरह की रेखा नहीं मिली। रूपलॉग नियमित रूप से POSIX ERE / BRE का उपयोग करते हैं, इसलिए लुकहेड या लुकहैंड जैसी सुविधाओं को लागू करने का कोई तरीका नहीं है।

एक उपकरण है जो आपको नियमित रूप से डिबग करने की अनुमति देता है, इसे आज़माएं, हो सकता है कि आप पोर्ट को पते से अलग कर सकते हैं, साथ ही इसमें और बाहर से इंटरफ़ेस का नाम:। बस यह ध्यान रखें कि कुछ स्पोर्ट और डपोर्ट प्रोटोकॉल गायब हैं।

सामान्य तौर पर, मेरा आउटपुट इस प्रकार था:

 20180927155341 in:ether6 out:VLAN5 192.168.0.234:2457 192.168.6.14:65535 00:15:17:31:b8:d7 TCP (SYN) forward BLOCKSMKNETS 60 

कैसे rsyslog नियमित पकाने के लिए पर प्रलेखन है।

अंतिम रूप में, Mikrotik /etc/rsyslog.d/20-remote.conf से लॉग प्राप्त करने के लिए कॉन्फ़िगरेशन फ़ाइल कुछ इस तरह दिखाई देगी:

 $template tpl_traflog,"insert into traflog.traffic (datetime, inif, outif, src, dst, smac, proto, flags, chain, logpref, len) values ('%timereported:::date-mysql%', '%msg:R,ERE,0,DFLT,0:in:[a-zA-Z]+[0-9]+|in:<[a-zA-Z]+-[a-zA-Z]+>--end%', '%msg:R,ERE,0,BLANK,0:out:[a-zA-Z]+[0-9]+|out:<[a-zA-Z]+-[a-zA-Z]+>--end%', '%msg:R,ERE,0,DFLT,0:([0-9]+\.){3}[0-9]+[:]?([0-9]+)?--end%', '%msg:R,ERE,0,DFLT,1:([0-9]+\.){3}[0-9]+[:]?([0-9]+)?--end%', '%msg:R,ERE,0,BLANK:([0-f]+:){5}[0-f]+--end%', '%msg:R,ERE,0,BLANK:\b[AX]{3,4}\b--end%', '%msg:R,ERE,0,BLANK:\([AZ]+\)|\(([AZ]+\,){1,3}[AZ]+\)--end%', '%msg:R,ERE,0,DFLT:[ax]+--end%', '%msg:F,32:2%', '%msg:R,ERE,0,DFLT:[0-9]+$--end%' )",SQL if ($fromhost-ip == '192.168.0.230') and ($syslogtag contains "firewall") then {action(type="ommysql" server="localhost" serverport="3306" db="traflog" uid="rsyslogger" pwd="rsyslogger" template="tpl_traflog") stop} 

पहली पंक्ति में, टेम्पलेट (टेम्पलेट) का वर्णन DBMS में इसे स्थानांतरित करने के लिए SQL कोड की एक पंक्ति है।
दूसरी पंक्ति वह स्थिति है जब कार्रवाई होगी, अर्थात, डीबीएमएस में रिकॉर्ड।
स्थिति इस तरह दिखाई देती है: यदि लॉग स्रोत = 192.168.0.230 ( if ($fromhost-ip == '192.168.0.230') ) और यदि msg लाइन में "फ़ायरवॉल" (और ($ sysloggag में "फ़ायरवॉल") शामिल है, तो मॉड्यूल का उपयोग करके कनेक्शन मापदंडों के साथ ommysql ( then {action(type="ommysql" server="localhost" serverport="3306" db="traflog" uid="rsyslogger" pwd="..." ) हम टेम्पलेट tpl_traflog ( template="tpl_traflog") ), और उसके बाद हम लाइन की आगे की प्रक्रिया को stop} ( stop} )।

यह संभव है कि आपके मामले में कुछ गलत हो जाएगा, यह इंटरफेस या लॉग उपसर्गों के नाम के कारण हो सकता है, शायद कुछ और। डिबगिंग के लिए, हम निम्नलिखित कार्य करेंगे, दूसरी पंक्ति पर टिप्पणी करें, एक नया टेम्पलेट और दो नई शर्तें जोड़ें:

 $template tpl_traflog_test,"%timereported:::date-mysql% %msg:R,ERE,0,DFLT,0:in:[a-zA-Z]+[0-9]+|in:<[a-zA-Z]+-[a-zA-Z]+>--end% %msg:R,ERE,0,BLANK,0:out:[a-zA-Z]+[0-9]+|out:<[a-zA-Z]+-[a-zA-Z]+>--end% %msg:R,ERE,0,DFLT,0:([0-9]+\.){3}[0-9]+[:]?([0-9]+)?--end% %msg:R,ERE,0,DFLT,1:([0-9]+\.){3}[0-9]+[:]?([0-9]+)?--end% %msg:R,ERE,0,BLANK:([0-f]+:){5}[0-f]+--end% %msg:R,ERE,0,BLANK:\b[AX]{3,4}\b--end% %msg:R,ERE,0,BLANK:\([AZ]+\)|\(([AZ]+\,){1,3}[AZ]+\)--end% %msg:R,ERE,0,DFLT:[ax]+--end% %msg:F,32:2% %msg:R,ERE,0,DFLT:[0-9]+$--end%\n" if ($fromhost-ip == '192.168.0.230') then {action(type="omfile" file="/var/log/remote/192.168.0.230.log" )} if ($fromhost-ip == '192.168.0.230') then {action(type="omfile" file="/var/log/remote/192.168.0.230.log" template="tpl_traflog_test" ) stop} 

लकड़हारा पुनः आरंभ करें।

Tpl_traflog_test टेम्पलेट tpl_traflog के समान है, लेकिन SQL INSERT के बिना।

पहली शर्त फ़ाइल /var/log/remote/192.168.0.230.log के लिए असंसाधित लाइन% msg% जोड़ती है, क्योंकि टेम्पलेट निर्दिष्ट नहीं है।

दूसरी स्थिति उसी फ़ाइल में प्रोसेस्ड लाइन जोड़ती है।
इसलिए इसकी तुलना करना अधिक सुविधाजनक होगा।
इसके बाद, डेटाबेस तैयार करें।

हम एक DB तैयार करते हैं

हम DBMS सेटिंग को कम कर देंगे, यहाँ सब कुछ मानक है।

हम mysql कंसोल शुरू करते हैं और निम्नलिखित कोड निष्पादित करते हैं:

 --   create database traflog character set utf8 collate utf8_bin; use traflog; --  create table traffic (id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY, datetime DATETIME, inif VARCHAR(20), outif VARCHAR(20), src VARCHAR(21), sport INT(5), dst VARCHAR(21), dport INT(5), smac VARCHAR(17), proto VARCHAR(4), flags VARCHAR(11), chain VARCHAR(8), logpref VARCHAR(24), len INT(5)) ENGINE=MYISAM; --  create user rsyslogger@localhost identified by '...'; grant all privileges on traflog.* to rsyslogger@localhost; 

तालिका तैयार है, उपयोगकर्ता है।

अब एक ट्रिगर जोड़ें, यह वह करेगा जो लकड़हारा बंदरगाह से पते को अलग करने में विफल रहा, इंटरफेस के नामों को साफ किया, कोष्ठक को ध्वज से हटा दिया:

 --   traffic DELIMITER // create TRIGGER delim_ip_port_flags BEFORE insert ON traffic FOR EACH ROW begin set NEW.inif = REGEXP_REPLACE ((NEW.inif), 'in:', '' ); set NEW.outif = REGEXP_REPLACE ((NEW.outif), 'out:', '' ); set NEW.sport = REGEXP_REPLACE ((NEW.src), '([0-9]+\.){3}[0-9]+:|([0-9]+\.){3}[0-9]+', '' ); set NEW.src = REGEXP_REPLACE ((NEW.src), ':[0-9]+', '' ); set NEW.dport = REGEXP_REPLACE ((NEW.dst), '([0-9]+\.){3}[0-9]+:|([0-9]+\.){3}[0-9]+', '' ); set NEW.dst = REGEXP_REPLACE ((NEW.dst), ':[0-9]+', '' ); set NEW.flags = REGEXP_REPLACE ((NEW.flags), '\\(|\\)', '' ); end // delimiter ; 

REGEXP_REPLACE दशमलव बिंदु (नियमित सीजन) के बाद दूसरे पैरामीटर के लिए खोज करता है और इसे तीसरे पैरामीटर के साथ बदलता है, हमारे मामले में उद्धरण चिह्नों में कुछ भी नहीं है, इसलिए, यह बस वही निकालता है जो इसे पाता है।

आइए एक परीक्षण डालें, कि लकड़हारा कैसे होगा:

 --   insert into traffic (datetime, inif, outif, src, dst, smac, proto, chain, logpref) values (20180730075437, 'in:ether6', 'out:VLAN55', '192.168.0.234:4997', '192.168.6.18:65535', '00:15:17:31:b8:d7', 'TCP', '(SYN)', 'forward', 'BLOCKSMKNETS'); 

आइए देखें क्या हुआ:

 select * from tarffic; 

यदि सब कुछ सही है, तो आगे बढ़ें। यदि नहीं, तो त्रुटि के लिए देखें।

कम से कम एक सूचकांक जोड़ें। मैं इंडेक्स बनाने में मास्टर नहीं हूं, लेकिन जैसा कि मैं इसे समझता हूं, mysql में विभिन्न प्रश्नों के लिए अलग-अलग जॉइनिंग फ़ील्ड्स वाले इंडेक्स का उपयोग करना अधिक सही है, क्योंकि एक क्वेरी केवल एक इंडेक्स का उपयोग कर सकती है (या क्या मैं गलत हूं?)। यदि आप समझते हैं, तो अपने विवेक पर करें।
मुझे अक्सर एक विशिष्ट उपसर्ग के साथ अनुरोध करना पड़ता है, इसलिए मैंने यह सूचकांक जोड़ा:

 --  create index traffic_index on traffic (datetime,logpref,src); 

हो गया।

अब आपको राउटर पर भेजने शुरू करने की आवश्यकता है, दूरस्थ लॉग सर्वर सेटिंग्स और उस पर कार्रवाई करें, फ़ायरवॉल नियमों में से एक में लॉग विकल्प जोड़ें, 24 से अधिक वर्णों का उपसर्ग न जोड़ें।

मिकरोटिक कंसोल में, यह कुछ इस तरह दिखता है:

 /system logging action set 3 remote=192.168.0.94 src-address=192.168.0.230 add name=remote2 remote=192.168.0.19 syslog-facility=local6 target=remote /system logging add action=remote topics=error,account,critical,event,info add action=remote2 topics=firewall /ip firewall filter ... add action=drop chain=input comment="drop ssh brute forcers" dst-port=22,8291 log=yes log-prefix=DROP_SSH_BRUTE protocol=tcp src-address-list=ssh_blacklist ... 

जहाँ 192.168.0.230 राउटर का पता है, 192.168.0.19 फ़ायरवॉल लॉग के लिए लॉग सर्वर का पता है, और 192.168.0.94 एक और लॉग सर्वर है, मेरे पास मिकरोटिक सिस्टम लॉग पड़े हुए हैं, हमें अब इसकी आवश्यकता नहीं है। हमारा सेटअप रिमोट 2 है।

अगला, देखें कि फ़ाइल में क्या है:

 tail -f /var/log/remote/192.168.0.230.log 

राउटर से लाइनें फ़ाइल में डाली जानी चाहिए, जब तक कि आपके नियम को अक्सर ट्रिगर नहीं किया जाता है।

यदि कुछ फ़ील्ड अनुपलब्ध हैं, अर्थात् अनुक्रम डेटाइम, इनइफ़, आउटफ़िट, src, dst, smac, प्रोटो, फ़्लैग्स, चेन, लॉगरफ़, लेन का पालन नहीं किया जाता है, तो आप लॉगर के डिबगिंग टेम्प्लेट में पैरामीटर को बदलने की कोशिश कर सकते हैं, DLFT के साथ BLANK को बदल सकते हैं। फिर किसी भी क्षेत्र की शून्यता के बजाय, कुछ पत्र दिखाई देंगे, मुझे याद नहीं है कि कौन से पहले से ही हैं। यदि ऐसा होता है, तो नियमित शेड्यूल में कुछ गड़बड़ है और आपको इसे ठीक करने की आवश्यकता है।

यदि सब कुछ जैसा होना चाहिए था, तो परीक्षण की शर्तों और टेम्पलेट को बंद कर दें।

आपको नीचे /etc/rsyslog.d/ में डिफ़ॉल्ट कॉन्फिगर चलाने की भी आवश्यकता है, मैंने इसका नाम बदलकर 50-default.conf कर दिया है ताकि रिमोट लॉग को सिस्टम लॉग / वर्जन / लॉग / मैसेज में न डाला जाए।
लकड़हारा पुनः आरंभ करें।

हमारे डेटाबेस के पूर्ण होने तक थोड़ा इंतजार करें। तब हम चयन शुरू कर सकते हैं।

एक उदाहरण के लिए कुछ प्रश्न:




भविष्य में, यह मानक प्रश्नों और रूपों के साथ वेब इंटरफ़ेस को पेंच करने की योजना है।
वेक्टर दिया गया है, मुझे उम्मीद है कि यह लेख उपयोगी होगा।

आप सभी को धन्यवाद!

संदर्भ:

रुपएलॉग प्रलेखन
मयस्कल दस्तावेज
मिकरोटिक लॉगिंग प्रलेखन

सुझावों के लिए LOR समुदाय को धन्यवाद ।

UPD.1
झंडे फ़ील्ड को डेटाबेस में जोड़ा गया, अब आप SYN, फिन को पकड़कर कनेक्शन अवधि को ट्रैक कर सकते हैं।
Rsyslog नियमित में कुछ कीड़े फिक्स्ड, साथ ही mysql ट्रिगर।

उत्सुकता से, डिफ़ॉल्ट नियम डिफॉन्क: अमान्य ड्रॉप्स टीसीपी कनेक्शन के सभी अंतिम पैकेटों को गिरा देता है, परिणामस्वरूप, सभी नोड्स जो विज्ञान में कनेक्शन को बंद करने की कोशिश करते हैं, कई फिन भेजते हैं। क्या यह सही है?

मैंने एक नियम जोड़ा है कि एसीके, फिन फ्लैग के साथ टीसीपी ट्रैवर्सल की अनुमति देता है।

SQL स्पॉइलर के तहत, एक प्रक्रिया जो अंतिम पांच मिनट में टीसीपी कनेक्शन का समय दिखाती है

प्रक्रिया के परिणामस्वरूप, दो अस्थायी टेबल बनाए जाएंगे।
Con_syn_fin तालिका में SYN और FIN झंडे के साथ लॉग प्रविष्टियाँ होती हैं, फिर इस तालिका में कर्सर का उपयोग करके एक खोज की जाती है।
कनेक्शन रहित तालिका में कनेक्शन की एक सूची होती है, खुले और पूर्ण, पूर्ण रूप से खुले की अवधि होती है, क्रमशः, नहीं।
नमूना समय वर्तमान समय से पांच मिनट का ध्यान दें। मेरा अनुरोध धीमा है। धीरे-धीरे यह कर्सर खोज से गुजरता है, प्रति सेकंड 10 रिकॉर्ड की प्रक्रिया करता है, इसे हर तरह से गति देने की कोशिश करता है, लेकिन निष्पादन का समय हमेशा एक ही होता है।
यह भी ध्यान दें कि यह प्रक्रिया केवल प्रदर्शन उद्देश्यों के लिए है। यदि आपको किसी विशिष्ट src / sport / dst / dport के लिए चयन करने की आवश्यकता है, तो इस एक के समान एक अलग प्रक्रिया करना बेहतर है। यदि आप एक वर्ग मास्टर हैं, तो आप अपनी क्वेरी को बेहतर लिख सकते हैं।



प्रक्रिया पूरी होने के बाद, अस्थायी तालिकाएँ con_syn_fin और conless बनी रहती हैं, यदि आप कुछ संदिग्ध या विश्वसनीय नहीं पाते हैं, तो आप उन्हें और अधिक विस्तार से देख सकते हैं। प्रक्रिया शुरू करने के बाद, पुरानी तालिकाओं को हटा दिया जाता है और नए दिखाई देते हैं। अगर आपको कोई गलती लगे तो लिखें।