Guten Tag.
Ich möchte Ihnen sagen, wie einfach und natürlich Sie einen Metadatenerfassungsserver für den Netzwerkverkehr für Mikrotik-Router konfigurieren können.
Zweck: Das Ziel besteht darin, die "gekauten" Firewall-Protokolle zur weiteren Analyse in einer Datenbank zu speichern.
Mittel: Jede neue Linux-Distribution mit rsyslogd v8 und höher ist für die Implementierung geeignet. Möglicherweise funktioniert die vorgeschlagene Syntax auch unter v7. Wir brauchen auch ein DBMS, ich habe Mariadb gewählt. Das Datenbankwachstum hängt von der Anzahl der protokollierten Regeln ab, da die Größe des Laufwerks in Ihrem Ermessen liegt. In meinem Fall werden 30 bis 40 Regeln protokolliert, was ungefähr 1200.000 Zeilen pro Tag entspricht. Während des Monats der Nutzung der Datenbank, einschließlich der Indizes, wuchs sie auf 3,8 GB.
Mechanik: Der Router sendet ein Protokoll über UDP an den Remote-Server. Mit regulären Ausdrücken bereinigt der rsyslog-Server Zeichenfolgen von unnötigen Informationen, generiert eine SQL-Einfügung und sendet sie an das DBMS. Das DBMS führt vor dem Einfügen mithilfe eines Triggers eine zusätzliche Bereinigung und Trennung von Feldern durch, die in rsyslog nicht analysiert werden konnten.
Konfigurieren Sie RSYSLOG
Bearbeiten der Datei /etc/rsyslog.conf
Fügen Sie dort die folgenden Zeilen hinzu:
module(load="ommysql") module(load="imudp") input(type="imudp" port="514")
Daher laden wir die erforderlichen Module und öffnen den 514 UDP-Port.
Die Protokollzeile von Mikrotik sieht folgendermaßen aus:
20180927155341 BLOCKSMKNETS forward: in:ether6 - LocalTORF out:VLAN55 - RT_INET, src-mac 00:15:17:31:b8:d7, proto TCP (SYN), 192.168.0.234:2457->192.168.6.14:65535, len 60
Wie Sie sehen können, wird es schwierig sein, viel mehr für die Speicherung in der Datenbank und eine klare Auswahl zu benötigen.
Theoretisch muss ich solche Daten hinzufügen:
20180927155341 ether6 VLAN5 192.168.0.234 2457 192.168.6.14 65535 00:15:17:31:b8:d7 TCP SYN forward BLOCKSMKNETS 60
Ich konnte eine solche Zeile nicht mit nur einem rsyslog erhalten. Rsyslog-Stammgäste verwenden POSIX ERE / BRE, daher gibt es keine Möglichkeit, Funktionen wie Lookahead oder Lookbehind anzuwenden.
Es gibt ein Tool, mit dem Sie Stammgäste debuggen und ausprobieren können. Vielleicht können Sie den Port von der Adresse sowie den Namen der Schnittstelle von in: und out: trennen. Denken Sie daran, dass einige Sport- und Dport-Protokolle fehlen.
Im Allgemeinen war meine Ausgabe wie folgt:
20180927155341 in:ether6 out:VLAN5 192.168.0.234:2457 192.168.6.14:65535 00:15:17:31:b8:d7 TCP (SYN) forward BLOCKSMKNETS 60
Es gibt eine Dokumentation zum Kochen von rsyslog-Stammgästen.
Im endgültigen Formular sieht die Konfigurationsdatei für den Empfang des Protokolls von Mikrotik /etc/rsyslog.d/20-remote.conf folgendermaßen aus:
$template tpl_traflog,"insert into traflog.traffic (datetime, inif, outif, src, dst, smac, proto, flags, chain, logpref, len) values ('%timereported:::date-mysql%', '%msg:R,ERE,0,DFLT,0:in:[a-zA-Z]+[0-9]+|in:<[a-zA-Z]+-[a-zA-Z]+>--end%', '%msg:R,ERE,0,BLANK,0:out:[a-zA-Z]+[0-9]+|out:<[a-zA-Z]+-[a-zA-Z]+>--end%', '%msg:R,ERE,0,DFLT,0:([0-9]+\.){3}[0-9]+[:]?([0-9]+)?--end%', '%msg:R,ERE,0,DFLT,1:([0-9]+\.){3}[0-9]+[:]?([0-9]+)?--end%', '%msg:R,ERE,0,BLANK:([0-f]+:){5}[0-f]+--end%', '%msg:R,ERE,0,BLANK:\b[AX]{3,4}\b--end%', '%msg:R,ERE,0,BLANK:\([AZ]+\)|\(([AZ]+\,){1,3}[AZ]+\)--end%', '%msg:R,ERE,0,DFLT:[ax]+--end%', '%msg:F,32:2%', '%msg:R,ERE,0,DFLT:[0-9]+$--end%' )",SQL if ($fromhost-ip == '192.168.0.230') and ($syslogtag contains "firewall") then {action(type="ommysql" server="localhost" serverport="3306" db="traflog" uid="rsyslogger" pwd="rsyslogger" template="tpl_traflog") stop}
In der ersten Zeile ist die Beschreibung der Vorlage (Vorlage) eine Zeile mit SQL-Code zum Übertragen an das DBMS.
Die zweite Zeile ist die Bedingung, unter der die Aktion ausgeführt wird, dh der Datensatz im DBMS.
Die Bedingung sieht folgendermaßen aus: Wenn die Protokollquelle = 192.168.0.230 (
if ($fromhost-ip == '192.168.0.230') ) und wenn die Nachrichtenzeile "Firewall" enthält (und ($ syslogtag "Firewall" enthält), verwenden Sie das Modul ommysql mit Verbindungsparametern (
then {action(type="ommysql" server="localhost" serverport="3306" db="traflog" uid="rsyslogger" pwd="..." ) rufen wir die Vorlage tpl_traflog (
template="tpl_traflog") ), und danach stoppen wir die weitere Verarbeitung der Zeile (
stop} ).
Es ist möglich, dass in Ihrem Fall etwas schief geht. Dies kann an den Namen der Schnittstellen oder Protokollpräfixen liegen, möglicherweise an etwas anderem. Zum Debuggen gehen wir wie folgt vor, kommentieren die zweite Zeile, fügen eine neue Vorlage und zwei neue Bedingungen hinzu:
$template tpl_traflog_test,"%timereported:::date-mysql% %msg:R,ERE,0,DFLT,0:in:[a-zA-Z]+[0-9]+|in:<[a-zA-Z]+-[a-zA-Z]+>--end% %msg:R,ERE,0,BLANK,0:out:[a-zA-Z]+[0-9]+|out:<[a-zA-Z]+-[a-zA-Z]+>--end% %msg:R,ERE,0,DFLT,0:([0-9]+\.){3}[0-9]+[:]?([0-9]+)?--end% %msg:R,ERE,0,DFLT,1:([0-9]+\.){3}[0-9]+[:]?([0-9]+)?--end% %msg:R,ERE,0,BLANK:([0-f]+:){5}[0-f]+--end% %msg:R,ERE,0,BLANK:\b[AX]{3,4}\b--end% %msg:R,ERE,0,BLANK:\([AZ]+\)|\(([AZ]+\,){1,3}[AZ]+\)--end% %msg:R,ERE,0,DFLT:[ax]+--end% %msg:F,32:2% %msg:R,ERE,0,DFLT:[0-9]+$--end%\n" if ($fromhost-ip == '192.168.0.230') then {action(type="omfile" file="/var/log/remote/192.168.0.230.log" )} if ($fromhost-ip == '192.168.0.230') then {action(type="omfile" file="/var/log/remote/192.168.0.230.log" template="tpl_traflog_test" ) stop}
Starten Sie den Logger neu.
Die Vorlage tpl_traflog_test ähnelt tpl_traflog, jedoch ohne SQL INSERT.
Die erste Bedingung fügt der Datei /var/log/remote/192.168.0.230.log die unverarbeitete Zeile% msg% hinzu, da die Vorlage nicht angegeben ist.
Die zweite Bedingung fügt die verarbeitete Zeile derselben Datei hinzu.
So wird es bequemer zu vergleichen.
Bereiten Sie als Nächstes die Datenbank vor.
Wir bereiten eine DB vor
Wir werden die DBMS-Einstellung verringern, hier ist alles Standard.
Wir starten die MySQL-Konsole und führen den folgenden Code aus:
Die Tabelle ist fertig, der Benutzer ist.
Fügen Sie nun einen Trigger hinzu, der das tut, was der Logger nicht konnte, um die Adresse vom Port zu trennen, die Namen der Schnittstellen zu bereinigen und die Klammern vom Flag zu entfernen:
REGEXP_REPLACE sucht nach dem zweiten Parameter nach dem Dezimalpunkt (reguläre Saison) und ersetzt ihn durch den dritten Parameter. In unserem Fall enthält das Anführungszeichen nichts. Daher wird einfach entfernt, was gefunden wurde.
Lassen Sie uns eine Testeinfügung erstellen, ähnlich wie der Logger:
Mal sehen, was passiert ist:
select * from tarffic;
Wenn alles korrekt ist, fahren Sie fort. Wenn nicht, suchen Sie nach dem Fehler.
Fügen Sie mindestens einen Index hinzu. Ich bin kein Meister im Erstellen von Indizes, aber so wie ich es verstehe, ist es in MySQL korrekter, Indizes mit unterschiedlichen Verknüpfungsfeldern für unterschiedliche Abfragen zu verwenden, da eine Abfrage nur einen Index verwenden kann (oder irre ich mich?). Wenn Sie verstehen, tun Sie es nach Ihrem Ermessen.
Ich muss oft Anfragen mit einem bestimmten Präfix stellen, deshalb habe ich diesen Index hinzugefügt:
Fertig.
Jetzt müssen Sie mit dem Senden auf dem Router beginnen, die Einstellungen und Aktionen des Remote-Protokollservers hinzufügen, die Protokolloption zu einer der Firewall-Regeln hinzufügen und ein Präfix von nicht mehr als 24 Zeichen hinzufügen.
In der Mikrotik-Konsole sieht es ungefähr so aus:
/system logging action set 3 remote=192.168.0.94 src-address=192.168.0.230 add name=remote2 remote=192.168.0.19 syslog-facility=local6 target=remote /system logging add action=remote topics=error,account,critical,event,info add action=remote2 topics=firewall /ip firewall filter ... add action=drop chain=input comment="drop ssh brute forcers" dst-port=22,8291 log=yes log-prefix=DROP_SSH_BRUTE protocol=tcp src-address-list=ssh_blacklist ...
Während 192.168.0.230 die Adresse des Routers ist, 192.168.0.19 die Adresse des Protokollservers für die Firewall-Protokolle ist und 192.168.0.94 ein anderer Protokollserver ist, liegen Mikrotik-Systemprotokolle dort, wir brauchen sie jetzt nicht. Unser Setup ist remote2.
Als nächstes sehen Sie, was in die Datei fällt:
tail -f /var/log/remote/192.168.0.230.log
Zeilen vom Router sollten in die Datei gestreut werden, es sei denn, Ihre Regel wird häufig ausgelöst.
Wenn einige Felder fehlen, dh die Sequenz datetime, inif, outif, src, dst, smac, proto, flags, chain, logpref, len nicht befolgt wird, können Sie versuchen, den Parameter in den Debugging-Vorlagen des Loggers zu ändern und BLANK durch DLFT zu ersetzen. Anstelle der Leere eines Feldes erscheinen dann einige Buchstaben. Ich kann mich nicht erinnern, welche bereits vorhanden sind. In diesem Fall stimmt etwas mit dem regulären Zeitplan nicht und Sie müssen ihn beheben.
Wenn alles so lief, wie es sollte, schalten Sie die Testbedingungen und die Vorlage aus.
Sie müssen auch die Standardkonfiguration in /etc/rsyslog.d/ ausführen. Ich habe sie in 50-default.conf umbenannt, damit Remote-Protokolle nicht in das Systemprotokoll / var / log / message eingefügt werden
Starten Sie den Logger neu.
Warten wir etwas, bis unsere Datenbank voll ist. Dann können wir mit der Auswahl beginnen.
Einige Fragen zum Beispiel:So zeigen Sie die Größe der Datenbank und die Anzahl der Zeilen an: MariaDB [traflog]> select table_schema as "database", round(sum(data_length + index_length)/1024/1024,2) as "size Mb", TABLE_ROWS as "count rows" from information_schema.tables group by table_schema; +
In einem Monat sind fast 4 GB gewachsen, dies hängt jedoch von der Anzahl und den Eigenschaften der protokollierten Firewall-Regeln ab
Anzahl der protokollierten PräfixeDie Anzahl der protokollierten Präfixe entspricht nicht der Anzahl der Regeln. Einige Regeln arbeiten mit einem Präfix, aber wie viele Gesamtpräfixe gibt es noch? und wie viele Regeln wurden für sie ausgearbeitet?:
MariaDB [traflog]> select logpref,count(logpref) from traffic group by logpref order by count(logpref) desc; +
ACCEPT_TORF_INET ist führend. Mit diesem Präfix können Sie jeden finden, der über unser lokales Netzwerk ins Internet gegangen ist. Protokolle und Ports werden aufgezeichnet. Die Zeit wird kommen und der Zugriff wird für einige geschlossen. Es gibt Referenzdaten für zukünftige Arbeiten an Fehlern.
Smtp SpeerführerMal sehen, wer heute versucht hat, zum SMTP-Server zu gelangen:
MariaDB [traflog]> select src,count(dport) from traffic where logpref='SMTP_DNAT' and datetime > '2018101600000000' group by src order by count(dport) desc limit 10; +
Der Knoten 191.96.249.92 ist heute eindeutig der Gewinner. Mal sehen, in welchen protokollierten Regeln er noch auftauchte:
MariaDB [traflog]> select src,dport,count(dport),logpref from traffic where src='191.96.249.92' group by logpref order by count(dport) desc; +
Dieser ist nur auf SMTP spezialisiert, ~ 1% der Treffer für den Versuch, das Passwort zu erraten oder etwas Müll zu schicken, der Rest ging ins Badehaus.
Die Anfrage hat 10 Minuten gedauert, das ist viel, die aktuellen Indizes sind nicht dafür geeignet, oder Sie können die Anfrage neu formulieren, aber jetzt werden wir nicht darüber sprechen.
In Zukunft ist geplant, die Weboberfläche mit Standardabfragen und -formularen zu verschrauben.
Der Vektor ist gegeben, ich hoffe, dass dieser Artikel nützlich sein wird.
Danke an alle!
Referenzliste:Rsyslog-DokumentationMySQL-DokumentationMikrotik-ProtokollierungsdokumentationVielen Dank an die LOR-Community für die
Tipps.UPD.1Das Flag-Feld wurde zur Datenbank hinzugefügt. Jetzt können Sie die Verbindungsdauer verfolgen, indem Sie SYN, FIN abrufen.
Einige Fehler in rsyslog-Stammgästen sowie MySQL-Trigger wurden behoben.
Seltsamerweise löscht die Standardregel defconf: drop invalid alle endgültigen Pakete von TCP-Verbindungen. Infolgedessen schlagen alle Knoten, die versuchen, die Verbindung in der Wissenschaft zu schließen, fehl und senden mehrere FINs. Ist das richtig
Ich habe eine Regel hinzugefügt, die das Durchlaufen von TCP mit ACK- und FIN-Flags ermöglicht.
Unter dem SQL-Spoiler eine Prozedur, die die Zeit der TCP-Verbindungen in den letzten fünf Minuten anzeigt
verbindungsliste () DROP PROCEDURE IF EXISTS connections_list; DELIMITER // CREATE PROCEDURE connections_list() BEGIN DECLARE logid BIGINT UNSIGNED; DECLARE done INT DEFAULT FALSE; DECLARE datefin DATETIME; DECLARE datesyn DATETIME; DECLARE conntime TIME; DECLARE connsport INT; DECLARE conndport INT; DECLARE connsrc VARCHAR(21); DECLARE conndst VARCHAR(21); DECLARE cur CURSOR FOR SELECT id,datetime,src,sport,dst,dport FROM conn_syn_fin WHERE flags='SYN'; DECLARE CONTINUE HANDLER FOR NOT FOUND SET done=TRUE; DROP TABLE IF EXISTS conn_syn_fin; DROP TABLE IF EXISTS connless; CREATE temporary TABLE connless(datestart DATETIME,dateend DATETIME,duration TIME,src VARCHAR(21),sport INT,dst VARCHAR(21),dport INT); CREATE temporary TABLE conn_syn_fin (SELECT * from traffic WHERE datetime > now() - interval 5 minute and src in (select src from traffic where datetime > now() - interval 5 minute and logpref='TCP_FIN' and flags like '%FIN%') and (flags like '%SYN%' or flags like '%FIN%') order by id); OPEN cur; read_loop: LOOP FETCH cur INTO logid,datesyn,connsrc,connsport,conndst,conndport; IF done THEN LEAVE read_loop; END IF; set datefin=(SELECT datetime FROM conn_syn_fin WHERE id>logid and src=connsrc and sport=connsport and flags like '%FIN%' and dst=conndst and dport=conndport limit 1); set conntime=(SELECT timediff(datefin,datesyn)); INSERT INTO connless (datestart,dateend,duration,src,sport,dst,dport) value (datesyn,datefin,conntime,connsrc,connsport,conndst,conndport); END LOOP; CLOSE cur; select * from connless; END; // DELIMITER ;
Als Ergebnis der Prozedur werden zwei temporäre Tabellen erstellt.
Die Tabelle
conn_syn_fin enthält Protokolleinträge mit den Flags SYN und FIN. Anschließend wird eine Suche mit dem Cursor in dieser Tabelle durchgeführt.
Die
connless- Tabelle enthält eine Liste von Verbindungen, offen und abgeschlossen, abgeschlossen haben eine Dauer von offen bzw. Nr.
Notieren Sie die Abtastzeit minus fünf Minuten von der aktuellen Zeit. Meine Anfrage ist langsam. Langsam durchläuft es die Cursorsuche, verarbeitet ungefähr 10 Datensätze pro Sekunde und versucht, sie in jeder Hinsicht zu beschleunigen, aber die Ausführungszeit ist immer ungefähr gleich.
Beachten Sie auch, dass dieses Verfahren nur zu Demonstrationszwecken dient. Wenn Sie eine Auswahl für einen bestimmten src / sport / dst / dport treffen müssen, ist es besser, ein separates Verfahren ähnlich diesem zu erstellen. Wenn Sie ein SQL-Master sind, können Sie Ihre Abfrage besser schreiben.
call connection_list (); MariaDB [traflog]> call connections_list(); +
Nachdem der Vorgang abgeschlossen ist, bleiben die temporären Tabellen
conn_syn_fin und
connless erhalten. Sie können sie genauer betrachten, wenn Sie etwas Verdächtiges oder
Unzuverlässiges finden. Nach dem Start des Vorgangs werden die alten Tabellen gelöscht und neue angezeigt. Schreiben Sie, wenn Sie einen Fehler finden.