Firewall Log in Postgres laden
-
Hallo zusammen,
hat schon einer Erfahrung das Firewall Log in Postgres zu laden? Oder gibt es schon was fertiges z.B. ein Python Script?
Ich würde gern eine Auswertung in Grafan bauen wollen.
Dazu wäre es super wenn alles in Postgres liegt.Gruß
Chris -
@chris_6n
Warum Postgres? Grafana funktioniert da wesentlich besser mit ner InfluxDB weil Logs genauso wie Stat Werte ja über die Zeit gespeichert werden. Da ist eine time based DB wie Influx sinnvoller als was klassisch DBMS mäßiges wie Postgre oder MxSQL. Darum wirds bspw. von Grafana, Graylog oder Prometheus u.a. als Basis genutzt oder ist dort direkt importierbar ohne große Konverter.Für Grafana würde sich daher das Telegraf Plugin und ne Influx als Basis anbieten. Ansonsten gäbe es da nur die Möglichkeit, die Logs via rsyslog Server auf ne andere Kiste zu schieben und dort als Eingangsfilter dann was zu bauen, was das Ganze statt in Syslog dann konvertiert in einzelne Postgres Queries umsetzt. Sieht für mich aber auf den ersten Blick nach einem ziemlichen Bottleneck aus da Filter Regeln je nach Einschlag von Paketen stark eskalieren können und dementsprechend ordentlich Logs raushauen können. Und klassische DBMS die das noch dazu dann ggf. transaction based importieren würden da etliche Queries mit Inserts pro Sekunde abbekommen. Das klingt extrem unperformant - darum der Hinweis das ggf. direkt via Telegraf & Influx zu machen da weniger Overhead und bessere Speicherung über Zeit möglich.
Cheers
