PfSense: Spontaner, Regelmäßiger Ausfall

eiskaltereistee

Hallo,

ich setzte im RZ auf eine pfSense Firewall. Hier habe ich ein einfaches Standard Setup:
WAN - Public /28 subnetz
LAN - 192.168.1.0/24 subnetz

pfSense liegt auf einer proxmox VM.

Mittels NAT und Firewall Rules manage ich den Traffic auf und hinter der Firewall.

Seitdem ich bei einem externen Server Kunden ein Backup Service eingerichtet habe, stürzt die Firewall regelmäßig ab. Meistens während das Backup per FTP auf den Backup server geladen wird (via NAT Regel).

Meine Idee: Zu viel Traffic lässt das LAN Interface abstürzen, kann das passieren?

Absturz bedeutet:

Das gesamte lokale netz ist nicht mehr erreichbar.
Ich komme während dieser Zeit via public IP über das WAN Interface auf die pfSense drauf (Sowohl web als auch ssh).

Ich kann aber keine Verbindungen mehr via NAT aufbauen, also NAT funktioniert nicht mehr, das gesamte /24 Netz ist nicht mehr erreichbar.

Irgendwelche Ideen wo ich schauen kann? Gibt es dafür Logs oder Tools womit ich das analysieren kann? Irgendwelche Ratschläge?
Braucht ihr noch irgendwas von mir? irgendwelche Configs?

Vielen Dank an euch!

Grimson

Das LAN Interface basiert nicht zufällig auf einem Realtek Chipsatz? Was zeigt die Konsole, das Syslog und die Interface Statistik? Schon mal ein Packet Capture probiert um zu sehen was wo ankommt? Laufen irgendwelche zusätzlichen Packages wie pfBlockerNG oder Suricata?

Mal ehrlich, von jemandem der eine Firewall in einen RZ betreibt würde ich schon mehr Selbstständigkeit bei der Fehlersuche erwarten. Oder zumindest gescheite Informationen über das Setup.

eiskaltereistee

@Grimson
erstmal vielen Dank für deine Rückmeldung. Sicherlich ist das nicht mein Hauptfach Gebiet, weshalb ich erstmal hier schreiben wollte. Dennoch wächst man ja bekanntlich mit den Herausforderungen.

Ich hatte allerdings nichts im syslog und in der konsole gefunden, deshalb hatte ich da auch nichts mitgeschickt. Ich habe nur einen Eintrag im syslog gesehen der ungefähr in den Zeitraum passt. Allerdings war dieser 10 Minuten bevor mein Monitoring Alarm geschlagen hat. Mein Monitoring checkt jede Minute.

Acme, renewing certificate: web-cert
Schätze also nicht, dass das damit zusammenhängt. Zumal darauf kein Fehler folgt etc.

Die pfSense Instanz hat zwei interfaces mit folgenden virtuellen Netzwerkkarten: Intel E1000. Ich vermute also kein Realtek Chipsatz.

An Packages sind folgende installiert:

acme
bind
ntopng

Auch war pfBlockerNG installiert, allerdings deaktiviert in den Einstellungen. Ich habe es daher erstmal wieder deinstalliert. Ich glaube aber auch nicht, dass das Problem von dem deaktivierten Package kommt.

Ich werde nächstes mal, wenn das Problem erneut auftritt, einen Packet Capture ausführen und mir das mal anschauen.

Erstmal vielen Dank für deine Hilfe.

Für weitere Ratschläge bin ich gerne offen. Zum Beispiel würde mich interessieren, wo genau ich noch schauen sollte, wenn das Problem erneut auftritt.
Da es meistens nachts gegen 3 Uhr ist und ich die firewall schnell rebooten muss, damit wieder alles online ist habe ich nicht ganz so viel Zeit. :) - Wenn ich aber weiss wo ich gezielt schauen muss kriegen wir bestimmt ein paar Informationen mehr. :)

Ich versuche allerdings nachher mal das Backup manuell anzustoßen, vielleicht tritt das Problem dann wieder auf und ich weiss wie das verursacht wird. Dann werde ich mal eure Tricks anwenden. ;-)

Ach so, und noch eine Sache ist mir aufgefallen:
Wenn ich über die Konsole einen reboot ausführe werden alle Prozesse sauber beendet bis am ende "Rebooting…" steht. Da passiert dann aber nicht mehr. 2 Stunden lang. Erst wenn ich dann über proxmox ein terminate sende und die VM erneut starte ist alles wieder in geregelter Ordnung.

viragomann

Hallo,

hast du die Installations- und Konfigurationsanweisungen für das Setup auf Proxmox befolgt?
https://doc.pfsense.org/index.php/Virtualizing_pfSense_on_Proxmox

Besonders den Abschnitt mit "Hardware Checksum Offloading" hätte ich hier in Verdacht.

Grüße

eiskaltereistee

@viragomann
Auch an dich ein großes Danke für deine Antwort.

Ich habe im bereich "Hard disk" anstatt "VirtIO" "SATA" ausgewählt, meinst du das ein ein großes Problem?

Die Netzwerkkarten würde ich gleich von Intel E1000 auf VirtIO (paravirtualized) umstellen und den checksum offload deaktivieren.

viragomann

Mit der Hard disk hat es nichts zu tun. Der VirtIO Controller optimiert nur die IO-Operation der Disk. Sinnvoll vor allem, wenn mehrere VMs auf einem Host laufen.

Die Netzwerkkarten umzustellen ist gewiss kein Fehler.
Ich weiß aber jetzt nicht, ob das Hardware Checksum Offloading nicht ausschließlich beim VirtIO Treiber ein Problem darstellt. Aber ich würde es aber dennoch versuchen.

eiskaltereistee

@viragomann

vielen Dank für deine Hilfe. Ich habe gestern Abend die Netzwerkkarten umgestellt und die Einstellung aktiviert. Anschließend manuell das Backup angestoßen, welches heute Nacht auch nochmal lief. Bisher keine Probleme.

Ich werde das Problem weiterhin beobachten und mich melden, sollte es damit nicht erledigt sein.

Bis dahin erstmal ein großes Danke an euch!