Seit Update auf 2.5 dauert das Laden der Firewall Regeln sehr lang

Wanninger

Hallo,
ich habe aktuell das Problem, dass es sehr lange dauert, bis im WebIF die Firewall Regeln geladen sind. Bei mir sind im Floating Bereich etwa 40 Regeln enthalten. Wenn ich diese im Browser öffne, dauert es etwa 20 Sek., bis die Seite aufgebaut ist. Bis zur letzten 2.4.5-p1 dauerte es immer nur einen Augenblick.

Kennt jemand das Problem und weiß wie man es abstellen kann?

Ich habe auch schon alle aktuellen Versionen, von der 2.5.0 bis zur 2.6-Devel durchprobiert und es ist überall das Selbe.

Danke für jeden Hinweis

Wanninger

JeGr

@wanninger Kann ich leider nicht bestätigen. Gerade erst bei einem Kunden ein System umgestellt, was auf einem Interface WEIT mehr als 40 Regeln hatte und mit 2.5.2 lädt die Kiste annähernd genauso schnell wenn nicht gar schneller. Sind keine Floating Regeln - das könnte man nochmal testen - aber ich wüsste jetzt auch nicht was da speziell auftauchen sollte.

Bob.Dig

Seit dem Jens mit mir geschimpft hat , hab ich nur noch 16 Regeln auf Floating, aber Aufruf ist weiterhin instant.

Wanninger

@jegr said in Seit Update auf 2.5 dauert das Laden der Firewall Regeln sehr lang:

@wanninger Kann ich leider nicht bestätigen. Gerade erst bei einem Kunden ein System umgestellt, was auf einem Interface WEIT mehr als 40 Regeln hatte und mit 2.5.2 lädt die Kiste annähernd genauso schnell wenn nicht gar schneller. Sind keine Floating Regeln - das könnte man nochmal testen - aber ich wüsste jetzt auch nicht was da speziell auftauchen sollte.

...ist ja schon mal gut, dass es auch anders geht. D.h., es muss irgend ein Problem sein, das irgendwie in Anhängigkeit mit meiner Konstellation steht.

Meine pfsensen laufen alle als VM im ESXi-6.0.

Ich habe das Problem auch nicht nur auf einer pfsense sondern reproduzierbar auf mehreren. Wenn ich ein Backup nehme und in einer neu installierten 2.4.5 zurück spiele, ist alles wie gewohnt, völlig ok.

Nach einem Update auf 2.5.x tritt der Effekt sofort auf.
Auch wenn ich eine neu installierte 2.5.2 nehme, und ein Backup der 2.4.5 zurück spiele, ist der Effekt sofort wieder da.

Mir ist auch aufgefallen, dass dieser Effekt, sich mit steigender Zahl an Regeln, auch steigert. Oder umgekehrt, so wie ich es jederzeit reproduzieren kann, wenn ich ein altes Backup aus der 2.4.5 mit etwa 40 aktiven und etwa 50 deaktivierten Regeln nehme und in der 2.5.2 einspiele, dauert das Laden etwa 40 Sek. und zwar jedes mal. Selbst wenn ich nur eine Regel aufrufe, ändere und speichere, dauert der folgende Webseitenaufbau um die 40 Sek.

Wenn ich dann nach und nach die inaktiven Regeln lösche, wird der Seitenaufbau zusehens schneller, ist aber trotzdem weit von dem aus der 2.4.5 entfernt.

Es ist auch egal, ob es um die Floating oder eine andere IF Regelliste handelt.
Ich habe auf dem LAN IF schon 35 Regeln gehabt. Ladedauer etwa 15 Sek.
Nachdem ich dort alle inaktiven Regeln gelöscht habe, blieben noch etwa 15 über. Die Ladedauer ging auf etwa 7 Sek. zurück. Das ist zwar nicht viel, aber im Vergleich zur 2.4.5 trotzdem wie eine Schlaftablette. In der 2.4.5 ließen sich diese Regellisten, in weniger als einer Sekunde öffnen.

Kann das irgendwie mit der virtuellen HW oder dem Restore eines Backups zu tun haben?

Ich habe mir auch schon gedacht, ich gehe wieder auf eine neu installierte 2.4.5 zurück. Funktioniert aber leider nicht sauber, weil ich meine installierten Addons aus dem PacketManager, wegen OS-Abhängigkeitsproblemen, nicht mehr installiert bekomme.

Vieleicht würde ja alles wieder normal laufen, wenn ich eine neu installierte 2.5 nehme und die ganze Config neu eingebe? Darauf kann ich aber gerne verzichten, solange ich nicht weiß, ob es das Problem auch wirklich löst...

Danke und Gruß
Wanninger

JeGr

@wanninger Das ist schwer zu sagen. Solange man da keine Details sieht oder Details zur Konfiguration kennt ist das alles suchen im Nebel oder Raterei weil man nicht abschätzen kann warum das bei dir auftritt. VMs in ESXi kann ich allerdings problemlos in userem Lab Cluster testen, der läuft auch auf ESXi, das wäre kein Problem. Ich vermute aber auch, dass es an deinem Setup liegt, warum oder an was ist aber mangels Detailskenntnis jetzt nicht so leicht zu sagen.

Ich versuch mal ob ich heute dazu komme das zu testen, sonst vielleicht nächsten Freitag zur Usergroup / Stammtisch kommen wenn du kannst?

Wanninger

@jegr Danke erstmal für deine Bemühungen. Ich habe es auch gar nicht erwartet, ohne Detailkenntnisse, konkrete Antworten zu bekommen - das ist natürlich beliebig schwierig. Hauptziel meiner Fragen ist erst mal nur zu erkunden, ob überhaupt jemand, schon mal Ähnliches erlebt hat.

Nachdem es wohl kein generelles Problem ist, werde ich jetzt mal versuchen,
durch "try and error" heraus zu finden, an welcher Stelle sich der Effekt in einer Neuinstallation einschleicht.

Meine pfsense VMs laufen alle (seit ich die pfsense nutze) mit 2 CPUs und 2 GB RAM.

JeGr

@wanninger Also ich habe gerade aktuell nochmal beim Kunden aufs System geschaut, da sind locker um die 80-100 Regeln auf einem Interface und die Kiste läuft aktuell gefühlt sogar schneller in der Anzeige als vorher. Angeschaut haben wirs mit Firefox.

Was wir aber durchaus auch schonmal hatten ist, dass es am Browser liegen könnte(! nicht muss). Eventuell kannst du dir mal nen anderen Browser einfach als portable Version mal ranholen und den benutzen - am Besten im Inkognito Mode, damit nichts zusätzlich ausgeführt oder geblockt wird. Und dazu: hast du ggf. eine Virenscanner, der sowas wie Web-Shielding (oder wie auch immer manche das betiteln) nutzen? Da hatten wir auch schon unsere Begegnungen der 3. Art, wenn die in Seitenaufrufe einfach irgendwas injecten und damit die Seiten dann ewig geladen haben, weil deren JS oder IFRAME was sie zur Prüfung injected haben dann nicht sauber geladen werden konnte.
Da die WebUI natürlich auch ein wenig verändert und verbessert wurde, könnte sowas da durchaus auch eingeschlagen sein. Vergisst man gerne, deshalb seis mal erwähnt.

Eine Frage ist auch ob du fixe IPs und Ports o.ä. benutzt oder bspw. viele Aliase nutzt, die dann nachgeladen werden (für die Tooltips). Und ob diese Aliase ggf. geschachtelt sind (Alias in Alias) etc. All das kann natürlich auch mit reinspielen.

Bob.Dig

@jegr said in Seit Update auf 2.5 dauert das Laden der Firewall Regeln sehr lang:

sonst vielleicht nächsten Freitag zur Usergroup / Stammtisch kommen wenn du kannst?

Gibt doch noch gar keinen Termin dazu.

JeGr

@bob-dig said in Seit Update auf 2.5 dauert das Laden der Firewall Regeln sehr lang:

Gibt doch noch gar keinen Termin dazu.

Es gibt IMMER einen Termin. Nur weil der nicht explizit schon vorab gepostet ist, heißt nicht, dass der nicht existiert. Der stehende Termin ist IMMER am 1. Fr. im Monat - und das ist auch klar so festgelegt im entsprechenden Post wo wir das zu Genüge durchgekaut haben. kopfwasch

Wanninger

@jegr Ich bin jetzt ein Stück weiter gekommen.

Diese "Verlangsamung" der "Filterlistenanzeige" tritt dann auf, wenn ich im Advanced Mode, ein anderes Gateway als "Default" auswähle.
In meinen Floating Rules sind etwa 30 Regeln enthalten, die ein spezielles Gateway eingetragen haben. Zum Test, habe ich in jeder Regel, auf Default umgestellt und siehe da, es macht "blub" und die Filterliste wird angezeigt.
Das käme dann auch mit meinen genannten Ladezeiten einigermaßen hin.
Bereits eine Regel mit einem anderen Gateway Eintrag, verursacht bei mir ein Verzögerungung von ca. 0,5s. Die Zeit steigt mit der Anzahl der angepassten Regeln. Scheint so, als liefe hier ein Mechanismus ab, der beim Aufruf, jeden Gatewayeintrag irgendwie prüft.

Kannst du damit was anfangen?

Danke und Gruß, Wanninger

Wanninger

FYI

Für das von mir beschriebene Problem, gibt es seit Kurzem auch ein Ticket:

https://redmine.pfsense.org/issues/12174

die Ursache liegt daran:

https://redmine.pfsense.org/issues/885

und behoben werden soll es in 2.6......

JeGr

@wanninger Da 2.6 dieses Mal recht zügig im Herbst folgen soll, also nicht lange hin. Da es dazu einen PR gibt, der inzwischen gezogen wurde, kann man sich das ganze als Hotfix/Patchset auch jetzt schon installieren wenn man möchte.

https://github.com/pfsense/pfsense/commit/d91c23175a86140ba69715dca92d7bcff463980a

Cheers
\jens

Wanninger

Ich habe mir aus issues/12174
die beiden Korrekturen guiconfig.inc_02AUG2021.patch und firewall_rules.php_02AUG2021.patch geholt und direkt in meinen beiden 2.5.2 aktiviert. Es funktionierte damit sofort wieder einwandfrei.

Danke für deine Rückmeldung und an alle sich sonst noch damit beschäftigt haben.

Gruß Wanninger

JeGr

@wanninger Sorry, ich dachte das Patchset könnte direkt so in System Patches eingefügt werden weil der PR gegen 2.5-stable gebaut worden ist - war aber wohl gegen 2.6-current und funktioniert so nicht.

Die Änderungen im Ticket von Jim waren ja "nur suboptimal" wie man dem Verlauf entnehmen kann, deshalb gabs dann auch den PR nochmals mit weiterem Caching. So oder so ist es jetzt im Code und wenn dir der kleine Fix auch erstmal weiterhilft ist das auf jeden Fall schonmal sehr schön :) So ich das beim Überfliegen sehe ists wohl wegen dem Nachladen des Tooltips bei vielen GWs in Regeln. Da macht Caching auch Sinn.

Cheers

Wanninger

@jegr

Ja, das stimmt, die erste Korrektur brachte bereits eine deutliche Verbesserung der Ladezeiten, so dass aus meinen 20+ Sekunden schon mal 6...7 Sekunden wurden. Die zweite Anpassung in guiconfig.inc, brachte dann den "Durchbruch".

Die Ladezeiten sind wieder bei +-1 Sekunde in Summe. Also wieder optimal.

Um es genau zu benennen, ich habe aus dem git die beiden Dateien
../usr/local/www/guiconfig.inc und ../usr/local/www/firewall_rules.php
genommen und in meine 2.5.2 einfach nur rein kopiert, dann noch kurz die Attriburte geprüft und getestet. - Einandfrei...

Grüße