Вопросы по pfSense 2.5/Plus

pigbrother

@ptz-m said in Вопросы по pfSense 2.5/Plus:

Прошу помощи в развенчивании такого сомнения.

На одной из точек трудится 2.3.х. Куча Open VPN.
Из-за карантина не дают обновить. Аптайм был 290 с лишним дней - выключили подачу электроэнергии.

werter

Добрый
@ptz-m

С вероятностью 90+ это ваш провайдер так себя ведет.

Как вариант:
ovpn умеет слушать localhost (127.0.0.1)
Перевесьте ovpn на localhost, сделайте проброс с ВАН1 и ВАН2 на 127.0.0.1
и выбранный ранее порт.

В настройках клиентов в конфиге укажите
...
remote WAN1-ip-or-name port udp
remote WAN2-ip-or-name port udp
...

Тогда клиенты по умолч. будут коннектиться к WAN1, а при проблемах - к WAN2. Плюс в cron можно добавить строку, чтобы в выбранное время (типа 09:07) служба ovpn на пф перезапускалась. Тогда клиенты вновь переконнектятся на WAN1.
Костыль, но рабочий )

Зы. Или просто строка в кроне, чтобы в 9:05 служба ovpn на пф перезапускалась. Это проще и тоже может сработать.

GarryTom

Обнаружился баг в 2.5 в режиме MultiWAN.
Есть три внешних интерфейса (WAN, OPT1, OPT2). На первых двух белые IP, на них проброшены 25 и 80 порты. В 2.4.4 и 2.4.5 проброс прекрасно работает на обоих интерфейсах, а в 2.5 - только на WAN. На OPT1 порты остаются закрытые.
Если отключить WAN и OPT2, т.е. оставить только один внешний интерфейс (OPT1), то на OPT1 проброс начинает работать.
Я последовательно ставил версии и заливал один и тот же конфигурационный файл:
2.4.4 - работает
2.4.5 - работает
2.5.1 - не работает
2.6 (!) - работает.

viktor_g

@garrytom said in Вопросы по pfSense 2.5/Plus:

Обнаружился баг в 2.5 в режиме MultiWAN.
Есть три внешних интерфейса (WAN, OPT1, OPT2). На первых двух белые IP, на них проброшены 25 и 80 порты. В 2.4.4 и 2.4.5 проброс прекрасно работает на обоих интерфейсах, а в 2.5 - только на WAN. На OPT1 порты остаются закрытые.
Если отключить WAN и OPT2, т.е. оставить только один внешний интерфейс (OPT1), то на OPT1 проброс начинает работать.
Я последовательно ставил версии и заливал один и тот же конфигурационный файл:
2.4.4 - работает
2.4.5 - работает
2.5.1 - не работает
2.6 (!) - работает.

Верно, это баг версий 2.5/2.5.1(CE):
https://redmine.pfsense.org/issues/11805

Исправлен в 2.6 development версии
Также исправление будет включено в следующую стабильную версию

danilov

@viktor_g
Здравствуйте. Заменил железный сервер, установил pfsense 2.5. После заливки конфига в файле dmes.boot следующие WARNING:
Copyright (c) 1992-2020 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 12.2-STABLE 1b709158e581(RELENG_2_5_0) pfSense amd64
FreeBSD clang version 10.0.1 (git@github.com:llvm/llvm-project.git llvmorg-10.0.1-0-gef32c611aa2)
VT(vga): resolution 640x480
CPU: Intel(R) Core(TM) i5-4670 CPU @ 3.40GHz (3392.22-MHz K8-class CPU)
Origin="GenuineIntel" Id=0x306c3 Family=0x6 Model=0x3c Stepping=3
Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC, SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SS E,SSE2,SS,HTT,TM,PBE>
Features2=0x7ffafbff<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,SM X,EST,TM2,SSSE3,SDBG,FMA,CX16,xTPR,PDCM,PCID,SSE4.1,SSE4.2,x 2APIC,MOVBE,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX,F16C,RDRAN D>
AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
AMD Features2=0x21<LAHF,ABM>
Structured Extended Features=0x2fbb<FSGSBASE,TSCADJ,BMI1,HLE,AVX2,SMEP,BMI2,ERMS ,INVPCID,RTM,NFPUSG>
XSAVE Features=0x1<XSAVEOPT>
VT-x: PAT,HLT,MTF,PAUSE,EPT,UG,VPID
TSC: P-state invariant, performance statistics
real memory = 4294967296 (4096 MB)
avail memory = 3949363200 (3766 MB)
Event timer "LAPIC" quality 600
ACPI APIC Table: <ALASKA A M I>
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
FreeBSD/SMP: 1 package(s) x 4 core(s)
random: unblocking device.
ioapic0 <Version 2.0> irqs 0-23 on motherboard
Launching APs: 3 2 1
Timecounter "TSC-low" frequency 1696107511 Hz quality 1000
wlan: mac acl policy registered
random: entropy device external interface
ipw_bss: You need to read the LICENSE file in /usr/share/doc/legal/intel_ipw.LICENSE.
ipw_bss: If you agree with the license, set legal.intel_ipw.license_ack=1 in /boot/loader.conf.
module_register_init: MOD_LOAD (ipw_bss_fw, 0xffffffff8073dd40, 0) error 1
ipw_ibss: You need to read the LICENSE file in /usr/share/doc/legal/intel_ipw.LICENSE.
ipw_ibss: If you agree with the license, set legal.intel_ipw.license_ack=1 in /boot/loader.conf.
module_register_init: MOD_LOAD (ipw_ibss_fw, 0xffffffff8073ddf0, 0) error 1
ipw_monitor: You need to read the LICENSE file in /usr/share/doc/legal/intel_ipw.LICENSE.
ipw_monitor: If you agree with the license, set legal.intel_ipw.license_ack=1 in /boot/loader.conf.
module_register_init: MOD_LOAD (ipw_monitor_fw, 0xffffffff8073dea0, 0) error 1
iwi_bss: You need to read the LICENSE file in /usr/share/doc/legal/intel_iwi.LICENSE.
iwi_bss: If you agree with the license, set legal.intel_iwi.license_ack=1 in /boot/loader.conf.
module_register_init: MOD_LOAD (iwi_bss_fw, 0xffffffff80765730, 0) error 1
iwi_ibss: You need to read the LICENSE file in /usr/share/doc/legal/intel_iwi.LICENSE.
iwi_ibss: If you agree with the license, set legal.intel_iwi.license_ack=1 in /boot/loader.conf.
module_register_init: MOD_LOAD (iwi_ibss_fw, 0xffffffff807657e0, 0) error 1
iwi_monitor: You need to read the LICENSE file in /usr/share/doc/legal/intel_iwi.LICENSE.
iwi_monitor: If you agree with the license, set legal.intel_iwi.license_ack=1 in /boot/loader.conf.
module_register_init: MOD_LOAD (iwi_monitor_fw, 0xffffffff80765890, 0) error 1
000.000018 [4336] netmap_init netmap: loaded module
module_register_init: MOD_LOAD (vesa, 0xffffffff8140c3e0, 0) error 19
kbd1 at kbdmux0
random: registering fast source Intel Secure Key RNG
random: fast provider: "Intel Secure Key RNG"
[ath_hal] loaded
mlx5en: Mellanox Ethernet driver 3.5.2 (September 2019)
nexus0
vtvga0: <VT VGA driver> on motherboard
cryptosoft0: <software crypto> on motherboard
padlock0: No ACE support.
acpi0: <ALASKA A M I> on motherboard
acpi0: Power Button (fixed)
cpu0: <ACPI CPU> on acpi0
hpet0: <High Precision Event Timer> iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 14318180 Hz quality 950
Event timer "HPET" frequency 14318180 Hz quality 550
Event timer "HPET1" frequency 14318180 Hz quality 440
Event timer "HPET2" frequency 14318180 Hz quality 440
Event timer "HPET3" frequency 14318180 Hz quality 440
Event timer "HPET4" frequency 14318180 Hz quality 440
atrtc0: <AT realtime clock> port 0x70-0x77 irq 8 on acpi0
atrtc0: Warning: Couldn't map I/O.
atrtc0: registered as a time-of-day clock, resolution 1.000000s
Event timer "RTC" frequency 32768 Hz quality 0
attimer0: <AT timer> port 0x40-0x43,0x50-0x53 irq 0 on acpi0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x1808-0x180b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pci0: <ACPI PCI bus> on pcib0
vgapci0: <VGA-compatible display> port 0xf000-0xf03f mem 0xf0000000-0xf03fffff,0xe0000000-0xefffffff irq 16 at device 2.0 on pci0
vgapci0: Boot video device
hdac0: <Intel Haswell HDA Controller> mem 0xf0614000-0xf0617fff irq 16 at device 3.0 on pci0
xhci0: <Intel Lynx Point USB 3.0 controller> mem 0xf0600000-0xf060ffff irq 16 at device 20.0 on pci0
xhci0: 32 bytes context size, 64-bit DMA
xhci0: Port routing mask set to 0xffffffff
usbus0 on xhci0
usbus0: 5.0Gbps Super Speed USB v3.0
pci0: <simple comms> at device 22.0 (no driver attached)
uart2: <Intel Lynx Point KT Controller> port 0xf0c0-0xf0c7 mem 0xf061d000-0xf061dfff irq 19 at device 22.3 on pci0
uart2: Using 1 MSI message
ehci0: <Intel Lynx Point USB 2.0 controller USB-B> mem 0xf061c000-0xf061c3ff irq 16 at device 26.0 on pci0
usbus1: EHCI version 1.0
usbus1 on ehci0
usbus1: 480Mbps High Speed USB v2.0
hdac1: <Intel Lynx Point HDA Controller> mem 0xf0610000-0xf0613fff irq 22 at device 27.0 on pci0
pcib1: <ACPI PCI-PCI bridge> irq 16 at device 28.0 on pci0
pci1: <ACPI PCI bus> on pcib1
pcib2: <ACPI PCI-PCI bridge> irq 18 at device 28.2 on pci0
pci2: <ACPI PCI bus> on pcib2
re0: <RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet> port 0xe000-0xe0ff mem 0xf0504000-0xf0504fff,0xf0500000-0xf0503fff irq 18 at device 0.0 on pci2
re0: Using 1 MSI-X message
re0: Chip rev. 0x2c800000
re0: MAC rev. 0x00100000
miibus0: <MII bus> on re0
rgephy0: <RTL8169S/8110S/8211 1000BASE-T media interface> PHY 1 on miibus0
rgephy0: none, 10baseT, 10baseT-FDX, 10baseT-FDX-flow, 100baseTX, 100baseTX-FDX, 100baseTX-FDX-flow, 1000baseT, 1000baseT-master, 1000baseT-FDX, 1000baseT-FDX-master, 1000baseT-FDX-flow, 1000baseT-FDX-flow-master, auto, auto-flow
re0: Using defaults for TSO: 65518/35/2048
re0: Ethernet address: 9480:b8:57:2c
re0: netmap queues/slots: TX 1/256, RX 1/256
pcib3: <ACPI PCI-PCI bridge> irq 19 at device 28.3 on pci0
pci3: <ACPI PCI bus> on pcib3
pcib4: <ACPI PCI-PCI bridge> irq 19 at device 0.0 on pci3
pci4: <ACPI PCI bus> on pcib4
rl0: <RealTek 8139 10/100BaseTX> port 0xd100-0xd1ff mem 0xf0411000-0xf04110ff irq 19 at device 0.0 on pci4
miibus1: <MII bus> on rl0
rlphy0: <RealTek internal media interface> PHY 0 on miibus1
rlphy0: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, auto
rl0: Ethernet address: 00:50:fc:e5:6f:9a
rl1: <RealTek 8139 10/100BaseTX> port 0xd000-0xd0ff mem 0xf0410000-0xf04100ff irq 16 at device 1.0 on pci4
miibus2: <MII bus> on rl1
rlphy1: <RealTek internal media interface> PHY 0 on miibus2
rlphy1: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, auto
rl1: Ethernet address: 00:30:84:2b:87:9e
ehci1: <Intel Lynx Point USB 2.0 controller USB-A> mem 0xf061b000-0xf061b3ff irq 23 at device 29.0 on pci0
usbus2: EHCI version 1.0
usbus2 on ehci1
usbus2: 480Mbps High Speed USB v2.0
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
ahci0: <Intel Lynx Point AHCI SATA controller> port 0xf0b0-0xf0b7,0xf0a0-0xf0a3,0xf090-0xf097,0xf080-0xf083,0xf060-0xf07f mem 0xf061a000-0xf061a7ff irq 19 at device 31.2 on pci0
ahci0: AHCI v1.30 with 6 6Gbps ports, Port Multiplier not supported
ahcich0: <AHCI channel> at channel 0 on ahci0
ahciem0: <AHCI enclosure management bridge> on ahci0
acpi_button0: <Power Button> on acpi0
acpi_tz0: <Thermal Zone> on acpi0
acpi_tz1: <Thermal Zone> on acpi0
uart0: <16550 or compatible> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
ppc1: <Parallel port> port 0x378-0x37f irq 5 on acpi0
ppc1: Generic chipset (NIBBLE-only) in COMPATIBLE mode
ppbus0: <Parallel port bus> on ppc1
lpt0: <Printer> on ppbus0
lpt0: Interrupt-driven port
ppi0: <Parallel I/O> on ppbus0
orm0: <ISA Option ROM> at iomem 0xcf000-0xcffff pnpid ORM0000 on isa0
atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
est0: <Enhanced SpeedStep Frequency Control> on cpu0
Timecounters tick every 1.000 msec
hdacc0: <Intel Haswell HDA CODEC> at cad 0 on hdac0
hdaa0: <Intel Haswell Audio Function Group> at nid 1 on hdacc0
pcm0: <Intel Haswell (HDMI/DP 8ch)> at nid 3 on hdaa0
hdacc1: <Realtek ALC892 HDA CODEC> at cad 2 on hdac1
hdaa1: <Realtek ALC892 Audio Function Group> at nid 1 on hdacc1
pcm1: <Realtek ALC892 (Rear Analog 7.1/2.0)> at nid 20,22,21,23 and 24,26 on hdaa1
pcm2: <Realtek ALC892 (Front Analog)> at nid 27 and 25 on hdaa1
pcm3: <Realtek ALC892 (Digital)> at nid 17 and 31 on hdaa1
ugen2.1: <Intel EHCI root HUB> at usbus2
ugen0.1: <0x8086 XHCI root HUB> at usbus0
ugen1.1: <Intel EHCI root HUB> at usbus1
uhub0: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus2
uhub1: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus1
Trying to mount root from ufs:/dev/ufsid/6081969f8e6fdcf2 [rw,noatime]...
Root mount waiting for: usbus0 usbus1 usbus2 CAM
uhub2: <0x8086 XHCI root HUB, class 9/0, rev 3.00/1.00, addr 1> on usbus0
Root mount waiting for: usbus0 usbus1 usbus2 CAM
uhub0: 2 ports with 2 removable, self powered
uhub1: 2 ports with 2 removable, self powered
uhub2: 21 ports with 21 removable, self powered
ugen2.2: <vendor 0x8087 product 0x8000> at usbus2
uhub3 on uhub0
uhub3: <vendor 0x8087 product 0x8000, class 9/0, rev 2.00/0.04, addr 2> on usbus2
ugen1.2: <vendor 0x8087 product 0x8008> at usbus1
uhub4 on uhub1
uhub4: <vendor 0x8087 product 0x8008, class 9/0, rev 2.00/0.04, addr 2> on usbus1
Root mount waiting for: usbus1 usbus2 CAM
uhub4: 6 ports with 6 removable, self powered
uhub3: 8 ports with 8 removable, self powered
Root mount waiting for: CAM
Root mount waiting for: CAM
Root mount waiting for: CAM
Root mount waiting for: CAM
Root mount waiting for: CAM
Root mount waiting for: CAM
Root mount waiting for: CAM
ses0 at ahciem0 bus 0 scbus1 target 0 lun 0
ses0: <AHCI SGPIO Enclosure 2.00 0001> SEMB S-E-S 2.00 device
ses0: SEMB SES Device
ada0 at ahcich0 bus 0 scbus0 target 0 lun 0
ada0: <ST500DM005 HD502HJ 1AJ10001> ATA8-ACS SATA 2.x device
ada0: Serial Number S20BJA0D171616
ada0: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada0: Command Queueing enabled
ada0: 476940MB (976773168 512 byte sectors)
ada0: quirks=0x1<4K>
ses0: ada0,pass0 in 'Slot 00', SATA Slot: scbus0 target 0
mountroot: waiting for device /dev/ufsid/6081969f8e6fdcf2...
WARNING: / was not properly dismounted
WARNING: /: mount pending error: blocks 1736 files 0
CPU: Intel(R) Core(TM) i5-4670 CPU @ 3.40GHz (3392.22-MHz K8-class CPU)
Origin="GenuineIntel" Id=0x306c3 Family=0x6 Model=0x3c Stepping=3
Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC, SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SS E,SSE2,SS,HTT,TM,PBE>
Features2=0x7ffafbff<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,SM X,EST,TM2,SSSE3,SDBG,FMA,CX16,xTPR,PDCM,PCID,SSE4.1,SSE4.2,x 2APIC,MOVBE,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX,F16C,RDRAN D>
AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
AMD Features2=0x21<LAHF,ABM>
Structured Extended Features=0x27ab<FSGSBASE,TSCADJ,BMI1,AVX2,SMEP,BMI2,ERMS,INV PCID,NFPUSG>
Structured Extended Features3=0x9c000600<MCUOPT,MD_CLEAR,IBPB,STIBP,L1DFL,SSBD>
XSAVE Features=0x1<XSAVEOPT>
VT-x: PAT,HLT,MTF,PAUSE,EPT,UG,VPID
TSC: P-state invariant, performance statistics
Может ли это критически повлиять на систему, WARNING появился после перезагрузки? Возможно ли запустить fsck в однопользовательском режиме? Надо ли это делать? Какие использовать команды?

werter

Добрый
@danilov

Развертывайте пф на ZFS, к-ую можно выбрать прямо при установке.
Она гораздо устойчивее к неожиданным выключениям (+ сжатие).

Зы. Использовать такое железо только для пфслишком жирно.
Найдите 2-й винт такого де или большего объема, разверните proxmox на zfs и пользуйте пф как вирт. машину. Это даст вам гораздо больше в плане удобства и надежности.
Что такое proxmox, zfs etc есть в этой ветке.

Зы2. И купите UPS. Это правило хорошего тона при серъезном подходе к делу. Из недорогих рекомендую Cyberpower. Замечательно работают с никсами.

Konstanti

@danilov
Здр
а какая причина перезагрузки - вот что интересно
судя по всему , сервер упал ....
покажите полный вывод dmesg

danilov

@konstanti
Это полный вывод dmesg. Сервер не упал. После обновления через какое-то время появилась проблема при работе с веб-интерфейсом (то грузился то нет). Поэтому через SSH подключение был произведён reboot сервера.

viktor_g

@danilov said in Вопросы по pfSense 2.5/Plus:

mountroot: waiting for device /dev/ufsid/6081969f8e6fdcf2...
WARNING: / was not properly dismounted
WARNING: /: mount pending error: blocks 1736 files 0

Перезагрузитесь с проверкой фс:
Screenshot from 2021-05-25 14-56-14.png

А ещё лучше - используйте ZFS

Avant

Привет, не могу понять, при создании правила в NAT, нет возможности перечислять нужные пробрасываемые порты? т.е если надо прокинуть условно 20 портов(и они идут в разнобой) то мне надо делать 20 правил?

Konstanti

@avant
Попробуйте создать для начала Alias на основе нужных портов , а потом используйте его при создании правил

viktor_g

@avant

Если одни и те же внешние порту транслируются в те же внуртенние порты - можно сделать через алиас
Если совсем в разнобой - то создаёте по правилу на каждый маппинг (с алиасами глючит, см. https://redmine.pfsense.org/issues/11717)
Если диапазон (range), то можно указать его при создании Port Forward'инга
см. https://docs.netgate.com/pfsense/en/latest/nat/port-forwards.html#adding-port-forwards
К примеру транслировать порты 1000-1100 в 8000-8100

sirota

Ребят, еще багуля в 2.5.1. Приходят уведомления только о том что канал добавлен в LoadBalanceGroup, но что выбыл нет. При чем с WAN который первый по умолчанию приходят уведомления именно что добавлен, а о втором даже и этого нет. Сейчас обновляюсь на 2.5.2. посмотрю работает ли там. Да и обновление из web-gui на 2.5.2 и 2.6.0 из 2.5.1 не работает, "Unable to check for updates" и все. А так для меня с не работающим NAT на multiwan оказалось новостью...

viktor_g

@sirota said in Вопросы по pfSense 2.5/Plus:

Ребят, еще багуля в 2.5.1. Приходят уведомления только о том что канал добавлен в LoadBalanceGroup, но что выбыл нет. При чем с WAN который первый по умолчанию приходят уведомления именно что добавлен, а о втором даже и этого нет.

Можно пример конфигурации, чтобы повторить баг?

Сейчас обновляюсь на 2.5.2. посмотрю работает ли там. Да и обновление из web-gui на 2.5.2 и 2.6.0 из 2.5.1 не работает, "Unable to check for updates" и все.

Запустите в консоли:

# killall -9 pkg
# killall -9 pkg-static
# env ASSUME_ALWAYS_YES=yes pkg-static bootstrap -f
# pkg-static clean -ay; pkg-static install -fy pkg pfSense-repo pfSense-upgrade

И попробуйте запустить обновление ещё раз

sirota

@viktor_g said in Вопросы по pfSense 2.5/Plus:

И попробуйте запустить обновление ещё раз

Через ssh - 13 обновилось. Уже на 2.5.2

@viktor_g said in Вопросы по pfSense 2.5/Plus:

Можно пример конфигурации, чтобы повторить баг?

А как сохранить бэкап конфига без паролей и прочего персонального? У меня там ovpn клиенты, сертификаты...

viktor_g

@sirota ответил в личку

sirota

@sirota said in Вопросы по pfSense 2.5/Plus:

Ребят, еще багуля в 2.5.1. Приходят уведомления только о том что канал добавлен в LoadBalanceGroup, но что выбыл нет. При чем с WAN который первый по умолчанию приходят уведомления именно что добавлен, а о втором даже и этого нет. Сейчас обновляюсь на 2.5.2. посмотрю работает ли там. Да и обновление из web-gui на 2.5.2 и 2.6.0 из 2.5.1 не работает, "Unable to check for updates" и все. А так для меня с не работающим NAT на multiwan оказалось новостью...

Проблема с отправкой сообщений решилась просто. Default gateway IPv4 стоял wan_pppoe, который естественно и падал и самому pfsense не от куда было добраться до инета. При этом все пользователи были либо в группе failover или loadbalance, соответственно для нас инет и не пропадал.