Проблемы со связью и множественные TCP:FPA PA RA

[arukashi]

Здравствуйте!
Имеется PfSense 2.3.4/2.4.3 (проблемы на обоих версиях), на нем 3 интерфейса directly attached (на схеме нарисована одна, но суть не меняется) сетей и множество ipsec-туннелей от железок фирмы zyxel, в частности, usg 100/110.
Появились проблемы, стала отлетать связь, rdp, pptp-vpn и другие сервисы. Яркий пример, клиент работает из одной сети, неважно за ipsec она или directly attached, по rdp на сервере в другой. Экран темнеет и надо переподключаться заново. Между делом отключается pptp-vpn к прокси серверу. И тому подобное. В логах много записей о дропнутых пакетах by default deny rule ipv4. В графе протокол вот эти TCP:FA, TCP:FPA, TCP:PA. Отмечу, что сетей всего выходит больше 30ти, и проблемы наблюдаются почти на всех. Потерь пакетов нет

Немного погуглив, стало ясно что это out-of-state траффик, и это нормально когда pf дропает такие пакеты. Но этих записей слишком много и касаются они именно отлетающих сервисов. Проблемы начались после того, как я решил завернуть инет-трафик от всех сетей через pfsense на шлюз, который находится в сети на интерфейса pfsense. Я решил откатиться на конфиг до экспериментов с роутингом, но ситуация не поменялась. Даже откат состояния виртуалки со шлюзом ничего не дал. Единственное, что помогло, это floating rule from any to any state none. Что именно делает это правило я до конца не понял. Помогите разобраться в проблеме. Спасибо!

Ниже визуализация моих слов

[werter]

Добрый.
Пф не как вирт. машина работает ?

На зюхелях ПО обновить бы.
Попробуйте в настр. правил fw в Advanced поставить как на картинке. И обязательно сделать Reset states после.

P.s. Также когда-то помогало изменение режима работы firewall-а пф на conservative. И перезагрузка после. Но это , если не поможет совсем.

P.p.s. Что такое proxy vpn ? Я бы подумал об исключении proxy vpn и центрального зюхеля из схемы. Вместо них оставить только центральный pfsense. Если это возможно, конечно. Так схема упростится. И поиск возникающих проблем будет проще.


[arukashi]

@werter:

Добрый.
Пф не как вирт. машина работает ?

На зюхелях ПО обновить бы.
Попробуйте в настр. правил fw в Advanced поставить как на картинке. И обязательно сделать Reset states после.

P.s. Также когда-то помогало изменение режима работы firewall-а пф на conservative. И перезагрузка после. Но это , если не поможет совсем.

P.p.s. Что такое proxy vpn ? Я бы подумал об исключении proxy vpn и центрального зюхеля из схемы. Вместо них оставить только центральный pfsense. Если это возможно, конечно. Так схема упростится. И поиск возникающих проблем будет проще.

PF на виртуалке, KVM. Но оно так работало 2 года без сбоев. Conservative стоит. Disable checksum offload тоже.
Делал floating rule any to any state:sloppy - тоже не помогло, только state none

На прокси vpn не обращайте внимания. Картинку для другой проблемы рисовал, но она отражает строение сети. Смысл был в том, чтобы завернуть инет-трафик с филиалов на PfSense, а с Pf на zyxel usg к которому идет линк с инетом. Меня смущает то, что когда я откатываю конфиг назад, я все еще имею проблемы описанные выше.
Я читал, что подобные записи в логах могут быть связанны с ассиметричными маршрутами, но тут такое вроде не получается. Чуть переделал схемку. Для сети 100.0/24 выходит asymmetric route, а для остальных сетей то нет

[werter]

У меня пф также живет на kvm (proxmox ve). Подобное случалось с гигабитными сетевыми на реалтеке, почему-то.
Со 100-Мбитными такого нет.

Делал floating rule any to any state:sloppy - тоже не помогло, только state none

У меня это в правилах на интерфейсах, а не во флоатинг.

[werter]

..а с Pf на zyxel usg к которому идет линк с инетом.

Вот про это явно лишнее звено и говорю. Зачем он там? Пф гораздо гибче, чем зюхел.
Будете гадать в 2-ух местах, что не так. Вместо одного.

Я читал, что подобные записи в логах могут быть связанны с ассиметричными маршрутами, но тут такое вроде не получается

Что помогло мне - описал ранее выше. Попробуйте. И центр. зюхел - точно костыль тут.

[arukashi]

@werter:

Вот про это явно лишнее звено и говорю. Зачем он там? Пф гораздо гибче, чем зюхел.
Будете гадать в 2-ух местах, что не так. Вместо одного.

К сожалению, пока надо иметь дело с ним. В принципе ничего необычного в такой схеме нет. Если я, к примеру, свяжу патчкордом через отдельный интерфейс pf и zyxel в маленькую сеть с 30 маской, будет ли так лучше? Чтобы не было два гейтвэя в одной сети.

@werter:

Что помогло мне - описал ранее выше. Попробуйте. И центр. зюхел - точно костыль тут.

То есть, Sloppy state в правилах на интерфейс?

Приложу еще пару скриншотов для ясности. На первом логи фаерволла когда рвутся соединения, без state none правила. На остальных двух конфигурации фаерволла. В свойствах 2ой фазы ipsec туннелей local network указан 0.0.0.0/0

[arukashi]

Убрал floating rule и перевел все существующие правила на sloppy state - не помогло. :-\

[ComProf]

Floating Rules can:

Filter traffic from the firewall itself
    Filter traffic in the outbound direction (all other tabs are Inbound processing only)
    Apply rules to multiple interfaces
    Apply filtering in a "last match wins" way rather than "first match wins" (quick)
    Apply traffic shaping to match traffic but not affect it's pass/block action
    Much more.

Floating Rules это правила которые обрабатываются до тех что указаны на интерфейсах. Допустим если указан параметр Quick то никаким другим правилом эти пакеты фильтроватся не будут, даже если есть соответствующее правило на интерфейсе.

скорее всего проблемы начались когда Вы настроили шейпер. не могу утверждать полностью, но советую ознакомится:тыц

а так же добавлю:тыц
все таки я бы сперва попробовал авто фикс, а уж потом руками….

[werter]

2 ComProf

скорее всего проблемы начались когда Вы настроили шейпер

Про шейпер ТС не писал, вроде.

2 arukashi

Попробуйте совет ComProf-а по поводу ассиметричных маршрутов (галку на Bypass fw rules … и перезагрузить пф).
Похоже это оно.

Сеть 192.168.0.0\16 в правилах fw у вас - уж очень лихо. Создайте алиас из лок. сетей ipsec-клиентов и рулите им.

P.s. Спасибо ComProf за советы. Всегда рады видеть у нас на форуме специалистов  8)

[arukashi]

Обратился в инглиш ветку со своей проблемой. Там меня уверили, что у меня явная проблема с асимметричными маршрутами. Я вынес интернет-щлюз в отдельную сеть, но что-то не помогло
https://forum.pfsense.org/index.php?topic=147433.0

@werter:

Сеть 192.168.0.0\16 в правилах fw у вас - уж очень лихо. Создайте алиас из лок. сетей ipsec-клиентов и рулите им.

Задолбаюсь я туда 40 сетей рисовать, а их будет еще больше. Так проще.

[werter]

Добрый.
2 arukashi

Уберите центральный зюхель. Пф будет рулить всем.
Верните правила NAT на автомат.
Profit.

Зы. А чего Proxmox-то 4-ый ? Он уж год как не развивается разрабами. 5-ка стабильно хороша.

[arukashi]

@werter:

Добрый.
2 arukashi

Уберите центральный зюхель. Пф будет рулить всем.
Верните правила NAT на автомат.
Profit.

Часть NAT правил убрал, но в провайдерскую сеть NAT необходим. Там нужные сервисы крутятся
А зухель нужен, его пока из схемы не выкинуть
@werter:

Зы. А чего Proxmox-то 4-ый ? Он уж год как не развивается разрабами. 5-ка стабильно хороша.

Да как-то времени обновить не могу найти. Все-таки центральный шлюз, просто так не выключишь.
Новый релиз 5ки жду, полгода уже прошло, никак не выйдет

[werter]

Новый релиз 5ки жду, полгода уже прошло, никак не выйдет

Вы оф. сайт посещали давно? Там 5.1 висит. Куда уж новее. Или вы 6-ку ждете на 10-м Debian ;D ?

Часть NAT правил убрал, но в провайдерскую сеть NAT необходим. Там нужные сервисы крутятся
А зухель нужен, его пока из схемы не выкинуть

Тогда увы. Тратьте свое время дальше.

P.s. Ваш "друг" по несчастью https://forum.pfsense.org/index.php?topic=147725.0 Может вы его уговорите убрать зюхель из схемы.

[arukashi]

@werter:

Вы оф. сайт посещали давно? Там 5.1 висит. Куда уж новее. Или вы 6-ку ждете на 10-м Debian ;D ?

Обычно обновления чаще выходят

@werter:

Тогда увы. Тратьте свое время дальше.

Почитайте топик в инглиш ветке, я проделал некоторые изменения. Сейчас зиксель вышестоящий маршрутизатор дающий выход в интернет, и с локальной сетью ныне не пересекается. Ассиметричный маршрутов не может быть. Какие еще предположения?

[werter]

Добрый.

Ассиметричный маршрутов не может быть. Какие еще предположения?

Кривые правила nat, fw.

Во floating rules правила есть ?

Обычно обновления чаще выходят

Обновления компонентов выходят каждый день. А то и несколько раз на дню. Если добавить стандартные репы в sources.list (что и сделано у меня).

Уберите центральный зюхель. Пф будет рулить всем.
Верните правила NAT на автомат.
Profit.

Все равно к этому прийдете.

[arukashi]

@werter:

Кривые правила nat, fw.

Во floating rules правила есть ?

https://forum.pfsense.org/index.php?topic=147433.msg801708#msg801708
Правила NAT на  ipsec убрал, там дальше есть скриншот. Во floating одно правило, которое спасает положение - ipv4* * * * * * statetype none

@werter:

Все равно к этому прийдете.

Может быть, но не сейчас. Как только решу первоначальную проблему, тогда смогу убрать зиксель

[werter]

Добрый.

Может быть, но не сейчас. Как только решу первоначальную проблему, тогда смогу убрать зиксель

Не решите. Проблема в ассиметрии маршрутов. И в неправильной настройке NAT. Замкнутый круг.

Правила NAT на  ipsec убрал, там дальше есть скриншот.

Automatic. Полностью. Или, как вариант, Hybrid.

Забыл, галка на Disable firewall on same interface стоит ? Поставьте.

Зы. Уберите пф из схемы. Оставьте только зюхель. Или он не тянет столько ипсек-туннелей, да? Печаль  :'(

[arukashi]

@werter:

Не решите. Проблема в ассиметрии маршрутов. И в неправильной настройке NAT. Замкнутый круг.

В упор не вижу. Где именно ассиметрия? Вы смотрели схему из инглиш топика?

Automatic. Полностью. Или, как вариант, Hybrid.

Забыл, галка на Disable firewall on same interface стоит ? Поставьте.

Ставил, не помогло.

Зы. Уберите пф из схемы. Оставьте только зюхель. Или он не тянет столько ипсек-туннелей, да? Печаль  :'(

Возможно и потянет, но со скрипом. такого не можем себе позволить…

[derwin]

у меня такой траффик генерируют  телефоны на андроиде. Природа данного явления мне непонятна, но это никак не отражается на конечных пользователях или сервисах.