Pfsense HA firewall синхронизирует не на те интерфейсы!

[testsia]

Привет всем!
Настроены 2 Pfsense в режиме отказоустойчевого кластера, были настроены еще на версии 2.4
Постепенно добавлялись виртуальные интерфейсы, и в последнее время был добавлен Openvpn (TAP) L2. Переназначен как интерфейс и обеденен в бридж. На втором сервере сделано ровно тоже самое.
В Carp интерфейсы друг друга видят, первый как master второй slave.
Но после того как я зашел в firewall и начал сравнивать между серверами, выяснилось что есть проблема!
Все старые интерфейсы при изменении правил на master тут же переезжают на slave.
Но новые, например тот же бридж не переносит правила.

Для чистоты эксперимента, создаю новый интерфейс на одном и втором сервере, и вот резельтат:
создал правило на master перехожу на slave и вижу что туда прилетела правила совсем с другого интерфейса!!!

Не могу понять в чем дело.

Как то вот так.....

[werter]

Добрый
@testsia

Версия 2.5.х на обоих?
Имена интерфейсов на обоих пф должны быть ОДИНАКОВЫ.

Внимательно просмотрите еще раз доку по CARP. Может что-то упустили.

ЗЫ. Касаемо скринов.
Сети 192.168.26.х и 192.168.24.х "живут" на интерфейсе VL_0096_xxx ? Если нет, то эти правила не работают. Можете их удалить.

[testsia]

@werter said in Pfsense HA firewall синхронизирует не на те интерфейсы!:

Добрый
@testsia

Версия 2.5.х на обоих?
Имена интерфейсов на обоих пф должны быть ОДИНАКОВЫ.

Внимательно просмотрите еще раз доку по CARP. Может что-то упустили.

-Версии одинаковы
-Имена одинаковы (в скринах видно)

• доки по CARP пересмотрел, да и изначально все сам настраивал.

Сети 192.168.26.х и 192.168.24.х "живут" на интерфейсе BR_KR_VPN_TAPL2 но на сервер slave прилетает на интерфейс VL_0096_xxx.

Пробовал на slave пересоздать интерфейсы, результат тот же

[werter]

@testsia said

Версии одинаковы

Номер версии напишите.

Сети 192.168.26.х и 192.168.24.х "живут" на интерфейсе BR_KR_VPN_TAPL2 но на сервер slave прилетает на интерфейс VL_0096_xxx.

Пф ими на VL_0096_xxx ТОЧНО не рулит. Он рулит только тем, что идет с интерфейса ВОВНЕ. По этому в Src могут быть только сети, ринадлежащие интерфейсу и никак иначе.

в последнее время был добавлен Openvpn (TAP) L2.

Почему tap ? Общая сеть?

Зы. Логи. Смотрите логи на предмет ошибок на обоих.

[testsia]

@werter said in Pfsense HA firewall синхронизирует не на те интерфейсы!:

@testsia said

Версии одинаковы

Номер версии напишите.

Сети 192.168.26.х и 192.168.24.х "живут" на интерфейсе BR_KR_VPN_TAPL2 но на сервер slave прилетает на интерфейс VL_0096_xxx.

Пф ими на VL_0096_xxx ТОЧНО не рулит. Он рулит только тем, что идет с интерфейса ВОВНЕ. По этому в Src могут быть только сети, ринадлежащие интерфейсу и никак иначе.

в последнее время был добавлен Openvpn (TAP) L2.

Почему tap ? Общая сеть?

Почему tap ? он нужен для спецефического программного обеспечения которому нужен широковещательный трафик, сервер стоит в датацентре а оборудование удаленно (multicast traffic). Пришлось поднять Openvpn tap. Серверная часть и оборудование должно быть в одной сети.

[testsia]

@testsia

Выяснил где косяк, но как его победить я не понял.
Например создаю новый Vlan интерфейс на

• master.
  Назначаю ему интерфейс. pfsense изначально сам дает ему определенно имя, например OPT13.
• slave
  Делаю тоже самое, создаю новый Vlan, назначаю интерфейс pfsense изначально сам дает ему определенно имя, OPT13.
  Ну вроде как все ОК, после этого я переименовываю OPT13 на master и slave на мое имя. Создаю carp проверяю firewall все синхронизируется!!!

Эксперимент на проблемных:
Удаляю проблемные интерфейсы на master и slave (те которые коряво синхронизировались)

• Создаю новые, на master- создал vlan, назначаю интерфейс pfsense - дает ему имя OPT9
• Создаю новые, на slave- создал vlan, назначаю интерфейс pfsense - дает ему имя OPT5

Переименовываю их, одинаково на master и slave.
Создаю carp интерфейс, и firewall синхронизирует не корректно!
Вот такая история. Как пофиксить?????

Я так понял что для pfsense имеет значение порядок создания интерфейсов.....

• Так и есть. firewall c VL_00096_Server синхронизируется на BR_KR_Vlan_TAPL2

[werter]

@testsia
Вы проблемные интерфейсы после удаления создаете с теми же именами? Попробуйте др. имена им дать.

Зы. Вам CARP так критичен? Думал когда-то внедрить, но пришел к выводу, что это усложнит систему. В итоге пф живет на proxmox и бэкапится по расписанию на НАС. Проблем нет - проверено 3+ годами эксплуатации.

[testsia]

@werter said in Pfsense HA firewall синхронизирует не на те интерфейсы!:

ейсы после удаления создаете с теми же именам

Проблемный интерфейс создан с тем же именем!!! На самом деле вы можете его называть как угодно это всего Description
Провозился день, но разобрался.
Решение:
Когда вы хотите поднять CARP создавайте интерсейсы по очереди, на одном и сразу же на втором pfsense.
Если вы перепутали очередность , а после переименовали - в конфигурации pfsense ничего не поменяется!!!

Я взял выгрузил бекап с master и slave после чего запустил сравнение файлов.
Pfsense называет интерфейсы как "OPT" а дальше уже идет <descr> Это то как вы его называете. Вот пример с бекапа:

• <opt8>
  <descr><![CDATA[VL_2027_Vconf]]></descr>
  <if>igb1.2027</if>
  <spoofmac></spoofmac>
  <enable></enable>
  <ipaddr>192.168.198.125</ipaddr>
  <subnet>24</subnet>
  </opt8>

Реальное название интерфейса opt8 а переименовал я его уже в VL_2027_Vconf.
Так вот, когда я создавал интерфейсы я создал сначала все на master, а после этого уже начал создавать на slave. И так как их у меня много скорее всего перепутал порядок создания. Как результат на master это интерфейс OPT9 с Description VL_2027_Vconf. а на slave это OPT5 с Description VL_2027_Vconf.
Логично что он синхронизирует не правильно.
Как по мне разработчикам Pfsense нужно добавить в реальное название интерфейса в конфигурацию. Так как через вэб интерфейс нигде нет такой инфы. Вот такая история, всем спасибо!!!

[werter]

@testsia
Спасибо, что поделились решением.

В оф. доке про порядок создания интерфейсов есть:
https://docs.netgate.com/pfsense/en/latest/troubleshooting/high-availability.html

As mentioned on pfSense XML-RPC Config Sync Overview, the interface assignment order and internal identifiers must match identically on both nodes.

If the interface order does not match, the configuration synchronziation process will copy rules and other settings such as DHCP failover to the wrong interfaces on the secondary node.