MultiWan - DNS do not override

PTZ-M · Mar 16, 2018, 1:39 PM

Коллеги прошу помощи глобального разума, поскольку 4-й месяц бьюсь над этой проблемой на разных версиях.

Есть DualWAN: 1. 4G LTE модем с ип 192.168.8.1 на входе, 2. WAN кабельный с с ип 212.xxx.xxx.xxx на входе.
В Система - Основная настройка - Настройки DNS сервера указано:
для WAN - ип серверов провайдера (иначе к серверу клиентской статистики доступа не будет)
для 4G LTE - ип серверов norton

При обрыве гейтвей прекрасно переключает туда-сюда канал, а вот с DNS нет! Решаю проблему, вручную чекая пункты DNS Forwarder/DNS Resolver, в произвольном порядке. Именно в ПРОИЗВОЛЬНОМ! Тупо перезапуск демона - не помогает. А вот факт самовосстановления (с утра не пускало, после обеда - всё работает), как и самоотвала - есть.

Не удается получить доступ к сайту
Не удалось найти IP-адрес сервера statserv.sampo.ru.
Перейдите по ссылке: http://sampo.ru/
Выполните поиск по запросу statserv sampo ru в Google
ERR_NAME_NOT_RESOLVED

Не удается получить доступ к сайту
Не удалось найти IP-адрес сервера statserv.sampo.ru.
DNS_PROBE_FINISHED_NXDOMAIN

Единственная мысль - сработка по таймауту сброса списка DNS серверов где-то внутри сенса.

werter · Mar 16, 2018, 2:43 PM

Добрый.

Смоделируем ситуацию.

0. У вас настроен failover на пф для 2-х ваших WAN-ов. Кстати, в таком случае достаточно поставить галку на Allow def GW switching в настройках пф. Явно создавать Failover Group и использовать ее в правилах fw не требуется.

1. У вас упал WAN кабельный. Идет переключение на 4G LTE модем. В таком случае вы на statserv.sampo.ru, ес-но, не попадаете, т.к. доступ к statserv.sampo.ru возможен только из сети вашего провайдера. Извне туда не попадешь. Проверил.

2. WAN кабельный поднялся и пф перекл. на него, т.к. он основной WAN. Теперь для доступа к statserv.sampo.ru необходимо очистить кеш браузера + сбросить кеш ДНС на локальной машине. Чтобы не делать это руками попробовать след.:

Вар1.
Сбросить кеш браузера и ДНС кеш на лок. машине.
Использовать DNS Resolver. Поставить галку на "Enable Forwarding Mode". В настройках ДНС на лок. машине указать ip пф. Разорвать линк на WAN кабельный для проверки.

Вар2.
Сбросить кеш браузера и ДНС кеш на лок. машине.
Использовать DNS Resolver. В сетевых настройках ДНС на лок. машине первым указать ip-адрес ДНС-сервера провайдера "WAN кабельный", вторым - ip пф. Это же сделать можно используя DHCP на пф. Разорвать линк на WAN кабельный для проверки.

Зы. Покажите скрин правил fw на ЛАН.

PTZ-M · Mar 19, 2018, 9:29 AM

Добрый день.

0. … Явно создавать Failover Group и использовать ее в правилах fw не требуется.

Пардон, а как он шлюзоваться будет? :o Мы ж ему группу не для красоты создаём.

По вариантам отпишусь чуть позже.

werter · Mar 19, 2018, 10:18 AM

Добрый.

Пардон, а как он шлюзоваться будет?

Кстати, в таком случае достаточно поставить галку на Allow def GW switching в настройках пф. Явно создавать Failover Group и использовать ее в правилах fw не требуется.

PTZ-M · Mar 20, 2018, 1:04 PM

[offtop]

0. … Явно создавать Failover Group и использовать ее в правилах fw не требуется.

так. если я правильно въехал в эту фразу, то вместо виртуального шлюза и одного правила в файере мне нужно как минимум 2 писать, под каждый ван? ну и на кой? у меня резервирование, а не балансировка нагрузки, да и vk (и пр. хрень) мне блочить не надо. кроме этого, если накроется сетевуха мне опять писать правила, вместо простого подкидывания новой карты в пул.
вот есть потребность в sip, но тут я понял, что мой случай - без вариантов
[/offtop]

Вернёмся к "баранам", скрин в студии.

UPD чудеса продолжаются, в 11 часов сервер статистики оператора был доступен, в 12 уже "Не удается получить доступ к сайту"
UPD 12:20 - доступ опять есть :-X
UPD 14:54 - доступа опять нет…
UPD 16:04 - доступ опять есть!

werter · Mar 20, 2018, 9:07 AM

Добрый.

так. если я правильно въехал в эту фразу, то вместо виртуального шлюза и одного правила в файере мне нужно как минимум 2 писать, под каждый ван? ну и на кой? у меня резервирование, а не балансировка нагрузки

Неверно понято.
Достаточно ~~адной таблэтки~~ поставить галку там, где говорилось и вообще ничего явно не указывать в GW в правилах fw на ЛАН. Сделать Reset states после.

PTZ-M · Mar 25, 2018, 9:22 AM

Каким-то чудом он опять сдох. Удаление DNS для 4G модема грохнуло шлюз. Попробовал восстановить из резервной копии - не помогает. ИП получает, но монитор говорит, что шлюз в дауне.
Это было б пофиг, если б DNS локального провайдера бралось, но нет! pfSense с какогото хера берёт сервер настроеный на шлюз 4G модема!!!

werter · Mar 25, 2018, 9:56 AM

Добрый.
А чего вы мониторите локальные gw ? Мониторьте 8.8.8.8, 8.8.4.4, напр. У нек-ых провайдеров на gw вообще icmp отключен в целях без-ти. Более того, линк с пров-ом может подняться, но дальше его шлюза трафик может не идти. По разным техническим причинам. И что тогда дает мониторинг gw провайдера?

P.s. Почему не попробовать вариант?
В сетевых настройках ДНС на лок. машине первым указать ip-адрес ДНС-сервера провайдера "WAN кабельный", вторым - ip пф. Это же сделать можно используя DHCP на пф.
Очистить кеш браузера + сбросить кеш ДНС на локальной машине. И проверить работоспособность схемы путем поочередного откл. ВАН-интерфейсов (ВАН и 4Джи в вашем случае).

PTZ-M · Mar 25, 2018, 10:22 AM

Добрый день.

И толку? Я уже 15-у конфигурацию перебираю. Если вдолбить DNS мировые - локальная машина прекрасно работает.

Если на pfSense включить DNS Forwarder или DNS Resolver интернет есть, но страница оператора недоступна. Если вырубить - интернет отваливается, но pfSense, О ЧУДО! Видит этот сервер (см. фото ниже)!!!

Вырубил 4G модем, убил все правила - пофиг! Каким-то нереальным местом на 127.0.0.1 режется запрос через WAN. Отключил все ограничения на WAN для локальных адресов - толку 0.

werter · Mar 25, 2018, 10:56 AM

Если вырубить - интернет отваливается, но pfSense, О ЧУДО! Видит этот сервер

Не чудо. Адрес в днс-кэше пф.

Вырубил 4G модем, убил все правила - пофиг! Каким-то нереальным местом на 127.0.0.1 режется запрос через WAN. Отключил все ограничения на WAN для локальных адресов - толку 0.

Создайте на ЛАН правило, к-ое позволяет ходит в во внутреннюю сеть провайдера (там где живет statserv.sampo.ru) только через определенный gw. Поставьте его в самом верху.
Покажите

Стоп!
Адрес statserv.sampo.ru разрешается у меня (!) в 10.10.225.1. Что недопустимо с точки зрения внешней адресации. Звоните-пишите в ТП провайдера. И большой "привет" тем, что "настраивал" DNS у них.

Зы. На "сладкое" лог общения с девушкой Марией из ТП вашего пров-а:

13:38Доброго времени суток. Есть вопрос. Почему имя statserv.sampo.ru извне (т.е. с любого др. провайдера в мире) разрешается в адрес 10.10.225.1 ?
13:38Можете сами проверить на 2ip.ru
13:39Это что еще за нововведение в мировой практике ? :)

Здравствуйте! http://statserv.sampo.ru внутренний ресурс, доступ из вне на него не возможен.13:39

13:39Мария, покажите это вашей техподдержке, пож-та
13:40Желательно , level2
13:40Боюс, что вы не совсем в курсе о чем идет речь
13:41*боюсь
13:41Огромное спаибо :)

Это домен для внутреннего доступа, поэтому он разрешается во внутренний серый ip адрес13:41

13:42еще раз
13:42повторюсь
13:42он ИЗВНЕ разрешается в серый адрес
13:42ИЗВНЕ
13:42прошу, покажите это вашей ТП
13:43проверьте на любом доступном ресурсе
13:43такого быть не должно вообще
13:44у меня в сети также есть сервер статистики
13:44и его имя во вне не разрешается вообще
13:44как и положено
13:44у вас же он светит В МИР СЕРЫМ адресом

Наши dns сервера общедоступны и там прописан statserv серым адресом13:46

13:47супер
13:47вы первые
13:47в МИРЕ
13:47еще раз
13:47покажите тем, кто вам DNS настраивал

Вы испытываете какие-либо проблемы из-за этого?13:48

13:48имя statserv.sampo.ru должно разрешаться в серый IP ТОЛЬКО ВНТУРИ ВАШЕЙ ЛОКАЛЬНОЙ СЕТИ
13:48я испытваю состояние когнитивного диссонанса
13:49разрешение имен в Инете регламентировано
13:49понимаете?
13:49эти правила всеобщие
13:49не я их придумал и не вам их менять
13:50я даже могут подсказать, где это исправить

Спасибо Вам!13:50

13:51не за что
13:51вы, главное, исправьте
13:51или хотя бы просто передайте вашим "одминам"

PTZ-M · Mar 25, 2018, 11:03 AM

Звоните-пишите в ТП провайдера. И большой "привет" тем, что "настраивал" DNS у них.

Они про это знают лет уже -цать, как-то завязано на IP MAP и отсеканием нежелательных внешних соединений. Проявляется тем, что если у тебя на WAN белый ИП, то в сети этого же провайдера тебя будет принудительно гнать на локалку с серым ИП, соответственно с мира гнать будет на белый ИП. Правда переодически появляется дырка, как они не знают (где-то луп стоит).

Вопрос не в этом, а почему с DIR-300 таких косяков не возникает?! Хоть пиши statserv.sampo.ru, хоть 10.10.255.1 >:(

Кроме этого, если в DNS Forwarder поставить Интерфейсы - Локальная сеть, то Diagnostics - DNS Lookup видит statserv.sampo.ru с ИП 10.10.255.1, но локальной машине по ИП ходит, а имя не разрешается.

werter · Mar 25, 2018, 11:32 AM

Они про это знают лет уже -цать

Этого быть не должно. Вообще. И точка. Есть правила адресации в Сети.

как-то завязано на IP MAP и отсеканием нежелательных внешних соединений.

Бред. Это связано с тем, что на их dns-серверах ns.sampo.ru, ns1.sampo.ru есть A-запись, где statserv.sampo.ru сопоставлен адрес 10.10.255.1. И сервер имен "светит" им в мир.
В мир, Карл!

У меня в городе с десяток провайдеров. И сервера статистики не светят в мир своими внутренними серыми адресами. Ни у одного. Причем имя сервера статистики у них при этом разрешается в нормальный белый IP или не разрешается вовсе. Я вообще такую глупость первый раз вижу :'(

Вопрос не в этом, а почему с DIR-300 таких косяков не возникает?! Хоть пиши statserv.sampo.ru, хоть 10.10.255.1

А что у вас на ДИР-300 два провайдера одновременно заведено как на пф?

Зы. nslookup -q=any statserv.sampo.ru ns.sampo.ru
╤хЁтхЁ: ns.sampo.ru
Address: 217.77.52.252

statserv.sampo.ru internet address = 10.10.255.1
sampo.ru nameserver = ns.sampo.ru
sampo.ru nameserver = ns1.sampo.ru
ns.sampo.ru internet address = 217.77.52.252
ns1.sampo.ru internet address = 217.77.53.237

Или я один вижу слово internet там и серый адрес при этом?

PTZ-M · Mar 25, 2018, 11:19 AM

Создайте на ЛАН правило, к-ое позволяет ходит в во внутреннюю сеть провайдера (там где живет statserv.sampo.ru) только через определенный gw. Поставьте его в самом верху.
Покажите

Во вложении.

А что у вас на ДИР-300 два провайдера одновременно заведено как на пф?

нет, только 1 wan, но логика работы должна разделять гейтвай и днс сервера на пф иначе смысл писать в Система - Основная настройка - Настройки DNS сервера днс под каждый wan?

werter · Mar 25, 2018, 11:49 AM

нет, только 1 wan, но логика работы должна разделять гейтвай и днс сервера на пф иначе смысл писать в Система - Основная настройка - Настройки DNS сервера днс под каждый wan

Вы теплое и мягкое связать пытаетесь. Причем тут gw и dns? Еще раз - на ДИР-300 у вас один ВАН и настройки ДНС в нем не пляшут как при мультиване.

Сбросьте кеш браузера у себя. Сбросьте ДНС-кеш у себя.
Откл. самое нижнее правило.
Поставьте в dst * в самом верхнем правиле. Шлюз в нем не трогайте. Вкл. логирование разрешенных (!) правил fw в настр. пф, "походите" по сайту вашего чудо-провайдера для отслеживания адресации. Там точно не 10.10.255.1 должен быть.

Дело в том, что при переходе на 4Джи имя statserv.sampo.ru также разрешается в 10.10.255.1. Понимаете о чем я? 4Джи - это совершенно др. провайдер, но из-за "одаренности" sampo.ru адрес получается серым независимо от того, кто у вас в кач-ве др. провайдера. Тем более у вашего 4Джи его внутренняя сеть также имеет адресацию 10.0.0.0\8. Вот ведь незадача, да?

PTZ-M · Mar 25, 2018, 12:02 PM

Дело в том, что при переходе на 4Джи имя statserv.sampo.ru также разрешается в 10.10.255.1. Понимаете о чем я? 4Джи - это совершенно др. провайдер, но из-за "одаренности" sampo.ru адрес получается серым независимо от того, кто у вас в кач-ве др. провайдера. Тем более у вашего 4Джи его внутренняя сеть также имеет адресацию 10.0.0.0\8. Вот ведь незадача, да?

Это логично. Но! 4G модем я уже часа 3 как снял. И да даже с этим правилом - имя сервера не доступно.

werter · Mar 25, 2018, 2:45 PM

Я бы после всей котовасии с настройками-перенастройками сбросил бы все в нуль. Почистил кеш браузера у себя и перезагрузился. На пф оставил бы dns resolver, один проблемный интерфейс + откл. блок. серых сетей на ВАН и плясал бы по-новой.

PTZ-M · Mar 26, 2018, 2:59 PM

Не вариант VPN перенастраивать задолбаюсь :'(

С форвардером ПФ сервер видит, но не пингует, локально не видится вообще - магия…

werter · Mar 27, 2018, 7:13 AM

Добрый.
Блокирование серых сетей на ВАН откл?

PTZ-M · Mar 12, 2019, 8:13 AM

Добрый день.

При форвардинге, отчекивание "Блокировать частные сети и адреса лупбека" и "Блокировать богон (bogon) сети" толку не приносит. В Правилах на WAN только правила для NAT и VPN.

UPD в "Статус - Системный Журнал - Система - DNS резолвер" есть интересные записи:

Apr 16 11:32:00	dnsmasq	35785	possible DNS-rebind attack detected: statserv.sampo.ru

где-то что-то такое в настройках есть:
"Система - Расширенные - Доступ Администратора - Проверка DNS Rebind" "Отключить проверку перепривязки DNS" и "Альтернативные имена хостов"…

P.S. Отключить проверку перепривязки DNS" - решило проблему с доступом к серверу статистики оператора :ok_hand