Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Gateway Monitoring при Multi-WAN

    Scheduled Pinned Locked Moved Russian
    42 Posts 5 Posters 3.4k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • werterW
      werter @nockdown
      last edited by werter

      Добрый.
      @nockdown

      1-й же скрин (General setup) - настройки ДНС.
      У вас по 2 днс на каждый линк - это правильно. Но надо по два РАЗНЫХ днс на каждый линк, т.е. всего 4 НЕПОВТОРЯЮЩИХСЯ ip для ваших 2-х ВАНов.
      И НЕ провайдерские ДНС как у вас на скрине.

      Пример.
      ВАН1 - ДНС 8.8.8.8, 8.8.4.4, ВАН2 - ДНС 1.1.1.1, 1.0.0.1
      Любые приличные на ваш выбор, но ВСЕ разные. Приличные - google dns, opendns etc. Можно и dnssec пользовать.

      У вас один из ВАН - это wi-fi-линк? Не самое стабильное решение. Может в этом проблема?

      Зы. Если ipv6 вам не нужен, то откл его. Иначе прийдется правила Fw и для него рисовать.

      Зы2. Цепляйте скрины прямо здесь. Не надо их на сторонние ресурсы выкладывать.

      2021-06-06 09_57_07-.png

      nockdownN 1 Reply Last reply Reply Quote 0
      • nockdownN
        nockdown @werter
        last edited by

        @werter , спасибо!
        Поменял настройки System - General Setup - DNS Server Settings
        Screenshot_20210606_225639.png
        "Можно и dnssec пользовать."
        Если я правильно понимаю, то DNSSEC только для DNS Resolver, у которого проблемы с Multi-WAN. Я использую DNS Forwarder, который полностью совместим с Multi-WAN.
        DNS Resolver and Multi-WAN
        With the default settings, the DNS Resolver will have issues in a Multi-WAN environment. The main issue is that the DNS Resolver wants to query the root DNS servers directly. These queries will only be sent out using the default gateway. If the WAN containing the default gateway fails then DNS queries will also likely fail. There are ways to work around this limitation, however:

        1. Forwarding Mode
          Enable DNS Query Forwarding and configure at least one DNS server per WAN gateway under System > General Setup. DNSSEC may also need to be disabled, depending on upstream DNS server support.
        2. Default Gateway Switching
          Enable Default Gateway Switching under System > Advanced, Miscellaneous tab. This will move the default gateway to the next available gateway if the preferred default fails. However, this option is still considered experimental and may have problems in certain cases.

        DNS Forwarder and Multi-WAN
        The DNS Forwarder is fully compatible with Multi-WAN. Configure at least one DNS server per WAN gateway under System > General Setup.

        "У вас один из ВАН - это wi-fi-линк? Не самое стабильное решение. Может в этом проблема?"
        Нет, оба WANа по проводу по меди - WAN0 300Мбит/с и WAN1 200Мбит/с.

        "Зы. Если ipv6 вам не нужен, то откл его. Иначе прийдется правила Fw и для него рисовать."
        К сожалению, не знаю такой опции. У меня такие настройки, надеюсь, этого достаточно:
        Screenshot_20210606_233201.png
        Screenshot_20210606_233247.png
        Screenshot_20210606_233357.png

        werterW 1 Reply Last reply Reply Quote 0
        • werterW
          werter @nockdown
          last edited by werter

          @nockdown said in Gateway Monitoring при Multi-WAN:

          Я использую DNS Forwarder, который полностью совместим с Multi-WAN.

          У DNS Forwarder НЕТ проблем с мультиВАНом при правильной настройке.
          Сами же и процитировали КАК его настроить:

          There are ways to work around this limitation, however:

          DNS Forwarder испол-ся по умолчанию самими разработчиками пф.

          Выкл. Форвардер, вкл. Резольвер. Нет у него проблем с неск-ми ВАНами.
          Подтверждено собственным опытом и 20+ установками пф за 1.5 года )

          nockdownN 1 Reply Last reply Reply Quote 0
          • nockdownN
            nockdown @werter
            last edited by

            @werter , спасибо за рекомендации.

            1. Я не думаю, что выбор DNS Resolver или DNS Forwarder может повлиять на мониторинг состояния соединения по WAN1 с помощью Gateway Monitoring.
            2. Ранее длительно время на данном pfSense я уже использовал DNS Resolver, падения WAN1 случались не реже.
            3. "У DNS Forwarder НЕТ проблем с мультиВАНом при правильной настройке." - Тут, я так понимаю, вы описались и имели в виду DNS Resolver.
            4. А вы каким из 2 способов обходите проблемы для DNS Resolver при Multi-WAN? Forwarding Mode или Default Gateway Switching?
            werterW 1 Reply Last reply Reply Quote 0
            • werterW
              werter @nockdown
              last edited by werter

              @nockdown

              1. Вероятно, вы правы. Но это как мыть или не мыть руки. Лучше мыть.
              2. Ок
              3. Верно. Резольвер, конечно.
              4. Галка на Forwarding Mode.

              Может сетевую\патчкорд сменить?
              Или Шейпер настроить на проблемном линке с высоким приоритетом для ICMP? Только скорость указывайте для Трубы РЕАЛЬНУЮ - не 100500 Терабит\с ) Берите 80-90%% от РЕАЛЬНОЙ.

              G 1 Reply Last reply Reply Quote 0
              • G
                GarryTom @werter
                last edited by

                @werter
                У меня такая же проблема, постоянно отваливается один Gate в MultiWAN (WAN+OPT1+OPT2).
                Снимок-gate.JPG
                Ошибок в статусе интерфейса - 0, многодневный PING по этому интерфейсу - без потерь, IP для мониторинга менял. Такое поведение появилось в последних версиях 2.4, до этого не было.
                Самое интересное: если сократить число внешних интерфейсов с 3 до 2 или даже до 1 (оставить только OPT1), то проблемный Gate работает как часы. Не меняя никаких других настроек.
                Такое впечатление, что монитор начинает путаться в интерфейсах при их количестве больше 2.

                nockdownN werterW 2 Replies Last reply Reply Quote 0
                • nockdownN
                  nockdown @GarryTom
                  last edited by

                  @garrytom ,

                  "Такое впечатление, что монитор начинает путаться в интерфейсах при их количестве больше 2." - У меня как раз всего два WAN. Не 3 (WAN+OPT1+OPT2) как у вас.

                  Провайдер предложил сменить подключение с DHCP на PPPoE. После этого Uptime проблемного интерфейса 6d 19:35:38, потери пакетов (packet loss) укладываются в дефолтные настройки Gateway Monitoring, проблемный WAN1 ни разу не исключается из группы Load Balancing. Наблюдаю, предварительно напрашивается вывод, что проблема была на стороне провайдера.

                  Насколько я понимаю, при смене DHCP на PPPoE скорость чуть ниже в теории, так как при PPPoE - больший размер служебных заголовков, как следствие, меньше полезной нагрузки можно передать. Хотя speedtest в норме.

                  werterW 1 Reply Last reply Reply Quote 0
                  • werterW
                    werter @nockdown
                    last edited by

                    @nockdown

                    https://ru.wikipedia.org/wiki/DHCP - прикладной протокол (7-й уровень модели OSI)
                    pppoe - канальный (2-й уровень)

                    Нет там потерь. Может 0-целых и хрен-десятых )

                    Сам активно пользую https://linkmeup.ru/blog/11.html

                    1 Reply Last reply Reply Quote 1
                    • werterW
                      werter @GarryTom
                      last edited by werter

                      @garrytom
                      Вы там чего мониторите-то? Зачем замазали?
                      Не мониторьте ШЛЮЗ провайдера.

                      Зы. Ого! Это ж кто сейчас pptp пользует? Что ж за провайдер такой?

                      G 1 Reply Last reply Reply Quote 0
                      • G
                        GarryTom @werter
                        last edited by

                        @nockdown
                        То, что у вас линк изменился на PPPoE, принципиально изменило вашу конфигурацию. Не думаю, что у провайдера глюки при разных видах соединения, ну если, конечно, уровень этого провайдера не ниже плинтуса. А вот на вашей стороне другие драйверы, другие механизмы. Ну и мои эксперименты с простым уменьшением числа интерфейсов и "волшебном" восстановлении проблемного гейта наводят на мысль, что ошибка где-то в pfsense.

                        @werter
                        Там общедоступные Яндексовские сервера. pptp - это не провайдер, это линк в одну очень старую сеть, другого там нет.

                        nockdownN 1 Reply Last reply Reply Quote 1
                        • nockdownN
                          nockdown @GarryTom
                          last edited by

                          @garrytom , как вы думаете, а если я:

                          1. верну проблемного провайдера на DHCP,
                          2. физически переподключу кабеля провайдеров в pfsense. Сейчас igb0 - WAN0, igb1 - WAN1, а подключу igb0 - WAN1, igb1 - WAN0. Даже MAC Address для Interfaces подменять не буду. То если предполагать, что "ошибка где-то в pfsense", то проблемным должен стать другой провайдер (вместо WAN1, WAN0)? Ведь WAN0 и WAN1 ничем не отличаются в настройках моего pfsense друг от друга кроме Network port и Monitor IP. А для Monitor IP для WAN1 я перепробовал уже и DNS провайдера, и общедоступные узлы - DNS от Яндекса, Google, OpenDNS, Cloudflare, это никак не влияет на потерю пакетов (packet loss).
                          G 1 Reply Last reply Reply Quote 0
                          • G
                            GarryTom @nockdown
                            last edited by

                            @nockdown
                            Нет, не должен, хотя и не возможен. 50/50. В сложных системах, которой, безусловно, является pfsense, не все зависимости настроек линейны.
                            Я, к сожалению, не могу повторить ваш эксперимент и просто переткнуть кабель в сетевухах: привязка к провайдеру идет по мак-адресу, а его смена - целое мероприятие.
                            Да, настройки WAN0 и WAN1 не отличаются. Но отличаются сами линии (те же RTT и RTTsd, соответственно реакция монитора на это), отличаются Tier, вес интерфейса и порядок следования. У нас уравнение с несколькими переменными и разными коэффициентами перед ними. :)
                            Про IP монитора согласен - никак не влияет.

                            Ого! Сейчас посмотрел в монитор. После сегодняшних манипуляций с настройками, которые рекомендуют в этой теме, ошиба переползла на OPT2. И при чем тут провайдер?
                            Снимок-gate.JPG
                            Мне кажется, или ошибка опять на следующем после Default гейте?

                            nockdownN 1 Reply Last reply Reply Quote 0
                            • nockdownN
                              nockdown @GarryTom
                              last edited by

                              @garrytom ,
                              "привязка к провайдеру идет по мак-адресу" - у меня тоже, но я готов это стойко перенести ради эксперимента.
                              "Мне кажется, или ошибка опять на следующем после Default гейте?" - У меня проблемный Gateway сейчас (Uptime: 7d 00:08:14) - default. За это время на втором Gateway (WAN0) потери пакетов (packet loss) укладываются в дефолтные настройки Gateway Monitoring, и этот не проблемный WAN0 ни разу не исключается из группы Load Balancing.
                              До этого: 1) мой проблемный Gateway не был default, 2) подключение было по DHCP, а не PPPoE.
                              Screenshot_20210612_235410.png

                              G 1 Reply Last reply Reply Quote 0
                              • G
                                GarryTom @nockdown
                                last edited by

                                @nockdown
                                А вот еще один факт в копилку моей уверенности, что проблема в pfsense. Обычно в сутки я получаю 50-100 уведомлений о выпадении/включении гейта. Чуть меньше суток назад, после моих экспериментов с настройками (в итоге я вернул старые настройки), OPT1 стал шлюзом по умолчанию. И с тех пор ни одного падения этого гейта. Был по OPT2, но по OPT1 - ни разу! Изменился режим работы pfsense и - вуаля! - гейт работает как часы.
                                Снимок-gate.JPG

                                G nockdownN 2 Replies Last reply Reply Quote 0
                                • G
                                  GarryTom @GarryTom
                                  last edited by

                                  @werter

                                  линк в одну очень старую сеть, другого там нет.

                                  Точнее, там есть еще L2TP, но мне так и не удалось настроить его в pfsense, вероятно, он реализован с ошибками.

                                  werterW 1 Reply Last reply Reply Quote 0
                                  • werterW
                                    werter @GarryTom
                                    last edited by

                                    @garrytom
                                    Скорее всего на том конце л2тп-сервер кривой. Напр, БЕЗ ipsec.

                                    1 Reply Last reply Reply Quote 0
                                    • nockdownN
                                      nockdown @GarryTom
                                      last edited by

                                      @garrytom , а я вот решил ещё дня 3 подождать, а потом на пробу сделать проблемный WAN1 НЕ default. И посмотреть будет ли корреляция падений интерфейса с default / не default.

                                      G 1 Reply Last reply Reply Quote 0
                                      • G
                                        GarryTom @nockdown
                                        last edited by

                                        @nockdown
                                        По истечении суток не было ни одного падения OPT1, когда он default. Вернул WAN на default, сразу посыпались ошибки на OPT1.

                                        S nockdownN 2 Replies Last reply Reply Quote 2
                                        • S
                                          sirota @GarryTom
                                          last edited by sirota

                                          @garrytom А по остальным интерфейсам сыпет тогда ошибка? А если поставить auto? Просто у меня была проблема подобная, но у меня проблема в провайдере оказалась. pppoe рвался каждый час как по заказу. Оказывается это только то что я видел, сам линк провайдер сказал падал еще чаще, просто на столь не продолжительное время что укладывался в лимит падения чтобы pppoe "не заметил" этого.

                                          1 Reply Last reply Reply Quote 0
                                          • nockdownN
                                            nockdown @GarryTom
                                            last edited by

                                            @garrytom , лично я не заметил связи между падением своего проблемного интерфейса WAN1 с default / не default. Зато точно стало лучше после перехода с DHCP на PPPoE, за 21 сутки лишь 1 раз потери пакетов (packet loss) вышли за дефолтные настройки Gateway Monitoring, и лишь на 1 минуту. Мне вот интересно, почему у данного провайдера DHCP хуже PPPoE работает.

                                            wan1.jpg wan1_2.jpg wan0.jpg wan0_2.jpg

                                            S 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.