Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    странное поведение firewall на ipsec-gre туннеле

    Scheduled Pinned Locked Moved Russian
    21 Posts 4 Posters 2.5k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • D Offline
      DmitriyKH
      last edited by

      Коллеги, добрый день.
      Помогите разобраться с проблемой:
      pfsense самый свежий (2.2.4-RELEASE (amd64) built on Sat Jul 25 19:57:37 CDT 2015 )
      Поднят gre туннель до второго офиса, с той стороны циска.
      без включенного ipsec шифрования показывает честные 10-11 Мб/с
      поднимаем IPSec шифрование между концами туннеля- производительность уменьшается до 6Мб/с (ну это бы и буй с ним)
      Но наблюдаются странные затыки при передачи больших файлов

      Примерно через каждые 200Мбайт скорость падает до 0 на несколько секунд (10-15 примерно), затем копирование продолжается на скорости 6Мб/с

      Единственный параметр который влияет на эту картину-System-Advanced-Firewall- Firewall Optimization Options при выборе conservative куски на максимальной скорости становятся в 2 раза длиннее (примерно 400Мб)
      отключение Firewall там же в адвансед настройках также выравнивает график- никаких провалов

      буду рад любым советам (разумным)
      В скриншотах 192.168.229.0/24- локальная сеть 192.168.223.0/24- удаленная сеть

      Добавлю:
      IPSec advanced settings- MSS clamping установлен в 1250 (и при 1300 и при 1350)- проблему не устранило

      ![GRE tunnel performance WITHOUT IPSec.png](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png)
      ![GRE tunnel performance WITHOUT IPSec.png_thumb](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png_thumb)
      ![GRE-IPSec_Firewall Optimization Options-normal.png](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-normal.png)
      ![GRE-IPSec_Firewall Optimization Options-normal.png_thumb](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-normal.png_thumb)
      ![GRE-IPSec_Firewall Optimization Options-conservative.png](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-conservative.png)
      ![GRE-IPSec_Firewall Optimization Options-conservative.png_thumb](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-conservative.png_thumb)
      ![Firewall-Rules-Floating-all quick.png](/public/imported_attachments/1/Firewall-Rules-Floating-all quick.png)
      ![Firewall-Rules-Floating-all quick.png_thumb](/public/imported_attachments/1/Firewall-Rules-Floating-all quick.png_thumb)
      Firewall-Rules-IPSec.png
      Firewall-Rules-IPSec.png_thumb
      Firewall-Rules-LAN.png
      Firewall-Rules-LAN.png_thumb
      Firewall-Rules-OPT1.png
      Firewall-Rules-OPT1.png_thumb
      Firewall-Rules-WAN.png
      Firewall-Rules-WAN.png_thumb

      1 Reply Last reply Reply Quote 0
      • werterW Offline
        werter
        last edited by

        Что в логах при этом ? Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?

        1 Reply Last reply Reply Quote 0
        • D Offline
          DmitriyKH
          last edited by

          @werter:

          Что в логах при этом ?

          Для чистоты эксперимента:
          перезагрузил pfsense, почистил логи ipsec. Начал копирование файла на 5 Гб
          после передачи 2,5Гб:
          наблюдалось как минимум 6 падений скорости до 0 с продолжением процесса

          При этом в логах IPSec тишина

          статус IPSec показывает красивую картинку- соответствует объему прокачанного трафика

          Firewall лог- только мусор на внешнем интерфейсе (по 137 UDP)
          какие еще логи нужны?
          @werter:

          Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?

          Cisco IOS Software, C1900 Software (C1900-UNIVERSALK9-M), Version 15.5(1)T, RELEASE SOFTWARE (fc2)
          подозреваю что последняя, вроде бы новей не выходило пока

          Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение

          ![System Logs- IPSec.png_thumb](/public/imported_attachments/1/System Logs- IPSec.png_thumb)
          ![Status IPSec.png](/public/imported_attachments/1/Status IPSec.png)
          ![Status IPSec.png_thumb](/public/imported_attachments/1/Status IPSec.png_thumb)
          ![System Logs- IPSec.png](/public/imported_attachments/1/System Logs- IPSec.png)

          1 Reply Last reply Reply Quote 0
          • G Offline
            gmn
            last edited by

            Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение

            Просто к слову …
            У меня с pfsense 2.2.4 прекрасно работают туннели с Cisco, CheckPoint.
            В разных комбинациях шифрования - AES (256 bits) + SHA1, 3DES + MD5 ...

            По сути вопроса не подскажу. Не было такой проблемы.
            По крайней мере работает несколько десятков ipsec-туннелей и жалоб небыло.

            1 Reply Last reply Reply Quote 0
            • G Offline
              gmn
              last edited by

              И еще по сути вопроса.
              А не буфера ли винды виноваты в этом?
              Например, как в Total Commander копирование файла на флешку - сначала скорость большая, потом замирает, потом медленно …

              Попробуйте погонять объемы трафика, например, через тот же iperf (под винду тоже есть).

              1 Reply Last reply Reply Quote 0
              • D Offline
                DmitriyKH
                last edited by

                @gmn:

                И еще по сути вопроса.
                А не буфера ли винды виноваты в этом?

                В первом посте есть картинка- где видно как ведет себя копирования файла без ipsec по тому же туннелю между теми же серверами
                Прям вот самая верхняя, так и подписана- GRE tunnel performance WITHOUT IPSec.png это результат передачи файла 1,7 Гб
                Так что тут проблема не в win

                ![GRE tunnel performance WITHOUT IPSec.png](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png)
                ![GRE tunnel performance WITHOUT IPSec.png_thumb](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png_thumb)

                1 Reply Last reply Reply Quote 0
                • G Offline
                  gmn
                  last edited by

                  Провел тест.
                  Две виртуальных сети на свичах vmware.
                  Объединены через ipsec-туннель между FreeBSD и pfsense.
                  На FreeBSD работает altq и полоса лимитирована в 10 Мбит/с - это ответ на будущий вопрос "почему скорость такая маленькая".
                  Со стороны FreeBSD в локалке Windows Server 2008. С этого хоста качается файл размером 1,1 Гбайт.
                  В другой стороны туннеля за pfsense Windows XP.
                  Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.
                  traf2.jpg - это отдача файла с Server 2012R2 на хост с WinXP в другой сети через ipsec-туннель.
                  ipsec.jpg - параметры второй фазы туннеля.

                  traf.JPG
                  traf.JPG_thumb
                  traf2.JPG
                  traf2.JPG_thumb
                  ipsec.JPG
                  ipsec.JPG_thumb

                  1 Reply Last reply Reply Quote 0
                  • D Offline
                    DmitriyKH
                    last edited by

                    @gmn:

                    Провел тест.
                    Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.

                    Уточните пожалуйста, IPSec в режиме каком настроен, тунель или транспорт? gif интерфейс используется?

                    Ну и какбэ я не сомневаюсь что работать должно нормально, я именно поэтому и прошу помощи- чтобы понять где misconfiguration случился

                    1 Reply Last reply Reply Quote 0
                    • G Offline
                      gmn
                      last edited by

                      type=tunnel
                      gif-ов нет.
                      Используется с обоих сторон strongswan (на pfsense тоже strongswan).

                      1 Reply Last reply Reply Quote 0
                      • D Offline
                        DmitriyKH
                        last edited by

                        @gmn:

                        type=tunnel
                        gif-ов нет.

                        Я так и думал
                        Ну то есть вы задали вопрос, ответ на который содержался в стартовом топике
                        Потом смоделировали ситуацию, которая ничуть не похожа на мою (за исключением слов pfsense и ipsec). И подтвердили очевидный вроде бы факт: в стандартной конфигурации все работает.
                        Из уважения к потраченному времени можете намекнуть, как ваши действия могут помочь решить мою проблему?

                        1 Reply Last reply Reply Quote 0
                        • G Offline
                          gmn
                          last edited by

                          ок.
                          А зачем вам там gif, если вы всеравно поднимаете ipsec?

                          1 Reply Last reply Reply Quote 0
                          • D Offline
                            DmitriyKH
                            last edited by

                            у меня со стороны Циски развернута DMVPN сеть с переменным количеством офисов. (сейчас штук 15)
                            И для каждого сеть за pfsense доступна должна быть- мне проще всем раздавать маршрут до нее и поднять OSPF какой нибудь, чем ручками редактировать параметры туннеля (а на циске тоже прийдется тогда access list править при появлении нового офиса)
                            А чтоб маршрутизация работала- надо какой- то интерфейс отдельный, то есть gif

                            1 Reply Last reply Reply Quote 0
                            • G Offline
                              gmn
                              last edited by

                              Ясно.
                              Схемка сложнее …
                              Тогда сходу ничего подсказать не смогу.
                              И моделировать тоже нет желания :)

                              1 Reply Last reply Reply Quote 0
                              • R Offline
                                rubic
                                last edited by

                                Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?

                                1 Reply Last reply Reply Quote 0
                                • D Offline
                                  DmitriyKH
                                  last edited by

                                  @rubic:

                                  Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?

                                  Я в том же направлении начал копать, но увы- в скриншотах видно что и states и MBUF и memory хватает

                                  SysInfo-6Mb.png
                                  SysInfo-6Mb.png_thumb
                                  SysInfo-0b.png
                                  SysInfo-0b.png_thumb

                                  1 Reply Last reply Reply Quote 0
                                  • R Offline
                                    rubic
                                    last edited by

                                    https://forum.pfsense.org/index.php?topic=98308.0

                                    Вот кто-то тему открыл в англ. разделе. Посмотрите, что ему ответят. А можете и свои скрины туда запостить, там быстрее ответят.

                                    1 Reply Last reply Reply Quote 0
                                    • G Offline
                                      gmn
                                      last edited by

                                      Интересно стало, захотел повторить :)
                                      Сделал схему на подобии вашей, только на другой стороне туннеля FreeBSD, не Cisco.
                                      В итоге с одной стороны сеть со шлюзом на FreeBSD, с другой - сеть со шлюзом на pfsense.
                                      Между шлюзами поднят gre-туннель.
                                      Между сетями поднят IPsec (поверх gre).
                                      Копирую файл 800 Мб (скорость лимитирована altq до 10 Мбит/с) - замираний, задержек небыло.
                                      Все это на виртуалках под wmvare esxi в пределах одного физического хоста (Cisco UCS).

                                      1 Reply Last reply Reply Quote 0
                                      • D Offline
                                        DmitriyKH
                                        last edited by

                                        Вот ведь времени у людей, завидую :)
                                        ограничение 100Мбит поставь (у меня столько), и желательно не средства pfsense-для чистоты эксперимента
                                        ну и если затыков не будет- прошу тогда те же параметры ipsec  поставить

                                        1 Reply Last reply Reply Quote 0
                                        • G Offline
                                          gmn
                                          last edited by

                                          Времени - иногда бывает :)

                                          На pfsense лимита скорости нет.
                                          Есть на другой стороне на FreeBSD.
                                          Не думаю, что шейпер "исправляет" ситуацию …

                                          прошу тогда те же параметры ipsec  поставить

                                          • вот это не понял …
                                            Параметры ipsec:
                                          AES_CBC:256
HMAC_SHA1_96:0
PRF_HMAC_SHA1
MODP_1024

                                          Городить такую схему с Cisco на другой стороне - вот на это уже времени нет :(

                                          1 Reply Last reply Reply Quote 0
                                          • D Offline
                                            DmitriyKH
                                            last edited by

                                            ну тогда поставить на шейкере с той стороны 100Мб
                                            по поводу параметров- 3DES+MD5

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.