странное поведение firewall на ipsec-gre туннеле
-
Коллеги, добрый день.
Помогите разобраться с проблемой:
pfsense самый свежий (2.2.4-RELEASE (amd64) built on Sat Jul 25 19:57:37 CDT 2015 )
Поднят gre туннель до второго офиса, с той стороны циска.
без включенного ipsec шифрования показывает честные 10-11 Мб/с
поднимаем IPSec шифрование между концами туннеля- производительность уменьшается до 6Мб/с (ну это бы и буй с ним)
Но наблюдаются странные затыки при передачи больших файловПримерно через каждые 200Мбайт скорость падает до 0 на несколько секунд (10-15 примерно), затем копирование продолжается на скорости 6Мб/с
Единственный параметр который влияет на эту картину-System-Advanced-Firewall- Firewall Optimization Options при выборе conservative куски на максимальной скорости становятся в 2 раза длиннее (примерно 400Мб)
отключение Firewall там же в адвансед настройках также выравнивает график- никаких проваловбуду рад любым советам (разумным)
В скриншотах 192.168.229.0/24- локальная сеть 192.168.223.0/24- удаленная сетьДобавлю:
IPSec advanced settings- MSS clamping установлен в 1250 (и при 1300 и при 1350)- проблему не устранило![GRE tunnel performance WITHOUT IPSec.png](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png)
![GRE tunnel performance WITHOUT IPSec.png_thumb](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png_thumb)
![GRE-IPSec_Firewall Optimization Options-normal.png](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-normal.png)
![GRE-IPSec_Firewall Optimization Options-normal.png_thumb](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-normal.png_thumb)
![GRE-IPSec_Firewall Optimization Options-conservative.png](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-conservative.png)
![GRE-IPSec_Firewall Optimization Options-conservative.png_thumb](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-conservative.png_thumb)
![Firewall-Rules-Floating-all quick.png](/public/imported_attachments/1/Firewall-Rules-Floating-all quick.png)
![Firewall-Rules-Floating-all quick.png_thumb](/public/imported_attachments/1/Firewall-Rules-Floating-all quick.png_thumb)
-
Что в логах при этом ? Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?
-
Что в логах при этом ?
Для чистоты эксперимента:
перезагрузил pfsense, почистил логи ipsec. Начал копирование файла на 5 Гб
после передачи 2,5Гб:
наблюдалось как минимум 6 падений скорости до 0 с продолжением процессаПри этом в логах IPSec тишина
статус IPSec показывает красивую картинку- соответствует объему прокачанного трафика
Firewall лог- только мусор на внешнем интерфейсе (по 137 UDP)
какие еще логи нужны?
@werter:Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?
Cisco IOS Software, C1900 Software (C1900-UNIVERSALK9-M), Version 15.5(1)T, RELEASE SOFTWARE (fc2)
подозреваю что последняя, вроде бы новей не выходило покаАлгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение
![System Logs- IPSec.png_thumb](/public/imported_attachments/1/System Logs- IPSec.png_thumb)
![Status IPSec.png](/public/imported_attachments/1/Status IPSec.png)
![Status IPSec.png_thumb](/public/imported_attachments/1/Status IPSec.png_thumb)
![System Logs- IPSec.png](/public/imported_attachments/1/System Logs- IPSec.png) -
Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение
Просто к слову …
У меня с pfsense 2.2.4 прекрасно работают туннели с Cisco, CheckPoint.
В разных комбинациях шифрования - AES (256 bits) + SHA1, 3DES + MD5 ...По сути вопроса не подскажу. Не было такой проблемы.
По крайней мере работает несколько десятков ipsec-туннелей и жалоб небыло. -
И еще по сути вопроса.
А не буфера ли винды виноваты в этом?
Например, как в Total Commander копирование файла на флешку - сначала скорость большая, потом замирает, потом медленно …Попробуйте погонять объемы трафика, например, через тот же iperf (под винду тоже есть).
-
@gmn:
И еще по сути вопроса.
А не буфера ли винды виноваты в этом?В первом посте есть картинка- где видно как ведет себя копирования файла без ipsec по тому же туннелю между теми же серверами
Прям вот самая верхняя, так и подписана- GRE tunnel performance WITHOUT IPSec.png это результат передачи файла 1,7 Гб
Так что тут проблема не в win![GRE tunnel performance WITHOUT IPSec.png](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png)
![GRE tunnel performance WITHOUT IPSec.png_thumb](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png_thumb) -
Провел тест.
Две виртуальных сети на свичах vmware.
Объединены через ipsec-туннель между FreeBSD и pfsense.
На FreeBSD работает altq и полоса лимитирована в 10 Мбит/с - это ответ на будущий вопрос "почему скорость такая маленькая".
Со стороны FreeBSD в локалке Windows Server 2008. С этого хоста качается файл размером 1,1 Гбайт.
В другой стороны туннеля за pfsense Windows XP.
Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.
traf2.jpg - это отдача файла с Server 2012R2 на хост с WinXP в другой сети через ipsec-туннель.
ipsec.jpg - параметры второй фазы туннеля.
-
@gmn:
Провел тест.
Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.Уточните пожалуйста, IPSec в режиме каком настроен, тунель или транспорт? gif интерфейс используется?
Ну и какбэ я не сомневаюсь что работать должно нормально, я именно поэтому и прошу помощи- чтобы понять где misconfiguration случился
-
type=tunnel
gif-ов нет.
Используется с обоих сторон strongswan (на pfsense тоже strongswan). -
@gmn:
type=tunnel
gif-ов нет.Я так и думал
Ну то есть вы задали вопрос, ответ на который содержался в стартовом топике
Потом смоделировали ситуацию, которая ничуть не похожа на мою (за исключением слов pfsense и ipsec). И подтвердили очевидный вроде бы факт: в стандартной конфигурации все работает.
Из уважения к потраченному времени можете намекнуть, как ваши действия могут помочь решить мою проблему? -
ок.
А зачем вам там gif, если вы всеравно поднимаете ipsec? -
у меня со стороны Циски развернута DMVPN сеть с переменным количеством офисов. (сейчас штук 15)
И для каждого сеть за pfsense доступна должна быть- мне проще всем раздавать маршрут до нее и поднять OSPF какой нибудь, чем ручками редактировать параметры туннеля (а на циске тоже прийдется тогда access list править при появлении нового офиса)
А чтоб маршрутизация работала- надо какой- то интерфейс отдельный, то есть gif -
Ясно.
Схемка сложнее …
Тогда сходу ничего подсказать не смогу.
И моделировать тоже нет желания :) -
Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?
-
Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?
Я в том же направлении начал копать, но увы- в скриншотах видно что и states и MBUF и memory хватает
-
https://forum.pfsense.org/index.php?topic=98308.0
Вот кто-то тему открыл в англ. разделе. Посмотрите, что ему ответят. А можете и свои скрины туда запостить, там быстрее ответят.
-
Интересно стало, захотел повторить :)
Сделал схему на подобии вашей, только на другой стороне туннеля FreeBSD, не Cisco.
В итоге с одной стороны сеть со шлюзом на FreeBSD, с другой - сеть со шлюзом на pfsense.
Между шлюзами поднят gre-туннель.
Между сетями поднят IPsec (поверх gre).
Копирую файл 800 Мб (скорость лимитирована altq до 10 Мбит/с) - замираний, задержек небыло.
Все это на виртуалках под wmvare esxi в пределах одного физического хоста (Cisco UCS). -
Вот ведь времени у людей, завидую :)
ограничение 100Мбит поставь (у меня столько), и желательно не средства pfsense-для чистоты эксперимента
ну и если затыков не будет- прошу тогда те же параметры ipsec поставить -
Времени - иногда бывает :)
На pfsense лимита скорости нет.
Есть на другой стороне на FreeBSD.
Не думаю, что шейпер "исправляет" ситуацию …прошу тогда те же параметры ipsec поставить
- вот это не понял …
Параметры ipsec:
AES_CBC:256 HMAC_SHA1_96:0 PRF_HMAC_SHA1 MODP_1024
Городить такую схему с Cisco на другой стороне - вот на это уже времени нет :(
- вот это не понял …
-
ну тогда поставить на шейкере с той стороны 100Мб
по поводу параметров- 3DES+MD5