странное поведение firewall на ipsec-gre туннеле

DmitriyKH

Коллеги, добрый день.
Помогите разобраться с проблемой:
pfsense самый свежий (2.2.4-RELEASE (amd64) built on Sat Jul 25 19:57:37 CDT 2015 )
Поднят gre туннель до второго офиса, с той стороны циска.
без включенного ipsec шифрования показывает честные 10-11 Мб/с
поднимаем IPSec шифрование между концами туннеля- производительность уменьшается до 6Мб/с (ну это бы и буй с ним)
Но наблюдаются странные затыки при передачи больших файлов

Примерно через каждые 200Мбайт скорость падает до 0 на несколько секунд (10-15 примерно), затем копирование продолжается на скорости 6Мб/с

Единственный параметр который влияет на эту картину-System-Advanced-Firewall- Firewall Optimization Options при выборе conservative куски на максимальной скорости становятся в 2 раза длиннее (примерно 400Мб)
отключение Firewall там же в адвансед настройках также выравнивает график- никаких провалов

буду рад любым советам (разумным)
В скриншотах 192.168.229.0/24- локальная сеть 192.168.223.0/24- удаленная сеть

Добавлю:
IPSec advanced settings- MSS clamping установлен в 1250 (и при 1300 и при 1350)- проблему не устранило

![GRE tunnel performance WITHOUT IPSec.png](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png)
![GRE tunnel performance WITHOUT IPSec.png_thumb](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png_thumb)
![GRE-IPSec_Firewall Optimization Options-normal.png](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-normal.png)
![GRE-IPSec_Firewall Optimization Options-normal.png_thumb](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-normal.png_thumb)
![GRE-IPSec_Firewall Optimization Options-conservative.png](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-conservative.png)
![GRE-IPSec_Firewall Optimization Options-conservative.png_thumb](/public/imported_attachments/1/GRE-IPSec_Firewall Optimization Options-conservative.png_thumb)
![Firewall-Rules-Floating-all quick.png](/public/imported_attachments/1/Firewall-Rules-Floating-all quick.png)
![Firewall-Rules-Floating-all quick.png_thumb](/public/imported_attachments/1/Firewall-Rules-Floating-all quick.png_thumb)

Firewall-Rules-IPSec.png_thumb

Firewall-Rules-LAN.png_thumb

Firewall-Rules-OPT1.png_thumb

Firewall-Rules-WAN.png_thumb

werter

Что в логах при этом ? Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?

DmitriyKH

@werter:

Что в логах при этом ?

Для чистоты эксперимента:
перезагрузил pfsense, почистил логи ipsec. Начал копирование файла на 5 Гб
после передачи 2,5Гб:
наблюдалось как минимум 6 падений скорости до 0 с продолжением процесса

При этом в логах IPSec тишина

статус IPSec показывает красивую картинку- соответствует объему прокачанного трафика

Firewall лог- только мусор на внешнем интерфейсе (по 137 UDP)
какие еще логи нужны?
@werter:

Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?

Cisco IOS Software, C1900 Software (C1900-UNIVERSALK9-M), Version 15.5(1)T, RELEASE SOFTWARE (fc2)
подозреваю что последняя, вроде бы новей не выходило пока

Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение

![System Logs- IPSec.png_thumb](/public/imported_attachments/1/System Logs- IPSec.png_thumb)
![Status IPSec.png](/public/imported_attachments/1/Status IPSec.png)
![Status IPSec.png_thumb](/public/imported_attachments/1/Status IPSec.png_thumb)
![System Logs- IPSec.png](/public/imported_attachments/1/System Logs- IPSec.png)

gmn

Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение

Просто к слову …
У меня с pfsense 2.2.4 прекрасно работают туннели с Cisco, CheckPoint.
В разных комбинациях шифрования - AES (256 bits) + SHA1, 3DES + MD5 ...

По сути вопроса не подскажу. Не было такой проблемы.
По крайней мере работает несколько десятков ipsec-туннелей и жалоб небыло.

gmn

И еще по сути вопроса.
А не буфера ли винды виноваты в этом?
Например, как в Total Commander копирование файла на флешку - сначала скорость большая, потом замирает, потом медленно …

Попробуйте погонять объемы трафика, например, через тот же iperf (под винду тоже есть).

DmitriyKH

@gmn:

И еще по сути вопроса.
А не буфера ли винды виноваты в этом?

В первом посте есть картинка- где видно как ведет себя копирования файла без ipsec по тому же туннелю между теми же серверами
Прям вот самая верхняя, так и подписана- GRE tunnel performance WITHOUT IPSec.png это результат передачи файла 1,7 Гб
Так что тут проблема не в win

![GRE tunnel performance WITHOUT IPSec.png](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png)
![GRE tunnel performance WITHOUT IPSec.png_thumb](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png_thumb)

gmn

Провел тест.
Две виртуальных сети на свичах vmware.
Объединены через ipsec-туннель между FreeBSD и pfsense.
На FreeBSD работает altq и полоса лимитирована в 10 Мбит/с - это ответ на будущий вопрос "почему скорость такая маленькая".
Со стороны FreeBSD в локалке Windows Server 2008. С этого хоста качается файл размером 1,1 Гбайт.
В другой стороны туннеля за pfsense Windows XP.
Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.
traf2.jpg - это отдача файла с Server 2012R2 на хост с WinXP в другой сети через ipsec-туннель.
ipsec.jpg - параметры второй фазы туннеля.

traf.JPG_thumb

traf2.JPG_thumb

ipsec.JPG_thumb

DmitriyKH

@gmn:

Провел тест.
Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.

Уточните пожалуйста, IPSec в режиме каком настроен, тунель или транспорт? gif интерфейс используется?

Ну и какбэ я не сомневаюсь что работать должно нормально, я именно поэтому и прошу помощи- чтобы понять где misconfiguration случился

gmn

type=tunnel
gif-ов нет.
Используется с обоих сторон strongswan (на pfsense тоже strongswan).

DmitriyKH

@gmn:

type=tunnel
gif-ов нет.

Я так и думал
Ну то есть вы задали вопрос, ответ на который содержался в стартовом топике
Потом смоделировали ситуацию, которая ничуть не похожа на мою (за исключением слов pfsense и ipsec). И подтвердили очевидный вроде бы факт: в стандартной конфигурации все работает.
Из уважения к потраченному времени можете намекнуть, как ваши действия могут помочь решить мою проблему?

gmn

ок.
А зачем вам там gif, если вы всеравно поднимаете ipsec?

DmitriyKH

у меня со стороны Циски развернута DMVPN сеть с переменным количеством офисов. (сейчас штук 15)
И для каждого сеть за pfsense доступна должна быть- мне проще всем раздавать маршрут до нее и поднять OSPF какой нибудь, чем ручками редактировать параметры туннеля (а на циске тоже прийдется тогда access list править при появлении нового офиса)
А чтоб маршрутизация работала- надо какой- то интерфейс отдельный, то есть gif

gmn

Ясно.
Схемка сложнее …
Тогда сходу ничего подсказать не смогу.
И моделировать тоже нет желания :)

rubic

Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?

DmitriyKH

@rubic:

Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?

Я в том же направлении начал копать, но увы- в скриншотах видно что и states и MBUF и memory хватает

SysInfo-6Mb.png_thumb

SysInfo-0b.png_thumb

rubic

https://forum.pfsense.org/index.php?topic=98308.0

Вот кто-то тему открыл в англ. разделе. Посмотрите, что ему ответят. А можете и свои скрины туда запостить, там быстрее ответят.

gmn

Интересно стало, захотел повторить :)
Сделал схему на подобии вашей, только на другой стороне туннеля FreeBSD, не Cisco.
В итоге с одной стороны сеть со шлюзом на FreeBSD, с другой - сеть со шлюзом на pfsense.
Между шлюзами поднят gre-туннель.
Между сетями поднят IPsec (поверх gre).
Копирую файл 800 Мб (скорость лимитирована altq до 10 Мбит/с) - замираний, задержек небыло.
Все это на виртуалках под wmvare esxi в пределах одного физического хоста (Cisco UCS).

DmitriyKH

Вот ведь времени у людей, завидую :)
ограничение 100Мбит поставь (у меня столько), и желательно не средства pfsense-для чистоты эксперимента
ну и если затыков не будет- прошу тогда те же параметры ipsec поставить

gmn

Времени - иногда бывает :)

На pfsense лимита скорости нет.
Есть на другой стороне на FreeBSD.
Не думаю, что шейпер "исправляет" ситуацию …

прошу тогда те же параметры ipsec поставить

вот это не понял …
Параметры ipsec:

AES_CBC:256
HMAC_SHA1_96:0
PRF_HMAC_SHA1
MODP_1024

Городить такую схему с Cisco на другой стороне - вот на это уже времени нет :(

DmitriyKH

ну тогда поставить на шейкере с той стороны 100Мб
по поводу параметров- 3DES+MD5