странное поведение firewall на ipsec-gre туннеле

[DmitriyKH]

Коллеги, добрый день.
Помогите разобраться с проблемой:
pfsense самый свежий (2.2.4-RELEASE (amd64) built on Sat Jul 25 19:57:37 CDT 2015 )
Поднят gre туннель до второго офиса, с той стороны циска.
без включенного ipsec шифрования показывает честные 10-11 Мб/с
поднимаем IPSec шифрование между концами туннеля- производительность уменьшается до 6Мб/с (ну это бы и буй с ним)
Но наблюдаются странные затыки при передачи больших файлов

Примерно через каждые 200Мбайт скорость падает до 0 на несколько секунд (10-15 примерно), затем копирование продолжается на скорости 6Мб/с

Единственный параметр который влияет на эту картину-System-Advanced-Firewall- Firewall Optimization Options при выборе conservative куски на максимальной скорости становятся в 2 раза длиннее (примерно 400Мб)
отключение Firewall там же в адвансед настройках также выравнивает график- никаких провалов

буду рад любым советам (разумным)
В скриншотах 192.168.229.0/24- локальная сеть 192.168.223.0/24- удаленная сеть

Добавлю:
IPSec advanced settings- MSS clamping установлен в 1250 (и при 1300 и при 1350)- проблему не устранило


[werter]

Что в логах при этом ? Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?

[DmitriyKH]

@werter:

Что в логах при этом ?

Для чистоты эксперимента:
перезагрузил pfsense, почистил логи ipsec. Начал копирование файла на 5 Гб
после передачи 2,5Гб:
наблюдалось как минимум 6 падений скорости до 0 с продолжением процесса

При этом в логах IPSec тишина

статус IPSec показывает красивую картинку- соответствует объему прокачанного трафика

Firewall лог- только мусор на внешнем интерфейсе (по 137 UDP)
какие еще логи нужны?
@werter:

Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?

Cisco IOS Software, C1900 Software (C1900-UNIVERSALK9-M), Version 15.5(1)T, RELEASE SOFTWARE (fc2)
подозреваю что последняя, вроде бы новей не выходило пока

Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение


[gmn]

Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение

Просто к слову …
У меня с pfsense 2.2.4 прекрасно работают туннели с Cisco, CheckPoint.
В разных комбинациях шифрования - AES (256 bits) + SHA1, 3DES + MD5 ...

По сути вопроса не подскажу. Не было такой проблемы.
По крайней мере работает несколько десятков ipsec-туннелей и жалоб небыло.

[gmn]

И еще по сути вопроса.
А не буфера ли винды виноваты в этом?
Например, как в Total Commander копирование файла на флешку - сначала скорость большая, потом замирает, потом медленно …

Попробуйте погонять объемы трафика, например, через тот же iperf (под винду тоже есть).

[DmitriyKH]

@gmn:

И еще по сути вопроса.
А не буфера ли винды виноваты в этом?

В первом посте есть картинка- где видно как ведет себя копирования файла без ipsec по тому же туннелю между теми же серверами
Прям вот самая верхняя, так и подписана- GRE tunnel performance WITHOUT IPSec.png это результат передачи файла 1,7 Гб
Так что тут проблема не в win


[gmn]

Провел тест.
Две виртуальных сети на свичах vmware.
Объединены через ipsec-туннель между FreeBSD и pfsense.
На FreeBSD работает altq и полоса лимитирована в 10 Мбит/с - это ответ на будущий вопрос "почему скорость такая маленькая".
Со стороны FreeBSD в локалке Windows Server 2008. С этого хоста качается файл размером 1,1 Гбайт.
В другой стороны туннеля за pfsense Windows XP.
Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.
traf2.jpg - это отдача файла с Server 2012R2 на хост с WinXP в другой сети через ipsec-туннель.
ipsec.jpg - параметры второй фазы туннеля.

[DmitriyKH]

@gmn:

Провел тест.
Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.

Уточните пожалуйста, IPSec в режиме каком настроен, тунель или транспорт? gif интерфейс используется?

Ну и какбэ я не сомневаюсь что работать должно нормально, я именно поэтому и прошу помощи- чтобы понять где misconfiguration случился

[gmn]

type=tunnel
gif-ов нет.
Используется с обоих сторон strongswan (на pfsense тоже strongswan).

[DmitriyKH]

@gmn:

type=tunnel
gif-ов нет.

Я так и думал
Ну то есть вы задали вопрос, ответ на который содержался в стартовом топике
Потом смоделировали ситуацию, которая ничуть не похожа на мою (за исключением слов pfsense и ipsec). И подтвердили очевидный вроде бы факт: в стандартной конфигурации все работает.
Из уважения к потраченному времени можете намекнуть, как ваши действия могут помочь решить мою проблему?

[gmn]

ок.
А зачем вам там gif, если вы всеравно поднимаете ipsec?

[DmitriyKH]

у меня со стороны Циски развернута DMVPN сеть с переменным количеством офисов. (сейчас штук 15)
И для каждого сеть за pfsense доступна должна быть- мне проще всем раздавать маршрут до нее и поднять OSPF какой нибудь, чем ручками редактировать параметры туннеля (а на циске тоже прийдется тогда access list править при появлении нового офиса)
А чтоб маршрутизация работала- надо какой- то интерфейс отдельный, то есть gif

[gmn]

Ясно.
Схемка сложнее …
Тогда сходу ничего подсказать не смогу.
И моделировать тоже нет желания :)

[rubic]

Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?

[DmitriyKH]

@rubic:

Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?

Я в том же направлении начал копать, но увы- в скриншотах видно что и states и MBUF и memory хватает

[rubic]

https://forum.pfsense.org/index.php?topic=98308.0

Вот кто-то тему открыл в англ. разделе. Посмотрите, что ему ответят. А можете и свои скрины туда запостить, там быстрее ответят.

[gmn]

Интересно стало, захотел повторить :)
Сделал схему на подобии вашей, только на другой стороне туннеля FreeBSD, не Cisco.
В итоге с одной стороны сеть со шлюзом на FreeBSD, с другой - сеть со шлюзом на pfsense.
Между шлюзами поднят gre-туннель.
Между сетями поднят IPsec (поверх gre).
Копирую файл 800 Мб (скорость лимитирована altq до 10 Мбит/с) - замираний, задержек небыло.
Все это на виртуалках под wmvare esxi в пределах одного физического хоста (Cisco UCS).

[DmitriyKH]

Вот ведь времени у людей, завидую :)
ограничение 100Мбит поставь (у меня столько), и желательно не средства pfsense-для чистоты эксперимента
ну и если затыков не будет- прошу тогда те же параметры ipsec  поставить

[gmn]

Времени - иногда бывает :)

На pfsense лимита скорости нет.
Есть на другой стороне на FreeBSD.
Не думаю, что шейпер "исправляет" ситуацию …

прошу тогда те же параметры ipsec  поставить

• вот это не понял …
  Параметры ipsec:

AES_CBC:256
HMAC_SHA1_96:0
PRF_HMAC_SHA1
MODP_1024 

Городить такую схему с Cisco на другой стороне - вот на это уже времени нет :(

[DmitriyKH]

ну тогда поставить на шейкере с той стороны 100Мб
по поводу параметров- 3DES+MD5

[gmn]

Поставил 3DES+MD5
Шейпер был и 10 Мбит и 100.
Картинка на 10.
Скорость не менялась, скачивание не замирало.