странное поведение firewall на ipsec-gre туннеле

DmitriyKH

Что в логах при этом ?

Для чистоты эксперимента:
перезагрузил pfsense, почистил логи ipsec. Начал копирование файла на 5 Гб
после передачи 2,5Гб:
наблюдалось как минимум 6 падений скорости до 0 с продолжением процесса

При этом в логах IPSec тишина

статус IPSec показывает красивую картинку- соответствует объему прокачанного трафика

Firewall лог- только мусор на внешнем интерфейсе (по 137 UDP)
какие еще логи нужны?
@werter:

Можно ли изменить алгоритм шифрования ? Последняя ли из доступных вер. IOS на Cisco (обновиться), модель Cisco?

Cisco IOS Software, C1900 Software (C1900-UNIVERSALK9-M), Version 15.5(1)T, RELEASE SOFTWARE (fc2)
подозреваю что последняя, вроде бы новей не выходило пока

Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение

![System Logs- IPSec.png_thumb](/public/imported_attachments/1/System Logs- IPSec.png_thumb)
![Status IPSec.png](/public/imported_attachments/1/Status IPSec.png)
![Status IPSec.png_thumb](/public/imported_attachments/1/Status IPSec.png_thumb)
![System Logs- IPSec.png](/public/imported_attachments/1/System Logs- IPSec.png)

gmn

Алгоритм шифрования- вряд ли получится поменять, так как ipsec завелся только на 3des + md5, с другими вариантами не устанавливается соединение

Просто к слову …
У меня с pfsense 2.2.4 прекрасно работают туннели с Cisco, CheckPoint.
В разных комбинациях шифрования - AES (256 bits) + SHA1, 3DES + MD5 ...

По сути вопроса не подскажу. Не было такой проблемы.
По крайней мере работает несколько десятков ipsec-туннелей и жалоб небыло.

gmn

И еще по сути вопроса.
А не буфера ли винды виноваты в этом?
Например, как в Total Commander копирование файла на флешку - сначала скорость большая, потом замирает, потом медленно …

Попробуйте погонять объемы трафика, например, через тот же iperf (под винду тоже есть).

DmitriyKH

@gmn:

И еще по сути вопроса.
А не буфера ли винды виноваты в этом?

В первом посте есть картинка- где видно как ведет себя копирования файла без ipsec по тому же туннелю между теми же серверами
Прям вот самая верхняя, так и подписана- GRE tunnel performance WITHOUT IPSec.png это результат передачи файла 1,7 Гб
Так что тут проблема не в win

![GRE tunnel performance WITHOUT IPSec.png](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png)
![GRE tunnel performance WITHOUT IPSec.png_thumb](/public/imported_attachments/1/GRE tunnel performance WITHOUT IPSec.png_thumb)

gmn

Провел тест.
Две виртуальных сети на свичах vmware.
Объединены через ipsec-туннель между FreeBSD и pfsense.
На FreeBSD работает altq и полоса лимитирована в 10 Мбит/с - это ответ на будущий вопрос "почему скорость такая маленькая".
Со стороны FreeBSD в локалке Windows Server 2008. С этого хоста качается файл размером 1,1 Гбайт.
В другой стороны туннеля за pfsense Windows XP.
Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.
traf2.jpg - это отдача файла с Server 2012R2 на хост с WinXP в другой сети через ipsec-туннель.
ipsec.jpg - параметры второй фазы туннеля.

traf.JPG_thumb

traf2.JPG_thumb

ipsec.JPG_thumb

DmitriyKH

@gmn:

Провел тест.
Ниже "картинка" загрузки интерфейса (интерфейсы на виртуальных машинах гигабитные). Никаких скачков, замираний и т.п.

Уточните пожалуйста, IPSec в режиме каком настроен, тунель или транспорт? gif интерфейс используется?

Ну и какбэ я не сомневаюсь что работать должно нормально, я именно поэтому и прошу помощи- чтобы понять где misconfiguration случился

gmn

type=tunnel
gif-ов нет.
Используется с обоих сторон strongswan (на pfsense тоже strongswan).

DmitriyKH

@gmn:

type=tunnel
gif-ов нет.

Я так и думал
Ну то есть вы задали вопрос, ответ на который содержался в стартовом топике
Потом смоделировали ситуацию, которая ничуть не похожа на мою (за исключением слов pfsense и ipsec). И подтвердили очевидный вроде бы факт: в стандартной конфигурации все работает.
Из уважения к потраченному времени можете намекнуть, как ваши действия могут помочь решить мою проблему?

gmn

ок.
А зачем вам там gif, если вы всеравно поднимаете ipsec?

DmitriyKH

у меня со стороны Циски развернута DMVPN сеть с переменным количеством офисов. (сейчас штук 15)
И для каждого сеть за pfsense доступна должна быть- мне проще всем раздавать маршрут до нее и поднять OSPF какой нибудь, чем ручками редактировать параметры туннеля (а на циске тоже прийдется тогда access list править при появлении нового офиса)
А чтоб маршрутизация работала- надо какой- то интерфейс отдельный, то есть gif

gmn

Ясно.
Схемка сложнее …
Тогда сходу ничего подсказать не смогу.
И моделировать тоже нет желания :)

rubic

Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?

DmitriyKH

@rubic:

Я бы посмотрел количество states и MBUF usage в Dashboard pfSense в момент затыков. Памяти хватает вообще?

Я в том же направлении начал копать, но увы- в скриншотах видно что и states и MBUF и memory хватает

SysInfo-6Mb.png_thumb

SysInfo-0b.png_thumb

rubic

https://forum.pfsense.org/index.php?topic=98308.0

Вот кто-то тему открыл в англ. разделе. Посмотрите, что ему ответят. А можете и свои скрины туда запостить, там быстрее ответят.

gmn

Интересно стало, захотел повторить :)
Сделал схему на подобии вашей, только на другой стороне туннеля FreeBSD, не Cisco.
В итоге с одной стороны сеть со шлюзом на FreeBSD, с другой - сеть со шлюзом на pfsense.
Между шлюзами поднят gre-туннель.
Между сетями поднят IPsec (поверх gre).
Копирую файл 800 Мб (скорость лимитирована altq до 10 Мбит/с) - замираний, задержек небыло.
Все это на виртуалках под wmvare esxi в пределах одного физического хоста (Cisco UCS).

DmitriyKH

Вот ведь времени у людей, завидую :)
ограничение 100Мбит поставь (у меня столько), и желательно не средства pfsense-для чистоты эксперимента
ну и если затыков не будет- прошу тогда те же параметры ipsec поставить

gmn

Времени - иногда бывает :)

На pfsense лимита скорости нет.
Есть на другой стороне на FreeBSD.
Не думаю, что шейпер "исправляет" ситуацию …

прошу тогда те же параметры ipsec поставить

вот это не понял …
Параметры ipsec:

AES_CBC:256
HMAC_SHA1_96:0
PRF_HMAC_SHA1
MODP_1024

Городить такую схему с Cisco на другой стороне - вот на это уже времени нет :(

DmitriyKH

ну тогда поставить на шейкере с той стороны 100Мб
по поводу параметров- 3DES+MD5

gmn

Поставил 3DES+MD5
Шейпер был и 10 Мбит и 100.
Картинка на 10.
Скорость не менялась, скачивание не замирало.

10Mbit.JPG_thumb