PfSense & OpenVPN speed

Electricshock · Feb 9, 2017, 12:07 PM

Наблюдения из личного опыта:
1. на 2.2.6 имел скорости, близкие к вашим. После перехода на 2.3.2 - 4-7 Мегабайт/сек.
2. Попадался провайдер, через которого туннель UDP давал вообще смешные 100-500 Килобайт/сек. Переход на TCP увеличил скорость раза в 3.

Пробовал обновляться до 2.3.2 версии, там почему-то клиенты перестают получать статические IP-адреса, которые указаны для них в "Client Specific Overrides" графе, командой:
ifconfig-push 10.10.10.28 255.255.255.0;
Перерыл все, ответа не нашёл, поэтому пришлось откатываться на 2.2.6. По крайней мере, он меня полностью устраивает, все работает.
Попробую на днях на TCP "затеститься", может действительно поможет.

pigbrother · Feb 9, 2017, 1:27 PM

Если сервер с topology subnet (НЕ net30), то статику клиентам, IMHO, удобнее раздавать так:
https://forum.pfsense.org/index.php?topic=106612.msg609136#msg609136

работало в 2.2.6 работает и в 2.3.2

Директива должна выглядеть так
;ifconfig-pool-persist /../../ips.list 0

Electricshock · Feb 9, 2017, 2:09 PM

Принял к сведению, но обновляться пока до 2.3.2 не планирую.

werter · Feb 9, 2017, 4:31 PM

Доброе

Имеем установленный pfSense 2.2.6 на гипервизоре VMWare ESXi 5.5

Раз пф работает как вирт. маш., то настройки сетевых карт при этом поправили (откл. аппаратную разгрузку tcp) ?
Open Vmtools также установили и сетевые карты у вас virtio ?

пробовал играться с разными значениями буферов и т.д

Покажите, как вы это делали ? На скринах этого нет.

Electricshock · Feb 10, 2017, 11:35 AM

@werter:

Доброе

Имеем установленный pfSense 2.2.6 на гипервизоре VMWare ESXi 5.5

Раз пф работает как вирт. маш., то настройки сетевых карт при этом поправили (откл. аппаратную разгрузку tcp) ?
Open Vmtools также установили и сетевые карты у вас virtio ?

пробовал играться с разными значениями буферов и т.д

Покажите, как вы это делали ? На скринах этого нет.

VMWare-tools не установлен на pfSense, попробую установить.
Аппаратная разгрузка по дефолту отключена (см. скрин)
Буферы выставлял согласно этой статье https://habrahabr.ru/post/246953/

pigbrother · Feb 10, 2017, 11:57 AM

Можно установить Open-VM-Tools из стандартного набора пакетов.

Буферы выставлял согласно этой статье https://habrahabr.ru/post/246953

На 2.2.6 тоже экспериментировал с параметрами. Ощутимого результата не получил.

Electricshock · Feb 10, 2017, 12:17 PM

@pigbrother:

Можно установить Open-VM-Tools из стандартного набора пакетов.

Буферы выставлял согласно этой статье https://habrahabr.ru/post/246953

На 2.2.6 тоже экспериментировал с параметрами. Ощутимого результата не получил.

Благодарю, поставил из стандартного набора пакетов этот Open VM Tools package, надо попробовать ребутнуть виртуальную машинку с пф и еще раз проверить быстродействие OpenVPN.

borg · Feb 10, 2017, 1:13 PM

Попробуйте добавить в System/Advanced/System Tunables net.inet.ip.fastforwarding 1

Electricshock · Feb 13, 2017, 5:53 AM

@borg:

Попробуйте добавить в System/Advanced/System Tunables net.inet.ip.fastforwarding 1

Ок, изменил значение с "default" на 1, веду наблюдение.

Electricshock · Feb 14, 2017, 7:22 PM

Никаких изменений, скорость скачки в районе 1-1,2 мегабайта/сек (8-9 мегабит/сек) :(

pigbrother · Feb 15, 2017, 2:11 PM

@Electric^shock:

Никаких изменений, скорость скачки в районе 1-1,2 мегабайта/сек (8-9 мегабит/сек) :(

А какова версия клиента? Если достаточно старая - попробуйте обновить.
Если это Windows - гляньте свойства\состояние TAP-адаптера в состоянии коннекта. Старые версии TAP-адаптера показывали 10Мбит, новые - 100.

Electricshock · Feb 15, 2017, 3:10 PM

@pigbrother:

@Electric^shock:

Никаких изменений, скорость скачки в районе 1-1,2 мегабайта/сек (8-9 мегабит/сек) :(

А какова версия клиента? Если достаточно старая - попробуйте обновить.
Если это Windows - гляньте свойства\состояние TAP-адаптера в состоянии коннекта. Старые версии TAP-адаптера показывали 10Мбит, новые - 100.

Самая новая стоит - 2.4.0, скорость показывает на адаптере - 100 мбит/сек.

pigbrother · Feb 15, 2017, 5:08 PM

Самая новая стоит - 2.4.0, скорость показывает на адаптере - 100 мбит/сек.

Тогда идей больше нет. Просто напомню:
Попробую на днях на TCP "затеститься", может действительно поможет.
Проверяли?
Какая, кстати, загрузка CPU при передаче файла?

на гипервизоре VMWare ESXi 5.5
Принял к сведению, но обновляться пока до 2.3.2 не планирую.

А что мешает быстро поднять на ESXi 2.3.2 и проверить скорость?

Electricshock · Feb 15, 2017, 6:53 PM

@pigbrother:

Самая новая стоит - 2.4.0, скорость показывает на адаптере - 100 мбит/сек.

Тогда идей больше нет. Просто напомню:
Попробую на днях на TCP "затеститься", может действительно поможет.
Проверяли?
Какая, кстати, загрузка CPU при передаче файла?

на гипервизоре VMWare ESXi 5.5
Принял к сведению, но обновляться пока до 2.3.2 не планирую.

А что мешает быстро поднять на ESXi 2.3.2 и проверить скорость?

А может ли такое быть, что виртуальный интерфейс OpenVPN этот в pfSense на 10 мбит/сек включен?
Делаю ifconfig ovpns1 и он вообще почему-то не показывает его скорость (см. скрин)
P.S. попробовал на TCP протеститься с этой же версией (2.2.6) - результат еще хуже (около 750 кбайт/сек), а когда по UDP - то до 1,35 мбайт/сек доходило.
В момент загрузки файла через NetBIOS загрузка CPU на pfSense доходит до 33% даже
Если tcpdump'ом снять лог в момент прокачки файла, то вот лог видим на pfSense:


23:51:45.684037 IP (tos 0x0, ttl 128, id 12340, offset 0, flags [DF], proto TCP (6), length 40)
    10.10.10.27.50750 > Server.stk.loc.microsoft-ds: Flags [.], cksum 0xf195 (correct), seq 61505, ack 26339423, win 7959, length 0
23:51:45.684069 IP (tos 0x0, ttl 63, id 33318, offset 0, flags [DF], proto TCP (6), length 1393)
    Server.stk.loc.microsoft-ds > 10.10.10.27.50750: Flags [.], cksum 0x9ef6 (correct), seq 26447663:26449016, ack 61505, win 1035, length 1353                                    SMB-over-TCP packet:(raw data or continuation?)

23:51:45.684074 IP (tos 0x0, ttl 63, id 33319, offset 0, flags [DF], proto TCP (6), length 1393)
    Server.stk.loc.microsoft-ds > 10.10.10.27.50750: Flags [.], cksum 0x8a6b (correct), seq 26449016:26450369, ack 61505, win 1035, length 1353                                    SMB-over-TCP packet:(raw data or continuation?)

23:51:45.684297 IP (tos 0x0, ttl 63, id 33320, offset 0, flags [DF], proto TCP (6), length 1393)
    Server.stk.loc.microsoft-ds > 10.10.10.27.50750: Flags [.], cksum 0x4ecf (correct), seq 26450369:26451722, ack 61505, win 1035, length 1353                                    SMB-over-TCP packet:(raw data or continuation?)

23:51:45.684302 IP (tos 0x0, ttl 63, id 33321, offset 0, flags [DF], proto TCP (6), length 1393)
    Server.stk.loc.microsoft-ds > 10.10.10.27.50750: Flags [.], cksum 0x4da4 (correct), seq 26451722:26453075, ack 61505, win 1035, length 1353                                    SMB-over-TCP packet:(raw data or continuation?)

23:51:45.684557 IP (tos 0x0, ttl 128, id 12341, offset 0, flags [DF], proto TCP (6), length 40)
    10.10.10.27.50750 > Server.stk.loc.microsoft-ds: Flags [.], cksum 0xe70e (correct), seq 61505, ack 26342129, win 7948, length 0

Вроде как с MTU где-то косяк, на pfSens'e (ovpns1 интерфейсе) стоит 1500

pigbrother · Feb 15, 2017, 8:56 PM

Вроде как с MTU где-то косяк, на pfSens'e (ovpns1 интерфейсе) стоит 1500

mtu - маловероятно

Вот мой вывод ipconfig:
ovpns5: flags=8051 <up,pointopoint,running,multicast>metric 0 mtu 1500
options=80000 <linkstate>inet6 fe80::21b:21ff:fe80:35b8%ovpns5 prefixlen 64 scopeid 0xc
inet 10.11.11.1 –> 10.11.11.2 netmask 0xffffff00
nd6 options=21 <performnud,auto_linklocal>Opened by PID 27269

А может ли такое быть, что виртуальный интерфейс OpenVPN этот в pfSense на 10 мбит/сек включен?
Думаю, что индикация "скорости" подключения TAP - специфика реализации TAP как физического адаптера, специфичная для Windows.</performnud,auto_linklocal></linkstate></up,pointopoint,running,multicast>

PbIXTOP · Feb 16, 2017, 4:43 AM

MTU все же стоит проверить, при этом не забывая что каждая инкапсуляция крадет свои байты.
Причем MTU необходимо начинать проверять с сети соединяющей тунели, а уж потом внутри тунелей.

Electricshock · Feb 16, 2017, 11:06 AM

@PbIXTOP:

MTU все же стоит проверить, при этом не забывая что каждая инкапсуляция крадет свои байты.
Причем MTU необходимо начинать проверять с сети соединяющей тунели, а уж потом внутри тунелей.

Пробовал на домашней машинке прописать MTU вместо 1500 - 1492, так удалось скорость поднять до 2,2 мегабайта/сек, но тем не менее, уведомления в tcpdump'е так и сыплются.

pigbrother · Feb 16, 2017, 11:19 AM

В момент загрузки файла через NetBIOS загрузка CPU на pfSense доходит до 33% даже

Для приведенных вами скоростей цифра довольно высока. Сколько ядер выделено ВМ? Процессор гипервизора?

Electricshock · Feb 16, 2017, 12:03 PM

@pigbrother:

В момент загрузки файла через NetBIOS загрузка CPU на pfSense доходит до 33% даже

Для приведенных вами скоростей цифра довольно высока. Сколько ядер выделено ВМ? Процессор гипервизора?

Одно ядро выделено от процессора Intel Xeon E5-2620 (2,0 GHz)

PbIXTOP · Feb 17, 2017, 2:12 AM

@Electric^shock:

@PbIXTOP:

MTU все же стоит проверить, при этом не забывая что каждая инкапсуляция крадет свои байты.
Причем MTU необходимо начинать проверять с сети соединяющей тунели, а уж потом внутри тунелей.

Пробовал на домашней машинке прописать MTU вместо 1500 - 1492, так удалось скорость поднять до 2,2 мегабайта/сек, но тем не менее, уведомления в tcpdump'е так и сыплются.

Рекомендую не прописывать, а проверять вначале как MTU так и скорость не шифрованного канала.