Помогите решить проблему потери пакетов

pigbrother

@werter:

2 Shaman2

Доброе.
Пишите в ЛС. Мы уже в оффтоп свалились.

Пишите здесь) многим интересно будет..

Тоже интересна эта тема. Может быть изложить рекомендации если не тут, то в любом удобном общедоступном месте, благо сейчас это не проблема…

werter

Коллеги.
Вы просто начните его (Proxmox) пользовать. Многое вопросы сами собой отпадут.

P.s. Можно его и в вирт. машине попробовать. (Жутко) медленно может быть, но для потрогать хватит.
Плюс у него оч. неплохая wiki - https://pve.proxmox.com/wiki/Documentation, https://pve.proxmox.com/wiki/Category:HOWTO

Хороший man - http://onreader.mdl.ru/MasteringProxmox.2ed/content/index.html , http://onreader.mdl.ru/VirtualizationComplete/content/index.html
На сайте не только о Proxmox много вкусного

Shaman2

Я пока на другой машине экспериментирую. Пока все нравится, перенес с hyper-v все свои виртуалки, селал их бекап, поднял pfsense.
На выходных попробую запустить в продакшн вместо win2012+HyperV, результат по работе pfSense под проксмоксом напишу тут

pigbrother

Вопрос к использующим виртуализированный pfSense на платформах с CPU, поддерживающим AES-NI и VT-D.
Доступен ли в System: Advanced: Miscellaneous:System: Advanced:Cryptographic Hardware Acceleration
пункт
AES-NI CPU-based Acceleration?
Только amd64.

Если доступен - можно включить (перезагрузки не требует) и потестировать:
https://doc.pfsense.org/index.php/Are_cryptographic_accelerators_supported

Там же описано как задействовать cryptographic accelerators для IPsec\OpenVPN.
Проверил на "железном" pfSense 2.2.6 с "процессором" Celeron N3150.
http://ark.intel.com/products/87258/Intel-Celeron-Processor-N3150-2M-Cache-up-to-2_08-GHz
Для OpenVPN результат явно ощутим.
Могу выложить скриншоты.

werter

Вопрос к использующим виртуализированный pfSense на платформах с CPU, поддерживающим AES-NI и VT-D.
Доступен ли в System: Advanced: Miscellaneous:System: Advanced:Cryptographic Hardware Acceleration
пункт
AES-NI CPU-based Acceleration?

Доброе.
Дело в том, что при создание вирт. маш. в том же Proxmox по-умолч исп. не родной CPU (хотя можно его и выбрать в настройках), а kvm64, к-ый врядли поддерживает эти инс-ции. Для выбора же родного CPU нужно выбрать host в настр. вирт. машины.
Но поможет ли это и не упадет ли производ-ть в целом - я хз.

P.s. У меня Xeon E5620 + вирт. pf на hyper-v 2012 этот пункт можно выбрать.

P.p.s. После вкл. AES-NI CPU-based Acceleration

$ /usr/bin/openssl engine -t -c
(cryptodev) BSD cryptodev engine
 [RSA, DSA, DH]
     [ available ]
(dynamic) Dynamic engine loading support
     [ unavailable ]

pigbrother

А что говорит команда
openssl speed -evp aes-128-cbc ?

https://doc.pfsense.org/index.php/Are_cryptographic_accelerators_supported#Comparison

werter

@pigbrother:

А что говорит команда
openssl speed -evp aes-128-cbc ?

Как я понял из того, что написано в выводе выше, мой cpu ускорение при работе с aes не поддерживает ?

pigbrother

@werter:

@pigbrother:

А что говорит команда
openssl speed -evp aes-128-cbc ?

Как я понял из того, что написано в выводе выше, мой cpu ускорение при работе с aes не поддерживает ?

Вероятно не поддерживает . Вот мой вывод этой команды:
(cryptodev) BSD cryptodev engine
[RSA, DSA, DH, AES-128-CBC, AES-192-CBC, AES-256-CBC]
[ available ]
(rsax) RSAX engine support
[RSA]
[ available ]
(rdrand) Intel RDRAND engine
[RAND]
[ available ]
(dynamic) Dynamic engine loading support
[ unavailable ]

rdrand и RAND относятся г генератору случайных чисел.

OpenVPN при включении Hardware Crypto в логах пишет так:
openvpn[14708]: Initializing OpenSSL support for engine 'cryptodev'

bill_open

Не отклоняясь от изначальной темы. У меня подозрения, что потеря пакетов из-за нехватки ресурсов(если я правильно понял его конфу(raid1-гипервизор, 500gb hdd для виртуалок)). Сколько у вас виртуалок используется сейчас на этой конфигурации и напишите полную конфигурацию. У меня такие же проблемы были при тестах Hyperv2012r2 и pf2.2.5, но у меня на 2x5620+32ram+raid10sas15k крутилось 4vm, все очень сильно нагружены. Вам необходимо через счетчик производительности и wireshark проанализировать все. Как я вижу выход, это миграция на более производительный host, вроде бы еще проблемы были из-за виртуального коммутатора 2012r2(поищите в топиках, решение есть).

pigbrother

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Shaman2

@bill_open:

Не отклоняясь от изначальной темы. У меня подозрения, что потеря пакетов из-за нехватки ресурсов(если я правильно понял его конфу(raid1-гипервизор, 500gb hdd для виртуалок)). Сколько у вас виртуалок используется сейчас на этой конфигурации и напишите полную конфигурацию. У меня такие же проблемы были при тестах Hyperv2012r2 и pf2.2.5, но у меня на 2x5620+32ram+raid10sas15k крутилось 4vm, все очень сильно нагружены. Вам необходимо через счетчик производительности и wireshark проанализировать все. Как я вижу выход, это миграция на более производительный host, вроде бы еще проблемы были из-за виртуального коммутатора 2012r2(поищите в топиках, решение есть).

Там хост практически никогда загруженым не бывает. 3-4 виртуалки, i3 процессор и 16Гб оперативки. Виртуалкам вполне хватало до 4Гб оперативки

Shaman2

@pigbrother:

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Сорри, но где посмотреть?

pigbrother

@Shaman2:

@pigbrother:

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Сорри, но где посмотреть?

В дашбоард

https://doc.pfsense.org/index.php/What_are_mbufs

Shaman2

@pigbrother:

@Shaman2:

Сорри, но где посмотреть?

В дашбоард

https://doc.pfsense.org/index.php/What_are_mbufs

Под виндой уже не смогу, вчера ту машину тоже попробовал под proxmox
получил значение 7% (2026/29660)

pigbrother

получил значение 7% (2026/29660)

Сколько ОЗУ выделено PfSense? У меня такие (довольно низкие) значения появились при переезде на 4-х портовую интеловскую сетевую плату. Система вообще переставала отвечать.
Исправил, как написано тут:

https://serverfault.com/questions/335461/pfsense-mbuf-full-what-to-do
https://doc.pfsense.org/index.php/Tuning_and_Troubleshooting_Network_Cards#Intel_igb.284.29_and_em.284.29_Cards

Необязательно это причина ваших проблем, но попробовать ничто не мешает.
Я не писал ничего в /boot/loader.conf.local, все вносил в System > Advanced, System Tunables

anzak84

Может это про Вашу ситуацию
https://forum.pfsense.org/index.php?topic=88467.0

Shaman2

@pigbrother:

получил значение 7% (2026/29660)

Сколько ОЗУ выделено PfSense? У меня такие (довольно низкие) значения появились при переезде на 4-х портовую интеловскую сетевую плату. Система вообще переставала отвечать.
Исправил, как написано тут:

https://serverfault.com/questions/335461/pfsense-mbuf-full-what-to-do
https://doc.pfsense.org/index.php/Tuning_and_Troubleshooting_Network_Cards#Intel_igb.284.29_and_em.284.29_Cards

Необязательно это причина ваших проблем, но попробовать ничто не мешает.
Я не писал ничего в /boot/loader.conf.local, все вносил в System > Advanced, System Tunables

Низкие значения это я так понимаю хорошо?

512Мб оперативки, 3гига раздел винчестера.
Но было пару изменений, которые возможно и помогли, проверять все в работе буду на днях. В начале у меня было две pci карты в компе, смотрящие в инет. Были проблемы, из-за которых я и начал эту тему. Заранее скажу что проверить на windows уже не сумел, так как обратил внимание уже в момент установки proxmox. Так вот, на материнке чип Asmedia 1083, и случайно в момент установки копаясь в интернете я заметил что материнки с таким чипом в качестве роутера (написано было что под линукс) работать небудут, так как чип глючный. В итоге в pci я оставил одну плату, вместо второй я установил дешевую реалтек (10дол) сетевую в в pci-e слот. На двух компах (тестовом и рабочем) не сумел победить только одно неудобство: скорость копирования через scp файлов с хоста в виртуальную или сетевую windows не более 1Мб в секунду, хотя скорость копирования по smb с виртуальной windows в сетевую в пять раз больше. Хотелось бы понять причину такого поведения.

werter

@Shaman2:

512Мб оперативки, 3гига раздел винчестера

Доброе. Это оч. и оч. мало. От 2-ух Гб и выше.

pigbrother

@werter:

@Shaman2:

512Мб оперативки, 3гига раздел винчестера

Доброе. Это оч. и оч. мало. От 2-ух Гб и выше.

Соглашусь с некоторыми оговорками.
На Атоме 1,6 ГГц с ОЗУ 1 ГБ pfSense 2.2.6 x86 раздавал интернет 50 Мбит нескольким десяткам пользователей+2 OpenVPN сервера+2 IPsec туннеля. Да, OpenVPN и IPsec в основном обслуживали RDP, т.е. массивного трафика не было.
Загрузка ОЗУ в среднем была 50%.

До этого pfSense крутился вообще на Pentium III c 400 Мб ОЗУ справляясь с каналом до 25 Мбит и практически той же нагрузкой.

Сейчас тестирую 2.3.2_1 х64. Впечатления пока не очень, машинка с 2.2.6 чисто субъективно была надежнее.
Плюс оказалось, что freebsd имеет проблемы с интеловскими стевыми картами igb, особенно многопортовыми и особенно на amd64.

anzak84

Такая же проблема на VMware Esxi 6.5.
Возвращаясь к теме ставил VMware Esxi 6.5 или ставил PRoxmoox (по отдельности) на них устанавливалось vmPfsense и vmWin7. Соответственно vmPfsense являлась шлюзом для других машин. Проблема в том когда с vmWin7 идет трафик
на vmPfsense чрез LAN to WAN падает ping до WAN (или доходит до 3000мс и падает) и интернета конечно же нет. Через некоторое время когда отсутствует трафик или равен ~ 0 ping до шлюза WAN на vmPFsense восстанавливается. Отключал TSO, отключал LRO отключал Cheksum но проблема оставалась что на ESXI что на PROMOX, тут вывод что дело либо в железе либо в сетевой карте (сетевые карты менялись местами проблема та же) В итоге пока не наткнулся на запись в log на модеме exceeds the max. number of session per host!. c хоста vmPFsense Модем ZYXel P660HT2. С других машин трафик ходит свободно. Кроме esxi и promox В модеме есть строка Max NAT/Firewall Session Per User - значение поставил max. Проблема на ESXI и PROXMOX и на виртуальных хостах исчезла, трафик перестал отваливаться.