Помогите решить проблему потери пакетов

Shaman2

2шт 2тб самсунгов в zfs raid1 (не путать с raid-z1 !) и на них готовый проксмокс. Исп. готовый образ с сайта. При установке на нач. этапе внизу выбирайте zfs raid1.

В доках что я встречал не рекомендуется ставить proxmox на zfs, а рекомендуется на рейд mdadm. Или инфа устарела?

Кроме того для zfs у меня нет ECC памяти это раз, а та что есть на виртуалках, нехочется до 4-5Гб отдавать для работы zfs

Наверное пока поставлю proxmox и виртуалки на отдельный винт (бекапы всего важного у меня имеются), текущую винду перенесу на виртуалку в виде временного NAS. Чтобы посмотреть решит ли это проблему с таймаутами в pfsense, а там будем решать. Подскажите пару моментов:

какой вид сетки в прокмоксе указать для внутренней сети а какую указывать для внешней, чтобы машина с прокмоксом в инет не смотрела, а смотрел только pfsense?
как быстро просто забекамить сам прокмокс на случай проблем с загрузочным винтом?
виртуалки с hyper-v на proxmox переносятся успешно или геморно?

werter

2 Shaman2

Доброе.
Пишите в ЛС. Мы уже в оффтоп свалились.

xhangmanx

@werter:

2 Shaman2

Доброе.
Пишите в ЛС. Мы уже в оффтоп свалились.

Пишите здесь) многим интересно будет..

pigbrother

@xhangmanx:

@werter:

2 Shaman2

Доброе.
Пишите в ЛС. Мы уже в оффтоп свалились.

Пишите здесь) многим интересно будет..

Тоже интересна эта тема. Может быть изложить рекомендации если не тут, то в любом удобном общедоступном месте, благо сейчас это не проблема…

werter

Коллеги.
Вы просто начните его (Proxmox) пользовать. Многое вопросы сами собой отпадут.

P.s. Можно его и в вирт. машине попробовать. (Жутко) медленно может быть, но для потрогать хватит.
Плюс у него оч. неплохая wiki - https://pve.proxmox.com/wiki/Documentation, https://pve.proxmox.com/wiki/Category:HOWTO

Хороший man - http://onreader.mdl.ru/MasteringProxmox.2ed/content/index.html , http://onreader.mdl.ru/VirtualizationComplete/content/index.html
На сайте не только о Proxmox много вкусного

Shaman2

Я пока на другой машине экспериментирую. Пока все нравится, перенес с hyper-v все свои виртуалки, селал их бекап, поднял pfsense.
На выходных попробую запустить в продакшн вместо win2012+HyperV, результат по работе pfSense под проксмоксом напишу тут

pigbrother

Вопрос к использующим виртуализированный pfSense на платформах с CPU, поддерживающим AES-NI и VT-D.
Доступен ли в System: Advanced: Miscellaneous:System: Advanced:Cryptographic Hardware Acceleration
пункт
AES-NI CPU-based Acceleration?
Только amd64.

Если доступен - можно включить (перезагрузки не требует) и потестировать:
https://doc.pfsense.org/index.php/Are_cryptographic_accelerators_supported

Там же описано как задействовать cryptographic accelerators для IPsec\OpenVPN.
Проверил на "железном" pfSense 2.2.6 с "процессором" Celeron N3150.
http://ark.intel.com/products/87258/Intel-Celeron-Processor-N3150-2M-Cache-up-to-2_08-GHz
Для OpenVPN результат явно ощутим.
Могу выложить скриншоты.

werter

Вопрос к использующим виртуализированный pfSense на платформах с CPU, поддерживающим AES-NI и VT-D.
Доступен ли в System: Advanced: Miscellaneous:System: Advanced:Cryptographic Hardware Acceleration
пункт
AES-NI CPU-based Acceleration?

Доброе.
Дело в том, что при создание вирт. маш. в том же Proxmox по-умолч исп. не родной CPU (хотя можно его и выбрать в настройках), а kvm64, к-ый врядли поддерживает эти инс-ции. Для выбора же родного CPU нужно выбрать host в настр. вирт. машины.
Но поможет ли это и не упадет ли производ-ть в целом - я хз.

P.s. У меня Xeon E5620 + вирт. pf на hyper-v 2012 этот пункт можно выбрать.

P.p.s. После вкл. AES-NI CPU-based Acceleration

$ /usr/bin/openssl engine -t -c
(cryptodev) BSD cryptodev engine
 [RSA, DSA, DH]
     [ available ]
(dynamic) Dynamic engine loading support
     [ unavailable ]

pigbrother

А что говорит команда
openssl speed -evp aes-128-cbc ?

https://doc.pfsense.org/index.php/Are_cryptographic_accelerators_supported#Comparison

werter

@pigbrother:

А что говорит команда
openssl speed -evp aes-128-cbc ?

Как я понял из того, что написано в выводе выше, мой cpu ускорение при работе с aes не поддерживает ?

pigbrother

@werter:

@pigbrother:

А что говорит команда
openssl speed -evp aes-128-cbc ?

Как я понял из того, что написано в выводе выше, мой cpu ускорение при работе с aes не поддерживает ?

Вероятно не поддерживает . Вот мой вывод этой команды:
(cryptodev) BSD cryptodev engine
[RSA, DSA, DH, AES-128-CBC, AES-192-CBC, AES-256-CBC]
[ available ]
(rsax) RSAX engine support
[RSA]
[ available ]
(rdrand) Intel RDRAND engine
[RAND]
[ available ]
(dynamic) Dynamic engine loading support
[ unavailable ]

rdrand и RAND относятся г генератору случайных чисел.

OpenVPN при включении Hardware Crypto в логах пишет так:
openvpn[14708]: Initializing OpenSSL support for engine 'cryptodev'

bill_open

Не отклоняясь от изначальной темы. У меня подозрения, что потеря пакетов из-за нехватки ресурсов(если я правильно понял его конфу(raid1-гипервизор, 500gb hdd для виртуалок)). Сколько у вас виртуалок используется сейчас на этой конфигурации и напишите полную конфигурацию. У меня такие же проблемы были при тестах Hyperv2012r2 и pf2.2.5, но у меня на 2x5620+32ram+raid10sas15k крутилось 4vm, все очень сильно нагружены. Вам необходимо через счетчик производительности и wireshark проанализировать все. Как я вижу выход, это миграция на более производительный host, вроде бы еще проблемы были из-за виртуального коммутатора 2012r2(поищите в топиках, решение есть).

pigbrother

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Shaman2

@bill_open:

Не отклоняясь от изначальной темы. У меня подозрения, что потеря пакетов из-за нехватки ресурсов(если я правильно понял его конфу(raid1-гипервизор, 500gb hdd для виртуалок)). Сколько у вас виртуалок используется сейчас на этой конфигурации и напишите полную конфигурацию. У меня такие же проблемы были при тестах Hyperv2012r2 и pf2.2.5, но у меня на 2x5620+32ram+raid10sas15k крутилось 4vm, все очень сильно нагружены. Вам необходимо через счетчик производительности и wireshark проанализировать все. Как я вижу выход, это миграция на более производительный host, вроде бы еще проблемы были из-за виртуального коммутатора 2012r2(поищите в топиках, решение есть).

Там хост практически никогда загруженым не бывает. 3-4 виртуалки, i3 процессор и 16Гб оперативки. Виртуалкам вполне хватало до 4Гб оперативки

Shaman2

@pigbrother:

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Сорри, но где посмотреть?

pigbrother

@Shaman2:

@pigbrother:

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Сорри, но где посмотреть?

В дашбоард

https://doc.pfsense.org/index.php/What_are_mbufs

Shaman2

@pigbrother:

@Shaman2:

Сорри, но где посмотреть?

В дашбоард

https://doc.pfsense.org/index.php/What_are_mbufs

Под виндой уже не смогу, вчера ту машину тоже попробовал под proxmox
получил значение 7% (2026/29660)

pigbrother

получил значение 7% (2026/29660)

Сколько ОЗУ выделено PfSense? У меня такие (довольно низкие) значения появились при переезде на 4-х портовую интеловскую сетевую плату. Система вообще переставала отвечать.
Исправил, как написано тут:

https://serverfault.com/questions/335461/pfsense-mbuf-full-what-to-do
https://doc.pfsense.org/index.php/Tuning_and_Troubleshooting_Network_Cards#Intel_igb.284.29_and_em.284.29_Cards

Необязательно это причина ваших проблем, но попробовать ничто не мешает.
Я не писал ничего в /boot/loader.conf.local, все вносил в System > Advanced, System Tunables

anzak84

Может это про Вашу ситуацию
https://forum.pfsense.org/index.php?topic=88467.0

Shaman2

@pigbrother:

получил значение 7% (2026/29660)

Сколько ОЗУ выделено PfSense? У меня такие (довольно низкие) значения появились при переезде на 4-х портовую интеловскую сетевую плату. Система вообще переставала отвечать.
Исправил, как написано тут:

https://serverfault.com/questions/335461/pfsense-mbuf-full-what-to-do
https://doc.pfsense.org/index.php/Tuning_and_Troubleshooting_Network_Cards#Intel_igb.284.29_and_em.284.29_Cards

Необязательно это причина ваших проблем, но попробовать ничто не мешает.
Я не писал ничего в /boot/loader.conf.local, все вносил в System > Advanced, System Tunables

Низкие значения это я так понимаю хорошо?

512Мб оперативки, 3гига раздел винчестера.
Но было пару изменений, которые возможно и помогли, проверять все в работе буду на днях. В начале у меня было две pci карты в компе, смотрящие в инет. Были проблемы, из-за которых я и начал эту тему. Заранее скажу что проверить на windows уже не сумел, так как обратил внимание уже в момент установки proxmox. Так вот, на материнке чип Asmedia 1083, и случайно в момент установки копаясь в интернете я заметил что материнки с таким чипом в качестве роутера (написано было что под линукс) работать небудут, так как чип глючный. В итоге в pci я оставил одну плату, вместо второй я установил дешевую реалтек (10дол) сетевую в в pci-e слот. На двух компах (тестовом и рабочем) не сумел победить только одно неудобство: скорость копирования через scp файлов с хоста в виртуальную или сетевую windows не более 1Мб в секунду, хотя скорость копирования по smb с виртуальной windows в сетевую в пять раз больше. Хотелось бы понять причину такого поведения.