Помогите решить проблему потери пакетов

Shaman2

1.

На сервере винты 2x2Гб в зеркале (сделан средствами материнки Asrock H77M)

Fake raid ? При смерти матплаты - привет данным. Тот же proxmox на zfs softraid-е я перенесу на др. матплату (да что там - на др. платформу!) с вер. 90% без проблем.

Не совсем так. Это зеркало, т.е. любой винт можно отцепить и поставить на другую мать для чтения данных или на мать с таким же интеловским чипсетом для запуска зеркала.

проблему с пропажей пакетов частично решил выключив в настройках сетевой карты в LAN (той что Hyper-V генерирует) все что имеет в названии слова "крупный пакет" и т.п. Теперь время пинга пригает от 1 до 5мс чаще всего, редко до 46мс (тестирую с ноута по вайфай, в локалке ютюб еще видео крутит). Не более 1% потерь уже, скайп перестал время от времени реконектится.

Shaman2

@werter:

2. nas4free, freenas (zfs) в кач-ве хранилища (можно и в виде вирт. машины). Сплошные плюсы. Снэпшоты - да хоть ежеминутно. Плюс в jail можно поднять Nextcloud (webdav, ldap\ad-привязка, spreed.me webrtc видеоконференция, собственный клиент для синхронизации под Android, Win, iOS и т.д.)

3. По Proxmox. Софт-zfs-raid без привязки к железу, отличный веб-интерфейс для управления из любого браузера, бэкапы из коробки и по расписанию без танцев, кластер из коробки. Это навскидку.

Кстати если zfs-raid можно поднять на любой машине, то как это делается, через какой-нибудь импорт? Дела с этим еще не имел.

У меня сейчас в наличии 2шт 2Гб винта самсунг, 2шт 1Гб самсунг и хитачи и 1 500Мб тошиба. Последняя держит виртуалки, 2Гб винты систему и данные. Т.е. винтов для доп.бекапов нет, как мне в этом случае поступить? Или zfs можно завести не удаляя всех данных как это можно сделать с софтрейд1 на динамических дисках винды? Хотелось бы правильный толчек в нужном направлении. Proxmox ставить на дебиан или сразу как гипервизор?

werter

Не совсем так. Это зеркало, т.е. любой винт можно отцепить и поставить на другую мать для чтения данных или на мать с таким же интеловским чипсетом для запуска зеркала.

Попробуйте. Найдите мать на чипсете от АМД и поставьте туда один винт из зеркала.
Ваш недорейд привязан к конкретному чипсету интела.

У меня сейчас в наличии 2шт 2Гб винта самсунг, 2шт 1Гб самсунг и хитачи и 1 500Мб тошиба. Последняя держит виртуалки, 2Гб винты систему и данные. Т.е. винтов для доп.бекапов нет, как мне в этом случае поступить? Или zfs можно завести не удаляя всех данных как это можно сделать с софтрейд1 на динамических дисках винды? Хотелось бы правильный толчек в нужном направлении. Proxmox ставить на дебиан или сразу как гипервизор?

В зависимости сколько у вас данных.

2шт 2тб самсунгов в zfs raid1 (не путать с raid-z1 !) и на них готовый проксмокс. Исп. готовый образ с сайта. При установке на нач. этапе внизу выбирайте zfs raid1.

2шт 1тб самсунг и хитачи используете для nas4free (http://2gusia.livejournal.com/tag/nas4free). Т.е. саму NAS ставите в вирт. маш на проксмокс , а диски в нее (2шт 1тб самсунг и хитачи) пробрасываете и создаете в nas также zfs raid1 из них. После можно в jail на nas4free поднять и nexcloud.

Или наоборот с дисками. Решать вам.

Ну а 1.5тб тошиба у вас подменный.

Shaman2

@werter:

Не совсем так. Это зеркало, т.е. любой винт можно отцепить и поставить на другую мать для чтения данных или на мать с таким же интеловским чипсетом для запуска зеркала.

Попробуйте. Найдите мать на чипсете от АМД и поставьте туда один винт из зеркала.
Ваш недорейд привязан к конкретному чипсету интела.

В конце недели будет как раз комп на амд и появится возможность проверить.

Shaman2

@werter:

2шт 2тб самсунгов в zfs raid1 (не путать с raid-z1 !) и на них готовый проксмокс. Исп. готовый образ с сайта. При установке на нач. этапе внизу выбирайте zfs raid1.

В доках что я встречал не рекомендуется ставить proxmox на zfs, а рекомендуется на рейд mdadm. Или инфа устарела?

Кроме того для zfs у меня нет ECC памяти это раз, а та что есть на виртуалках, нехочется до 4-5Гб отдавать для работы zfs

Наверное пока поставлю proxmox и виртуалки на отдельный винт (бекапы всего важного у меня имеются), текущую винду перенесу на виртуалку в виде временного NAS. Чтобы посмотреть решит ли это проблему с таймаутами в pfsense, а там будем решать. Подскажите пару моментов:

какой вид сетки в прокмоксе указать для внутренней сети а какую указывать для внешней, чтобы машина с прокмоксом в инет не смотрела, а смотрел только pfsense?
как быстро просто забекамить сам прокмокс на случай проблем с загрузочным винтом?
виртуалки с hyper-v на proxmox переносятся успешно или геморно?

werter

2 Shaman2

Доброе.
Пишите в ЛС. Мы уже в оффтоп свалились.

xhangmanx

@werter:

2 Shaman2

Доброе.
Пишите в ЛС. Мы уже в оффтоп свалились.

Пишите здесь) многим интересно будет..

pigbrother

@xhangmanx:

@werter:

2 Shaman2

Доброе.
Пишите в ЛС. Мы уже в оффтоп свалились.

Пишите здесь) многим интересно будет..

Тоже интересна эта тема. Может быть изложить рекомендации если не тут, то в любом удобном общедоступном месте, благо сейчас это не проблема…

werter

Коллеги.
Вы просто начните его (Proxmox) пользовать. Многое вопросы сами собой отпадут.

P.s. Можно его и в вирт. машине попробовать. (Жутко) медленно может быть, но для потрогать хватит.
Плюс у него оч. неплохая wiki - https://pve.proxmox.com/wiki/Documentation, https://pve.proxmox.com/wiki/Category:HOWTO

Хороший man - http://onreader.mdl.ru/MasteringProxmox.2ed/content/index.html , http://onreader.mdl.ru/VirtualizationComplete/content/index.html
На сайте не только о Proxmox много вкусного

Shaman2

Я пока на другой машине экспериментирую. Пока все нравится, перенес с hyper-v все свои виртуалки, селал их бекап, поднял pfsense.
На выходных попробую запустить в продакшн вместо win2012+HyperV, результат по работе pfSense под проксмоксом напишу тут

pigbrother

Вопрос к использующим виртуализированный pfSense на платформах с CPU, поддерживающим AES-NI и VT-D.
Доступен ли в System: Advanced: Miscellaneous:System: Advanced:Cryptographic Hardware Acceleration
пункт
AES-NI CPU-based Acceleration?
Только amd64.

Если доступен - можно включить (перезагрузки не требует) и потестировать:
https://doc.pfsense.org/index.php/Are_cryptographic_accelerators_supported

Там же описано как задействовать cryptographic accelerators для IPsec\OpenVPN.
Проверил на "железном" pfSense 2.2.6 с "процессором" Celeron N3150.
http://ark.intel.com/products/87258/Intel-Celeron-Processor-N3150-2M-Cache-up-to-2_08-GHz
Для OpenVPN результат явно ощутим.
Могу выложить скриншоты.

werter

Вопрос к использующим виртуализированный pfSense на платформах с CPU, поддерживающим AES-NI и VT-D.
Доступен ли в System: Advanced: Miscellaneous:System: Advanced:Cryptographic Hardware Acceleration
пункт
AES-NI CPU-based Acceleration?

Доброе.
Дело в том, что при создание вирт. маш. в том же Proxmox по-умолч исп. не родной CPU (хотя можно его и выбрать в настройках), а kvm64, к-ый врядли поддерживает эти инс-ции. Для выбора же родного CPU нужно выбрать host в настр. вирт. машины.
Но поможет ли это и не упадет ли производ-ть в целом - я хз.

P.s. У меня Xeon E5620 + вирт. pf на hyper-v 2012 этот пункт можно выбрать.

P.p.s. После вкл. AES-NI CPU-based Acceleration

$ /usr/bin/openssl engine -t -c
(cryptodev) BSD cryptodev engine
 [RSA, DSA, DH]
     [ available ]
(dynamic) Dynamic engine loading support
     [ unavailable ]

pigbrother

А что говорит команда
openssl speed -evp aes-128-cbc ?

https://doc.pfsense.org/index.php/Are_cryptographic_accelerators_supported#Comparison

werter

@pigbrother:

А что говорит команда
openssl speed -evp aes-128-cbc ?

Как я понял из того, что написано в выводе выше, мой cpu ускорение при работе с aes не поддерживает ?

pigbrother

@werter:

@pigbrother:

А что говорит команда
openssl speed -evp aes-128-cbc ?

Как я понял из того, что написано в выводе выше, мой cpu ускорение при работе с aes не поддерживает ?

Вероятно не поддерживает . Вот мой вывод этой команды:
(cryptodev) BSD cryptodev engine
[RSA, DSA, DH, AES-128-CBC, AES-192-CBC, AES-256-CBC]
[ available ]
(rsax) RSAX engine support
[RSA]
[ available ]
(rdrand) Intel RDRAND engine
[RAND]
[ available ]
(dynamic) Dynamic engine loading support
[ unavailable ]

rdrand и RAND относятся г генератору случайных чисел.

OpenVPN при включении Hardware Crypto в логах пишет так:
openvpn[14708]: Initializing OpenSSL support for engine 'cryptodev'

bill_open

Не отклоняясь от изначальной темы. У меня подозрения, что потеря пакетов из-за нехватки ресурсов(если я правильно понял его конфу(raid1-гипервизор, 500gb hdd для виртуалок)). Сколько у вас виртуалок используется сейчас на этой конфигурации и напишите полную конфигурацию. У меня такие же проблемы были при тестах Hyperv2012r2 и pf2.2.5, но у меня на 2x5620+32ram+raid10sas15k крутилось 4vm, все очень сильно нагружены. Вам необходимо через счетчик производительности и wireshark проанализировать все. Как я вижу выход, это миграция на более производительный host, вроде бы еще проблемы были из-за виртуального коммутатора 2012r2(поищите в топиках, решение есть).

pigbrother

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Shaman2

@bill_open:

Не отклоняясь от изначальной темы. У меня подозрения, что потеря пакетов из-за нехватки ресурсов(если я правильно понял его конфу(raid1-гипервизор, 500gb hdd для виртуалок)). Сколько у вас виртуалок используется сейчас на этой конфигурации и напишите полную конфигурацию. У меня такие же проблемы были при тестах Hyperv2012r2 и pf2.2.5, но у меня на 2x5620+32ram+raid10sas15k крутилось 4vm, все очень сильно нагружены. Вам необходимо через счетчик производительности и wireshark проанализировать все. Как я вижу выход, это миграция на более производительный host, вроде бы еще проблемы были из-за виртуального коммутатора 2012r2(поищите в топиках, решение есть).

Там хост практически никогда загруженым не бывает. 3-4 виртуалки, i3 процессор и 16Гб оперативки. Виртуалкам вполне хватало до 4Гб оперативки

Shaman2

@pigbrother:

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Сорри, но где посмотреть?

pigbrother

@Shaman2:

@pigbrother:

Вопрос к ТС:
Маловероятно, но каков размер\занятость MBUF?
Иногда pfSense неверно задает MBUF, что ведет к разнообразным проблемам с сетью.

Сорри, но где посмотреть?

В дашбоард

https://doc.pfsense.org/index.php/What_are_mbufs