Proxmox, ceph, zfs, pfsense и все-все-все - часть 1

derwin

я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.

werter

@derwin:

я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.

Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.

derwin

@werter:

@derwin:

я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
Когда развалился массив - я не смог сделать равном счётом ни-че-го.

Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.

я по первому высшему инженер-котельщик-атомщик ;)
Работал по специальности, всё видел и делал

werter

Доброе всем.
С утра запустил обновление Proxmox. Прилетело масштабное (!) - ядро теперь 4.13 (наираспоследнее LTS) , zfs - 0.7.2.

pigbrother

Обновил тестовый PVE.
apt-get update and apt-get upgrade версии не изменили, хотя пакеты и скачались и установились.

apt-get dist-upgrade - сработало.

werter

Доброе.
Используйте apt <параметры>. Современные дебиан-подобные с ним корректнее пакетные зависимости разрешают.

P.s. Также следует обновить zfs - https://docs.oracle.com/cd/E19253-01/819-5461/gcikw/index.html

ToXaNSK

На что лучше устанавливать? SSD или HDD?
На что хватит ресурсов 8 Xeon/32 Гб?

werter

У меня - на 4-ех HDD 7200 rpm . При установке в самом начале (внизу) выбрал zfs raid 10 и свои 4 диска + lz4 сжатие явно указал.
Плюс, отдельно докинут SSD, к-ый разбит на 2 партиции - меньшая для l2arc cache, большая - как zfs для дисков вирт. машин.

На что хватит ресурсов 8 Xeon/32 Гб?

А кто ж его знает.

P.s. Разворачивание proxmox я бы рекомендовал начать с тестов в Virtualbox. Чтобы не залюбиться.

pigbrother

Правильно ли я понимаю, что аппаратных рейдов надо избегать? Они не нужны?

werter

Верно. Избегать как огня.

"ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity"

Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

pigbrother

Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

Т.е. в режим обычного SATA\SAS контроллера?

werter

Доброе.

Т.е. в режим обычного SATA\SAS контроллера?

Что-то типа того.

Для LSI, напр., это наз-ся IT mode - https://b3n.org/freenas-9-3-on-vmware-esxi-6-0-guide/

pigbrother

Интересный мануал, спасибо.

werter

Добавил инф-цию по SCT Error Recovery Control.

werter

Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort

derwin

@werter:

Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort

вот если бы ко мне пришёл сотрудник и сказал "я прокинул VLAN через OpenVPN" - я бы его уволил. Чесслово. Это как копать огород клавиатурой. Чисто сисадминский подход. Хотя бытовая задача для нетворк инженера.

werter

Доброго.
Попробуйте объяснить большинству работодателей, что есть Системный адм-р, есть Системный инженер, есть Сетевой инженер . Это как минимум, потому как еще и Программистов не берем во внимание.
И все это - разные люди, а не один. И ЗП им надо платить по отдельности.

Хотя бытовая задача для нетворк инженера.

Современные "одмины" хорошо, чтобы вообще объяснить могли, что такое VLAN и для чего оно надо. Тут не до жиру, коллега.
В современных реалиях зачастую вот https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера

werter

Добавил ссылки по разворачиванию пф в различн. вирт. средах.

T-Virus

Доброго времени суток!

Попробовал поставить proxmox ve 5.1 и сразу уперся в проблему - не работает kvm.


root@pve:~# kvm
Could not access KVM kernel module: No such file or directory
failed to initialize KVM: No such file or directory

Система ibm x3550 7978K1Y
2x CPU intel xeon 5140
Чипсет intel 5000x
16gb ram
bios последний 1.17

root@pve:~# uname -a
Linux pve 4.13.4-1-pve #1 SMP PVE 4.13.4-25 (Fri, 13 Oct 2017 08:59:53 +0200) x86_64 GNU/Linux


CPU Options

Active Energy Manager 'Capping Enabled'
Processor Perfofmance States 'Enabled'
System Cache Type 'Write Back'
Snoop Filter 'Enabled'
Execute Disable Bit 'Enabled'
Enhanced C1 Power State 'Enabled'
Intel Virtualization Technology 'Enabled'
Processor Hardware Prefetcher 'Enabled'
Processor Adjacent Sector Prefetch 'Auto-configure'

Уже при установке proxmox вижу ошибки:


modprobe: ERROR: could not insert 'kvm_intel': Input/output error
modprobe: ERROR: could not insert 'intel_powerclamp': No such device

и при старте ВМ (windows xp, kvm32):


Could not access KVM kernel module: No such file or directory
failed to initialize KVM: No such file or directory
TASK ERROR: start failed: command '/usr/bin/kvm -id 100.....

На FreeBSD kvm работал с этой системой. Что я делаю не так?

werter

Доброго.

https://bobcares.com/blog/how-to-fix-error-could-not-access-kvm-kernel-module/

1. Покажите вывод lscpu
2. Вывод lsmod | grep kvm
3. Поправьте репозитории https://pve.proxmox.com/wiki/Package_Repositories:

откл. Proxmox VE Enterprise Repository - mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak
в /etc/apt/sources.list у вас должно быть только :

deb http://ftp.ru.debian.org/debian stretch main contrib

# PVE pve-no-subscription repository provided by proxmox.com,
# NOT recommended for production use
deb http://download.proxmox.com/debian/pve stretch pve-no-subscription

# security updates
deb http://security.debian.org stretch/updates main contrib

4. Делаете sudo apt update && sudo apt upgrade

5. После обновления выкл. сервер (не перезагружаете, а именно выкл.). Выдергиваете кабель питания из его БП. И пускай он постоит минут 10.

6. Вкл. сервер. Проверяете снова.

P.s. Есть сомнения работоспособности "полноценной" вирт-ции на вашем cpu (https://ark.intel.com/ru/products/27217/Intel-Xeon-Processor-5140-4M-Cache-2_33-GHz-1333-MHz-FSB), т.к. он не умеет Intel VT-x с таблицами Extended Page Tables (EPT) . Но вот тут (https://social.technet.microsoft.com/Forums/ru-RU/e743ef99-1034-42b6-b5d2-3268413ec109/-hyperv-bios-?) говорят, что "Серверный гипервизор не требует поддержки SLAT (EPT в терминологии Intel), так что поддержка виртуализации у этого процессора есть. Попробуйте обесточить сервер полностью."