Proxmox, ceph, zfs, pfsense и все-все-все - часть 1

T-Virus

Разницу вижу.

dmesg | grep kvm - пусто

root@pve:~# modinfo kvm_intel
filename:       /lib/modules/4.13.4-1-pve/kernel/arch/x86/kvm/kvm-intel.ko
license:        GPL
author:         Qumranet
srcversion:     7CEE7EE092D65CA2BC3BD89
alias:          cpu:type:x86,ven*fam*mod*:feature:*0085*
depends:        kvm
intree:         Y
name:           kvm_intel
vermagic:       4.13.4-1-pve SMP mod_unload modversions
parm:           vpid:bool
parm:           flexpriority:bool
parm:           ept:bool
parm:           unrestricted_guest:bool
parm:           eptad:bool
parm:           emulate_invalid_guest_state:bool
parm:           fasteoi:bool
parm:           enable_apicv:bool
parm:           enable_shadow_vmcs:bool
parm:           nested:bool
parm:           pml:bool
parm:           preemption_timer:bool
parm:           ple_gap:int
parm:           ple_window:int
parm:           ple_window_grow:int
parm:           ple_window_shrink:int
parm:           ple_window_max:int

root@pve:~# modprobe kvm-intel
modprobe: ERROR: could not insert 'kvm_intel': Input/output error

p.s. сейчас ради эксперимента поставил ubuntu на другой диск:

user@u16:~$ uname -a
Linux u16 4.4.0-87-generic #110-Ubuntu SMP Tue Jul 18 12:55:35 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

user@u16:~$ kvm-ok
INFO: /dev/kvm exists
KVM acceleration can be used

user@u16:~$ lsmod | grep kvm
kvm_intel             172032  0
kvm                   544768  1 kvm_intel
irqbypass              16384  1 kvm

bios не трогал.

werter

Доброго.
Попробуйте руками https://forum.proxmox.com/threads/kvm-modules-not-loading-at-boot.29984/ и перезагрузиться.

T-Virus

В той теме модуль изначально получалось загрузить командой modprobe kvm_intel. У меня же выдает ошибку на этом этапе.
Я добавил kvm_intel в /etc/modules и обновил груб.
Поменялось лишь то, что в вывод при загрузке добавилось

[FAILED] Failed to start kernel module

werter

Попробуйте снова обновить proxmox - сегодня ядро новое вышло. И перезагрузиться.
Если снова не получится - вот тут есть тестовое https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/

Видимо это баг :( Может в 4.14 пофиксят.

T-Virus

Поставил ядро из темы - kvm работает, правда ругается:

root@pve:~# kvm
Could not initialize SDL(No available video device) - exiting

Но винда работает и usb проброс тоже.
С Open vSwitch разобрался на ubuntu, оч понравилось. Думаю на proxmox тоже будет не хуже.

werter

Доброго.
Супер.

Думаю на proxmox тоже будет не хуже.

Вы себе не представляете насколько они близкие родственники ::)

P.s. И вы - молодчина, что не бросили затею, столкнувшись с трудностями.

werter

Доброго.

Пофиксили проблему со старыми платформами - https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/page-2

new kernel is available on pvetest (pve-kernel-4.13.8-3-pve with version 4.13.8-29):
cherry-pick KVM fix for old CPUs
cherry-pick / backport IB fixes
cherry-pick vhost perf regression and mem-leak fix
cherry-pick final Windows BSOD fix

werter

Доброго.
Добавил ссылку на коллекцию интересных скриптов.

werter

Добавил про SR-IOV

Scodezan

Вопрос чуть в сторону, прошу совета ERC / TLER на программном рейде включать или выключать?

werter

Доброго.
Если вы собираете zfs raidz-1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
если же собираетесь использовать zfs raid 0\1\10, то вкл. не нужно.

Upd. Добавил ссылку про проброс GPU в ВМ.

Scodezan

Задался таким вопросом, так как у меня zfs raid 1 винты ERC / TLER не поддерживают.
Один из винтов сыплется. Система вешается при обращении к битым участкам винта.

Соответственно вопрос, можно ли было как-то сделать чтоб сервер не зависал?

werter

Доброго.
Отвечу. Не любить себе причинные места - заменить hdd.

Scodezan

Спасибо)) Это я сейчас знаю, что винт деградирует. А раньше я только мог только догадываться о причинах зависания. Сейчас я знаю, что винт пытался выжить о чём писал в таблицу SMART и больше никуда. Динамику SMART я не мониторил. Scrub не запускал. Впрочем, последний здесь не сильно помогает.

werter

Доброго.
СМАРТ для этого же и предназначен изначально. Если он сообщает о проблемах - все, нужно менять.

werter

Доброго.
Добавил примеры использования pv для удаленной миграции на Proxmox VE.

werter

Добавил про VM watchdog.

werter

Добавил про ZSWAP.

Upd. Добавил ссылку на скрипт.

werter

Добавил про установку Proxmox VE по сети с помощью FOG Project.

werter

Добавил про Setting up an HA Cluster with Ceph Bluestore

Upd. Ядро теперь 4.15.