Proxmox, ceph, zfs, pfsense и все-все-все - часть 1
-
Поправил репы, обновил, выключил, обесточил, подождал, включил - результат отрицательный.
root@pve:~# lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 4 On-line CPU(s) list: 0-3 Thread(s) per core: 1 Core(s) per socket: 2 Socket(s): 2 NUMA node(s): 1 Vendor ID: GenuineIntel CPU family: 6 Model: 15 Model name: Intel(R) Xeon(R) CPU 5140 @ 2.33GHz Stepping: 6 CPU MHz: 2327.410 CPU max MHz: 2324.0000 CPU min MHz: 1992.0000 BogoMIPS: 4654.82 Virtualization: VT-x L1d cache: 32K L1i cache: 32K L2 cache: 4096K NUMA node0 CPU(s): 0-3 Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good nopl cpuid aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca lahf_lm tpr_shadow dtherm
root@pve:~# lsmod | grep kvm kvm 581632 0 irqbypass 16384 1 kvm
Повторюсь - под freebsd и ubuntu server kvm работает на этой системе и пишет следующее:
INFO: /dev/kvm exists KVM acceleration can be used
-
root@pve:~# lsmod | grep kvm kvm 581632 0 irqbypass 16384 1 kvm
У меня lsmod | grep kvm :
root@pve:~# lsmod | grep kvm
kvm_amd 2179072 34
kvm 581632 1 kvm_amd
irqbypass 16384 24 kvmРазницу увидели ? У вас там где kvm должно быть kvm xxxxxx 1 kvm_intel
Покажите dmesg | grep kvm и modinfo kvm_intel
И попробуйте руками sudo modprobe kvm-intel -
Разницу вижу.
dmesg | grep kvm - пусто
root@pve:~# modinfo kvm_intel filename: /lib/modules/4.13.4-1-pve/kernel/arch/x86/kvm/kvm-intel.ko license: GPL author: Qumranet srcversion: 7CEE7EE092D65CA2BC3BD89 alias: cpu:type:x86,ven*fam*mod*:feature:*0085* depends: kvm intree: Y name: kvm_intel vermagic: 4.13.4-1-pve SMP mod_unload modversions parm: vpid:bool parm: flexpriority:bool parm: ept:bool parm: unrestricted_guest:bool parm: eptad:bool parm: emulate_invalid_guest_state:bool parm: fasteoi:bool parm: enable_apicv:bool parm: enable_shadow_vmcs:bool parm: nested:bool parm: pml:bool parm: preemption_timer:bool parm: ple_gap:int parm: ple_window:int parm: ple_window_grow:int parm: ple_window_shrink:int parm: ple_window_max:int
root@pve:~# modprobe kvm-intel modprobe: ERROR: could not insert 'kvm_intel': Input/output error
p.s. сейчас ради эксперимента поставил ubuntu на другой диск:
user@u16:~$ uname -a Linux u16 4.4.0-87-generic #110-Ubuntu SMP Tue Jul 18 12:55:35 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux user@u16:~$ kvm-ok INFO: /dev/kvm exists KVM acceleration can be used user@u16:~$ lsmod | grep kvm kvm_intel 172032 0 kvm 544768 1 kvm_intel irqbypass 16384 1 kvm
bios не трогал.
-
Доброго.
Попробуйте руками https://forum.proxmox.com/threads/kvm-modules-not-loading-at-boot.29984/ и перезагрузиться. -
В той теме модуль изначально получалось загрузить командой modprobe kvm_intel. У меня же выдает ошибку на этом этапе.
Я добавил kvm_intel в /etc/modules и обновил груб.
Поменялось лишь то, что в вывод при загрузке добавилось[FAILED] Failed to start kernel module
-
Попробуйте снова обновить proxmox - сегодня ядро новое вышло. И перезагрузиться.
Если снова не получится - вот тут есть тестовое https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/Видимо это баг :( Может в 4.14 пофиксят.
-
Поставил ядро из темы - kvm работает, правда ругается:
root@pve:~# kvm Could not initialize SDL(No available video device) - exiting
Но винда работает и usb проброс тоже.
С Open vSwitch разобрался на ubuntu, оч понравилось. Думаю на proxmox тоже будет не хуже. -
Доброго.
Супер.Думаю на proxmox тоже будет не хуже.
Вы себе не представляете насколько они близкие родственники ::)
P.s. И вы - молодчина, что не бросили затею, столкнувшись с трудностями.
-
Доброго.
Пофиксили проблему со старыми платформами - https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/page-2
new kernel is available on pvetest (pve-kernel-4.13.8-3-pve with version 4.13.8-29):
cherry-pick KVM fix for old CPUs
cherry-pick / backport IB fixes
cherry-pick vhost perf regression and mem-leak fix
cherry-pick final Windows BSOD fix -
Доброго.
Добавил ссылку на коллекцию интересных скриптов. -
Добавил про SR-IOV
-
Вопрос чуть в сторону, прошу совета ERC / TLER на программном рейде включать или выключать?
-
Доброго.
Если вы собираете zfs raidz-1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
если же собираетесь использовать zfs raid 0\1\10, то вкл. не нужно.Upd. Добавил ссылку про проброс GPU в ВМ.
-
Задался таким вопросом, так как у меня zfs raid 1 винты ERC / TLER не поддерживают.
Один из винтов сыплется. Система вешается при обращении к битым участкам винта.Соответственно вопрос, можно ли было как-то сделать чтоб сервер не зависал?
-
Доброго.
Отвечу. Не любить себе причинные места - заменить hdd. -
Спасибо)) Это я сейчас знаю, что винт деградирует. А раньше я только мог только догадываться о причинах зависания. Сейчас я знаю, что винт пытался выжить о чём писал в таблицу SMART и больше никуда. Динамику SMART я не мониторил. Scrub не запускал. Впрочем, последний здесь не сильно помогает.
-
Доброго.
СМАРТ для этого же и предназначен изначально. Если он сообщает о проблемах - все, нужно менять. -
Доброго.
Добавил примеры использования pv для удаленной миграции на Proxmox VE. -
Добавил про VM watchdog.
-
Добавил про ZSWAP.
Upd. Добавил ссылку на скрипт.
-
Добавил про установку Proxmox VE по сети с помощью FOG Project.
-
Добавил про Setting up an HA Cluster with Ceph Bluestore
Upd. Ядро теперь 4.15.
-
Добавил про Differential backups patch.
-
Добавил про миграцию с Vmware ESXi и Xen на Proxmox VE.
-
Добавил про "ZFSin: работаем с ZFS нативно под Windows"
-
При запуске Web браузера с Proxmox выскакивает окно с уведомлением «You do not have a valid subscription for this server. Please visit www.proxmox.com to get a list of available options.»
Версия Proxmox 5.2-1. Те что нашел в интернете инструкции по отключению данного сообщения не помогают. А именно изменение файла pvemanagerlib.js.
В указанной версии нет тех строк, которые надо изменить.
Есть ли другие варианты, отключить данное сообщение, не в курсе? -
Добрый.
Мне оно не мешает. -
@werter
Доброго времени.
Сообщение, как я понял, появляется только 1 раз при авторизации в proxmox через Web браузер, по-этому да можно и забить на него.
Есть еще такой момент. Имеются 3 HDD. 1 Сигейт - новый и 2 WD древненьких (где-то 2008 года выпуска).
Так в Proxmox в разделе Диски (столбец - Тип), Сигейт определяется нормально как Hard Disk, а WD оба определяются как неизвестное устройство. Хотя остальное все ОК, размер определяет нормально, модель жесткого диска, SMART читает. Сам полагаю, что WD старенькие и Proxmox не может толком определить, что это за устройство. Это не критично, но может как то ручками можно поменять тип? -
Добрый.
Первый раз такое вижу. Попробуйте руками через тот же hdparm определить. Аж интересно, что он скажет.Зы. БИОС обновите, шлейфы замените etc
-
Добавил про Proxmox 5: 2-node cluster with replicated storage
-
Добавил про Remove old kernel packages script on Linux distros or Proxmox
-
Попробуйте руками через тот же hdparm определить. Аж интересно, что он скажет.
Зы. БИОС обновите, шлейфы замените etchdparm прекрасно отображает всю подробную информацию о жестком диске, для сравнения запустил hdparm как для HDD Сигейт, так и HDD WD, идентичная информация, ну конечно размеры и серийники разные и т.п.
вообщем не стал особо мучиться, был у меня еще HDD Хитачи, поставил его, он прекрасно определился как Hard Disk ), а WD куда нибудь пристрою ) -
Добавил про "Настройка NUT для управления ИБП с нескольких серверов"
-
Добавил про "Надежное хранилище с DRBD9 и Proxmox"
-
Добавил "Экономим место на дисках вирт. машин"
-
Доброго всем.
Немного обновил шапку. -
Кому не мил KVM\Proxmox, имеется неплохая альтернатива - Xen \XCP ng -https://xcp-ng.org/ ( экпериментальная поддержка ZFS, Ceph etc)
Плюc вот такое симпатичное Web GUI - https://xen-orchestra.com/, к-ую можно\нужно собрать самому https://xen-orchestra.com/docs/from_the_sources.html , https://xen-orchestra.com/docs/ . Если платить неохота.
P.s. Можно потискать в др. гипервизоре (не для продакшена, ес-но) https://github.com/xcp-ng/xcp/wiki/Testing-XCP-ng-in-Virtual-Machine-(Nested-Virtualization)
-
Добавил про
Разворачиваем хранилище LINSTOR для Proxmox DRBD https://habr.com/post/423101/
-
Доброго.
Добавил немного теории по ZFS. -
Доброго.
Добавил про создание кластера proxmox через openvpn (tap).