Proxmox, Ceph, ZFS, pfsense



  • @T-Virus:

    root@pve:~# lsmod | grep kvm
    kvm                   581632  0
    irqbypass              16384  1 kvm
    
    

    У меня lsmod | grep kvm :

    root@pve:~# lsmod | grep kvm
    kvm_amd              2179072  34
    kvm                  581632  1 kvm_amd
    irqbypass              16384  24 kvm

    Разницу увидели ? У вас там где kvm должно быть kvm xxxxxx 1 kvm_intel
    Покажите dmesg | grep kvm и modinfo kvm_intel
    И попробуйте руками sudo modprobe kvm-intel



  • Разницу вижу.

    dmesg | grep kvm - пусто

    root@pve:~# modinfo kvm_intel
    filename:       /lib/modules/4.13.4-1-pve/kernel/arch/x86/kvm/kvm-intel.ko
    license:        GPL
    author:         Qumranet
    srcversion:     7CEE7EE092D65CA2BC3BD89
    alias:          cpu:type:x86,ven*fam*mod*:feature:*0085*
    depends:        kvm
    intree:         Y
    name:           kvm_intel
    vermagic:       4.13.4-1-pve SMP mod_unload modversions
    parm:           vpid:bool
    parm:           flexpriority:bool
    parm:           ept:bool
    parm:           unrestricted_guest:bool
    parm:           eptad:bool
    parm:           emulate_invalid_guest_state:bool
    parm:           fasteoi:bool
    parm:           enable_apicv:bool
    parm:           enable_shadow_vmcs:bool
    parm:           nested:bool
    parm:           pml:bool
    parm:           preemption_timer:bool
    parm:           ple_gap:int
    parm:           ple_window:int
    parm:           ple_window_grow:int
    parm:           ple_window_shrink:int
    parm:           ple_window_max:int
    
    
    root@pve:~# modprobe kvm-intel
    modprobe: ERROR: could not insert 'kvm_intel': Input/output error
    

    p.s. сейчас ради эксперимента поставил  ubuntu на другой диск:

    user@u16:~$ uname -a
    Linux u16 4.4.0-87-generic #110-Ubuntu SMP Tue Jul 18 12:55:35 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
    
    user@u16:~$ kvm-ok
    INFO: /dev/kvm exists
    KVM acceleration can be used
    
    user@u16:~$ lsmod | grep kvm
    kvm_intel             172032  0
    kvm                   544768  1 kvm_intel
    irqbypass              16384  1 kvm
    
    

    bios не трогал.



  • Доброго.
    Попробуйте руками https://forum.proxmox.com/threads/kvm-modules-not-loading-at-boot.29984/ и перезагрузиться.



  • В той теме модуль изначально получалось загрузить командой modprobe kvm_intel. У меня же выдает ошибку на этом этапе.
    Я добавил kvm_intel в /etc/modules и обновил груб.
    Поменялось лишь то, что в вывод при загрузке добавилось

    [FAILED] Failed to start kernel module 
    


  • Попробуйте снова обновить proxmox - сегодня ядро новое вышло. И перезагрузиться.
    Если снова не получится - вот тут есть тестовое https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/

    Видимо это баг :( Может в 4.14 пофиксят.



  • Поставил ядро из темы - kvm работает, правда ругается:

    root@pve:~# kvm
    Could not initialize SDL(No available video device) - exiting
    
    

    Но винда работает и usb проброс тоже.
    С Open vSwitch разобрался на ubuntu, оч понравилось. Думаю на proxmox тоже будет не хуже.



  • Доброго.
    Супер.

    Думаю на proxmox тоже будет не хуже.

    Вы себе не представляете насколько они близкие родственники  ::)

    P.s. И вы - молодчина, что не бросили затею, столкнувшись с трудностями. Таким :'( людям есть желание помогать.



  • Доброго.

    Пофиксили проблему со старыми платформами - https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/page-2

    new kernel is available on pvetest (pve-kernel-4.13.8-3-pve with version 4.13.8-29):
    cherry-pick KVM fix for old CPUs
    cherry-pick / backport IB fixes
    cherry-pick vhost perf regression and mem-leak fix
    cherry-pick final Windows BSOD fix



  • Доброго.
    Добавил ссылку на коллекцию интересных скриптов.



  • Добавил про SR-IOV



  • Вопрос чуть в сторону, прошу совета ERC / TLER на программном рейде включать или выключать?



  • Доброго.
    Если вы собираете zfs raidz-1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
    если же собираетесь использовать zfs raid 0\1\10, то вкл. не нужно.

    Upd. Добавил ссылку про проброс GPU в ВМ.



  • Задался таким вопросом, так как у меня  zfs raid 1 винты  ERC / TLER не поддерживают.
    Один из винтов сыплется. Система вешается при обращении к битым участкам винта.

    Соответственно вопрос, можно ли было как-то сделать чтоб сервер не зависал?



  • Доброго.
    Отвечу. Не любить себе причинные места - заменить hdd.



  • Спасибо)) Это я сейчас знаю, что винт деградирует. А раньше я только мог только догадываться о причинах зависания. Сейчас я знаю, что винт пытался выжить о чём писал в таблицу SMART и больше никуда. Динамику SMART я не мониторил. Scrub не запускал. Впрочем, последний здесь не сильно помогает.



  • Доброго.
    СМАРТ для этого же и предназначен изначально. Если он сообщает о проблемах - все, нужно менять.



  • Доброго.
    Добавил примеры использования pv для удаленной миграции на Proxmox VE.



  • Добавил про VM watchdog.



  • Добавил про ZSWAP.

    Upd. Добавил ссылку на скрипт.



  • Добавил про установку Proxmox VE по сети с помощью FOG Project.



  • Добавил про Setting up an HA Cluster with Ceph Bluestore

    Upd. Ядро теперь 4.15.



  • Добавил про Differential backups patch.



  • Добавил про миграцию с Vmware ESXi и Xen на Proxmox VE.



  • Добавил про "ZFSin: работаем с ZFS нативно под Windows"



  • При запуске Web браузера с Proxmox выскакивает окно с уведомлением «You do not have a valid subscription for this server. Please visit www.proxmox.com to get a list of available options.»
    Версия Proxmox 5.2-1. Те что нашел в интернете инструкции по отключению данного сообщения не помогают. А именно изменение файла pvemanagerlib.js.
    В указанной версии нет тех строк, которые надо изменить.
    Есть ли другие варианты, отключить данное сообщение, не в курсе?



  • Добрый.
    Мне оно не мешает.



  • @werter
    Доброго времени.
    Сообщение, как я понял, появляется только 1 раз при авторизации в proxmox через Web браузер, по-этому да можно и забить на него.
    Есть еще такой момент. Имеются 3 HDD. 1 Сигейт - новый и 2 WD древненьких (где-то 2008 года выпуска).
    Так в Proxmox в разделе Диски (столбец - Тип), Сигейт определяется нормально как Hard Disk, а WD оба определяются как неизвестное устройство. Хотя остальное все ОК, размер определяет нормально, модель жесткого диска, SMART читает. Сам полагаю, что WD старенькие и Proxmox не может толком определить, что это за устройство. Это не критично, но может как то ручками можно поменять тип?



  • Добрый.
    Первый раз такое вижу. Попробуйте руками через тот же hdparm определить. Аж интересно, что он скажет.

    Зы. БИОС обновите, шлейфы замените etc



  • Добавил про Proxmox 5: 2-node cluster with replicated storage



  • Добавил про Remove old kernel packages script on Linux distros or Proxmox



  • Попробуйте руками через тот же hdparm определить. Аж интересно, что он скажет.
    Зы. БИОС обновите, шлейфы замените etc

    hdparm прекрасно отображает всю подробную информацию о жестком диске, для сравнения запустил hdparm как для HDD Сигейт, так и HDD WD, идентичная информация, ну конечно размеры и серийники разные и т.п.
    вообщем не стал особо мучиться, был у меня еще HDD Хитачи, поставил его, он прекрасно определился как Hard Disk ), а WD куда нибудь пристрою )



  • Добавил про "Настройка NUT для управления ИБП с нескольких серверов"



  • Добавил про "Надежное хранилище с DRBD9 и Proxmox"



  • Добавил "Экономим место на дисках вирт. машин"



  • Доброго всем.
    Немного обновил шапку.



  • Кому не мил KVM\Proxmox, имеется неплохая альтернатива - Xen \XCP ng -https://xcp-ng.org/ ( экпериментальная поддержка ZFS, Ceph etc)

    Плюc вот такое симпатичное Web GUI - https://xen-orchestra.com/, к-ую можно\нужно собрать самому https://xen-orchestra.com/docs/from_the_sources.html , https://xen-orchestra.com/docs/ . Если платить неохота.

    P.s. Можно потискать в др. гипервизоре (не для продакшена, ес-но) https://github.com/xcp-ng/xcp/wiki/Testing-XCP-ng-in-Virtual-Machine-(Nested-Virtualization)



  • Добавил про

    Разворачиваем хранилище LINSTOR для Proxmox DRBD https://habr.com/post/423101/



  • Доброго.
    Добавил немного теории по ZFS.



  • Доброго.

    Добавил про создание кластера proxmox через openvpn (tap).



  • Доброго.

    Добавил про порядок переименование ноды\хоста Proxmox.


Log in to reply