Proxmox, Ceph, ZFS, pfsense



  • что то я не вижу гуя по управлению zfs,а значит всё равно звонить сергею брину.
    у меня до 2,4 итак всё было на снапшотах на уровне vmware. Мне мозги пропарило обновление - сейчас откатился до 2,3,4 и нет проблем.

    werter
    фишка zfs это блочное управление и отказоусточивость за счёт проца + памяти. У меня в филиальных бордерах до недавнего времени вообще флешки стояли и я горя не знал! сдохла - вставь резервную…  спасибо 2,4 - теперь заказал SSD на 60гб.....
    я себе в будущем году мож прикуплю сервак с полкой под 300-дисковый zfs пул. Но это NAS сервер, а не пакетный фаервол!!!!

    PS: 2.4 меня вообще в тоску вгоняет.... мало того, что удалили radius2 из репо, дык ещё и с 2.3.4 запретили качать пакеты.... это какой то сплошной фейспалм.



  • @werter:

    Пример? Легко.
    Перед обновлением пф делаете снепшот (вот так http://linux.cpms.ru/?p=8931). Криво встало обновление ? Не работают пакеты, к-ые работали до обновления ? Что же делать? Звонить в Спортлото!
    Да просто откатиться с пом. сделанного ранее снепшота  ::)

    Учитывая что уже большая часть программных роутеров ,фаерволов итд устанавливаются на VM которые сами умеют делать снапшот и для них ZFS это лишнее

    Даже на чистом железе при падении PF не важно отчего (накрылся hdd ,или кривого обновления) при наличии Бэкапа полная установка с заменой винта занимает не более 15 минут



  • что то я не вижу гуя по управлению zfs,

    Гуй точно будет. Для снэпшотов он и не шибко нужен - сделал снэпшот в CLI\восстановил  снэпшот в CLI.
    У меня как-то регулярно пропадало электричество, UFS при этом ведет себя крайне ненадежно. Не зря в 2.4 сделали для опции выключения - перезагрузить и запустить fsck.
    Учитывая что уже большая часть программных роутеров ,фаерволов итд устанавливаются на VM

    У такого решения полно как сторонников, так и противников. Я - не сторонник.
    Имел случай проверить свою правоту.

    И никто не заставляет ZFS использовать, более того - по умолчанию 2.4 ставится по прежнему на UFS.



  • я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
    Когда развалился массив - я не смог сделать равном счётом ни-че-го.



  • @derwin:

    я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
    Когда развалился массив - я не смог сделать равном счётом ни-че-го.

    Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.



  • @werter:

    @derwin:

    я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
    Когда развалился массив - я не смог сделать равном счётом ни-че-го.

    Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.

    я по первому высшему инженер-котельщик-атомщик  ;)
    Работал по специальности, всё видел и делал



  • Доброе всем.
    С утра запустил обновление Proxmox. Прилетело масштабное (!) - ядро теперь 4.13 (наираспоследнее LTS) , zfs - 0.7.2.



  • Обновил тестовый PVE.
    apt-get update and apt-get upgrade версии не изменили, хотя пакеты и скачались и установились.

    apt-get dist-upgrade - сработало.



  • Доброе.
    Используйте apt <параметры>. Современные дебиан-подобные с ним корректнее пакетные зависимости разрешают.

    P.s. Также следует обновить zfs - https://docs.oracle.com/cd/E19253-01/819-5461/gcikw/index.html



  • На что лучше устанавливать? SSD или HDD?
    На что хватит ресурсов 8 Xeon/32 Гб?



  • У меня - на 4-ех HDD 7200 rpm . При установке в самом начале (внизу) выбрал zfs raid 10 и свои 4 диска + lz4 сжатие явно указал.
    Плюс, отдельно докинут SSD, к-ый разбит на 2 партиции - меньшая для l2arc cache, большая - как zfs для дисков вирт. машин.

    На что хватит ресурсов 8 Xeon/32 Гб?

    А кто ж его знает.

    P.s. Разворачивание proxmox я бы рекомендовал начать с тестов в Virtualbox. Чтобы не залюбиться.



  • Правильно ли я понимаю, что аппаратных рейдов надо избегать? Они не нужны?



  • Верно. Избегать как огня.

    "ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity"

    Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.



  • Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

    Т.е. в режим обычного SATA\SAS контроллера?



  • Доброе.

    Т.е. в режим обычного SATA\SAS контроллера?

    Что-то типа того.

    Для LSI, напр., это наз-ся IT mode - https://b3n.org/freenas-9-3-on-vmware-esxi-6-0-guide/

    Также можно попробовать собрать в настройках bios raid-контроллера _raid0-_массив из 1\каждого диска.



  • Интересный мануал, спасибо.



  • Добавил инф-цию по SCT Error Recovery Control.



  • Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort



  • @werter:

    Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort

    вот если бы ко мне пришёл сотрудник и сказал "я прокинул VLAN через OpenVPN" - я бы его уволил. Чесслово. Это как копать огород клавиатурой. Чисто сисадминский подход. Хотя бытовая задача для нетворк инженера.



  • Доброго.
    Попробуйте объяснить большинству работодателей, что есть Системный адм-р, есть Системный инженер, есть Сетевой инженер . Это как минимум, потому как еще и Программистов не берем во внимание.
    И все это - разные люди, а не один. И ЗП им надо платить по отдельности.

    Хотя бытовая задача для нетворк инженера.

    Современные "одмины" хорошо, чтобы вообще объяснить могли, что такое VLAN и для чего оно надо. Тут не до жиру, коллега.
    В современных реалиях зачастую вот https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера



  • Добавил ссылки по разворачиванию пф в различн. вирт. средах.



  • Доброго времени суток!

    Попробовал поставить proxmox ve 5.1 и сразу уперся в проблему - не работает kvm.

    
    root@pve:~# kvm
    Could not access KVM kernel module: No such file or directory
    failed to initialize KVM: No such file or directory
    
    

    Система ibm x3550 7978K1Y
    2x CPU intel xeon 5140
    Чипсет intel 5000x
    16gb ram
    bios последний 1.17

    root@pve:~# uname -a
    Linux pve 4.13.4-1-pve #1 SMP PVE 4.13.4-25 (Fri, 13 Oct 2017 08:59:53 +0200) x86_64 GNU/Linux
    
    
    
    CPU Options
    
    Active Energy Manager 'Capping Enabled'
    Processor Perfofmance States 'Enabled'
    System Cache Type 'Write Back'
    Snoop Filter 'Enabled'
    Execute Disable Bit 'Enabled'
    Enhanced C1 Power State 'Enabled'
    Intel Virtualization Technology 'Enabled'
    Processor Hardware Prefetcher 'Enabled'
    Processor Adjacent Sector Prefetch 'Auto-configure'
    
    

    Уже при установке proxmox вижу ошибки:

    
    modprobe: ERROR: could not insert 'kvm_intel': Input/output error
    modprobe: ERROR: could not insert 'intel_powerclamp': No such device
    
    

    и при старте ВМ (windows xp, kvm32):

    
    Could not access KVM kernel module: No such file or directory
    failed to initialize KVM: No such file or directory
    TASK ERROR: start failed: command '/usr/bin/kvm -id 100.....
    
    

    На FreeBSD kvm работал с этой системой. Что я делаю не так?



  • Доброго.

    https://bobcares.com/blog/how-to-fix-error-could-not-access-kvm-kernel-module/

    1. Покажите вывод lscpu
    2. Вывод lsmod | grep kvm
    3. Поправьте репозитории https://pve.proxmox.com/wiki/Package_Repositories:

    • откл. Proxmox VE Enterprise Repository - mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak

    • в /etc/apt/sources.list у вас должно быть только :

    deb http://ftp.ru.debian.org/debian stretch main contrib
    
    # PVE pve-no-subscription repository provided by proxmox.com,
    # NOT recommended for production use
    deb http://download.proxmox.com/debian/pve stretch pve-no-subscription
    
    # security updates
    deb http://security.debian.org stretch/updates main contrib
    
    

    4. Делаете sudo apt update && sudo apt upgrade

    5. После обновления выкл. сервер (не перезагружаете, а именно выкл.). Выдергиваете кабель питания из его БП. И пускай он постоит минут 10.

    6. Вкл. сервер. Проверяете снова.

    P.s. Есть сомнения работоспособности "полноценной" вирт-ции на вашем cpu (https://ark.intel.com/ru/products/27217/Intel-Xeon-Processor-5140-4M-Cache-2_33-GHz-1333-MHz-FSB), т.к. он не умеет Intel® VT-x с таблицами Extended Page Tables (EPT) . Но вот тут (https://social.technet.microsoft.com/Forums/ru-RU/e743ef99-1034-42b6-b5d2-3268413ec109/-hyperv-bios-?) говорят, что "Серверный гипервизор не требует поддержки SLAT (EPT в терминологии Intel), так что поддержка виртуализации у этого процессора есть. Попробуйте обесточить сервер полностью."



  • Поправил репы, обновил, выключил, обесточил, подождал, включил - результат отрицательный.

    root@pve:~# lscpu
    Architecture:          x86_64
    CPU op-mode(s):        32-bit, 64-bit
    Byte Order:            Little Endian
    CPU(s):                4
    On-line CPU(s) list:   0-3
    Thread(s) per core:    1
    Core(s) per socket:    2
    Socket(s):             2
    NUMA node(s):          1
    Vendor ID:             GenuineIntel
    CPU family:            6
    Model:                 15
    Model name:            Intel(R) Xeon(R) CPU            5140  @ 2.33GHz
    Stepping:              6
    CPU MHz:               2327.410
    CPU max MHz:           2324.0000
    CPU min MHz:           1992.0000
    BogoMIPS:              4654.82
    Virtualization:        VT-x
    L1d cache:             32K
    L1i cache:             32K
    L2 cache:              4096K
    NUMA node0 CPU(s):     0-3
    Flags:                 fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good nopl cpuid aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca lahf_lm tpr_shadow dtherm
    
    
    root@pve:~# lsmod | grep kvm
    kvm                   581632  0
    irqbypass              16384  1 kvm
    
    

    Повторюсь - под freebsd и ubuntu server kvm работает на этой системе и пишет следующее:

    INFO: /dev/kvm exists
    KVM acceleration can be used
    


  • @T-Virus:

    root@pve:~# lsmod | grep kvm
    kvm                   581632  0
    irqbypass              16384  1 kvm
    
    

    У меня lsmod | grep kvm :

    root@pve:~# lsmod | grep kvm
    kvm_amd              2179072  34
    kvm                  581632  1 kvm_amd
    irqbypass              16384  24 kvm

    Разницу увидели ? У вас там где kvm должно быть kvm xxxxxx 1 kvm_intel
    Покажите dmesg | grep kvm и modinfo kvm_intel
    И попробуйте руками sudo modprobe kvm-intel



  • Разницу вижу.

    dmesg | grep kvm - пусто

    root@pve:~# modinfo kvm_intel
    filename:       /lib/modules/4.13.4-1-pve/kernel/arch/x86/kvm/kvm-intel.ko
    license:        GPL
    author:         Qumranet
    srcversion:     7CEE7EE092D65CA2BC3BD89
    alias:          cpu:type:x86,ven*fam*mod*:feature:*0085*
    depends:        kvm
    intree:         Y
    name:           kvm_intel
    vermagic:       4.13.4-1-pve SMP mod_unload modversions
    parm:           vpid:bool
    parm:           flexpriority:bool
    parm:           ept:bool
    parm:           unrestricted_guest:bool
    parm:           eptad:bool
    parm:           emulate_invalid_guest_state:bool
    parm:           fasteoi:bool
    parm:           enable_apicv:bool
    parm:           enable_shadow_vmcs:bool
    parm:           nested:bool
    parm:           pml:bool
    parm:           preemption_timer:bool
    parm:           ple_gap:int
    parm:           ple_window:int
    parm:           ple_window_grow:int
    parm:           ple_window_shrink:int
    parm:           ple_window_max:int
    
    
    root@pve:~# modprobe kvm-intel
    modprobe: ERROR: could not insert 'kvm_intel': Input/output error
    

    p.s. сейчас ради эксперимента поставил  ubuntu на другой диск:

    user@u16:~$ uname -a
    Linux u16 4.4.0-87-generic #110-Ubuntu SMP Tue Jul 18 12:55:35 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
    
    user@u16:~$ kvm-ok
    INFO: /dev/kvm exists
    KVM acceleration can be used
    
    user@u16:~$ lsmod | grep kvm
    kvm_intel             172032  0
    kvm                   544768  1 kvm_intel
    irqbypass              16384  1 kvm
    
    

    bios не трогал.



  • Доброго.
    Попробуйте руками https://forum.proxmox.com/threads/kvm-modules-not-loading-at-boot.29984/ и перезагрузиться.



  • В той теме модуль изначально получалось загрузить командой modprobe kvm_intel. У меня же выдает ошибку на этом этапе.
    Я добавил kvm_intel в /etc/modules и обновил груб.
    Поменялось лишь то, что в вывод при загрузке добавилось

    [FAILED] Failed to start kernel module 
    


  • Попробуйте снова обновить proxmox - сегодня ядро новое вышло. И перезагрузиться.
    Если снова не получится - вот тут есть тестовое https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/

    Видимо это баг :( Может в 4.14 пофиксят.



  • Поставил ядро из темы - kvm работает, правда ругается:

    root@pve:~# kvm
    Could not initialize SDL(No available video device) - exiting
    
    

    Но винда работает и usb проброс тоже.
    С Open vSwitch разобрался на ubuntu, оч понравилось. Думаю на proxmox тоже будет не хуже.



  • Доброго.
    Супер.

    Думаю на proxmox тоже будет не хуже.

    Вы себе не представляете насколько они близкие родственники  ::)

    P.s. И вы - молодчина, что не бросили затею, столкнувшись с трудностями. Таким :'( людям есть желание помогать.



  • Доброго.

    Пофиксили проблему со старыми платформами - https://forum.proxmox.com/threads/pve-5-1-kvm-broken-on-old-cpus.37666/page-2

    new kernel is available on pvetest (pve-kernel-4.13.8-3-pve with version 4.13.8-29):
    cherry-pick KVM fix for old CPUs
    cherry-pick / backport IB fixes
    cherry-pick vhost perf regression and mem-leak fix
    cherry-pick final Windows BSOD fix



  • Доброго.
    Добавил ссылку на коллекцию интересных скриптов.



  • Добавил про SR-IOV



  • Вопрос чуть в сторону, прошу совета ERC / TLER на программном рейде включать или выключать?



  • Доброго.
    Если вы собираете zfs raidz-1\2\3 массив, то вкл. вышеописанного поможет сократить время для восстановления,
    если же собираетесь использовать zfs raid 0\1\10, то вкл. не нужно.

    Upd. Добавил ссылку про проброс GPU в ВМ.



  • Задался таким вопросом, так как у меня  zfs raid 1 винты  ERC / TLER не поддерживают.
    Один из винтов сыплется. Система вешается при обращении к битым участкам винта.

    Соответственно вопрос, можно ли было как-то сделать чтоб сервер не зависал?



  • Доброго.
    Отвечу. Не любить себе причинные места - заменить hdd.



  • Спасибо)) Это я сейчас знаю, что винт деградирует. А раньше я только мог только догадываться о причинах зависания. Сейчас я знаю, что винт пытался выжить о чём писал в таблицу SMART и больше никуда. Динамику SMART я не мониторил. Scrub не запускал. Впрочем, последний здесь не сильно помогает.



  • Доброго.
    СМАРТ для этого же и предназначен изначально. Если он сообщает о проблемах - все, нужно менять.


Log in to reply