Proxmox, ceph, zfs, pfsense и все-все-все - часть 1
-
Доброе всем.
С утра запустил обновление Proxmox. Прилетело масштабное (!) - ядро теперь 4.13 (наираспоследнее LTS) , zfs - 0.7.2. -
Обновил тестовый PVE.
apt-get update and apt-get upgrade версии не изменили, хотя пакеты и скачались и установились.apt-get dist-upgrade - сработало.
-
Доброе.
Используйте apt <параметры>. Современные дебиан-подобные с ним корректнее пакетные зависимости разрешают.P.s. Также следует обновить zfs - https://docs.oracle.com/cd/E19253-01/819-5461/gcikw/index.html
-
На что лучше устанавливать? SSD или HDD?
На что хватит ресурсов 8 Xeon/32 Гб? -
У меня - на 4-ех HDD 7200 rpm . При установке в самом начале (внизу) выбрал zfs raid 10 и свои 4 диска + lz4 сжатие явно указал.
Плюс, отдельно докинут SSD, к-ый разбит на 2 партиции - меньшая для l2arc cache, большая - как zfs для дисков вирт. машин.На что хватит ресурсов 8 Xeon/32 Гб?
А кто ж его знает.
P.s. Разворачивание proxmox я бы рекомендовал начать с тестов в Virtualbox. Чтобы не залюбиться.
-
Правильно ли я понимаю, что аппаратных рейдов надо избегать? Они не нужны?
-
Верно. Избегать как огня.
"ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity"
Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.
-
Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.
Т.е. в режим обычного SATA\SAS контроллера?
-
Доброе.
Т.е. в режим обычного SATA\SAS контроллера?
Что-то типа того.
Для LSI, напр., это наз-ся IT mode - https://b3n.org/freenas-9-3-on-vmware-esxi-6-0-guide/
-
Интересный мануал, спасибо.
-
Добавил инф-цию по SCT Error Recovery Control.
-
Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort
-
Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort
вот если бы ко мне пришёл сотрудник и сказал "я прокинул VLAN через OpenVPN" - я бы его уволил. Чесслово. Это как копать огород клавиатурой. Чисто сисадминский подход. Хотя бытовая задача для нетворк инженера.
-
Доброго.
Попробуйте объяснить большинству работодателей, что есть Системный адм-р, есть Системный инженер, есть Сетевой инженер . Это как минимум, потому как еще и Программистов не берем во внимание.
И все это - разные люди, а не один. И ЗП им надо платить по отдельности.Хотя бытовая задача для нетворк инженера.
Современные "одмины" хорошо, чтобы вообще объяснить могли, что такое VLAN и для чего оно надо. Тут не до жиру, коллега.
В современных реалиях зачастую вот https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера -
Добавил ссылки по разворачиванию пф в различн. вирт. средах.
-
Доброго времени суток!
Попробовал поставить proxmox ve 5.1 и сразу уперся в проблему - не работает kvm.
root@pve:~# kvm Could not access KVM kernel module: No such file or directory failed to initialize KVM: No such file or directoryСистема ibm x3550 7978K1Y
2x CPU intel xeon 5140
Чипсет intel 5000x
16gb ram
bios последний 1.17root@pve:~# uname -a Linux pve 4.13.4-1-pve #1 SMP PVE 4.13.4-25 (Fri, 13 Oct 2017 08:59:53 +0200) x86_64 GNU/LinuxCPU Options Active Energy Manager 'Capping Enabled' Processor Perfofmance States 'Enabled' System Cache Type 'Write Back' Snoop Filter 'Enabled' Execute Disable Bit 'Enabled' Enhanced C1 Power State 'Enabled' Intel Virtualization Technology 'Enabled' Processor Hardware Prefetcher 'Enabled' Processor Adjacent Sector Prefetch 'Auto-configure'Уже при установке proxmox вижу ошибки:
modprobe: ERROR: could not insert 'kvm_intel': Input/output error modprobe: ERROR: could not insert 'intel_powerclamp': No such deviceи при старте ВМ (windows xp, kvm32):
Could not access KVM kernel module: No such file or directory failed to initialize KVM: No such file or directory TASK ERROR: start failed: command '/usr/bin/kvm -id 100.....На FreeBSD kvm работал с этой системой. Что я делаю не так?
-
Доброго.
https://bobcares.com/blog/how-to-fix-error-could-not-access-kvm-kernel-module/
1. Покажите вывод lscpu
2. Вывод lsmod | grep kvm
3. Поправьте репозитории https://pve.proxmox.com/wiki/Package_Repositories:-
откл. Proxmox VE Enterprise Repository - mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak
-
в /etc/apt/sources.list у вас должно быть только :
deb http://ftp.ru.debian.org/debian stretch main contrib # PVE pve-no-subscription repository provided by proxmox.com, # NOT recommended for production use deb http://download.proxmox.com/debian/pve stretch pve-no-subscription # security updates deb http://security.debian.org stretch/updates main contrib4. Делаете sudo apt update && sudo apt upgrade
5. После обновления выкл. сервер (не перезагружаете, а именно выкл.). Выдергиваете кабель питания из его БП. И пускай он постоит минут 10.
6. Вкл. сервер. Проверяете снова.
P.s. Есть сомнения работоспособности "полноценной" вирт-ции на вашем cpu (https://ark.intel.com/ru/products/27217/Intel-Xeon-Processor-5140-4M-Cache-2_33-GHz-1333-MHz-FSB), т.к. он не умеет Intel
VT-x с таблицами Extended Page Tables (EPT) . Но вот тут (https://social.technet.microsoft.com/Forums/ru-RU/e743ef99-1034-42b6-b5d2-3268413ec109/-hyperv-bios-?) говорят, что "Серверный гипервизор не требует поддержки SLAT (EPT в терминологии Intel), так что поддержка виртуализации у этого процессора есть. Попробуйте обесточить сервер полностью." -
-
Поправил репы, обновил, выключил, обесточил, подождал, включил - результат отрицательный.
root@pve:~# lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 4 On-line CPU(s) list: 0-3 Thread(s) per core: 1 Core(s) per socket: 2 Socket(s): 2 NUMA node(s): 1 Vendor ID: GenuineIntel CPU family: 6 Model: 15 Model name: Intel(R) Xeon(R) CPU 5140 @ 2.33GHz Stepping: 6 CPU MHz: 2327.410 CPU max MHz: 2324.0000 CPU min MHz: 1992.0000 BogoMIPS: 4654.82 Virtualization: VT-x L1d cache: 32K L1i cache: 32K L2 cache: 4096K NUMA node0 CPU(s): 0-3 Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good nopl cpuid aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca lahf_lm tpr_shadow dthermroot@pve:~# lsmod | grep kvm kvm 581632 0 irqbypass 16384 1 kvmПовторюсь - под freebsd и ubuntu server kvm работает на этой системе и пишет следующее:
INFO: /dev/kvm exists KVM acceleration can be used -
root@pve:~# lsmod | grep kvm kvm 581632 0 irqbypass 16384 1 kvmУ меня lsmod | grep kvm :
root@pve:~# lsmod | grep kvm
kvm_amd 2179072 34
kvm 581632 1 kvm_amd
irqbypass 16384 24 kvmРазницу увидели ? У вас там где kvm должно быть kvm xxxxxx 1 kvm_intel
Покажите dmesg | grep kvm и modinfo kvm_intel
И попробуйте руками sudo modprobe kvm-intel -
Разницу вижу.
dmesg | grep kvm - пусто
root@pve:~# modinfo kvm_intel filename: /lib/modules/4.13.4-1-pve/kernel/arch/x86/kvm/kvm-intel.ko license: GPL author: Qumranet srcversion: 7CEE7EE092D65CA2BC3BD89 alias: cpu:type:x86,ven*fam*mod*:feature:*0085* depends: kvm intree: Y name: kvm_intel vermagic: 4.13.4-1-pve SMP mod_unload modversions parm: vpid:bool parm: flexpriority:bool parm: ept:bool parm: unrestricted_guest:bool parm: eptad:bool parm: emulate_invalid_guest_state:bool parm: fasteoi:bool parm: enable_apicv:bool parm: enable_shadow_vmcs:bool parm: nested:bool parm: pml:bool parm: preemption_timer:bool parm: ple_gap:int parm: ple_window:int parm: ple_window_grow:int parm: ple_window_shrink:int parm: ple_window_max:introot@pve:~# modprobe kvm-intel modprobe: ERROR: could not insert 'kvm_intel': Input/output errorp.s. сейчас ради эксперимента поставил ubuntu на другой диск:
user@u16:~$ uname -a Linux u16 4.4.0-87-generic #110-Ubuntu SMP Tue Jul 18 12:55:35 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux user@u16:~$ kvm-ok INFO: /dev/kvm exists KVM acceleration can be used user@u16:~$ lsmod | grep kvm kvm_intel 172032 0 kvm 544768 1 kvm_intel irqbypass 16384 1 kvmbios не трогал.
