Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Proxmox, ceph, zfs, pfsense и все-все-все - часть 1

    Scheduled Pinned Locked Moved Russian
    129 Posts 8 Posters 89.1k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • P
      pigbrother
      last edited by

      что то я не вижу гуя по управлению zfs,

      Гуй точно будет. Для снэпшотов он и не шибко нужен - сделал снэпшот в CLI\восстановил  снэпшот в CLI.
      У меня как-то регулярно пропадало электричество, UFS при этом ведет себя крайне ненадежно. Не зря в 2.4 сделали для опции выключения - перезагрузить и запустить fsck.
      Учитывая что уже большая часть программных роутеров ,фаерволов итд устанавливаются на VM

      У такого решения полно как сторонников, так и противников. Я - не сторонник.
      Имел случай проверить свою правоту.

      И никто не заставляет ZFS использовать, более того - по умолчанию 2.4 ставится по прежнему на UFS.

      1 Reply Last reply Reply Quote 0
      • D
        derwin
        last edited by

        я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
        Когда развалился массив - я не смог сделать равном счётом ни-че-го.

        1 Reply Last reply Reply Quote 0
        • werterW
          werter
          last edited by

          @derwin:

          я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
          Когда развалился массив - я не смог сделать равном счётом ни-че-го.

          Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.

          1 Reply Last reply Reply Quote 0
          • D
            derwin
            last edited by

            @werter:

            @derwin:

            я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
            Когда развалился массив - я не смог сделать равном счётом ни-че-го.

            Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.

            я по первому высшему инженер-котельщик-атомщик  ;)
            Работал по специальности, всё видел и делал

            1 Reply Last reply Reply Quote 0
            • werterW
              werter
              last edited by

              Доброе всем.
              С утра запустил обновление Proxmox. Прилетело масштабное (!) - ядро теперь 4.13 (наираспоследнее LTS) , zfs - 0.7.2.

              1 Reply Last reply Reply Quote 0
              • P
                pigbrother
                last edited by

                Обновил тестовый PVE.
                apt-get update and apt-get upgrade версии не изменили, хотя пакеты и скачались и установились.

                apt-get dist-upgrade - сработало.

                1 Reply Last reply Reply Quote 0
                • werterW
                  werter
                  last edited by

                  Доброе.
                  Используйте apt <параметры>. Современные дебиан-подобные с ним корректнее пакетные зависимости разрешают.

                  P.s. Также следует обновить zfs - https://docs.oracle.com/cd/E19253-01/819-5461/gcikw/index.html

                  1 Reply Last reply Reply Quote 0
                  • T
                    ToXaNSK
                    last edited by

                    На что лучше устанавливать? SSD или HDD?
                    На что хватит ресурсов 8 Xeon/32 Гб?

                    Say what you mean, mean what you say. (Interstate 60)

                    1 Reply Last reply Reply Quote 0
                    • werterW
                      werter
                      last edited by

                      У меня - на 4-ех HDD 7200 rpm . При установке в самом начале (внизу) выбрал zfs raid 10 и свои 4 диска + lz4 сжатие явно указал.
                      Плюс, отдельно докинут SSD, к-ый разбит на 2 партиции - меньшая для l2arc cache, большая - как zfs для дисков вирт. машин.

                      На что хватит ресурсов 8 Xeon/32 Гб?

                      А кто ж его знает.

                      P.s. Разворачивание proxmox я бы рекомендовал начать с тестов в Virtualbox. Чтобы не залюбиться.

                      1 Reply Last reply Reply Quote 0
                      • P
                        pigbrother
                        last edited by

                        Правильно ли я понимаю, что аппаратных рейдов надо избегать? Они не нужны?

                        1 Reply Last reply Reply Quote 0
                        • werterW
                          werter
                          last edited by

                          Верно. Избегать как огня.

                          "ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity"

                          Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

                          1 Reply Last reply Reply Quote 0
                          • P
                            pigbrother
                            last edited by

                            Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

                            Т.е. в режим обычного SATA\SAS контроллера?

                            1 Reply Last reply Reply Quote 0
                            • werterW
                              werter
                              last edited by werter

                              Доброе.

                              Т.е. в режим обычного SATA\SAS контроллера?

                              Что-то типа того.

                              Для LSI, напр., это наз-ся IT mode - https://b3n.org/freenas-9-3-on-vmware-esxi-6-0-guide/

                              1 Reply Last reply Reply Quote 0
                              • P
                                pigbrother
                                last edited by

                                Интересный мануал, спасибо.

                                1 Reply Last reply Reply Quote 0
                                • werterW
                                  werter
                                  last edited by

                                  Добавил инф-цию по SCT Error Recovery Control.

                                  1 Reply Last reply Reply Quote 0
                                  • werterW
                                    werter
                                    last edited by

                                    Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort

                                    1 Reply Last reply Reply Quote 0
                                    • D
                                      derwin
                                      last edited by

                                      @werter:

                                      Добавил Проброс VLAN-ов через интернет openvpn OVSIntPort

                                      вот если бы ко мне пришёл сотрудник и сказал "я прокинул VLAN через OpenVPN" - я бы его уволил. Чесслово. Это как копать огород клавиатурой. Чисто сисадминский подход. Хотя бытовая задача для нетворк инженера.

                                      1 Reply Last reply Reply Quote 0
                                      • werterW
                                        werter
                                        last edited by

                                        Доброго.
                                        Попробуйте объяснить большинству работодателей, что есть Системный адм-р, есть Системный инженер, есть Сетевой инженер . Это как минимум, потому как еще и Программистов не берем во внимание.
                                        И все это - разные люди, а не один. И ЗП им надо платить по отдельности.

                                        Хотя бытовая задача для нетворк инженера.

                                        Современные "одмины" хорошо, чтобы вообще объяснить могли, что такое VLAN и для чего оно надо. Тут не до жиру, коллега.
                                        В современных реалиях зачастую вот https://ru.wikipedia.org/wiki/Эффект_Даннинга_—_Крюгера

                                        1 Reply Last reply Reply Quote 0
                                        • werterW
                                          werter
                                          last edited by

                                          Добавил ссылки по разворачиванию пф в различн. вирт. средах.

                                          1 Reply Last reply Reply Quote 0
                                          • T
                                            T-Virus
                                            last edited by

                                            Доброго времени суток!

                                            Попробовал поставить proxmox ve 5.1 и сразу уперся в проблему - не работает kvm.

                                            
                                            root@pve:~# kvm
                                            Could not access KVM kernel module: No such file or directory
                                            failed to initialize KVM: No such file or directory
                                            
                                            

                                            Система ibm x3550 7978K1Y
                                            2x CPU intel xeon 5140
                                            Чипсет intel 5000x
                                            16gb ram
                                            bios последний 1.17

                                            root@pve:~# uname -a
                                            Linux pve 4.13.4-1-pve #1 SMP PVE 4.13.4-25 (Fri, 13 Oct 2017 08:59:53 +0200) x86_64 GNU/Linux
                                            
                                            
                                            
                                            CPU Options
                                            
                                            Active Energy Manager 'Capping Enabled'
                                            Processor Perfofmance States 'Enabled'
                                            System Cache Type 'Write Back'
                                            Snoop Filter 'Enabled'
                                            Execute Disable Bit 'Enabled'
                                            Enhanced C1 Power State 'Enabled'
                                            Intel Virtualization Technology 'Enabled'
                                            Processor Hardware Prefetcher 'Enabled'
                                            Processor Adjacent Sector Prefetch 'Auto-configure'
                                            
                                            

                                            Уже при установке proxmox вижу ошибки:

                                            
                                            modprobe: ERROR: could not insert 'kvm_intel': Input/output error
                                            modprobe: ERROR: could not insert 'intel_powerclamp': No such device
                                            
                                            

                                            и при старте ВМ (windows xp, kvm32):

                                            
                                            Could not access KVM kernel module: No such file or directory
                                            failed to initialize KVM: No such file or directory
                                            TASK ERROR: start failed: command '/usr/bin/kvm -id 100.....
                                            
                                            

                                            На FreeBSD kvm работал с этой системой. Что я делаю не так?

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.