Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Proxmox, ceph, zfs, pfsense и все-все-все - часть 1

    Scheduled Pinned Locked Moved Russian
    129 Posts 8 Posters 99.2k Views 7 Watching
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • werterW Offline
      werter
      last edited by werter

      Using Terraform and Cloud-Init to deploy and automatically monitor Proxmox instances https://yetiops.net/posts/proxmox-terraform-cloudinit-windows/
      Encrypting Proxmox VE 6: ZFS, LUKS, systemd-boot and Dropbear https://tactical-documentation.github.io/post/proxmoxve6-zfs-luks-systemdboot-dropbear/
      ZFS RAIDZ luks disk encryption script https://www.reddit.com/r/Proxmox/comments/ijpuv8/zfs_raidz_luks_disk_encryption_script/

      Мигрируем удаленно.

      Прим. Примеры использования pv - http://linux-notes.org/utilita-pv-progress-bar-dlya-konsol-ny-h-utilit-v-unix-linux/

      Предупреждение. Все ниже описанное вы делаете на свой страх и риск. Внимательно проверяйте какие диски копируете и куда принимаете. Крайне желательно иметь резервные копии данных.

      И так. Как сказал один оч. известный и достойный Человек: "Поехали!"

      Качаем на принимающей и отдающей сторонах SystemRescueCD (http://www.system-rescue-cd.org/).

      Принимающая сторона:
      На Proxmox создаем ВМ с размером диска как у отдающей стороны.
      Загружаемся с SystemRescueCD в эту ВМ.
      Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s

      На отдающей стороне:
      Загружаемся с SystemRescueCD.
      Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s

      Запускаем на принимающей стороне:
      nc -w10 -vvnlp 19000 | pigz -5 -dfc | cat > /dev/disk-name, где :

      -w10 - время ожидания данных в сек. на приним. стороне (меняется на ваше усмотрение).
      19000 - номер порта, к-ый слушает netcat и принимает на него данные от отдающей стороны (меняется на ваше усмотрение)
      pigz -5 - степень сжатия (меняется на ваше усмотрение)
      disk-name - имя диска внутри ВМ (меняете на свое)

      Считаем до трех и запускаем на отдающей стороне:
      pv /dev/disk-name | pigz -5 -fc | nc -vvn remote-server-ip 19000, где:

      disk-name - имя диска, к-ый вы хотите передать (узнается по fdisk -l)
      pigz -5 - степень сжатия (меняется на ваше усмотрение)
      remote-server-ip - ip-адрес\имя удаленного сервера-приемника
      19000 - номер порта удаленного сервера-приемника

      Всё. Скрещиваем пальцы, чтобы линк между отдающей и принимающей сторонами не упал и ждем окончания процесса.
      После удачного окончания выкл. ВМ на принимающей стороне. Извлекаем в gui из вирт. привода SystemRescueCD и пробуем загрузиться.

      Пример с SSH (кому необходима секьюрность):

      Принимающая сторона:
      Создаем ВМ с размером диска как у отдающей стороны.
      Загружаемся с SystemRescueCD в эту ВМ.
      Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s
      Смотрим какие диски у нас есть - fdisk -l. Запоминаем\записываем имя нужного нам диска.
      Более ничего на принимающей стороне делать\запускать не надо.

      На отдающей стороне:
      Загружаемся с SystemRescueCD.
      Настраиваем сет. параметры (net-setup имя-интерфейса) или получаем их по dhcp. Проверить полученные\настроенные сет. параметры - ip a s
      Запускаем команду:
      pv /dev/disk-name | pigz -5 -fc | ssh remote-server-ip "cat > /dev/disk-name", где :

      disk-name - имя диска на принимающей стороне, к-ое мы внимательно выбрали и запомнили ранее
      remote-server-ip - ip\имя примающей стороны

      Ожидаем удачного окончания процесса передачи. После выкл. ВМ на принимающей стороне. Извлекаем в gui из вирт. привода SystemRescueCD и пробуем загрузиться.

      1 Reply Last reply Reply Quote 1
      • werterW Offline
        werter
        last edited by

        Обновил шапку.

        1 Reply Last reply Reply Quote 0
        • D Offline
          derwin
          last edited by

          а кто расскажет, какое преимущество у zfs перед ufs ?
          это какое странное достижение. Слижком уж не специфичное для фаервола.

          1 Reply Last reply Reply Quote 0
          • P Offline
            pigbrother
            last edited by

            @derwin:

            а кто расскажет, какое преимущество у zfs перед ufs ?
            это какое странное достижение. Слижком уж не специфичное для фаервола.

            https://www.reddit.com/r/PFSENSE/comments/76cmjv/advantages_andor_disadvantages_zfs/

            Применительно к pfSense на одном диске -
            устойчивость к пропаданию питания, например. UFS крайне этого не любит
            возможность работать со  снапшотами, как в VM.

            Статья, которая, может быть, заинтересует ув. werter:
            http://jrs-s.net/2016/05/09/testing-copies-equals-n-resiliency/

            1 Reply Last reply Reply Quote 0
            • werterW Offline
              werter
              last edited by

              Доброе.
              @derwin:

              а кто расскажет, какое преимущество у zfs перед ufs ?
              это какое странное достижение. Слижком уж не специфичное для фаервола.

              В шапке есть картинки. Нагляднее некуда.

              1 Reply Last reply Reply Quote 0
              • D Offline
                derwin
                last edited by

                вы не поняли суть вопроса. Можно сравнивать жареную куропатку с боингом.
                А зачем оно (ZFS) для фаервола?
                чтобы логи хранить в отказоустойчивом пуле ?? смешно….
                вот вам в топку http://2gusia.livejournal.com/7545.html

                1 Reply Last reply Reply Quote 0
                • werterW Offline
                  werter
                  last edited by

                  Причем тут логи? Речь идет обо всей ОС в данном случае.

                  Пример? Легко.
                  Перед обновлением пф делаете снепшот (вот так http://linux.cpms.ru/?p=8931). Криво встало обновление ? Не работают пакеты, к-ые работали до обновления ? Что же делать? Звонить в Спортлото!
                  Да просто откатиться с пом. сделанного ранее снепшота  ::)

                  Вот от вас, ув. derwin, таких откровенно глупых вопросов я не ожидал.

                  1 Reply Last reply Reply Quote 0
                  • D Offline
                    derwin
                    last edited by

                    что то я не вижу гуя по управлению zfs,а значит всё равно звонить сергею брину.
                    у меня до 2,4 итак всё было на снапшотах на уровне vmware. Мне мозги пропарило обновление - сейчас откатился до 2,3,4 и нет проблем.

                    werter
                    фишка zfs это блочное управление и отказоусточивость за счёт проца + памяти. У меня в филиальных бордерах до недавнего времени вообще флешки стояли и я горя не знал! сдохла - вставь резервную…  спасибо 2,4 - теперь заказал SSD на 60гб.....
                    я себе в будущем году мож прикуплю сервак с полкой под 300-дисковый zfs пул. Но это NAS сервер, а не пакетный фаервол!!!!

                    PS: 2.4 меня вообще в тоску вгоняет.... мало того, что удалили radius2 из репо, дык ещё и с 2.3.4 запретили качать пакеты.... это какой то сплошной фейспалм.

                    1 Reply Last reply Reply Quote 0
                    • P Offline
                      pigbrother
                      last edited by

                      что то я не вижу гуя по управлению zfs,

                      Гуй точно будет. Для снэпшотов он и не шибко нужен - сделал снэпшот в CLI\восстановил  снэпшот в CLI.
                      У меня как-то регулярно пропадало электричество, UFS при этом ведет себя крайне ненадежно. Не зря в 2.4 сделали для опции выключения - перезагрузить и запустить fsck.
                      Учитывая что уже большая часть программных роутеров ,фаерволов итд устанавливаются на VM

                      У такого решения полно как сторонников, так и противников. Я - не сторонник.
                      Имел случай проверить свою правоту.

                      И никто не заставляет ZFS использовать, более того - по умолчанию 2.4 ставится по прежнему на UFS.

                      1 Reply Last reply Reply Quote 0
                      • D Offline
                        derwin
                        last edited by

                        я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
                        Когда развалился массив - я не смог сделать равном счётом ни-че-го.

                        1 Reply Last reply Reply Quote 0
                        • werterW Offline
                          werter
                          last edited by

                          @derwin:

                          я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
                          Когда развалился массив - я не смог сделать равном счётом ни-че-го.

                          Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.

                          1 Reply Last reply Reply Quote 0
                          • D Offline
                            derwin
                            last edited by

                            @werter:

                            @derwin:

                            я в первый раз поставил zfs где то в 2009 году вместе с проектом FreeNAS. Секс был просто адовый. Падение производительности - ужасное.
                            Когда развалился массив - я не смог сделать равном счётом ни-че-го.

                            Не наговаривайте. Для IT-индустрии 8-9 лет - это как для человечества 100. Как паровой котел и АЭС.

                            я по первому высшему инженер-котельщик-атомщик  ;)
                            Работал по специальности, всё видел и делал

                            1 Reply Last reply Reply Quote 0
                            • werterW Offline
                              werter
                              last edited by

                              Доброе всем.
                              С утра запустил обновление Proxmox. Прилетело масштабное (!) - ядро теперь 4.13 (наираспоследнее LTS) , zfs - 0.7.2.

                              1 Reply Last reply Reply Quote 0
                              • P Offline
                                pigbrother
                                last edited by

                                Обновил тестовый PVE.
                                apt-get update and apt-get upgrade версии не изменили, хотя пакеты и скачались и установились.

                                apt-get dist-upgrade - сработало.

                                1 Reply Last reply Reply Quote 0
                                • werterW Offline
                                  werter
                                  last edited by

                                  Доброе.
                                  Используйте apt <параметры>. Современные дебиан-подобные с ним корректнее пакетные зависимости разрешают.

                                  P.s. Также следует обновить zfs - https://docs.oracle.com/cd/E19253-01/819-5461/gcikw/index.html

                                  1 Reply Last reply Reply Quote 0
                                  • T Offline
                                    ToXaNSK
                                    last edited by

                                    На что лучше устанавливать? SSD или HDD?
                                    На что хватит ресурсов 8 Xeon/32 Гб?

                                    Say what you mean, mean what you say. (Interstate 60)

                                    1 Reply Last reply Reply Quote 0
                                    • werterW Offline
                                      werter
                                      last edited by

                                      У меня - на 4-ех HDD 7200 rpm . При установке в самом начале (внизу) выбрал zfs raid 10 и свои 4 диска + lz4 сжатие явно указал.
                                      Плюс, отдельно докинут SSD, к-ый разбит на 2 партиции - меньшая для l2arc cache, большая - как zfs для дисков вирт. машин.

                                      На что хватит ресурсов 8 Xeon/32 Гб?

                                      А кто ж его знает.

                                      P.s. Разворачивание proxmox я бы рекомендовал начать с тестов в Virtualbox. Чтобы не залюбиться.

                                      1 Reply Last reply Reply Quote 0
                                      • P Offline
                                        pigbrother
                                        last edited by

                                        Правильно ли я понимаю, что аппаратных рейдов надо избегать? Они не нужны?

                                        1 Reply Last reply Reply Quote 0
                                        • werterW Offline
                                          werter
                                          last edited by

                                          Верно. Избегать как огня.

                                          "ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity"

                                          Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

                                          1 Reply Last reply Reply Quote 0
                                          • P Offline
                                            pigbrother
                                            last edited by

                                            Аппаратный контроллер нужно перепрошить, если он не поддерживает работу без рейда.

                                            Т.е. в режим обычного SATA\SAS контроллера?

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.