Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Отказоустойчивый ipsec vpn через multiwan

    Russian
    4
    73
    679.0k
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • werterW
      werter
      last edited by

      2 Igor Filth
      Попробуйте вкл. аппаратную поддержку шифрования для Openvpn (как советовал ув. pigbrother).

      https://forum.pfsense.org/index.php?topic=120625.0

      1 Reply Last reply Reply Quote 0
      • P
        pigbrother
        last edited by

        @werter:

        2 Igor Filth
        Попробуйте вкл. аппаратную поддержку шифрования для Openvpn (как советовал ув. pigbrother).

        https://forum.pfsense.org/index.php?topic=120625.0

        Я пока от нее отказался. Не знаю, с ней ли было связано - но pf после переезда на новую платформу и включения аппаратной поддержки pf стал неадекватно себя вести. Не уверен, что дело в ее включении, пока набираю статистику. После обязательно поэкспериментирую опять.

        По поводу загрузки CPU - без аппаратной поддержки 50 Мбит Openvpn загружают одно ядро Celeron N3150 на 40%.
        При этом сам pf неплохо себя чувствует на оставшихся 3-х ядрах. При прибл. 100 Мбит Openvpn явно съел бы одно ядро полностью.

        1 Reply Last reply Reply Quote 0
        • I
          Igor Filth
          last edited by

          2 werter
          Попробую включить и потестировать  на выходных.

          На всякий случай напишу конфиг своего сервера: 2 процессора Xeon E5620, 8 гб оперативки, sas диски в 10 RAID (ST3600057SS), pf крутится на виртуалке HV 2012R2.

          pigbrother
          Если несложно напишите в чём именно была неадекватность, чтобы я сразу обратил на это внимание?

          P.S. Сегодня руководство дало согласие выделить определённую сумму на новые 1U сервера для шлюзов, если это поможет поднять скорость хотя бы до 450-500 Мбит/c. Хотелось бы понять какой процессор для этого выбрать - с большей частотой или также обратить внимание на количество ядер. Лучше брать xeon? Или может быть собрать сервер на обычных i5-i7?

          1 Reply Last reply Reply Quote 0
          • P
            pigbrother
            last edited by

            Если несложно напишите в чём именно была неадекватность, чтобы я сразу обратил на это внимание?

            У меня нет опыта с таким VPN-трафиком, но свои предположения постараюсь изложить подробнее.
            Цифры загрузки CPU вы смотрите в дашбоарде (главной странице) pfSense? Если так, то вы видите усредненную загрузку всех ядер процессора.

            OpenVPN - однопоточное приложение, если грубо - один экземпляр OpenVPN сервера или клиента - одно ядро. Массивный трафик вполне способен это ядро загрузить полностью и проявится ограничение скорости. Контролировать загрузку CPU при работе OVPN надо в консоли - или локально на pfSense, или через SSH, предварительно SSH включив в настройках pfSense.
            В консоли - пункт 8 - Shell.
            Затем набрать top
            в выводе top наблюдать сколько ядер и на сколько загружает процесс openvpn

            P.S. Сегодня руководство дало согласие выделить определённую сумму на новые 1U сервера для шлюзов, если это поможет поднять скорость хотя бы до 450-500 Мбит/c. Хотелось бы понять какой процессор для этого выбрать - с большей частотой или также обратить внимание на количество ядер. Лучше брать xeon? Или может быть собрать сервер на обычных i5-i7?

            Я уже приводил ссылку:
            https://community.openvpn.net/openvpn/wiki/Gigabit_Networks_Linux#no1
            450-500 Мбит/c - почти предел для OpenVPN.
            Как вариант, вероятно - поднимать несколько серверов на разных портах, на удаленной стороне - несколко клиентов и распределять нагрузку между ними.

            Процессоры выбирайте какие позволяет бюджет, удостоверьтесь в поддержке ими AES-NI,
            https://doc.pfsense.org/index.php/Are_cryptographic_accelerators_supported
            пока OpenVPN с AES-NI использует не очень эффективно, но ситуация меняется.

            pf крутится на виртуалке HV 2012R2.
            Соберите тестовый стенд на голом железе. Желательно - с хорошими сетевыми картами. Прогонять такой трафик через виртуальные сетевые карты и коммутаторы для гипервизора задача непростая, плюс поддержка AES-NI в виртуальную машину с хоста, скорее всего, не переносится.

            1 Reply Last reply Reply Quote 0
            • werterW
              werter
              last edited by

              Я бы посмотрел в сторону чего-то из совсем свежего на Intel Kaby Lake.

              pf крутится на виртуалке HV 2012R2.

              Посмотрите в сторону Proxmox + software zfs raid 10 (из коробки) - универсальное bare metal решение. Управление из веб-гуи (html 5), бэкапы из коробки и по расписанию (!), кластер из коробки, zfs (copy-on-write) и все это даром.

              Зачем вам Вин в кач-ве гипервизора? Зациклились все на этом гипер-в :'(

              P.s. Еще и NAS бы настроил на nas4free (http://2gusia.livejournal.com/tag/nas4free)

              1 Reply Last reply Reply Quote 0
              • P
                pigbrother
                last edited by

                Еще пара ссылок на тему:
                https://forum.pfsense.org/index.php?topic=35669.0

                Looks like when you setup multiple openvpn instances it sets up additional processes:
                eg…
                root    38648  0.0  0.2  5116  3516  ??  Ss    6:18PM  0:00.00 openvpn --config /var/etc/openvpn/server2.conf
                root    40283  0.0  0.2  5116  3764  ??  Ss  11:38AM  0:04.11 openvpn --config /var/etc/openvpn/server1.conf

                So in principle you could setup multiple processes this way, each listening on a different port and use the load balancer module. (From a quick google openvpn isn't multithreaded)

                https://sourceforge.net/p/openvpn/mailman/message/27365978/

                1 Reply Last reply Reply Quote 0
                • I
                  Igor Filth
                  last edited by

                  Позаимствовал на время у сотрудников 2 более-менее мощных компьютера (процессоры i5-4690 и i3-4130)
                  Поднял на них hyper-v и pfsense.
                  Скорость ovpn туннеля поднялась, но незначительно - до 14 МБ/с. Процессор на  i3 при этом нагрузился порядочно (~80%). Смотрел через ssh top’ом.
                  Пробовал отключать шифрование, включать аппаратную поддержку – на скорость это не влияло вообще никак.

                  Затем поставил PF на эти же компьютеры, но без hyper-v – скорость более 50 МБ/c, нагрузка на i3 примерно 60%.

                  Теперь отвечу почему hyper-v. Решение руководства. Якобы, на винде всё проще.
                  Сейчас уже заменить на proxmox немного проблематично – нужно всё полностью протестировать; показать руководству и убедить, что так лучше; научить человека, который меня замещает им пользоваться и поехать «в командировку» в выходной день всё это дело развернуть и настроить.

                  1 Reply Last reply Reply Quote 0
                  • werterW
                    werter
                    last edited by

                    @Igor:

                    Теперь отвечу почему hyper-v. Решение руководства. Якобы, на винде всё проще.

                    Это они гипер-в в "чистом" виде не видели (а не как роль вин-сервера). В чистом виде - также ком. строка (powershell).
                    Вы его таким покажите рук-ву :)

                    Скорость ovpn туннеля поднялась, но незначительно - до 14 МБ/с

                    Поколение вирт. маш. гипер-в - второе ? Сетевая - не legacy ?

                    P.s. Осталось попробовать vmware esxi и xen.

                    1 Reply Last reply Reply Quote 0
                    • ?
                      A Former User
                      last edited by

                      А чего тогда freeBSD используют то? Ну и настраивали бы все на голой винде, там тоже все есть, каналы будут работать винда-винда, там L2TP помоему в нативе, только работает через одно место, да и глючит частенько… Я както пробовал ради интереса, за сутки канал раз 10 упал.
                      Предложите им такой вариант, пусть понюхают, как винда на самом деле работает в данных решениях.
                      Простите за офтоп...

                      1 Reply Last reply Reply Quote 0
                      • I
                        Igor Filth
                        last edited by

                        Это они гипер-в в "чистом" виде не видели (а не как роль вин-сервера). В чистом виде - также ком. строка (powershell).
                        Вы его таким покажите рук-ву :)

                        Так оно в чистом виде и используется) Чтобы бесплатно было)

                        Поколение вирт. маш. гипер-в - второе ? Сетевая - не legacy ?

                        Поколение первое. Не стал пока со вторым разбираться для невиндовых os. Но могу и на втором развернуть. Сетевая не legacy.

                        1 Reply Last reply Reply Quote 0
                        • P
                          pigbrother
                          last edited by

                          Для начала было бы неплохо протестировать скорости на proxmox.
                          нагрузка на i3 примерно 60%
                          Странно. На "железном" pf 50 Мбит OpenVPN  нагружают Celeron N3150 менее, чем на 50%.
                          Кстати, а просто 50 Мбит не OpenVPN трафика насколько загружают CPU?
                          Если ощутимо - виноваты сетевые карты\обработка прерываний.

                          Смотреть так:

                          top -aSH

                          12 root      -92    -    0K  640K WAIT    0 769:24  4.20% [intr{irq268: igb2[/b]:que}]

                          1 Reply Last reply Reply Quote 0
                          • I
                            Igor Filth
                            last edited by

                            pigbrother

                            50 Мегабайт, а не мегабит  ;)

                            Ставлю proxmox на свой стенд

                            1 Reply Last reply Reply Quote 0
                            • P
                              pigbrother
                              last edited by

                              @Igor:

                              pigbrother

                              50 Мегабайт, а не мегабит  ;)

                              Ставлю proxmox на свой стенд

                              Тогда другое дело  ;D

                              1 Reply Last reply Reply Quote 0
                              • ?
                                A Former User
                                last edited by

                                @Igor:

                                pigbrother

                                50 Мегабайт, а не мегабит  ;)

                                Ставлю proxmox на свой стенд

                                Нихаха себе канал… 400 мегабит. Для чего используете такую мощь, если не секрет?
                                Интересно будет посомотреть что его потянет. Ждемс.

                                1 Reply Last reply Reply Quote 0
                                • P
                                  pigbrother
                                  last edited by

                                  Вероятно тестировалось через LAN
                                  Если нет - возможно это в пределах одного провайдера\пиринга.
                                  Мой домашний провайдер в таких условиях дает до 1 Гигабита. Правда, не всегда.  ;)

                                  1 Reply Last reply Reply Quote 0
                                  • I
                                    Igor Filth
                                    last edited by

                                    Вероятно тестировалось через LAN

                                    Да, верно

                                    Нихаха себе канал… 400 мегабит. Для чего используете такую мощь, если не секрет?
                                    Интересно будет посмотреть что его потянет. Ждемс.

                                    Ну, на i3 начального уровня (без HV), эти скорости и были получены. Так что, не такая и мощная железка нужна)

                                    Лично моё мнение, что такая скорость в целом не нужна, но у некоторые любят побыстрее.
                                    Файл огромный передать моментом из одного офиса в другой или отчеты какие-то построить, где миллионы позиций у нас любят. Там очень много данных по сети гоняется.
                                    В общем, хочешь не хочешь, а придётся исполнять.

                                    1 Reply Last reply Reply Quote 0
                                    • P
                                      pigbrother
                                      last edited by

                                      Igor Filth
                                      А какова скорость передачи файла в вашей гигабитной LAN, напрямую, без OVPN на эти же тестовых компьютерах??
                                      На скоростях 50 Мбайт/сек и выше уже могут быть немаловажны бренд\тип сетевых карт, жестких дисков и т.д.
                                      Неплохая статья о скоростях в сети:
                                      https://calomel.org/network_performance.html

                                      1 Reply Last reply Reply Quote 0
                                      • I
                                        Igor Filth
                                        last edited by

                                        А какова скорость передачи файла в вашей гигабитной LAN, напрямую, без OVPN на эти же тестовых компьютерах??

                                        90-95 Мбайт/c. Каждую сетевую "прогнал" несколько раз.

                                        Больше 50 от меня и не просят. Получить бы 40-50 по туннелю и все были бы счастливы)

                                        1 Reply Last reply Reply Quote 0
                                        • werterW
                                          werter
                                          last edited by

                                          2 Igor Filth
                                          Доброе.
                                          Попробуйте ipsec.

                                          1 Reply Last reply Reply Quote 0
                                          • P
                                            pigbrother
                                            last edited by

                                            А если попробовать
                                            Encryption Algorithm - None?

                                            Или вообще перейти на GRE\IPsec\L2TP?

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post