Pfsense failover cluster (концепт)



  • Планирую поднять второй пф, ради отказоустойчивости + работ над основным(ну там ребутнуть надо, скажем).
    Перед сервером пф - свич, куда приходит интернет.
    В каждом сервере по 3 сетевого интерфейса. лан,ван настроены на одни и тот же мак и ип адресс. 3й интерфейс - для связи др с другом.

    Скрипт(на запасном сервере) - пингуй соседа. раз в 5 сек шлем 3 пинга. Если долетело 2 и меньше - подключаем оба свои интерфейса. Если пинги восстановлены - отключаем.

    Посоветуйте, что можно изменить?
    (я понимаю, что красивее будет выглядеть решение с STP, но денег на оборудование пока не хватает)

    Спасибо



  • Не понял - это вручную что-ль все? Carp же есть.



  • Нужно 2 статических адреса. А имеем один и динамический. Как я понял, тут carp нам не помощник.
    Вот думаю поморочится со скриптами, или сразу 2 свича с STP брать и абсолютные 2 копии pfsense сделать (будет ли работать?)

    Или же, в случае, если шансов нет, отказывать от этой идеи и пробовать выбивать 2ой айпи для корректного carp'a?



  • @goliy:

    Планирую поднять второй пф, ради отказоустойчивости + работ над основным(ну там ребутнуть надо, скажем).
    Перед сервером пф - свич, куда приходит интернет.
    В каждом сервере по 3 сетевого интерфейса. лан,ван настроены на одни и тот же мак и ип адресс. 3й интерфейс - для связи др с другом.

    Скрипт(на запасном сервере) - пингуй соседа. раз в 5 сек шлем 3 пинга. Если долетело 2 и меньше - подключаем оба свои интерфейса. Если пинги восстановлены - отключаем.

    Посоветуйте, что можно изменить?
    (я понимаю, что красивее будет выглядеть решение с STP, но денег на оборудование пока не хватает)

    Спасибо

    Мой вариант :

    Машина с pf у вас оч. неплохая и проц поддерживает Intel® Virtualization Technology (VT-x). Тыкайте столько сетевух, сколько вам надо, ставьте гипервизор Vmware vSphere 5.0 (он Free) и создавайте сколько Вам угодно виртуалок с pf.

    У меня ВСЯ инф-ра орг-ции виртуализирована уже 3-ий год (DC, ADC, Exchange, pfsense). Есть и всфера и ксенсервер от цитрикса. Все ОК и оч. удобно - не надо тратиться на железо.



  • Хм, интересный вариант.
    Уже загорелся ставить VMware ESXi!=)
    Спасибо!



  • @goliy:

    Хм, интересный вариант.
    Т.е. вы считаете, что данное оборудование (Core(TM)2 CPU 6300 и Intel E1G42ETBLK) при работе на vmware виртуалках сможет бесперебойно работать и виртуализироваться на 2 полноценных машины? (сетевухи втыкать не куда, но действующая поддерживает аппаратную виртуализацию)
    супер, если да =-)

    Да хоть на 10. Инструкция по установке vShpere есть и на youtube. Вот еще простая инструкция - http://forum.pfsense.org/index.php/topic,32517.0.html
    Неплохой ресурс - http://www.vmgu.ru .Качать тут (после регистрации там ключ появится) - http://downloads.vmware.com/d/



  • 1. аффтору - правильное название темы "Построение отказоустойчивого кластера из двух pfsense", ваше название не отражает сути.
    2.

    Мой вариант :

    для данного конкретного случая так делать не надо ни в коем случае! Ибо это противоречит сути поставленой задачи:

    Планирую поднять второй пф, ради отказоустойчивости + работ над основным(ну там ребутнуть надо, скажем).

    Если "ляжет" физический сервер, то и "лягут" все виртуалки работающие на нём (ясен пень). Отказоустойчивые кластеры строятся на основе пары и более физических серверов (там тоже может быть виртуализация), которые даже питаются от разных систем электропитания.



  • @aleksvolgin:

    1. аффтору - правильное название темы "Построение отказоустойчивого кластера из двух pfsense", ваше название не отражает сути.

    Правильное название автора - Автор. Но в плане информативности, я с вами соглашусь.
    Спасибо.
    @aleksvolgin:

    2.

    Мой вариант :

    для данного конкретного случая так делать не надо ни в коем случае! Ибо это противоречит сути поставленой задачи:

    Прошу прощения, уважаемый сударь, но позвольте мне самому принять участие в решении того, что больше подходит для моих целей и задач.
    За время эксплуатации проблемы были в 90% на софтварном уровне (ошибки конфигурации, вынужденные перезагрузки, непредсказуемые лаги после применения корректных настроек, требующие чрезвычайных мер и др), подавляющее большинство из которых решается дублированием софт-части.
    И сейчас я остановился на виртуализации c ESXi.
    С уважением, A.L.



  • @aleksvolgin:

    для данного конкретного случая так делать не надо ни в коем случае! Ибо это противоречит сути поставленой задачи:

    Планирую поднять второй пф, ради отказоустойчивости + работ над основным(ну там ребутнуть надо, скажем).

    Если "ляжет" физический сервер, то и "лягут" все виртуалки работающие на нём (ясен пень). Отказоустойчивые кластеры строятся на основе пары и более физических серверов (там тоже может быть виртуализация), которые даже питаются от разных систем электропитания.

    Согласен. Но для кластера (в его случае было бы HA или Load balancing cluster или то и другое вместе) нужно минимум две машины (мастер и нода) ,чего ТС не надо физически. Просто ТС надо , чтобы на одном pf-е можно было работать, а на втором эсперементировать одновременно. Да и про основную проблему кластеров не забывайте - это синхронизация. Если в процессе этого произойдет сбой (напр., упала нода ) , то можно поиметь оч. не маленькие проблемы. Вот по-поводу того же DRBD - http://habrahabr.ru/company/depocomputers/blog/130573/, цитата:

    А теперь перезагрузите их пару раз рандомно. Да и вообще, поэксплуатируйте полученную систему пару месяцев. Увлекательные приключения гарантирую.

    Если же исп-ся синхронизация через внешнее хранилище, то для этого нужно а) внешнее хранилище  ;D (желательно "железное", но есть и софтварные, работающее по тому-же iSCSI (напр., FreeNAS с его zfs\zfs2\zfs3 ) )) и б) на кой это надо дома? Это если бы ТС собирался стать небольшим провайдером , то да, отказоустойчивость , балансировка тут были бы необходимы. А так…

    P.s. Чего-то я разговорился. Пардон за оффтоп.



  • Правильное название автора - Автор.

    :D

    Прошу прощения, уважаемый сударь, но позвольте мне самому принять участие в решении того, что больше подходит для моих целей и задач.

    да за ради бога. Сей пост был адресован не вам, а тем, кто затем будет читать всю эту муть и у них должно быть чёткое предсталение о том, что есть грамотный отказоустойчивый кластер.

    на кой это надо дома?

    так это всё дома чтоли? А я то наивно думал, что здесь люди задачки серьёзные решают  :D Для дома хватит г%%%номаршрутизатора за косарь, сенс то там на кой сдался да ещё с отказоустойчивостью?



  • Все это работает в качестве шлюза провайдера интернета на 200 человек. Так что перезагрузки на такой машине довольно критичны.



  • Все это работает в качестве шлюза провайдера интернета на 200 человек. Так что перезагрузки на такой машине довольно критичны.

    ну что сказать, мне искренне жаль ваших клентов, замена pfsens'а на адекватный маршрутизатор сильно облегчит жизнь им… и вам, желаю удачи в сексе профессии.



  • @goliy:

    За время эксплуатации проблемы были в 90% на софтварном уровне (ошибки конфигурации, вынужденные перезагрузки, непредсказуемые лаги после применения корректных настроек, требующие чрезвычайных мер и др), подавляющее большинство из которых решается дублированием софт-части.

    Надеюсь, вы отдаете себе отчет в том, что через XMLRPC Sync все ваши ошибки конфигурации автоматически и без вашего ведома переплывут на резервную ноду, которая по этой самой причине вам никак не сможет помочь? Помочь вам сможет только бэкап и восстановление виртульной машины после кривых настроек, но CARP здесь совсем не причем.



  • во-первых я уверен, что имеют место быть так называемые лаги при частой перезаписи конфига( т.к. не раз происходили ситуации, полностью клавшие систему, с рабочим(на новой/переустановленной машине) конфигом) . что, по моим предположениям, не отразится на втором сервере
    во-вторых, синхронизация настроек и не требуется(насколько мне известно это доп., отключаемая рация). достаточно будет просто ната на виртуальном up-адресе в режиме allow all. возможно, там даже не будет pfsense, только freebsd.(если удасться корректно реализовать виртуальный ип для шлюза)

    спасибо за проявленный к вопросу интерес, многоуважаемый rubic



  • goliy, привет, тебе можно попробовать построить структурную отказоустойчивость не пфсенсом, а самой вмварью: если есть две железяки с процами у которых есть поддержка vt-x, объединяешь два esxi в кластер, настраиваешь ft либо ha , можешь даже использовать vsa (делает как бы виртуальное хранилку данных на основе вируальных машин - прикольно), вообще есть опыт как заставить это всё работать, если что спрашивай, а вообще vmgu.ru - мужики по этой части в рунете самые, наверное



  • машина пока только одна. требуется схема:
    провайдер выдает динамически айпи -> виртуальный роутер (как посоветуете реализовать в esxi?), который может выделить 2 статических адреса(они нужны для carp'a) -> к нему подключены 2 виртуальные ПФа(тонко настроенный основной), и второй,просто голый пф с гасилкой торрентов(резервный) -> и на выходе виртуальный свич(т.к. физически у машины только 2 интерфейса)
    подскажите, если не сложно, схему организации описанной структуры терминами vmware, может какие особенности конфигурирования.
    Надо сделать все как можно проще и отказоустойчевее. Главная идея - можно будет класть и перезагружать основной ПФ без ощутимого для польщователей ущерба
    p.s. я на практике c серверной стороной ESXi ни разу не сталкивался, так что любая не очевидная информация касательно оптимизации задачи была бы полезной. работа планируется на выходные.



  • @mc34:

    goliy, привет, тебе можно попробовать построить структурную отказоустойчивость не пфсенсом, а самой вмварью: если есть две железяки с процами у которых есть поддержка vt-x, объединяешь два esxi в кластер, настраиваешь ft либо ha , можешь даже использовать vsa (делает как бы виртуальное хранилку данных на основе вируальных машин - прикольно), вообще есть опыт как заставить это всё работать, если что спрашивай, а вообще vmgu.ru - мужики по этой части в рунете самые, наверное

    А ничего что это все только в платных версиях можно ? Я б даже сказал в ОЧЕНЬ платных.
    Хотите просто кластер и free - это Proxmox. Кластер с "плюшками" и очень хорошей наглядностью в управлении и опять же free - это oVirt.



  • @werter:

    @mc34:

    ft ha , vsa

    Proxmox. oVirt.

    уважаемые члены дискуссии, я ценю вашу заинтересованность, но в силу того, что о подуктах перечисленных выше я не знаю вообще ничего, больше всего мне сейчас помогло бы, если бы вы предложили одно подходящее решение, учитывая все вышеописанные требования. Машина сейчас у нас одна. Характеристики указаны в подписе. желательна free версия. схему работы я описал выше
    спасибо большое!



  • @goliy:

    @werter:

    @mc34:

    ft ha , vsa

    Proxmox. oVirt.

    уважаемые члены дискуссии, я ценю вашу заинтересованность, но в силу того, что о подуктах перечисленных выше я не знаю вообще ничего, больше всего мне сейчас помогло бы, если бы вы предложили одно подходящее решение, учитывая все вышеописанные требования. Машина сейчас у нас одна. Характеристики указаны в подписе. желательна free версия. схему работы я описал выше
    спасибо большое!

    VmWare Esxi  или Citrix Xenserver. Оба продукта имеют free-версии. Я больше склоняюсь к Esxi - больше плюшек по работе с сетью.



  • Если есть желание кину в личку ключи от вмтвари, извиняюсь за молчание, напишу ответ позже - зашиваюсь на работе ваще, да еще этот диплом…


Log in to reply