Перенос pfsense на новую платформу

deem73

Понятно. Будет эксплуатироваться без рейда.
Тестовую поднять можно будет, но если pfsene никак не поднимется - будет печально.

pigbrother

@deem73:

Понятно. Будет эксплуатироваться без рейда.
Тестовую поднять можно будет, но если pfsene никак не поднимется - будет печально.

Проверить - дело 5-10 минут.

werter

Доброе.
Неплохое железо. Жалко только один пф на нем держать. Разверните proxmox https://www.proxmox.com/en/downloads и в нем "поселите" пф. Рекомендую для proxmox исп. zfs raid 1 (2 диска) или zfs raid 10 (4 диска) - настраивается в гуи в самом начале установки.

PTZ-M

Подниму тему, поскольку похожее железо и ситуация.
Развернул proxmox, в нём из iso установил 2.6 - вроде работает. Заливаю конфиг с боевой машины - pfSense ругается на интерфейсы - меняю как должно быть и нажимаю "Сохранить". После этого веб-интерфейс pfSense уходит в задумчивость и тишина. Ребучу принудительно - в консоли интерфейсы встают правильно, но при вводе пароля веб-интерфейс висит до бесконечности. Сброс пароля делал - бесполезно. Что ему не так?

UPD тестовый стенд с новым сервером "висит в воздухе"

werter

@ptz-m
Выполнить рекомендации из оф. доки по настройке пф в вирт. среде (откл hw offload на сетевых etc).
В хоз-ве 20+ пф на pve - проблем нет.

PTZ-M

@werter а как это сделать если веб-интерфейс не грузится?
Какая строчка в конф.файле за это отвечает?

PTZ-M

UPD пошёл обходным путём - на вируталке занулил pfSense, настроил первоначальный конфиг, загрузился в него и уже там отметил чек бокс в поле Disable Hardware Checksums (как внизу мануала Virtualizing with Proxmox VE), дождался перезагрузки сервера, сохранил конфиг и там нашёл похожую строчку по поисковому вхождению "offload"

		</bogons>
		<hn_altq_enable></hn_altq_enable>
		<ssh></ssh>
		<disablechecksumoffloading></disablechecksumoffloading>
	</system>
	<interfaces>
		<wan>
			<enable></enable>

Она почему-то в разделе system оказалась, в отличии от прочих параметров из мануала.

Скопировал её в свой конфиг с боевой машины, который и залил в виртуалку. В веб-морде поменял интерфейсы и ОПЯТЬ всё наглухо зависло после нажатия кнопки "Сохранение". На удачу ребутнул сервак, и чудесным образом веб-морда таки пустила меня в интерфейс с моим конфигом с боевой машины.

P.S. ещё читал Hardware Tuning and Troubleshooting, но там вроде как специфические случаи описаны, не из моей истории.

PTZ-M

А теперь ещё забавное - а как пробросить 4G модем ZTE в pfSense через Proxmox? Что-то стандартное, в веб-интерфейсе, добавить USB не помогает увидеть порты модема в pfSense PPP.

PTZ-M

Кроме этого, в консоли pfSense валятся сообщения вида config_aqm Unable to configure flowset, flowset busy! А в веб-интерфейсе мои виртуальные сетевые карты обозначены как 10Gbase-T, хотя физически на боевой машине они были 1000baseT (ну и сетка соответственно гиговая, а не 10-ти гиговая).

werter

@ptz-m
Перевести модем в hilink ?

werter

@ptz-m said in Перенос pfsense на новую платформу:

обозначены как 10Gbase-T, хотя физически на боевой машине они были 1000baseT (ну и сетка соответственно гиговая, а не 10-ти гиговая).

Не пишите глупости (
Сетевые virtio и есть 10гб\с

PTZ-M

@werter на боевой машине всё работает.

Итак, суммируем - идея с Proxmox - хрень полная:

в веб-морде pfSense показатели температуры, нагрузки на процессор, занятой памяти показывают что угодно, кроме реальных данных (веба Proxmox то же лажу гонит, если что)
USB модем - не работает, точнее что-то там определяется, даже иногда появляется IP от провайдера, но благополучно отваливается с концами через пару минут (на форуме Proxmox хватает таких вопросов без ответа, аж 3-х летней давности)
веб-морда pfSense, как дико глючила так и глючит; я думал в прошлых раз мне помогло Disable Hardware Checksums - нет всё это фигня, и без неё так же глючит
инструкция Virtualizing with Proxmox VE написана на "отъебись", перечитал оригинальный мануал на сайте Proxmox стало понятно многое, в частности - работать нормально всё это не будет
AES-NI CPU Crypto - не активно и не доступно

Наигрался - понял, что pfSense надо ставить на железо, ибо в виртуалке Proxmox его глючит немилосердно, сколько ресурсов ему не выделяй. В итоге имеем целиковый Xeon E-2336 (6/12) на ASUS P12R-E c 16Гб оперативки при NVMe+SSD и 3 PCI-E Gigabit Ethernet card

Перенос через конфиг файл делал ручками, ибо, в отличии от виртуалки, pfSense решил не выдавать ошибок по интерфейсам (на боевой машине такие же карты). И при первом запуске с "боевого конфига" он ломанулся докачивать пакеты из LAN карты вместо WAN, попутно засерая мне консоль и не давая нормально переназначить.

Переименовываем вручную в конфиг файле ВСЕ интерфейсы (в т.ч. и VLAN и USB модемы) соответственно тому, что видели в консоли при первейшем запуске

</system>
	<interfaces>
		<wan>
			<enable></enable>
			<if>re1</if>
			<descr><![CDATA[WAN1]]></descr>
			<alias-address></alias-address>
			<alias-subnet>32</alias-subnet>

Так же, ищем в самом низу файла наши VLAN (если они у Вас есть) и сверяем к какому интерфейсу они привязаны

<vlans>
		<vlan>
			<if>re0</if>
			<tag>10</tag>
			<pcp>1</pcp>
			<descr><![CDATA[Wi-Fi]]></descr>
			<vlanif>re0.10</vlanif>

Всё это безопасно заливаем в новую машину. Но есть ложка дёгтя! Самостоятельно пакеты не ставятся, вот хоть что делай. Мне ждать сутки было не с руки, поэтому я установил свои пакеты "вручную", ребутнулся, потом нажал "Переустановить пакеты" - вроде завелось.

В качестве резервирования оставляем или клонирование (clonehdd или disk dupe или dump/restore) существующего винта, ну или запасный винт держим под переустановку pfSense, регулярно сохраняя конфиг-файл в надёжном месте.

werter

@ptz-m
Итак, суммируем.
Пост - хрень полная.

Какие к бесу показатели температуры, если это ВИРТУАЛЬНАЯ машина;
Пробрасывал в ВМ от дисков до контроллеров - проблем нет + давай ссылки на "проблемы" с форума pve - почитаем вместе;
на 30+ (буквами - ТРИДЦАТИ+) инстансов pve + pfsense проблем НЕТ - как ты это делаешь?;
ни х.. непонятно, но оч. интересно (c) - давай ссылки;
AES-NI CPU Crypto ДОСТУПНО И РАБОТАЕТ, но для этого надо уметь читать оф доку. Достаточно сделать в настр-ках ВМ cpu=host

Слишком много развелось "вайтишников" - жертв курсов в "Девопсы аж за три дня".
И образование в ж..пе. Печально все это :(

Зы. Уверен, что и pve ты водрузил на АППАРАТНЫЙ рейд вместо софтового zfs.

PTZ-M

@werter

а мониторинг состояния сервера как вести, опять сторонние пакеты доставлять? PVE в веб-интерфейсе показывает какие-то нереальные показатели нагрузки на железо. Судя по ним, у меня 1/3 сервера (см характеристики выше) без VM идёт ТОЛЬКО на PVE (и не надо ля-ля, что я виртуализацию в БИОС не трогал). Да винда с виртуальбоксом меньше жрут
тут есть; на железе в pfSense работает, через PVE - отваливается наглухо. Свободный поиск по теме даёт 2 варианта: или само работает из коробки через вебу (в старых версия через консоль), или шишь с маслом - вот его-то на форуме хватает
знал бы - ответил, есть только ЖЕЛЕЗНЫЙ ФАКТ
ссылки были выше - написано галопам по европам, типо ну как-то так оно будет работать, но если нет - потыкайте где-то там. Понятно, что мануал pfSense не о том, но всё же, зачем его было писать, если можно было дать ссылки на доки по PVE, где нормально расписано.
тут возможно не прав (меня в принципе удивило отсутствие этой настройки при создании VM) - надо смотреть, что мне в веб-интерфейсе PVE показывало. К тому моменту я уже задолбался с первоначальным конфигурированием PVE, поэтому до настройки VM уже не докапывался

OFFTOP
Тогда прошу объяснений, как система PVE поставленная с нуля на NVMe диск (нет там RAID) из ISO-образа по дефолтным настройкам. При установке пакетов Ceph из репозитория - умирает? Причём умирает не только веб-интерфейс, вешается система и САМА машина с BCM модулем! 3 раза переустанавливал с полным форматированием диска и 3 раза, после установки Ceph из веб-интерфейса - Proxmox переставал работать.

Работа с разделами и дисками - "Зачем мне разбивать диск? Нет, я сожру его целиком!. Хочешь по другому? Только через консоль разбивай, и там же подключай всё это к веб-интерфейсу."

werter

@ptz-m
На кой тебе ceph ?
Сколько у тебя нод?
Сколько МИНИМУМ нод надо для ceph?
Какая сетка должна быть для ceph?
Сколько и каких дисков надо для норм. работы ceph (osd etc.)?
Не лезь вообще к ceph-у.
Это как дать тебе камазом рулить, если ты даже велик не освоил.

werter

@ptz-m

PVE в веб-интерфейсе показывает какие-то нереальные показатели нагрузки на железо.

Для bsd НЕТ qemu agent (если понимаешь о чем я) - нет и мониторинга. Все вопросы к bsd.
Для остальных ОС qemu agent ЕСТЬ. Ставь и пользуй.
Описанное выше есть в офиц. доке прокса - надо иметь желание читать её.

Работа с разделами и дисками - "Зачем мне разбивать диск? Нет, я сожру его целиком!. Хочешь по другому? Только через консоль разбивай, и там же подключай всё это к веб-интерфейсу."

Какие разделы? Для чего? Для zfs - весь диск, да.
А через консоль, потому как гипервизор - это СЕРЪЕЗНОЕ ПО.
И чем меньше, свистоперделок - тем надежнее.
И в той же вмваре ты диск на партиции из вебки не разобьешь тоже.

Это линукс - тут думать надо, бро.

werter

@ptz-m
Могу тебе настроить и прокс и пф на нем, но не бесплатно, раз сам не осилил.
Пиши в лс, если надумаешь.

Зы. Купить авто и быть автослесарем - это разное.