Proxmox + Openvpn проблема с маршрутом

Alexey_rd

Всем привет, есть сервер на proxmox внутри него стоит pfsense 2.4.5.

На pfsense настроен openvpn сервер. Проблема в седующем, когда я подключаюсь клиентом к серверу openvpn, могу открыть сам pf 10.10.2.2, но не могу открыть морду proxmox 10.10.2.1. Если я подключаюсь как клиент в лан сеть напрямую к pf проблем нет.
Сеть LAN для pf (pve/Network)

Снимок экрана 2020-10-03 в 11.41.56.png

Сеть машины pf

Снимок экрана 2020-10-03 в 11.44.56.png

vmbr0 - белый айпи от провайдера.

Настройки openvpn
Снимок экрана 2020-10-03 в 11.50.25.png

Настройки LAN

Снимок экрана 2020-10-03 в 11.53.04.png

Настройки DHCP
Снимок экрана 2020-10-03 в 11.54.50.png

Вот итог работы с клиента openvpn

Снимок экрана 2020-10-03 в 11.58.25.png

Раньше в линуксе (до pf) все работало с двух команд

iptables -A FORWARD -i tun0 -s 10.9.1.0/24 -d 10.10.2.0/24 -j ACCEPT
iptables -A FORWARD -s 10.10.2.0/24 -j ACCEPT

Если прописать gateway 10.10.2.2 в лан сеть, клиенты openvpn начинают видеть 10.10.2.1, но локальные клиенты pf остаются без инета.

Подскажите в какую сторону двигаться. Спасибо

Konstanti

@Alexey_rd said in Proxmox + Openvpn проблема с маршрутом:

iptables -A FORWARD -i tun0 -s 10.9.1.0/24 -d 10.10.2.0/24 -j ACCEPT

Здр

iptables -A FORWARD -i tun0 -s 10.9.1.0/24 -d 10.10.2.0/24 -j ACCEPT

Этой командой Вы пропускали трафик от сети OpenVpn в сторону локальной сети на интерфейсе tun0 . Второй командой , соответственно , в другую сторону
Вопрос - есть ли аналогичное правило в настройках файрвола на Openvpn интерфейсе ? ( в силу специфики работы PF второе правило не нужно )

Alexey_rd

Снимок экрана 2020-10-03 в 12.30.36.png

правила по дефолту, я не пойму отдного доступ к 10.10.2.2 с впн клиента у меня есть, а к 10.10.2.1 нету.

Konstanti

@Alexey_rd
а у 10.10.2.1 какой шлюз по умолчанию ?
P.S. и еще - попробуйте отключить расчет контрольных сумм в
настройках PF . Такая проблема очень часто проявляется у PF на виртуальной ам.
/System/Advanced/Networking

Alexey_rd

У него его нет, я его не указавал
Снимок экрана 2020-10-03 в 12.34.35.png

Сеть работает нормально, клиенты локальной сети(другие вм) которым pf раздает айпи по dhcp имеют доступ к 10.10.2.1

Konstanti

@Alexey_rd
Все верно , они же в одной сети находятся. Им для общения шлюз не нужен
А если пришел пакет от другой сети ( от OpenVpn) , куда слать ответный пакет ?

Alexey_rd

@Konstanti said in Proxmox + Openvpn проблема с маршрутом:

@Alexey_rd
Все верно , они же в одной сети находятся. Им для общения шлюз не нужен
А если пришел пакет от другой сети ( от OpenVpn) , куда слать ответный пакет ?

Расчет чек сумм я отключил, если галка не стоит, скорость в опенвпн 1 мегабит.Я поставил opensense настроил его, все тоже самое.
Вот скрин маршрутов
Снимок экрана 2020-10-03 в 12.42.51.png

На скрине выше когда делаю traceroute 10.10.2.1 выходит что 10.9.1.1 не знает куда ему дальше передавать пакет.

Konstanti

@Alexey_rd
По-моему , как раз все наоборот. Proxmox не знает , куда ответ слать . Включите , ради интереса, tcpdump на lan интерфейсе и посмотрите , что происходит в момент соединения

Alexey_rd

This post is deleted!

Alexey_rd

traceroute 10.10.2.11

12:34:35.220335 IP 10.10.2.11 > 8.8.8.8: ICMP echo request, id 1121, seq 60474, length 64
12:34:35.220956 IP 8.8.8.8 > 10.10.2.11: ICMP echo reply, id 1121, seq 60474, length 64
12:34:36.244377 IP 10.10.2.11 > 8.8.8.8: ICMP echo request, id 1121, seq 60475, length 64
12:34:36.245044 IP 8.8.8.8 > 10.10.2.11: ICMP echo reply, id 1121, seq 60475, length 64
12:34:36.826184 IP 10.9.1.2.33285 > 10.10.2.11.33437: UDP, length 32
12:34:36.826239 IP 10.9.1.2.34144 > 10.10.2.11.33438: UDP, length 32
12:34:36.826287 IP 10.9.1.2.55738 > 10.10.2.11.33439: UDP, length 32
12:34:36.826332 IP 10.10.2.11 > 10.9.1.2: ICMP 10.10.2.11 udp port 33437 unreachable, length 68
12:34:36.826341 IP 10.10.2.11 > 10.9.1.2: ICMP 10.10.2.11 udp port 33438 unreachable, length 68
12:34:36.826347 IP 10.10.2.11 > 10.9.1.2: ICMP 10.10.2.11 udp port 33439 unreachable, length 68
12:34:36.826360 IP 10.9.1.2.49480 > 10.10.2.11.33440: UDP, length 32
12:34:36.826399 IP 10.10.2.11 > 10.9.1.2: ICMP 10.10.2.11 udp port 33440 unreachable, length 68
12:34:36.826421 IP 10.9.1.2.33076 > 10.10.2.11.33441: UDP, length 32
12:34:36.826455 IP 10.10.2.11 > 10.9.1.2: ICMP 10.10.2.11 udp port 33441 unreachable, length 68
12:34:36.826480 IP 10.9.1.2.43273 > 10.10.2.11.33442: UDP, length 32
12:34:36.826514 IP 10.10.2.11 > 10.9.1.2: ICMP 10.10.2.11 udp port 33442 unreachable, length 68
12:34:36.826539 IP 10.9.1.2.48032 > 10.10.2.11.33443: UDP, length 32
12:34:36.826586 IP 10.9.1.2.54952 > 10.10.2.11.33444: UDP, length 32
12:34:36.826633 IP 10.9.1.2.60220 > 10.10.2.11.33445: UDP, length 32
12:34:36.826679 IP 10.9.1.2.53664 > 10.10.2.11.33446: UDP, length 32
12:34:36.826726 IP 10.9.1.2.34001 > 10.10.2.11.33447: UDP, length 32
12:34:36.826783 IP 10.9.1.2.51627 > 10.10.2.11.33448: UDP, length 32
12:34:36.826831 IP 10.9.1.2.35634 > 10.10.2.11.33449: UDP, length 32
12:34:37.268334 IP 10.10.2.11 > 8.8.8.8: ICMP echo request, id 1121, seq 60476, length 64
12:34:37.269011 IP 8.8.8.8 > 10.10.2.11: ICMP echo reply, id 1121, seq 60476, length 64

traceroute 10.10.2.1

12:37:37.433636 IP 10.10.2.1 > 10.10.2.2: ICMP echo reply, id 32957, seq 13967, length 9
12:37:37.974855 IP 10.10.2.2 > 10.10.2.1: ICMP echo request, id 32957, seq 13968, length 9
12:37:37.974953 IP 10.10.2.1 > 10.10.2.2: ICMP echo reply, id 32957, seq 13968, length 9
12:37:38.468152 IP 10.9.1.2.56605 > 10.10.2.1.33437: UDP, length 32
12:37:38.468213 IP 10.9.1.2.54520 > 10.10.2.1.33438: UDP, length 32
12:37:38.468259 IP 10.9.1.2.37823 > 10.10.2.1.33439: UDP, length 32
12:37:38.468307 IP 10.9.1.2.56150 > 10.10.2.1.33440: UDP, length 32
12:37:38.468360 IP 10.9.1.2.43347 > 10.10.2.1.33441: UDP, length 32
12:37:38.468407 IP 10.9.1.2.57157 > 10.10.2.1.33442: UDP, length 32
12:37:38.468453 IP 10.9.1.2.59809 > 10.10.2.1.33443: UDP, length 32
12:37:38.468499 IP 10.9.1.2.39631 > 10.10.2.1.33444: UDP, length 32
12:37:38.468547 IP 10.9.1.2.60549 > 10.10.2.1.33445: UDP, length 32
12:37:38.468597 IP 10.9.1.2.57829 > 10.10.2.1.33446: UDP, length 32
12:37:38.469125 IP 10.9.1.2.47130 > 10.10.2.1.33447: UDP, length 32
12:37:38.469179 IP 10.9.1.2.44001 > 10.10.2.1.33448: UDP, length 32
12:37:38.469227 IP 10.9.1.2.55597 > 10.10.2.1.33449: UDP, length 32
12:37:38.493505 IP 10.10.2.2 > 10.10.2.1: ICMP echo request, id 32957, seq 13969, length 9
12:37:38.493581 IP 10.10.2.1 > 10.10.2.2: ICMP echo reply, id 32957, seq 13969, length 9
12:37:38.573912 IP 10.9.1.2.45449 > 10.10.2.1.33450: UDP, length 32
12:37:38.573970 IP 10.9.1.2.34399 > 10.10.2.1.33451: UDP, length 32
12:37:38.574018 IP 10.9.1.2.53256 > 10.10.2.1.33452: UDP, length 32
12:37:39.033555 IP 10.10.2.2 > 10.10.2.1: ICMP echo request, id 32957, seq 13970, length 9
12:37:39.033633 IP 10.10.2.1 > 10.10.2.2: ICMP echo reply, id 32957, seq 13970, length 9
12:37:39.574816 IP 10.10.2.2 > 10.10.2.1: ICMP echo request, id 32957, seq 13971, length 9
12:37:39.574925 IP 10.10.2.1 > 10.10.2.2: ICMP echo reply, id 32957, seq 13971, length 9
12:37:40.093578 IP 10.10.2.2 > 10.10.2.1: ICMP echo request, id 32957, seq 13972, length 9
12:37:40.093661 IP 10.10.2.1 > 10.10.2.2: ICMP echo reply, id 32957, seq 13972, length 9
12:37:40.633534 IP 10.10.2.2 > 10.10.2.1: ICMP echo request, id 32957, seq 13973, length 9
12:37:40.633613 IP 10.10.2.1 > 10.10.2.2: ICMP echo reply, id 32957, seq 13973, length 9

получается как вы и говорили 10.10.2.1 не шлет назад ответ на 10.9.1.2 ?

Konstanti

@Alexey_rd
Получается так

Alexey_rd

@Konstanti
на proxmox
ip route

10.10.2.0/24 dev vmbr3 proto kernel scope link src 10.10.2.1

вопрос как быть и что делать?

Konstanti

@Alexey_rd
На Proxmox

добавить шлюз по умолчанию
в настройках по картинке выше
или
попробовать !!!! из консоли ( результат не знаю )
ip route add default via 10.10.2.2
или пробовать для теста из консоли (результат не знаю)
ip route add 10.9.1.0/24 via 10.10.2.2
вчера была тема , как использовать Nat outbound на PF
( да , просит меня Werter )

Alexey_rd

@Konstanti said in Proxmox + Openvpn проблема с маршрутом:

@Alexey_rd
На Proxmox

добавить шлюз по умолчанию
в настройках по картинке выше
или
попробовать !!!! из консоли ( результат не знаю )
ip route add default via 10.10.2.2

или пробовать для теста из консоли (результат не знаю)
ip route add 10.9.1.0/24 via 10.10.2.2

вчера была тема , как использовать Nat outbound на PF
( да , просит меня Werter )

Спасибо вам огромное.

п2 заработало

werter

Добрый.

@Alexey_rd

CPU пользовать host или kvm + aes, если CPU умеет AES. Это заметно ускоряет VPN.
hdd = scsi + "галку" на discard. Иначе trim отрабатывать в ВМ не будет и место на диске будет забиваться.

Причем понадобится еще trim вкл для UFS и задание в cron добавить для периодического trim или же пользовать ZFS.

https://forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense-и-все-все-все/

Зы. Пишите в ЛС, если заинтересовал. С PVE работаю плотно более 6 лет.
Зы2. Жду релиза PBS. Оч уж вкусный продукт получается.

werter

@Alexey_rd
Достаточно шлюзом указать адрес пф (10.10.2.2) для PVE. И в кач-ве dns тоже.

Konstanti

@werter
Вот тут согласен - это же до первой перезагрузки действует (надо файлы конфигурации ручками править )