Wan, opt1, opt2 - multirouting

Eugene

банальная закладка Traffic graph :)
там есть in\out - по этим графикам и увидел

Не… эт слишко приблизительно.
tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
и подключаешься. Там и посмотрим, где приходит, а где уходит.

alexandrnew

@Eugene:

Не… эт слишко приблизительно.
tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
и подключаешься. Там и посмотрим, где приходит, а где уходит.

не сказал бы что приблизительно, так как при загрузке каналов в 256к, начинаю грузить в мегабит…
tcpdump - а более точно можете строку подсказать, так как клиентов - около сотни - слишком много данных

Eugene

@alexandrnew:

@Eugene:

Не… эт слишко приблизительно.
tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
и подключаешься. Там и посмотрим, где приходит, а где уходит.

не сказал бы что приблизительно, так как при загрузке каналов в 256к, начинаю грузить в мегабит…
tcpdump - а более точно можете строку подсказать, так как клиентов - около сотни - слишком много данных

Более точно, если взять одного клиента, который само собой имеет public IP отличный от других и:

tcpdump -ni <имя wan-интерфейса типа bge0 или em0> host <public ip=""> and '(udp port 500 or esp)'</public>

скобки <> печатать не надо.

alexandrnew

говорю же - фигня какая то…

tcpdump -ni em0 host 91.x10.2хх.1хх and '(udp port 500 or esp)'
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on em0, link-type EN10MB (Ethernet), capture size 96 bytes
22:04:24.697954 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab3), length 92
22:04:24.786479 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab4), length 92
22:04:24.851515 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab5), length 92
22:04:24.911850 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab6), length 92
22:04:26.994635 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab7), length 92
22:04:27.054648 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab8), length 92
22:04:27.089105 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab9), length 92

tcpdump -ni em3 host 91.x10.2хх.1хх and '(udp port 500 or esp)'

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on em3, link-type EN10MB (Ethernet), capture size 96 bytes
22:05:13.411656 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d6), length 92
22:05:13.468783 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d7), length 92
22:05:13.490687 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d8), length 92
22:05:13.518249 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d9), length 92

alexandrnew

откатился на бекап конфига - (ночной) не помогло..
откатился на бекап всей виртуалки - (ночной) помогло…
конфиги сравнил - одинаковые... да и поменять кроме меня никто не мог...
глюка что ли? ....

Eugene

теперь было бы неплохо глянуть на

ifconfig em0
ifconfig em3
netstat -rn

alexandrnew

$ ifconfig em0
em0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
options=9b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum>ether 00:50:561a:43
inet 81.хх.4.184 netmask 0xfffffff0 broadcast 81.хх.4.х91
inet6 fe80::250:56ff:feab:1a43%em0 prefixlen 64 scopeid 0x1
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active

$ ifconfig em3
em3: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
options=9b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum>ether 00:50:5659:74
inet 83.х0.209.2х3 netmask 0xfffffff8 broadcast 83.х0.209.255
inet6 fe80::250:56ff:feab:5974%em3 prefixlen 64 scopeid 0x4
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active

$ netstat -rn
Routing tables

Internet:
Destination Gateway Flags Refs Use Netif Expire
default 81.xx.4.177 UGS 0 14107 em0
10.0.0.0/8 192.168.1.1 UGS 0 95 em2
10.1.100.0/24 192.168.1.1 UGS 0 0 em2
81.xx.0.1/32 81.xx.4.177 UGS 0 89 em0
81.xx.4.176/28 link#1 UC 0 0 em0
81.xx.4.177 00:30:71:79:9c:00 UHLW 4 44 em0 1190
81.хх.4.184 00:50:561a:43 UHLW 1 2 lo0
83.x0.209.248/29 link#4 UC 0 0 em3
83.x0.209.249 00:03:fa:56:d3:65 UHLW 3 43 em3 1000
83.x0.209.250 00:30:48:5a:f0:71 UHLW 1 1 em3 1077
83.x0.209.253 00:50:5659:74 UHLW 1 2 lo0
127.0.0.1 127.0.0.1 UH 0 0 lo0
172.20.0.0/16 link#2 UC 0 0 em1
172.20.0.1 00:50:56:44:90:07 UHLW 1 30 em1 1178
172.20.1.1 00:50:560e:54 UHLW 1 284 em1 1054
172.20.1.3 00:50:5656:6c UHLW 1 1533 em1 1184
172.20.1.5 00:50:56:b0:1b:64 UHLW 1 119 em1 1071
172.20.1.251 00:30:48:56:05:0f UHLW 1 256 em1 1000
172.20.1.252 00:50:56:98:3a:1a UHLW 1 300 em1 986
172.20.1.253 00:50:56:b0:44:a5 UHLW 1 19 em1 1169
192.168.0.0/16 link#3 UC 0 0 em2
192.168.1.1 00:19:aa:7e:50:40 UHLW 3 0 em2 1195
192.168.33.3 00:18:71:7a:cb:1e UHLW 1 954 em2 1194
192.168.250.3 00:50:5639:f9 UHLW 1 4 em2 1178
193.193.193.100/32 81.xx.4.177 UGS 0 24 em0
195.248.189.244/30 link#5 UC 0 0 em4
195.248.189.245 00:11:d8:79:f4:4c UHLW 1 20 em4 1000
212.109.32.5/32 83.x0.209.249 UGS 0 67 em3
216.239.59.104/32 83.x0.209.249 UGS 0 23 em3

Internet6:
Destination Gateway Flags Netif Expire
::1 ::1 UHL lo0
fe80::%em0/64 link#1 UC em0
fe80::250:56ff:feab:1a43%em0 00:50:561a:43 UHL lo0
fe80::%em1/64 link#2 UC em1
fe80::250:56ff:feab:3c3a%em1 00:50:563c:3a UHL lo0
fe80::%em2/64 link#3 UC em2
fe80::250:56ff:feab:f0%em2 00:50:5600:f0 UHL lo0
fe80::%em3/64 link#4 UC em3
fe80::250:56ff:feab:5974%em3 00:50:5659:74 UHL lo0
fe80::%em4/64 link#5 UC em4
fe80::250:56ff:feab:567%em4 00:50:5605:67 UHL lo0
fe80::%lo0/64 fe80::1%lo0 U lo0
fe80::1%lo0 link#6 UHL lo0
ff01:1::/32 link#1 UC em0
ff01:2::/32 link#2 UC em1
ff01:3::/32 link#3 UC em2
ff01:4::/32 link#4 UC em3
ff01:5::/32 link#5 UC em4
ff01:6::/32 ::1 UC lo0
ff02::%em0/32 link#1 UC em0
ff02::%em1/32 link#2 UC em1
ff02::%em2/32 link#3 UC em2
ff02::%em3/32 link#4 UC em3
ff02::%em4/32 link#5 UC em4
ff02::%lo0/32 ::1 UC lo0</full-duplex></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum></up,broadcast,running,simplex,multicast></full-duplex></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum></up,broadcast,running,simplex,multicast>

Eugene

WAN это em0, OPT1 это em3 как я понимаю, так?
OPT1 точно имеет Gateway в конфигурации?

pfctl -sr | grep em3

alexandrnew

$ pfctl -sr | grep em3
block drop in on ! em3 inet from 83.xx.209.248/29 to any
block drop in on em3 inet6 from fe80::250:56ff:feab:5974 to any
pass out quick on em3 all flags S/SA keep state label "let out anything from firewall host itself"
pass out quick on em3 proto icmp all keep state (tcp.closed 5) label "let out anything from firewall host itself"
pass out quick on em3 all flags S/SA keep state (tcp.closed 5) label "let out anything from firewall host itself"
block drop in quick on em3 reply-to (em3 83.xx.209.249) inet from 195.56.45.228 to any label "USER_RULE: DENY hacker's"
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 83.xx.209.253 port = pptp flags S/SA keep state label "USER_RULE: pptp to gt"
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto udp from any to 83.xx.209.253 port = 1723 keep state label "USER_RULE: pptp to gt"
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 83.xx.209.253 port = https flags S/SA keep state label "USER_RULE: allow web-interface from any "
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto udp from any to 83.xx.209.253 port = domain keep state label "USER_RULE: dns"
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto icmp from any to 83.xx.209.253 keep state label "USER_RULE"
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto udp from any to 172.20.1.252 port = domain keep state label "USER_RULE: NAT dns to proxy"
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 172.20.1.253 port = smtp flags S/SA keep state label "USER_RULE: NAT mailfilter 172.20.1.253"
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 172.20.1.2 port = 3389 flags S/SA keep state label "USER_RULE: NAT Nat for "
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 172.20.1.251 port = http flags S/SA keep state label "USER_RULE: NAT wiui1"
pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto esp from any to 83.xx.209.253 keep state label "USER_RULE: IPSEC GT Policy routing"
pass out quick on em3 inet proto udp from any to 10.1.2.110 port = isakmp keep state label "IPSEC: 172.20.x.x - 808h - outbound isakmp"
pass in quick on em3 inet proto udp from 10.1.2.110 to any port = isakmp keep state label "IPSEC: 172.20.x.x - 808h - inbound isakmp"
pass out quick on em3 inet proto esp from any to 10.1.2.110 keep state label "IPSEC: 172.20.x.x - 808h - outbound esp proto"
pass in quick on em3 inet proto esp from 10.1.2.110 to any keep state label "IPSEC: 172.20.x.x - 808h - inbound esp proto"
pass in quick on em3 proto udp from any to any port = isakmp keep state label "IPSEC: Mobile - inbound isakmp"
pass in quick on em3 proto esp all keep state label "IPSEC: Mobile - inbound esp proto"
pass in quick on em3 proto ah all keep state label "IPSEC: Mobile - inbound ah proto"
pass in quick on em3 inet proto tcp from any to 127.0.0.1 port = 8023 flags S/SA keep state label "FTP PROXY: Allow traffic to localhost"
pass in quick on em3 inet proto tcp from any to 127.0.0.1 port = ftp flags S/SA keep state label "FTP PROXY: Allow traffic to localhost"

g.png_thumb

alexandrnew

может приведет к каким то идеям: попробовал симитировать эту ситуацию, подергав клиента и попереключав его между wan и opt1, опять вход по одному каналу, выход по другому, пошел спать, ночью проснувшись проверил - нормализировалось. и вход и выход по opt1 (клиентя на нем оставлял)

Eugene

@alexandrnew:

может приведет к каким то идеям: попробовал симитировать эту ситуацию, подергав клиента и попереключав его между wan и opt1, опять вход по одному каналу, выход по другому, пошел спать, ночью проснувшись проверил - нормализировалось. и вход и выход по opt1 (клиентя на нем оставлял)

Для большей ясности, все данные, которые ты привёл (по моей просьбе) - это когда нормально работало, или когда вход по одному, выход по другому?

alexandrnew

когда вход по одному, выход по другому

Eugene

Я так понимю 91… это твой клиент удалённый.
У тебя loadbalancer случаем не сконфигурирован нигде?
Данный IPsec терминируется на pfSense или за pf какая коробка стоит?

alexandrnew

loadbalancer нету
IPsec напрямкю между пфсенсом и длинком, за ними уже локалки.

Eugene

Чудеса какие-то. У тебя обратный трафик идёт через WAN, но при этом использует source IP с OPT1.
Я не могу этого объяснить, извиняй.
Как физически организованы подключения к провайдерам на WAN и на OPT1, есть что-нибудь общее (типа свича)?

alexandrnew

есть что-нибудь общее (типа свича)
-нету

Eugene

Version 1.2.3-release?

alexandrnew

1.2.2
built on Thu Jan 8 22:39:31 EST 2009

пробовал и
Version 1.2.3-release
-пробовал, тоже самое…правда еще часть клиентов отпадает, планируется смена прова - заодно под это дело и версию обновлю...

Eugene

Проблему наверняка можно решить, добавив статический маршрут на OPT1
91.x10.2хх.1хх/32 -> 83.x0.209.249
но вообще какая-то загадка природы.

alexandrnew

а что означает:
Disable reply-to on WAN rules
With Multi-WAN you generally want to ensure traffic leaves the same interface it arrives on, hence reply-to is added automatically by default. When using bridging, you must disable this behavior if the WAN gateway IP is different from the gateway IP of the hosts behind the bridged interface.
?