Wan, opt1, opt2 - multirouting

alexandrnew

есть три прова: wan, opt1, opt2,
шлюзом по умолчанию является wan
надо что бы трафик пришедший по определенному каналу в него же и уходил, если это не сделано по умолчанию.
как это сделать?
в шлюз по умолчанию уходит трафик с локальной сети? или и тот который пришел например на opt1 или opt2?

dvserg

надо что бы трафик пришедший по определенному каналу в него же и уходил, если это не сделано по умолчанию

Это внешние подключения? Так оно и работает

шлюз по умолчанию уходит трафик с локальной сети?

Если настройки по умолчанию, то из локалки все бегает через WAN.

alexandrnew

да внешние.
подключения по ipsec
как проверить так или нет?

dvserg

@alexandrnew:

да внешние.
подключения по ipsec
как проверить так или нет?

States.

Сам принцип подключения - через какой интерфейс соединение установлено, через тот и ответ получит.

Eugene

@dvserg:

@alexandrnew:

да внешние.
подключения по ipsec
как проверить так или нет?

States.

Сам принцип подключения - через какой интерфейс соединение установлено, через тот и ответ получит.

Похоже не всегда - http://forum.pfsense.org/index.php?topic=24226.new;topicseen#new

dvserg

Ну это спейшл.

alexandrnew

есть проблемма: ipsec соиденение, подключается на opt2, на пфсенсе default gateway - wan gw..
так вот входящий траф идет по opt2 а исходящий - по wan.. как сделать что бы траф по которому пришел по тому и уходил?

dvserg

Keep State
http://ru.wikipedia.org/wiki/Packet_Filter

alexandrnew

@dvserg:

Keep State
http://ru.wikipedia.org/wiki/Packet_Filter

для ESP ? на опт и ван портах?
дело в том что он по дефолту отсутсвует, но клиенты по ипсеку подключаются..
щас попробую

alexandrnew

не помогает… :(

Eugene

@alexandrnew:

есть проблемма: ipsec соиденение, подключается на opt2, на пфсенсе default gateway - wan gw..
так вот входящий траф идет по opt2 а исходящий - по wan.. как сделать что бы траф по которому пришел по тому и уходил?

докажи, как определил?

alexandrnew

банальная закладка Traffic graph :)
там есть in\out - по этим графикам и увидел

Eugene

@alexandrnew:

банальная закладка Traffic graph :)
там есть in\out - по этим графикам и увидел

Не… эт слишко приблизительно.
tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
и подключаешься. Там и посмотрим, где приходит, а где уходит.

alexandrnew

@Eugene:

Не… эт слишко приблизительно.
tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
и подключаешься. Там и посмотрим, где приходит, а где уходит.

не сказал бы что приблизительно, так как при загрузке каналов в 256к, начинаю грузить в мегабит…
tcpdump - а более точно можете строку подсказать, так как клиентов - около сотни - слишком много данных

Eugene

@alexandrnew:

@Eugene:

Не… эт слишко приблизительно.
tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
и подключаешься. Там и посмотрим, где приходит, а где уходит.

не сказал бы что приблизительно, так как при загрузке каналов в 256к, начинаю грузить в мегабит…
tcpdump - а более точно можете строку подсказать, так как клиентов - около сотни - слишком много данных

Более точно, если взять одного клиента, который само собой имеет public IP отличный от других и:

tcpdump -ni <имя wan-интерфейса типа bge0 или em0> host <public ip=""> and '(udp port 500 or esp)'</public>

скобки <> печатать не надо.

alexandrnew

говорю же - фигня какая то…

tcpdump -ni em0 host 91.x10.2хх.1хх and '(udp port 500 or esp)'
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on em0, link-type EN10MB (Ethernet), capture size 96 bytes
22:04:24.697954 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab3), length 92
22:04:24.786479 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab4), length 92
22:04:24.851515 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab5), length 92
22:04:24.911850 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab6), length 92
22:04:26.994635 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab7), length 92
22:04:27.054648 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab8), length 92
22:04:27.089105 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab9), length 92

tcpdump -ni em3 host 91.x10.2хх.1хх and '(udp port 500 or esp)'

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on em3, link-type EN10MB (Ethernet), capture size 96 bytes
22:05:13.411656 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d6), length 92
22:05:13.468783 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d7), length 92
22:05:13.490687 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d8), length 92
22:05:13.518249 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d9), length 92

alexandrnew

откатился на бекап конфига - (ночной) не помогло..
откатился на бекап всей виртуалки - (ночной) помогло…
конфиги сравнил - одинаковые... да и поменять кроме меня никто не мог...
глюка что ли? ....

Eugene

теперь было бы неплохо глянуть на

ifconfig em0
ifconfig em3
netstat -rn

alexandrnew

$ ifconfig em0
em0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
options=9b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum>ether 00:50:561a:43
inet 81.хх.4.184 netmask 0xfffffff0 broadcast 81.хх.4.х91
inet6 fe80::250:56ff:feab:1a43%em0 prefixlen 64 scopeid 0x1
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active

$ ifconfig em3
em3: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
options=9b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum>ether 00:50:5659:74
inet 83.х0.209.2х3 netmask 0xfffffff8 broadcast 83.х0.209.255
inet6 fe80::250:56ff:feab:5974%em3 prefixlen 64 scopeid 0x4
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active

$ netstat -rn
Routing tables

Internet:
Destination Gateway Flags Refs Use Netif Expire
default 81.xx.4.177 UGS 0 14107 em0
10.0.0.0/8 192.168.1.1 UGS 0 95 em2
10.1.100.0/24 192.168.1.1 UGS 0 0 em2
81.xx.0.1/32 81.xx.4.177 UGS 0 89 em0
81.xx.4.176/28 link#1 UC 0 0 em0
81.xx.4.177 00:30:71:79:9c:00 UHLW 4 44 em0 1190
81.хх.4.184 00:50:561a:43 UHLW 1 2 lo0
83.x0.209.248/29 link#4 UC 0 0 em3
83.x0.209.249 00:03:fa:56:d3:65 UHLW 3 43 em3 1000
83.x0.209.250 00:30:48:5a:f0:71 UHLW 1 1 em3 1077
83.x0.209.253 00:50:5659:74 UHLW 1 2 lo0
127.0.0.1 127.0.0.1 UH 0 0 lo0
172.20.0.0/16 link#2 UC 0 0 em1
172.20.0.1 00:50:56:44:90:07 UHLW 1 30 em1 1178
172.20.1.1 00:50:560e:54 UHLW 1 284 em1 1054
172.20.1.3 00:50:5656:6c UHLW 1 1533 em1 1184
172.20.1.5 00:50:56:b0:1b:64 UHLW 1 119 em1 1071
172.20.1.251 00:30:48:56:05:0f UHLW 1 256 em1 1000
172.20.1.252 00:50:56:98:3a:1a UHLW 1 300 em1 986
172.20.1.253 00:50:56:b0:44:a5 UHLW 1 19 em1 1169
192.168.0.0/16 link#3 UC 0 0 em2
192.168.1.1 00:19:aa:7e:50:40 UHLW 3 0 em2 1195
192.168.33.3 00:18:71:7a:cb:1e UHLW 1 954 em2 1194
192.168.250.3 00:50:5639:f9 UHLW 1 4 em2 1178
193.193.193.100/32 81.xx.4.177 UGS 0 24 em0
195.248.189.244/30 link#5 UC 0 0 em4
195.248.189.245 00:11:d8:79:f4:4c UHLW 1 20 em4 1000
212.109.32.5/32 83.x0.209.249 UGS 0 67 em3
216.239.59.104/32 83.x0.209.249 UGS 0 23 em3

Internet6:
Destination Gateway Flags Netif Expire
::1 ::1 UHL lo0
fe80::%em0/64 link#1 UC em0
fe80::250:56ff:feab:1a43%em0 00:50:561a:43 UHL lo0
fe80::%em1/64 link#2 UC em1
fe80::250:56ff:feab:3c3a%em1 00:50:563c:3a UHL lo0
fe80::%em2/64 link#3 UC em2
fe80::250:56ff:feab:f0%em2 00:50:5600:f0 UHL lo0
fe80::%em3/64 link#4 UC em3
fe80::250:56ff:feab:5974%em3 00:50:5659:74 UHL lo0
fe80::%em4/64 link#5 UC em4
fe80::250:56ff:feab:567%em4 00:50:5605:67 UHL lo0
fe80::%lo0/64 fe80::1%lo0 U lo0
fe80::1%lo0 link#6 UHL lo0
ff01:1::/32 link#1 UC em0
ff01:2::/32 link#2 UC em1
ff01:3::/32 link#3 UC em2
ff01:4::/32 link#4 UC em3
ff01:5::/32 link#5 UC em4
ff01:6::/32 ::1 UC lo0
ff02::%em0/32 link#1 UC em0
ff02::%em1/32 link#2 UC em1
ff02::%em2/32 link#3 UC em2
ff02::%em3/32 link#4 UC em3
ff02::%em4/32 link#5 UC em4
ff02::%lo0/32 ::1 UC lo0</full-duplex></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum></up,broadcast,running,simplex,multicast></full-duplex></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum></up,broadcast,running,simplex,multicast>

Eugene

WAN это em0, OPT1 это em3 как я понимаю, так?
OPT1 точно имеет Gateway в конфигурации?

pfctl -sr | grep em3