4. Wan, opt1, opt2 - multirouting

Wan, opt1, opt2 - multirouting

  • A

    есть три прова: wan, opt1, opt2,
    шлюзом по умолчанию является wan
    надо что бы трафик пришедший по определенному каналу в него же и уходил, если это не сделано по умолчанию.
    как это сделать?
    в шлюз по умолчанию уходит трафик с локальной сети? или и тот который пришел например на opt1 или opt2?

    0
  • D

    надо что бы трафик пришедший по определенному каналу в него же и уходил, если это не сделано по умолчанию

    Это внешние подключения? Так  оно и работает

    шлюз по умолчанию уходит трафик с локальной сети?

    Если настройки по умолчанию, то из локалки все бегает через WAN.

    0
  • A

    да внешние.
    подключения по ipsec
    как проверить так или нет?

    0
  • D

    @alexandrnew:

    да внешние.
    подключения по ipsec
    как проверить так или нет?

    States.

    Сам принцип подключения - через какой интерфейс соединение установлено, через тот и ответ получит.

    0
  • E

    @dvserg:

    @alexandrnew:

    да внешние.
    подключения по ipsec
    как проверить так или нет?

    States.

    Сам принцип подключения - через какой интерфейс соединение установлено, через тот и ответ получит.

    Похоже не всегда - http://forum.pfsense.org/index.php?topic=24226.new;topicseen#new

    0
  • D

    Ну это спейшл.

    0
  • A

    есть проблемма: ipsec соиденение, подключается на opt2, на пфсенсе default gateway - wan gw..
    так вот входящий траф идет по opt2 а исходящий - по wan.. как сделать что бы траф по которому пришел по тому и уходил?

    0
  • D

    Keep State
    http://ru.wikipedia.org/wiki/Packet_Filter

    0
  • A

    @dvserg:

    Keep State
    http://ru.wikipedia.org/wiki/Packet_Filter

    для ESP ? на опт и ван портах?
    дело в том что он по дефолту отсутсвует, но клиенты по ипсеку подключаются..
    щас попробую

    0
  • A

    не помогает… :(

    0
  • E

    @alexandrnew:

    есть проблемма: ipsec соиденение, подключается на opt2, на пфсенсе default gateway - wan gw..
    так вот входящий траф идет по opt2 а исходящий - по wan.. как сделать что бы траф по которому пришел по тому и уходил?

    докажи, как определил?

    0
  • A

    банальная закладка Traffic graph :)
    там есть in\out - по этим графикам и увидел

    0
  • E

    @alexandrnew:

    банальная закладка Traffic graph :)
    там есть in\out - по этим графикам и увидел

    Не… эт слишко приблизительно.
    tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
    и подключаешься. Там и посмотрим, где приходит, а где уходит.

    0
  • A

    @Eugene:

    Не… эт слишко приблизительно.
    tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
    и подключаешься. Там и посмотрим, где приходит, а где уходит.

    не сказал бы что приблизительно, так как при загрузке каналов в 256к, начинаю грузить в мегабит…
    tcpdump  - а более точно можете строку подсказать, так как клиентов - около сотни - слишком много данных

    0
  • E

    @alexandrnew:

    @Eugene:

    Не… эт слишко приблизительно.
    tcpdump -ni <имя wan-интерфейса типа bge0 или em0> udp port 500 or esp
    и подключаешься. Там и посмотрим, где приходит, а где уходит.

    не сказал бы что приблизительно, так как при загрузке каналов в 256к, начинаю грузить в мегабит…
    tcpdump  - а более точно можете строку подсказать, так как клиентов - около сотни - слишком много данных

    Более точно, если взять одного клиента, который само собой имеет public IP отличный от других и:

    tcpdump -ni <имя wan-интерфейса типа bge0 или em0> host <public ip=""> and '(udp port 500 or esp)'</public>

    скобки <> печатать не надо.

    0
  • A

    говорю же - фигня какая то…

    tcpdump -ni em0 host 91.x10.2хх.1хх and '(udp port 500 or esp)'
    tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
    listening on em0, link-type EN10MB (Ethernet), capture size 96 bytes
    22:04:24.697954 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab3), length 92
    22:04:24.786479 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab4), length 92
    22:04:24.851515 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab5), length 92
    22:04:24.911850 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab6), length 92
    22:04:26.994635 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab7), length 92
    22:04:27.054648 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab8), length 92
    22:04:27.089105 IP 83.x0.209.2x > 91.x10.2хх.1хх: ESP(spi=0xc200c112,seq=0xab9), length 92

    tcpdump -ni em3 host 91.x10.2хх.1хх and '(udp port 500 or esp)'

    tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
    listening on em3, link-type EN10MB (Ethernet), capture size 96 bytes
    22:05:13.411656 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d6), length 92
    22:05:13.468783 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d7), length 92
    22:05:13.490687 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d8), length 92
    22:05:13.518249 IP 91.x10.2хх.1хх > 83.x0.209.2x: ESP(spi=0x0acb3169,seq=0x7d9), length 92

    0
  • A

    откатился на бекап конфига - (ночной) не помогло..
    откатился на бекап всей виртуалки - (ночной) помогло…
    конфиги сравнил - одинаковые... да и поменять кроме меня никто не мог...
    глюка что ли? ....

    0
  • E

    теперь было бы неплохо глянуть на

    ifconfig em0
ifconfig em3
netstat -rn
    0
  • A

    $ ifconfig em0
    em0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
    options=9b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum>ether 00:50:56🆎1a:43
    inet 81.хх.4.184 netmask 0xfffffff0 broadcast 81.хх.4.х91
    inet6 fe80::250:56ff:feab:1a43%em0 prefixlen 64 scopeid 0x1
    media: Ethernet autoselect (1000baseTX <full-duplex>)
    status: active

    $ ifconfig em3
    em3: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
    options=9b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum>ether 00:50:56🆎59:74
    inet 83.х0.209.2х3 netmask 0xfffffff8 broadcast 83.х0.209.255
    inet6 fe80::250:56ff:feab:5974%em3 prefixlen 64 scopeid 0x4
    media: Ethernet autoselect (1000baseTX <full-duplex>)
    status: active

    $ netstat -rn
    Routing tables

    Internet:
    Destination        Gateway            Flags    Refs      Use  Netif Expire
    default            81.xx.4.177        UGS        0    14107    em0
    10.0.0.0/8        192.168.1.1        UGS        0      95    em2
    10.1.100.0/24      192.168.1.1        UGS        0        0    em2
    81.xx.0.1/32      81.xx.4.177        UGS        0      89    em0
    81.xx.4.176/28    link#1            UC          0        0    em0
    81.xx.4.177        00:30:71:79:9c:00  UHLW        4      44    em0  1190
    81.хх.4.184        00:50:56🆎1a:43  UHLW        1        2    lo0
    83.x0.209.248/29  link#4            UC          0        0    em3
    83.x0.209.249    00:03:fa:56:d3:65  UHLW        3      43    em3  1000
    83.x0.209.250    00:30:48:5a:f0:71  UHLW        1        1    em3  1077
    83.x0.209.253    00:50:56🆎59:74  UHLW        1        2    lo0
    127.0.0.1          127.0.0.1          UH          0        0    lo0
    172.20.0.0/16      link#2            UC          0        0    em1
    172.20.0.1        00:50:56:44:90:07  UHLW        1      30    em1  1178
    172.20.1.1        00:50:56🆎0e:54  UHLW        1      284    em1  1054
    172.20.1.3        00:50:56🆎56:6c  UHLW        1    1533    em1  1184
    172.20.1.5        00:50:56:b0:1b:64  UHLW        1      119    em1  1071
    172.20.1.251      00:30:48:56:05:0f  UHLW        1      256    em1  1000
    172.20.1.252      00:50:56:98:3a:1a  UHLW        1      300    em1    986
    172.20.1.253      00:50:56:b0:44:a5  UHLW        1      19    em1  1169
    192.168.0.0/16    link#3            UC          0        0    em2
    192.168.1.1        00:19:aa:7e:50:40  UHLW        3        0    em2  1195
    192.168.33.3      00:18:71:7a:cb:1e  UHLW        1      954    em2  1194
    192.168.250.3      00:50:56🆎39:f9  UHLW        1        4    em2  1178
    193.193.193.100/32 81.xx.4.177        UGS        0      24    em0
    195.248.189.244/30 link#5            UC          0        0    em4
    195.248.189.245    00:11:d8:79:f4:4c  UHLW        1      20    em4  1000
    212.109.32.5/32    83.x0.209.249    UGS        0      67    em3
    216.239.59.104/32  83.x0.209.249    UGS        0      23    em3

    Internet6:
    Destination                      Gateway                      Flags      Netif Expire
    ::1                              ::1                          UHL        lo0
    fe80::%em0/64                    link#1                        UC          em0
    fe80::250:56ff:feab:1a43%em0      00:50:56🆎1a:43            UHL        lo0
    fe80::%em1/64                    link#2                        UC          em1
    fe80::250:56ff:feab:3c3a%em1      00:50:56🆎3c:3a            UHL        lo0
    fe80::%em2/64                    link#3                        UC          em2
    fe80::250:56ff:feab:f0%em2        00:50:56🆎00:f0            UHL        lo0
    fe80::%em3/64                    link#4                        UC          em3
    fe80::250:56ff:feab:5974%em3      00:50:56🆎59:74            UHL        lo0
    fe80::%em4/64                    link#5                        UC          em4
    fe80::250:56ff:feab:567%em4      00:50:56🆎05:67            UHL        lo0
    fe80::%lo0/64                    fe80::1%lo0                  U          lo0
    fe80::1%lo0                      link#6                        UHL        lo0
    ff01:1::/32                      link#1                        UC          em0
    ff01:2::/32                      link#2                        UC          em1
    ff01:3::/32                      link#3                        UC          em2
    ff01:4::/32                      link#4                        UC          em3
    ff01:5::/32                      link#5                        UC          em4
    ff01:6::/32                      ::1                          UC          lo0
    ff02::%em0/32                    link#1                        UC          em0
    ff02::%em1/32                    link#2                        UC          em1
    ff02::%em2/32                    link#3                        UC          em2
    ff02::%em3/32                    link#4                        UC          em3
    ff02::%em4/32                    link#5                        UC          em4
    ff02::%lo0/32                    ::1                          UC          lo0</full-duplex></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum></up,broadcast,running,simplex,multicast></full-duplex></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum></up,broadcast,running,simplex,multicast>

    0
  • E

    WAN это em0, OPT1 это em3 как я понимаю, так?
    OPT1 точно имеет Gateway в конфигурации?

    pfctl -sr | grep em3
    0
  • A

    $ pfctl -sr | grep em3
    block drop in on ! em3 inet from 83.xx.209.248/29 to any
    block drop in on em3 inet6 from fe80::250:56ff:feab:5974 to any
    pass out quick on em3 all flags S/SA keep state label "let out anything from firewall host itself"
    pass out quick on em3 proto icmp all keep state (tcp.closed 5) label "let out anything from firewall host itself"
    pass out quick on em3 all flags S/SA keep state (tcp.closed 5) label "let out anything from firewall host itself"
    block drop in quick on em3 reply-to (em3 83.xx.209.249) inet from 195.56.45.228 to any label "USER_RULE: DENY hacker's"
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 83.xx.209.253 port = pptp flags S/SA keep state label "USER_RULE: pptp to gt"
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto udp from any to 83.xx.209.253 port = 1723 keep state label "USER_RULE: pptp to gt"
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 83.xx.209.253 port = https flags S/SA keep state label "USER_RULE: allow web-interface from any "
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto udp from any to 83.xx.209.253 port = domain keep state label "USER_RULE: dns"
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto icmp from any to 83.xx.209.253 keep state label "USER_RULE"
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto udp from any to 172.20.1.252 port = domain keep state label "USER_RULE: NAT dns to proxy"
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 172.20.1.253 port = smtp flags S/SA keep state label "USER_RULE: NAT mailfilter 172.20.1.253"
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 172.20.1.2 port = 3389 flags S/SA keep state label "USER_RULE: NAT Nat for "
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto tcp from any to 172.20.1.251 port = http flags S/SA keep state label "USER_RULE: NAT wiui1"
    pass in quick on em3 reply-to (em3 83.xx.209.249) inet proto esp from any to 83.xx.209.253 keep state label "USER_RULE: IPSEC GT Policy routing"
    pass out quick on em3 inet proto udp from any to 10.1.2.110 port = isakmp keep state label "IPSEC: 172.20.x.x - 808h - outbound isakmp"
    pass in quick on em3 inet proto udp from 10.1.2.110 to any port = isakmp keep state label "IPSEC: 172.20.x.x - 808h - inbound isakmp"
    pass out quick on em3 inet proto esp from any to 10.1.2.110 keep state label "IPSEC: 172.20.x.x - 808h - outbound esp proto"
    pass in quick on em3 inet proto esp from 10.1.2.110 to any keep state label "IPSEC: 172.20.x.x - 808h - inbound esp proto"
    pass in quick on em3 proto udp from any to any port = isakmp keep state label "IPSEC: Mobile - inbound isakmp"
    pass in quick on em3 proto esp all keep state label "IPSEC: Mobile - inbound esp proto"
    pass in quick on em3 proto ah all keep state label "IPSEC: Mobile - inbound ah proto"
    pass in quick on em3 inet proto tcp from any to 127.0.0.1 port = 8023 flags S/SA keep state label "FTP PROXY: Allow traffic to localhost"
    pass in quick on em3 inet proto tcp from any to 127.0.0.1 port = ftp flags S/SA keep state label "FTP PROXY: Allow traffic to localhost"


    0
  • A

    может приведет к каким то идеям: попробовал симитировать эту ситуацию, подергав клиента и попереключав его между wan и opt1, опять вход по одному каналу, выход по другому, пошел спать, ночью проснувшись проверил - нормализировалось. и вход и выход по opt1 (клиентя на нем оставлял)

    0
  • E

    @alexandrnew:

    может приведет к каким то идеям: попробовал симитировать эту ситуацию, подергав клиента и попереключав его между wan и opt1, опять вход по одному каналу, выход по другому, пошел спать, ночью проснувшись проверил - нормализировалось. и вход и выход по opt1 (клиентя на нем оставлял)

    Для большей ясности, все данные, которые ты привёл (по моей просьбе) - это когда нормально работало, или когда вход по одному, выход по другому?

    0
  • A

    когда вход по одному, выход по другому

    0
  • E

    Я так понимю 91… это твой клиент удалённый.
    У тебя loadbalancer случаем не сконфигурирован нигде?
    Данный IPsec терминируется на pfSense или за pf какая коробка стоит?

    0
  • A

    loadbalancer нету
    IPsec напрямкю между пфсенсом и длинком, за ними уже локалки.

    0
  • E

    Чудеса какие-то. У тебя обратный трафик идёт через WAN, но при этом использует source IP с OPT1.
    Я не могу этого объяснить, извиняй.
    Как физически организованы подключения к провайдерам на WAN и на OPT1, есть что-нибудь общее (типа свича)?

    0
  • A

    есть что-нибудь общее (типа свича)
    -нету

    0
  • E

    Version 1.2.3-release?

    0
  • A

    1.2.2
    built on Thu Jan 8 22:39:31 EST 2009

    пробовал и
    Version 1.2.3-release
    -пробовал, тоже самое…правда еще часть клиентов отпадает, планируется смена прова - заодно под это дело и версию обновлю...

    0
  • E

    Проблему наверняка можно решить, добавив статический маршрут на OPT1
    91.x10.2хх.1хх/32 -> 83.x0.209.249
    но вообще какая-то загадка природы.

    0
  • A

    а что означает:
    Disable reply-to on WAN rules
    With Multi-WAN you generally want to ensure traffic leaves the same interface it arrives on, hence reply-to is added automatically by default. When using bridging, you must disable this behavior if the WAN gateway IP is different from the gateway IP of the hosts behind the bridged interface.
    ?

    0
Log in to reply
 

Products

Services

Support

News

Resources

Company

Our Mission

We provide leading-edge network security at a fair price - regardless of organizational size or network sophistication. We believe that an open-source security model offers disruptive pricing along with the agility required to quickly address emerging threats.

Subscribe to our Newsletter

Product information, software announcements, and special offers. See our newsletter archive for past announcements.

© Copyright 2002 - 2019 Rubicon Communications, LLC | Privacy Policy