PF зависает и появились ошибки на LAN порту



  • Недавно начал подвисать PF, примерно раз в 3 дня. Все порты в дауне, но при этом сам PF работает, подключался через монитор. Лечится ребутом. Начал копаться в проблеме, оказалось что у меня на LAN порту множественные ошибки.
    alt text
    Может кто сталкивался с таким? Как с этим бороться? Или куда копать хоть.



  • В LAN у меня вот такие правила.
    alt text
    alt text



  • @iliaxxx Здр
    в логах PFsense есть что-нибудь про ошибки и тд и тп ???
    покажите вывод команды ifconfig -m



  • @Konstanti
    Лог на момент зависания:
    alt text
    Вигно что сеть неработает, а сам PF уходит штатно в перезагрузку.
    Выхлоп ifconfig -m
    alt text



  • @iliaxxx интересная ошибка
    Надо подумать
    Версия pf какая?
    То что пишут в инете, связано с freebsd 12.0 и именно с драйвером em (приостановка/пробуждение)
    В настройках интерфейсов отключён IPv6?
    Некоторые рекомендуют отключить мониторинг шлюзов



  • Мониторинг я отключил, а что с ошибками на порту делать? Они никуда не леись.
    2.4.5-DEVELOPMENT (amd64)
    built on Wed Nov 21 05:00:12 EST 2018
    FreeBSD 11.2-RELEASE-p4



  • @iliaxxx а есть понимание какого типа ошибки?
    Мб проще поставить 2.4.4?
    Попробуйте отключить контроль контрольной суммы адаптером. У Вас он вклбчен



  • там очень много настроек сделано. Если все перенастраивать, то это финиш будет. Конмапния на сутки встанет, + там куча VPN клиентов, которые так же запаримся перенастраивать.



  • @iliaxxx попробуйте отключить расчёт контрольных сумм адаптером. Advanced settings/networking



  • Отключил, ошибки все равно идут на интерфейсе.
    Непонятно что вызывает эти ошибки



  • @iliaxxx а если packet capture запустить? Сможете pcap файл здесь выложить?



  • @Konstanti К сожалению неполучится выложить.



  • @iliaxxx а скрин можете выложить? Какие ошибки показывает?



  • @Konstanti
    Вот что есть

    22:24:14.188066 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 1460
    22:24:14.188142 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 373
    22:24:14.188464 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 0
    22:24:14.192325 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 126
    22:24:14.192918 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 0
    22:24:14.193339 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 51
    22:24:14.193403 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 102
    22:24:14.193729 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 0
    22:24:14.194016 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 51
    22:24:14.194532 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 181
    22:24:14.195726 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 44
    22:24:14.196819 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 99
    22:24:14.197314 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 95
    22:24:14.198073 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 59
    22:24:14.201459 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 35
    22:24:14.201512 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 0
    22:24:14.202053 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 71
    22:24:14.202118 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 31
    22:24:14.202349 IP 93.174.111.111.465 > 192.168.2.1.62167: tcp 0
    22:24:14.202375 IP 192.168.2.1.62167 > 93.174.111.111.465: tcp 0
    22:24:14.439452 IP 192.168.2.1.32101 > 91.185.237.207.45527: tcp 37
    22:24:14.738226 IP 192.168.2.1.53920 > 255.255.255.255.1947: UDP, length 40
    22:24:14.767500 IP 192.168.2.1.1194 > 93.174.130.203.1195: UDP, length 84
    22:24:14.767820 IP 93.174.130.203.1195 > 192.168.2.1.1194: UDP, length 84
    22:24:14.927007 IP 192.168.2.1.61614 > 192.168.2.4.2000: tcp 580
    22:24:14.927111 IP 192.168.2.4.2000 > 192.168.2.1.61614: tcp 0
    22:24:14.933581 IP 192.168.2.4.2000 > 192.168.2.1.61614: tcp 446
    22:24:15.048465 IP 185.45.152.161.5060 > 192.168.2.10.5160: UDP, length 314
    22:24:15.048933 IP 192.168.2.10.5160 > 185.45.152.161.5060: UDP, length 546
    22:24:15.142424 IP 192.168.2.1.61614 > 192.168.2.4.2000: tcp 0
    22:24:16.845810 IP 192.168.2.1.32101 > 91.185.237.207.45527: tcp 37
    22:24:17.140349 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 0
    22:24:17.141011 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 0
    22:24:17.141388 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 0
    22:24:17.141736 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 176
    22:24:17.142138 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 0
    22:24:17.178206 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 1460
    22:24:17.178266 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 373
    22:24:17.178575 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 0
    22:24:17.182188 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 126
    22:24:17.183163 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 51
    22:24:17.183250 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 102
    22:24:17.183600 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 0
    22:24:17.183865 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 51
    22:24:17.184411 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 181
    22:24:17.185719 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 44
    22:24:17.187134 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 99
    22:24:17.187551 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 95
    22:24:17.188450 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 59
    22:24:17.191902 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 35
    22:24:17.191968 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 0
    22:24:17.192458 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 71
    22:24:17.192519 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 31
    22:24:17.192890 IP 93.174.111.111.465 > 192.168.2.1.62168: tcp 0
    22:24:17.192917 IP 192.168.2.1.62168 > 93.174.111.111.465: tcp 0
    22:24:17.926042 IP 192.168.2.1.61614 > 192.168.2.4.2000: tcp 580
    22:24:17.926170 IP 192.168.2.4.2000 > 192.168.2.1.61614: tcp 0
    22:24:17.932106 IP 192.168.2.4.2000 > 192.168.2.1.61614: tcp 446
    22:24:18.142605 IP 192.168.2.1.61614 > 192.168.2.4.2000: tcp 0
    22:24:19.408035 IP 192.168.2.1.81 > 79.165.138.242.61724: tcp 0
    22:24:19.423050 IP 79.165.138.242.61724 > 192.168.2.1.81: tcp 0
    22:24:20.179275 IP 91.185.237.207.21544 > 192.168.2.1.32101: tcp 0
    22:24:20.179629 IP 192.168.2.1.32101 > 91.185.237.207.21544: tcp 0
    22:24:20.187970 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 0
    22:24:20.188539 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 0
    22:24:20.188800 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 0
    22:24:20.189153 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 176
    22:24:20.189591 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 0
    22:24:20.228190 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 1460
    22:24:20.228249 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 373
    22:24:20.228604 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 0
    22:24:20.232176 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 126
    22:24:20.232885 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 0
    22:24:20.233231 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 51
    22:24:20.233280 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 102
    22:24:20.233621 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 0
    22:24:20.233796 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 51
    22:24:20.234342 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 181
    22:24:20.235074 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 44
    22:24:20.236335 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 99
    22:24:20.236924 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 95
    22:24:20.237649 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 59
    22:24:20.240796 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 35
    22:24:20.240858 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 0
    22:24:20.241258 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 71
    22:24:20.241299 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 31
    22:24:20.241590 IP 93.174.111.111.465 > 192.168.2.1.62169: tcp 0
    22:24:20.241715 IP 192.168.2.1.62169 > 93.174.111.111.465: tcp 0
    22:24:20.312766 IP 91.185.237.207.21544 > 192.168.2.1.32101: tcp 0
    22:24:20.312848 IP 91.185.237.207.21544 > 192.168.2.1.32101: tcp 43
    22:24:20.315464 IP 192.168.2.1.32101 > 91.185.237.207.21544: tcp 0
    22:24:20.315515 IP 192.168.2.1.32101 > 91.185.237.207.21544: tcp 19
    22:24:20.448369 IP 91.185.237.207.21544 > 192.168.2.1.32101: tcp 205
    22:24:20.451606 IP 192.168.2.1.32101 > 91.185.237.207.21544: tcp 1173
    22:24:20.588173 IP 91.185.237.207.21544 > 192.168.2.1.32101: tcp 134
    22:24:20.590070 IP 192.168.2.1.32101 > 91.185.237.207.21544: tcp 59
    22:24:20.723300 IP 91.185.237.207.21544 > 192.168.2.1.32101: tcp 85
    22:24:20.724017 IP 192.168.2.1.32101 > 91.185.237.207.21544: tcp 293
    22:24:20.856491 IP 91.185.237.207.21544 > 192.168.2.1.32101: tcp 661
    22:24:20.927765 IP 192.168.2.1.61614 > 192.168.2.4.2000: tcp 580
    


  • 22:32:54.322547 IP 192.168.2.10 > 185.40.4.11: ICMP 192.168.2.10 udp port 5060 unreachable, length 478
    22:33:05.619377 ARP, Request who-has 192.168.2.4 tell 192.168.2.2, length 46
    22:33:05.619425 ARP, Reply 192.168.2.4 is-at 52:54:00:08:48:85, length 28
    22:33:08.847910 IP 185.53.88.174.36032 > 192.168.2.10.5060: UDP, length 586
    22:33:08.848345 IP 192.168.2.10 > 185.53.88.174: ICMP 192.168.2.10 udp port 5060 unreachable, length 556



  • @iliaxxx
    Здр
    В общем , пока затрудняюсь ответить что-либо вразумительное
    Ошибка , которая есть в логах , говорит об ошибке в маршрутизации IPv6
    err 65 - no route to host
    in6_purgeaddr - функция , из которой получена эта ошибка при попытке удаления какого маршрута
    Возможно , у Вас проблема с ресурсами , поэтому система отбрасывает пакеты
    Посмотрите , хватает ли mbuf в системе
    Возможно карта не справляется с трафиком ( не знаю)



  • @Konstanti
    Да, наверное нужно было сказать сразу. У меня это виртуальный сервер.
    Ресурсов хватает сполна 4
    alt text Могу еще ядер и опративки добавить, но наврят ли это поможет.



  • Как вообще IPV6 отключить, я его неиспользую.



  • @iliaxxx полностьютникак, он вшит в систему. На интерфейсах можно поставить в none. В настройках ещё есть опции



  • @Konstanti
    None у меня и так стоит на всех интерфейсах.
    Если идет трафик с LAN значит какой то сервер в локальной сети флудит трафик по IP V6. Нужно проверить все серваки на этот момент.



  • @iliaxxx то что сервер виртуальный я видел, Vmx0 - это драйвер виртуального контроллера VMware.



  • @Konstanti А вообще всек на KVM крутится, просто если поставить 2 одинаковых сетевых адаптера, то трафик почему то в упор не хочет маршрутизироваться.



  • @iliaxxx не знаю. Для VMware есть pfsense vmware tools. Мб это поможет?



  • @iliaxxx на этом форуме есть такой человек werter. Он - спец по виртуальным серверам. Мб сможет Вам помочь. Я в этой теме плаваю.
    В инете попробуйте поискать темы 'freebsd проблемы сетевой интерфейс'. Выдаёт много ссылок для диагностики проблем



  • Я тут нашел странную фигню. В консоли однеу нагруку пишет, а через GUI другую. Это нормально?
    alt text
    При этом я залез на хостовый сервер, там нагрузка соответсвует той нагрузки кторая на консоли гостевой.



  • @Konstanti
    Еще тот "спец", ага.

    @iliaxxx
    https://docs.netgate.com/pfsense/en/latest/hardware/tuning-and-troubleshooting-network-cards.html

    И по вашим картам есть (emX).
    Не поможет - меняйте кабель и\или сетевую.

    Зы0. Если у вас KVM, то чего вы нативную virtio-сетевую не пользуете? Зачем там сетевая от Vmware эмулируется (vmxX)? Да и e1000 (emX) опять же зачем, если есть virtio
    Зы1. 2-е правило на ЛАН удалите. 3-м вы его перекрываете.
    Зы2. Ваш CPU, кстати, AES-NI умеет https://ark.intel.com/content/www/ru/ru/ark/products/52576/intel-xeon-processor-x5690-12m-cache-3-46-ghz-6-40-gt-s-intel-qpi.html
    Зы3. KVM, говорите? В добрый путь https://forum.netgate.com/topic/120102/proxmox-ceph-zfs-pfsense На полутора десятках PVE полтора десятка пф-ов крутится. "Ни единого разрыва" (с).



  • @werter
    Да у меня Proxmox стоит.
    Между двмя virtio маршртизация почему то не идет.
    Поставил на LAN интерфейс тоже Vmware ошибки на LAN попали.
    Отключил мониторинг гейта. В комплексе это должно решить проблему с подвисаниями. ПО факту тестирования отпишусь.



  • не пойму что вы мутите. Маршрутер явно даёт понять, что проблема в физической линии. переобожми хвосты, поменяй коммутатор. И да, ошибки тоже передаются в виртуалку



  • @derwin Если бы Вы прочли всю ветку внимательно, то Вы бы поняли что PF развернут не на физической железке, а на виртуальной машине. Знаете. Как то тяжело заменить заменить физически кабель на виртуальном сетевом интерфейсе.



  • @iliaxxx

    Не используйте дефолтный linux bridge. Установите и пользуйте OvS.
    Попробуйте stable-ветку pfsense.

    Зы. И обновите PVE. Только платную репу откл\удалите и добавьте бесплатную.



  • @werter
    Да вроде те настройки что я сдела возымели эффект. Система стабильна, 700 гигов уже прогнал трафика за 5 дней. Неодной ошибки на порту нет. Нагрузка на CPU упала на 20%.


Log in to reply