Фильтрация пакетов, NAT, большой обьём трафик

werter

У провайдера не работаю ;)
IDPS Suricata не пробовали установить на пф ? Атака идет с рос. ip ?

Зы. https://alternativeto.net/software/teamspeak/
Готовое решение https://discordapp.com/. Хостится в облаке. Рулите вы.

Зы2. В кач-ве корп. чата рекомендую https://github.com/RocketChat/Rocket.Chat Аудио, видео, приватные комнаты.

Зы3. Для веб-конференций https://nextcloud.com/talk/ NC сам по себе оч. мощный продукт. Почитайте на досуге.

Uranus

@werter:

У провайдера не работаю ;)
IDPS Suricata не пробовали установить на пф ? Атака идет с рос. ip ?

Зы. https://alternativeto.net/software/teamspeak/
Готовое решение https://discordapp.com/. Хостится в облаке. Рулите вы.

Зы2. В кач-ве корп. чата рекомендую https://github.com/RocketChat/Rocket.Chat Аудио, видео, приватные комнаты.

Зы3. Для веб-конференций https://nextcloud.com/talk/ NC сам по себе оч. мощный продукт. Почитайте на досуге.

Первое по поводу Снорта или Сурикаты, при DDOS атаке от 400 mb до гига, они скорее помеха если у вас не 12 ядерный и не двух процессорный роутер.
У меня же роутером работает 4-ядерный i5-3540 c 16 гигов памяти на борту, (если бы под PFsense Суриката могла бы работать с CUDA, можно было бы помучаться), я уже поднимал тут тему по этому поводу, нагрузка на процессор только растёт, и роутер уже точно не справляется, впрочем на втором канале у меня Суриката висит.

Понимаете по сути мой основной канал на котором висит Тимспик сервер я уже отдал на откуп, пусть DDOS-ят, жалко конечно, но я привык, меня больше беспокоит что из-за атак начинает терять пакеты и второй провайдер, на который точно нет никаких атак (это вам как бы и ответ на предложение о внешних хостингах).

Атака идёт явно с ботнетов, куча IP, в основном восточный регион, Китай, Южная Америка, страны Персидского Залива, и всё такое, они у меня собственно блокируются через "pfblockerng", возможно есть и несколько Российских IP, просто при атаке видно что за роутер практически ничего не выходит, даже при атаке в 800 mb, максимум что бывает на выходе небольшие всплески до 6 mb.
Да…, в основном атаки UDP, как ни странно, но SYN, и ICMP не сильно популярны... :)

werter

Попробуйте Дискорд. Может подойдет в вашем случае.

Зы. Кхм, странно-глупое предложение отключить на время канал, к-ый ддосят. Физически. А через неделю вкл. и посмотреть, что будет.
Зы2. Перенесите свой тимспик в тот же digital ocean или cloudflare. У них есть защита от ддос. Вам это в копейки обойдется. А профита - на тыщи.

Uranus

@werter:

Попробуйте Дискорд. Может подойдет в вашем случае.

Зы. Кхм, странно-глупое предложение отключить на время канал, к-ый ддосят. Физически. А через неделю вкл. и посмотреть, что будет.
Зы2. Перенесите свой тимспик в тот же digital ocean или cloudflare. У них есть защита от ддос. Вам это в копейки обойдется. А профита - на тыщи.

Простите, но я не делал этот сервер для профита, я просто хочу решить задачу которую себе поставил, понять почему происходит то что происходит с каналами в PFsense.

В теории тут проблема даже не в самом типспик сервере как таковом, на его месте может быть любой сетевой ресурс или сервер, я прятал одно время свой сервер, написал даже программку которая прячет его по графику в определённое время дня, но опять же это не решение проблемы, это уход от неё, да атакуют намного меньше, но всё равно атакуют, атаковали порой даже тогда когда сервер вообще был выключен.

Отключить физически канал можно, уже делал подобное, некоторое время тихо потом опять начинаются атаки (как только сервер набирает популярность), и прекращаются они кстати порой сразу же как сервер исчезает (имеется ввиду прекращается текущая атака, сервер исчез, атака прекратилась), именно по этому я думаю что это делают некоторые такие же владельцы Тимпспик серверов.

Надеюсь вы уже поняли что я хочу как бы сказать "победить" DDOS-еров, а не убежать от них, и спрятаться, по этому переход на Дискорд мне не интересен, да я несу некоторые потери, но они не существенны, по сути оставляя сервер включенным несмотря на все DDOS атаки я тем самым троллю DDOS-еров, в конце концов это не моя работа прекращать подобные атаки.

Как вариант я конечно могу поставить ещё один компютер-роутер который будет фильтровать только первый канал, и уже отдавать то что нафильтрует на второй роутер, тогда я думаю проблем с потерей пакетов не будет, но это не интересно, так что возвращаемся к началу, почему происходит то что происходит.

werter

Зы2. Перенесите свой тимспик в тот же digital ocean или cloudflare. У них есть защита от ддос. Вам это в копейки обойдется. А профита - на тыщи.

Вот это. Решение.

Uranus

@werter:

Зы2. Перенесите свой тимспик в тот же digital ocean или cloudflare. У них есть защита от ддос. Вам это в копейки обойдется. А профита - на тыщи.

Вот это. Решение.

Благодарю вас, но мне это не нужно, как я уже и сказал меня интересует конкретная проблема которая описана в моём первом посте, давайте к нему и вернёмся.

werter

У вас атака идет на не пф, а на ваше приложение (тимспик, в данном случае). Пф об этом ничего не знает и не защитит.

В гугле это так -> fail2ban ddos teamspeak
https://easyengine.io/tutorials/nginx/fail2ban/
https://forum.teamspeak.com/threads/123543-Fail2Ban-Filter-for-Teamspeak
http://www.steffen-ille.de/blog.php?entry=28

Uranus

@werter:

У вас атака идет на не пф, а на ваше приложение (тимспик, в данном случае). Пф об этом ничего не знает и не защитит.

В гугле это так -> fail2ban ddos teamspeak
https://easyengine.io/tutorials/nginx/fail2ban/
https://forum.teamspeak.com/threads/123543-Fail2Ban-Filter-for-Teamspeak
http://www.steffen-ille.de/blog.php?entry=28

Вы или не внимательно читали или это я так коряво написал?!
Во первых я знаю что атака идёт на сервер, а не на PF (по крайней мере когда атака идёт именно на порт тимспик сервера), по этому то я для уменьшения кол-ва атакующих блокирую страны которые поставляют основную массу компьютеров-ботов (страны перечислял в постах выше).
Во вторых я ограничиваю кол-во states для правила которое работает с пробросом порта для работы Тимпспик сервера, и другие возможные ограничения для UDP протокола.
И именно по этому, как я уже и писал выше, даже при DDOS атаке в 800 mb с роутера до моего сервера ничего (практически ничего) из атаки не доходит и весь трафик оседает на роутере.
Но как я и писал я хотел бы узнать можно ли блокировать или фильтровать трафик до того как он попадёт в NAT (то есть до проброса портов), и почему если атака идёт на проброшенные порты у меня начинает терять пакеты и второй канал (хотя на него атаки нет), а если же атака идёт на какой-нибудь порт который у меня не проброшен то второй канал не теряет пакеты и работает как обычно.

pigbrother

и почему если атака идёт на проброшенные порты у меня начинает терять пакеты и второй канал (хотя на него атаки нет)
я не специалист по сетевым технологиям, поэтому все - сугубое IMHO.
Предположу, что потери происходят из-за перегрузки сетевого стека, который является общим для всех интерфейсов. И дело, скорее всего, не в собственно трафике, а в ненормально возросшем PPS - числе пакетов в секунду.
Возможно некий тюнинг\замена адаптеров смягчили бы описываемые вами последствия этой перегрузки.
При больших нагрузках начинают влиять такие свойства адаптера и его драйвера , как поддержка:

Message Signaled Interrupts
https://en.wikipedia.org/wiki/Message_Signaled_Interrupts

Receive Side Scaling (RSS)
https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-R2-and-2012/jj574168(v=ws.11)
https://www.intel.com/content/www/us/en/support/articles/000006703/network-and-i-o/ethernet-products.html

Receive flow steering
https://lwn.net/Articles/382428/

и т.д.

Uranus

@pigbrother:

и почему если атака идёт на проброшенные порты у меня начинает терять пакеты и второй канал (хотя на него атаки нет)
я не специалист по сетевым технологиям, поэтому все - сугубое IMHO.
Предположу, что потери происходят из-за перегрузки сетевого стека, который является общим для всех интерфейсов. И дело, скорее всего, не в собственно трафике, а в ненормально возросшем PPS - числе пакетов в секунду.
Возможно некий тюнинг\замена адаптеров смягчили бы описываемые вами последствия этой перегрузки.
При больших нагрузках начинают влиять такие свойства адаптера и его драйвера , как поддержка:

Message Signaled Interrupts
https://en.wikipedia.org/wiki/Message_Signaled_Interrupts

Receive Side Scaling (RSS)
https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-R2-and-2012/jj574168(v=ws.11)
https://www.intel.com/content/www/us/en/support/articles/000006703/network-and-i-o/ethernet-products.html

Receive flow steering
https://lwn.net/Articles/382428/

и т.д.

Такая идея приходила и мне в голову, хотя это не обьясняет почему при атаке на непроброшенный порт такого не происходит (точнее обьясняет если NAT, точнее проброс портов отрабатывает раньше чем блокируются правила в Firewall-Rules-Float)!
У меня стоит интеловская I350-T4.
я даже прописал в System - Advanced System - Tunables строки

net.isr.direct_force 1
net.isr.direct 1
net.isr.maxthreads 3 # вот эту кстати вроде и в 4 можно установить, раз ядра 4
net.isr.dispatch direct
уж не могу точно сказать срабатывают они сейчас или нет

Uranus

Хм…, меня тут посетила идея, а не может быть связано такое поведение каналов с тем что они в MultiWan, там же если не ошибаюсь они в группе и стоит правило что переключаться на второй Gatеways если один из них упал, может с этим и связано ?! (попробую, пошаманить)

Fallen_A

Ещё бы увидеть более точную схему вашей сети.

Uranus

@Fallen_A:

Ещё бы увидеть более точную схему вашей сети.

А на данный момент нет ничего проще, роутер и один компьютер за ним, со всеми серверами, всё остальное я отключил, чтобы разобраться в чём проблема.

Fallen_A

Какие сетевые карты используете?

Uranus

@Fallen_A:

Какие сетевые карты используете?

Сетевая i350-t4.
Вы задавайте наводящие вопросы если что, я по "простоте" своей могу и не понять что вы спрашиваете :)

werter

Добрый.
Помучайтесь еще 2-3 дня. И прийдете к

Перенесите свой тимспик в тот же digital ocean или cloudflare. У них есть защита от ддос. Вам это в копейки обойдется. А профита - на тыщи.

Или к Дискорд-у.

Зы. Пф хорош. Но (пока) это ему не по силам.

Fallen_A

Я так понимаю, что все висит на одной карте? Если нет, поправьте меня более точно, что и как, где висит, на что разбито. Именно по железу.

derwin

@werter:

Зы. Пф хорош.

никакой pf не спасет от ддоса. Меня так как то бомбанули. Ничего не помогало, пока не выдернул кабель из маршрутера.
Симптомы очень простые - заводишь сурикату и суриката кушает 100% от проца. Открываешь порт во внешку или делаешь проброс - аналогично умирает проц. Закрываешь всё-всё – всё равно умирает проц, умирает уже на уровне драйвера сетевой, системные прерывания кладут систему. Я в аналитических целях изучал входящий траффик, там очень много интересного. Например самый частый вид траффика - это UDP перепакованный в TCP и с некорректной CRC. Или куча (over >> 10k) входящих TCP запросов на сервис пакетами по 50 байт.
Выжил благодаря CARP и второму секретному WAN-у.

И отвечу за провайдеров.
ДДОС это интелектуальная атака, чаще всего подбирается как ключ к замку (ориентирована на конкретный сервис или софт). Разработка и внедрение весьма ресурсоемкое и не всегда оправданное занятие. Поэтому есть контент провайдеры услуг. Ими и пользуйтесь. Могу рекомендовать Касперского(был на их презентации лично, понравилось) https://www.kaspersky.ru/small-to-medium-business-security/ddos-protection?campaign=kl-ru_google_acq_ona_sem_gen_onl_b2c__lnk_______&redef=1&referer1=kl-ru_google&referer2=kl-ru_google_acq_ona_sem_gen_onl_b2c__lnk_______&gclid=Cj0KCQiAq6_UBRCEARIsAHyrgUyHYhTjdfZS1zmMVNRcbisALimlfPXCJzsRUJHCB7JKMbbixRLISFwaAkQGEALw_wcB

Uranus

@Fallen_A:

Я так понимаю, что все висит на одной карте? Если нет, поправьте меня более точно, что и как, где висит, на что разбито. Именно по железу.

Да всё висит но одной карте и локалка и два входящих канала, могу сказать сразу, сетевуха (я думаю) справляется, могу сказать это по одной причине, при DDOS атаке потери пакетов на локалке нет, если бы не справлялась сетевая то терялось бы везде.

Uranus

@werter:

Добрый.
Помучайтесь еще 2-3 дня. И прийдете к

Перенесите свой тимспик в тот же digital ocean или cloudflare. У них есть защита от ддос. Вам это в копейки обойдется. А профита - на тыщи.

Или к Дискорд-у.

Зы. Пф хорош. Но (пока) это ему не по силам.

Уважаемый, я так "мучаюсь" уже более года (а сервер у меня уже более 3 лет), у меня как и вас есть резервные каналы, и стараюсь я даже не совсем для себя, а больше для пользователей моего сервера, и как я вам уже и сказал, внешний хостинг меня никак, от слова СОВСЕМ не устраивает, так что давайте вы меня с ним больше не будете напрягать.