Учет трафика в Netams

Tosh

Так вроде все в доках по Netams'у есть. Единственно, что агента придется перекомпилировать, т.к. он собран под 8.2, а pfSense пока на 8.1 еще.

В документах особо не нашел - может не там смотрел. Если я правильно понимаю - можно прямо в pfSense пересобрать?

@rubic:

Далее в Firewall->Aliases добавляется алиас с именем "ACCESS" и типом Host(s). При запуске агенту параметром отдается имя скрипта блокировки (access_pf.sh) - есть на сайте Netams.

А вот тут можно поподробнее - чего-то я не понимаю. Может ссылку где это описано. При чем ту алиас и почему такое имя?

rubic

Пересобрать в pfSense не получится, она урезана в этом смысле. Нужно ставить полную FreeBSD соответствующей версии и в ней компилировать.
По второму вопросу: Netams требует, чтобы руками была создана таблица PF (Packet Filter) с именем ACCESS, в которую он будет помещать заблокированные IP (или наоборот разрешенные, это настраивается).
В pfSense создать Alias типа Host(s) и значит создать таблицу PF.

Tosh

@rubic:

Пересобрать в pfSense не получится, она урезана в этом смысле. Нужно ставить полную FreeBSD соответствующей версии и в ней компилировать.

Жаль - были большие надежды на девелоперскую версию pfSense (кажется как-то так называется)

@rubic:

По второму вопросу: Netams требует, чтобы руками была создана таблица PF (Packet Filter) с именем ACCESS, в которую он будет помещать заблокированные IP (или наоборот разрешенные, это настраивается).
В pfSense создать Alias типа Host(s) и значит создать таблицу PF.

А вот тут огромное спасибо - прямо вдохнул надежду … если я правильно понимаю - агент наполняет этот алиас, и уже на основе содержимого этого списка в pfSense можно правила писать?

rubic

Да, именно так. Точнее, агенту при запуске параметром передается имя скрипта, который добавляет/удаляет записи в этой таблице (пример скрипта есть на сайте - access_pf.sh).
А что вы будете делать с этой таблицей дальше, дело ваше.

Tosh

@rubic:

Да, именно так.

Аха - ну с разграничением доступа (пущать/не пущать) я так понимаю можно справиться … вот только я так понимаю таким образом по очередям пользователей не распихаешь ... в принципе не страшно, но интересно ...

rubic

Скомпилировал от нечего делать)
Далее привожу ссылки на файлы и права, которые надо на них установить:

n4agent_pcap -0555
access-pf.sh -0755
netams4-freebsd.sh -0755

Создаем каталог: /usr/local/netams4/jserver/agent и кладем все файлы в него. Делаем симлинки:

cd /usr/local/sbin
ln -s /usr/local/netams4/jserver/agent/n4agent_pcap n4agent
cd /usr/local/etc/rc.d
ln -s /usr/local/netams4/jserver/agent/netams4-freebsd.sh netams4.sh

В GUI pfSense в Firewall -> Aliases добавляем алиас с именем ACCESS типа Host(s), но никаких хостов в него не заносим. Если такое имя алиаса не нравится, то в /usr/local/netams4/jserver/agent/access-pf.sh надо заменить все вхождения слова 'ACCESS' на то имя алиаса, которое вам больше по душе.
В этот алиас по умолчанию будут попадать все заблокированные IP (посмотреть содержимое через GUI нельзя, только через Diagnostics -> command pfctl -t ACCESS -T show). Если надо, чтобы наоборот в нем хранились разрешенные IP, то в /usr/local/netams4/jserver/agent/access-pf.sh DEFAULTPOLICY надо поменять с allow на deny.

/usr/local/netams4/jserver/agent/netams4-freebsd.sh делаем таким:


#!/bin/sh
#
#

# PROVIDE: n4agent
# REQUIRE: SERVERS
# BEFORE: DAEMON
# KEYWORD: shutdown

#
# Add the following lines to /etc/rc.conf to enable n4agent:
# n4agent_enable (bool):        Set to "NO" by default.
#                       Set it to "YES" to enable n4agent.
# n4agent_flags (string):       Set to "-p" by default.
#                       Extra flags passed to start command.
#
#

. /etc/rc.subr

name="n4agent"
rcvar=`set_rcvar n4agent`

# read settings, set default values
load_rc_config ${name}

: ${n4agent_enable="YES"}
: ${n4agent_flags="-i em0 -e /usr/local/netams4/jserver/agent/access-pf.sh -c 192.168.10.2:20002 -d -s password"}

pidfile="/var/run/${name}.pid"
command="/usr/local/sbin/${name}"
command_args="-p ${pidfile}"

run_rc_command "$1"

Во первых, : ${n4agent_enable="YES"}, а не NO, как было, а в n4agent_flags добавил:
-i em0 - интерфейс, который надо слушать (LAN)
-c 192.168.10.2 - адрес сервера netams (было 127.0.0.1, но сервер у меня не на локальной машине).
-s password - пароль шифрования пакетов между агентом и сервером (может не нужен, что-то не работало, я менял-менял флаги и этот написал на всякий случай).

Запускаем /usr/local/etc/rc.d/netams4.sh (при перезагрузке запустится сам).

Tosh

@rubic:

Скомпилировал от нечего делать)

Это из разряда "Все, что вы хотели знать, но стеснялись спросить".
Серьезно - огромное спасибо. Вот прям сразу сейчас проверить не на чем, но я проведу эксперимент и обязательно отпишусь о результатах

netormoz

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

Tosh

@netormoz:

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

Вопрос был не в том можно ли внутрь pfSense поставить Netams, а о том каким образом подружить 4-й Netams с pfSense.
К стати - если вы поделитесь рецептом каким образом через pfFlowd в Netams отдавать не только объем, но и урлы - буду премного благодарен. В противном случае - прошу читать топик сначала

Хотя ваша информация интересная, но не вижу особого практического смысла - проще тогда уже vmWare ESXi (бесплатный) ставить и в него уже грузить и pfSense и FreeBSD с Netams. Как минимум - такое решение выглядит намного более удобным - виртуальные машины управляются намного лучше да и опять же мордочка для управления, что уже легче для ленивого человека - визуально увидеть графики нагрузки

netormoz

@Tosh:

@netormoz:

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

Вопрос был не в том можно ли внутрь pfSense поставить Netams, а о том каким образом подружить 4-й Netams с pfSense.
К стати - если вы поделитесь рецептом каким образом через pfFlowd в Netams отдавать не только объем, но и урлы - буду премного благодарен. В противном случае - прошу читать топик сначала

Хотя ваша информация интересная, но не вижу особого практического смысла - проще тогда уже vmWare ESXi (бесплатный) ставить и в него уже грузить и pfSense и FreeBSD с Netams. Как минимум - такое решение выглядит намного более удобным - виртуальные машины управляются намного лучше да и опять же мордочка для управления, что уже легче для ленивого человека - визуально увидеть графики нагрузки

1. В начальном посте слово "скрестить" необходимо было дополнить своии смыслом. Про 4-ку вообще ни слова не было.
2. В pfsense ставить development toolchain - помощь в руки потенциального инсайдера залесть под обычным пользователем и собрать fakeroot с помощью pkgsrc не поднимаясь до рута. PfSense минимизирован для целей безопасности.
3. 4-ка собирается без проблем из исходников.
4. Практический смысл моего решения в том, что все работает под одним ядром даже на процессоре без аппартной виртуализации, и не нужен трехядерный огород на базе Intel-VT с тремя OS, где 2 под гипервизором.
5. Все графики нагрузки нарисуют RRD Пфсенса.
6. При обновлении Пфсенса не надо вспоминать про забитые костыли при сборке netam4
7. Никаких сложностей в управлении jail через cmd не вижу. Есть и морда к ним кстати.
8. pcap агент ставится на роутер и сниффирит сессии с интерфейса, за которым находятся пользователи, а не провайдер, чтобы парсить url
Желаю здравствовать

Tosh

@netormoz:

1. В начальном посте слово "скрестить" необходимо было дополнить своии смыслом. Про 4-ку вообще ни слова не было.
2. В pfsense ставить development toolchain - помощь в руки потенциального инсайдера залесть под обычным пользователем и собрать fakeroot с помощью pkgsrc не поднимаясь до рута. PfSense минимизирован для целей безопасности.
3. 4-ка собирается без проблем из исходников.
4. Практический смысл моего решения в том, что все работает под одним ядром даже на процессоре без аппартной виртуализации, и не нужен трехядерный огород на базе Intel-VT с тремя OS, где 2 под гипервизором.
5. Все графики нагрузки нарисуют RRD Пфсенса.
6. При обновлении Пфсенса не надо вспоминать про забитые костыли при сборке netam4
7. Никаких сложностей в управлении jail через cmd не вижу. Есть и морда к ним кстати.
8. pcap агент ставится на роутер и сниффирит сессии с интерфейса, за которым находятся пользователи, а не провайдер, чтобы парсить url
Желаю здравствовать

:) я смотрю тут тоже не все читают полностью первое сообщение и заголовок.
вопросы со второго по седьмой мне просто не интересны - вы их сами придумали и меня они очень мало волнуют.

а вот по поводу оставшихся двух - прошу внимательно читать тему "Учет трафика". При этом в первом сообщении очень конкретно описывается, что у меня уже есть учет через NetFlow и есть сам Netams. Мне совершенно не нужны какие-то извращения, придуманные от желания сэкономить на железе. Да и не являюсь я провайдером (о чем, кстати, я тоже писал в первом сообщении).
по поводу пункта №8 - не вопрос - если вы сможете поставить pcap на D-Link DGS-1024 - я готов за это даже заплатить:). Ну а если серьезно - я уже писал - мне не нужны еще прослойки в виде NAS - дополнительные звенья в цепи требуют обслуживания и в данном случае совершенно не нужны.

В данном конкретном случае пограничными с пользователями серверами являются сервера с pfSense на борту. При этом такой сервер не один и каждый из них обслуживает свое "направление". Маршруты пользовательским компьютерам отдаются через DHCP. Идея была в том, чтобы все управление делалось через Netams не сильно квалифицированным сотрудником (естественно все сводится к простому заведению/удалению пользователей и назначению им тарифов)

netormoz

Можешь дальше заниматься упорным отрицанием. Только есть одно отличие: у меня урлы от хостов показываются, а у тебя до сих пор нет!!! Пустой диалог.

Tosh

@netormoz:

Можешь дальше заниматься упорным отрицанием. Только есть одно отличие: у меня урлы от хостов показываются, а у тебя до сих пор нет!!! Пустой диалог.

Ок. Давай тогда попробуем иначе - где в твоем монологе было место про урлы? Если ты снимаешь показания с оборудования - было бы неплохо описать отличия. Я свою ситуацию и оборудование обрисовал.
Пока что я только увидел предложение изменить структуру сети и докупать/заменять оборудование - это не очень правильный вариант для меня. Можешь помочь с тем вариантом, что я описывал? - сейчас как-то не очень.
Если есть альтернатива запихиванию RemoteAgent'а от Netams'а в pfSense - я буду рад услышать каким пакетом и каким образом можно передавать в Netams информацию о трафике (именно урлы, а не счетчики, как это получается при использовании pfFlowd)

netormoz

в пункте 8 и был заключен ответ.
С сайта netams берется статически скомпилированный агент и запускается на рутере PFS, который раздает интернет.
Агент натравливается на интерфейс pfs, относительно которого делается НАТ, то есть на локалку, и все данные льет на Netams посети.
В отчетах ты увидишь даные по ip в локалке с url. Агент не надо ставить на каждую машину пользователей в сети.
Ту все написано и работает
http://docs.netams.com/display/N4/Remote+agent

Tosh

@netormoz:

в пункте 8 и был заключен ответ.
С сайта netams берется статически скомпилированный агент и запускается на рутере PFS, который раздает интернет.
Агент натравливается на интерфейс pfs, относительно которого делается НАТ, то есть на локалку, и все данные льет на Netams посети.
В отчетах ты увидишь даные по ip в локалке с url. Агент не надо ставить на каждую машину пользователей в сети.
Ту все написано и работает
http://docs.netams.com/display/N4/Remote+agent

Я дико извиняюсь, но кто такие сказки Вам рассказал, что я собирался ставить агент на пользовательские машины? Вы, видимо, все же не читали мое первое сообщение и вообще переписку - ваш ответ полностью дублирует сообщения rubic + несет в себе кучу совершенно ненужной информации + совершенно не информативно.
Зачем писать то, что ответили до Вас? - уже все настроено и работает.
А вот ваше первое сообщение по поводу, того, что у Вас данные собираются через pfFlowd и все нормально работает получается не правда
@netormoz:

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

… врать-то не хорошо

netormoz

В отличие от тебя я ни у кого ничего не спрашиваю! Впервые собрал Netams в году 2006. Во всех случаях получалось то, что хотел - через через flow и pcap.
И у меня работает - а тебя до сих пор нет, раз ты сюда пришел!!! И проблема в том, что ты не умеещь делать в cmd из PFS подноценную Free, потому что система инициализации в PFS переписана. Вместо этого ты начинаешь поучать тех, кто тебе отвечает!!!

Tosh

@netormoz:

В отличие от тебя я ни у кого ничего не спрашиваю! Впервые собрал Netams в году 2006. Во всех случаях получалось то, что хотел - через через flow и pcap.
И у меня работает - а тебя до сих пор нет, раз ты сюда пришел!!! И проблема в том, что ты не умеещь делать в cmd из PFS подноценную Free, потому что система инициализации в PFS переписана. Вместо этого ты начинаешь поучать тех, кто тебе отвечает!!!

Ответил мне в этом топике совсем другой человек и очень мне помог, ты же только отвлекаешь.
А вот пиписьками меряться я бы пошел в другое место. Если столько г..на кипит - лучше бы промолчал.

… не стоит считать себя лучше остальных

netormoz

Вот именно: поучать и отрицать стал именно ты, ужасно обидившись, что замысел твоего 1 поста не прочитан. Ты начал тыкать и давать наставления человеку, который просто изложил как сделал он, не давая тебе никаких советов. Вместо того, чтобы вежливо прочесть и сказать "cпасибо", ты полез в бутылку с амбициями непризнанного гения. Повторяю - у меня все работает, а у тебя нет, как ты хочешь!!!

Tosh

Ладушки.
Попробую еще раз - для особо одаренных.
Был задан вопрос (выделю жирным главные моменты, чтобы в этот раз никто не пропустил)
@Tosh:

Возник вопрос - управления трафиком пользователей (выделение полосы пропускания, квотирование, ведение логов и учет кто где и почему). Вопрос с учетом объема трафика замечательно решился при помощи пакета pfFlowd и соответствующим NetFlow агентом в Netams. Но это только часть того, что хотелось бы поиметь.

В связи с этим возник вопрос - кто-то пробовал скрестить Netams и pfSense? Можно ли затолкать на шлюзы RemoteAgent и как он в этом случае будет работать?

Я цитирую то, что было отвечено на мой вопрос:
@netormoz:

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

Жирным выделил то, что меня интересует и рецепт чего я с самого начала у тебя спрашивал.
Теперь внимание вопрос - это был звиздеж или рецептик зажал?
Вопрос, кстати, очень важный - если не звиздеж было бы очень интересно узнать рецепт (думаю и не мне одному)

netormoz

Цитата.Возник вопрос - управления трафиком пользователей (выделение полосы пропускания, квотирование, ведение логов и учет кто где и почему). Вопрос с учетом объема трафика замечательно решился при помощи пакета pfFlowd и соответствующим NetFlow агентом в Netams. Но это только часть того, что хотелось бы поиметь.

В связи с этим возник вопрос - кто-то пробовал скрестить Netams и pfSense? Можно ли затолкать на шлюзы RemoteAgent и как он в этом случае будет работать?
Конец цитаты

Ответ. Как известно, предложение вопроса имеет на конце вопросительный знак. Рассмотрим все вопросительные предложения в реплике
В связи с этим возник вопрос - кто-то пробовал скрестить Netams и pfSense? Из этого предложения без расшифровки слова "скрестить" можно понять, что стандартного тулчейна на борту PF нет, пакета Netams4 и порта тоже нет. Как на PFS собрать netams4 из исходников? Был дан ответ после прочтения реплики, что development PFS тоже без тулчейна - лучше и не нарушать безопасную структуры PFS, и собрать netams в jail на полной Free. Оказалось что Netams уже собран на другой машине. Можно просто взять скопилированного агента с сайта.
Можно ли затолкать на шлюзы RemoteAgent и как он в этом случае будет работать? Тебе ответили что можно, потому что агент собран статически.
Далее ты стал придираться к словам, что тебе ответили про flowd, а урлы через флоу не показываются. Тебе опять ответили, что с 2006 года Нетамс ставился несколько раз, в том числе и с pcap, которые урлы показывают.
с 23 марта, c первого поста, уже можно было все 10 раз подряд скрестить еще с помощью рецептв товарища, которые дал скриптинг на блеклисты и запуск агента как демона.

Цитата.А вот ваше первое сообщение по поводу, того, что у Вас данные собираются через pfFlowd и все нормально работает получается не правда.
Было сказано:Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd.
Где тут про все данные через флоу? Речь была про работающий нетамс внутри pfs и при этом никаих проблем к достопу к лановской карте PFS-папы. О том, что тебе нужны урлы - это ты написал только потом, ниже.

Вопрос был не в том можно ли внутрь pfSense поставить Netams, а о том каким образом подружить 4-й Netams с pfSense.
К стати - если вы поделитесь рецептом каким образом через pfFlowd в Netams отдавать не только объем, но и урлы - буду премного благодарен. В противном случае - прошу читать топик сначала

Хотя ваша информация интересная, но не вижу особого практического смысла - проще тогда уже vmWare ESXi (бесплатный) ставить и в него уже грузить и pfSense и FreeBSD с Netams. Как минимум - такое решение выглядит намного более удобным - виртуальные машины управляются намного лучше да и опять же мордочка для управления, что уже легче для ленивого человека - визуально увидеть графики нагрузки.

И вот поcлее этого ты сидишь и ждешь, когда тебе дадут рецепт про урлы через флоу.
ТЕБЕ НИКТО ЭТОГО НЕ ОБЕЩАЛ.
Итак, попробую задать вопрос от твоего лица.
"У меня нетамс на одной машине, pfs - на другой. Я с локалки PFS через flowd лью информацию о трафике на нетамс. Но через флоу урлы не показываются. Я уже настроил флоу, и я не хочу или не могу ставить pcap-агент, который показывает урлы, на PFS. поэтоиу я жду рецепта, как получать урлы через флоу и как-то еще, но только не через pcap внутри pfs. "