Учет трафика в Netams

[rubic]

Скомпилировал от нечего делать)
Далее привожу ссылки на файлы и права, которые надо на них установить:

n4agent_pcap -0555
access-pf.sh -0755
netams4-freebsd.sh -0755

Создаем каталог: /usr/local/netams4/jserver/agent и кладем все файлы в него. Делаем симлинки:

cd /usr/local/sbin
ln -s /usr/local/netams4/jserver/agent/n4agent_pcap n4agent
cd /usr/local/etc/rc.d
ln -s /usr/local/netams4/jserver/agent/netams4-freebsd.sh netams4.sh

В GUI pfSense в Firewall -> Aliases добавляем алиас с именем ACCESS типа Host(s), но никаких хостов в него не заносим. Если такое имя алиаса не нравится, то в /usr/local/netams4/jserver/agent/access-pf.sh надо заменить все вхождения слова 'ACCESS' на то имя алиаса, которое вам больше по душе.
В этот алиас по умолчанию будут попадать все заблокированные IP (посмотреть содержимое через GUI нельзя, только через Diagnostics -> command pfctl -t ACCESS -T show). Если надо, чтобы наоборот в нем хранились разрешенные IP, то в /usr/local/netams4/jserver/agent/access-pf.sh DEFAULTPOLICY надо поменять с allow на deny.

/usr/local/netams4/jserver/agent/netams4-freebsd.sh делаем таким:

#!/bin/sh
#
#

# PROVIDE: n4agent
# REQUIRE: SERVERS
# BEFORE: DAEMON
# KEYWORD: shutdown

#
# Add the following lines to /etc/rc.conf to enable n4agent:
# n4agent_enable (bool):        Set to "NO" by default.
#                       Set it to "YES" to enable n4agent.
# n4agent_flags (string):       Set to "-p" by default.
#                       Extra flags passed to start command.
#
#

. /etc/rc.subr

name="n4agent"
rcvar=`set_rcvar n4agent`

# read settings, set default values
load_rc_config ${name}

: ${n4agent_enable="YES"}
: ${n4agent_flags="-i em0 -e /usr/local/netams4/jserver/agent/access-pf.sh -c 192.168.10.2:20002 -d -s password"}

pidfile="/var/run/${name}.pid"
command="/usr/local/sbin/${name}"
command_args="-p ${pidfile}"

run_rc_command "$1"

Во первых, : ${n4agent_enable="YES"}, а не NO, как было, а в n4agent_flags добавил:
-i em0 - интерфейс, который надо слушать (LAN)
-c 192.168.10.2 - адрес сервера netams (было 127.0.0.1, но сервер у меня не на локальной машине).
-s password - пароль шифрования пакетов между агентом и сервером (может не нужен, что-то не работало, я менял-менял флаги и этот написал на всякий случай).

Запускаем /usr/local/etc/rc.d/netams4.sh (при перезагрузке запустится сам).

[Tosh]

@rubic:

Скомпилировал от нечего делать)

Это из разряда "Все, что вы хотели знать, но стеснялись спросить".
Серьезно - огромное спасибо. Вот прям сразу сейчас проверить не на чем, но я проведу эксперимент и обязательно отпишусь о результатах

[netormoz]

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

[Tosh]

@netormoz:

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

Вопрос был не в том можно ли внутрь pfSense поставить Netams, а о том каким образом подружить 4-й Netams с pfSense.
К стати - если вы поделитесь рецептом каким образом через pfFlowd в Netams отдавать не только объем, но и урлы - буду премного благодарен. В противном случае - прошу читать топик сначала

Хотя ваша информация интересная, но не вижу особого практического смысла - проще тогда уже vmWare ESXi (бесплатный) ставить и в него уже грузить и pfSense и FreeBSD  с Netams. Как минимум - такое решение выглядит намного более удобным - виртуальные машины управляются намного лучше да и опять же мордочка для управления, что уже легче для ленивого человека - визуально увидеть графики нагрузки

[netormoz]

@Tosh:

@netormoz:

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

Вопрос был не в том можно ли внутрь pfSense поставить Netams, а о том каким образом подружить 4-й Netams с pfSense.
К стати - если вы поделитесь рецептом каким образом через pfFlowd в Netams отдавать не только объем, но и урлы - буду премного благодарен. В противном случае - прошу читать топик сначала

Хотя ваша информация интересная, но не вижу особого практического смысла - проще тогда уже vmWare ESXi (бесплатный) ставить и в него уже грузить и pfSense и FreeBSD  с Netams. Как минимум - такое решение выглядит намного более удобным - виртуальные машины управляются намного лучше да и опять же мордочка для управления, что уже легче для ленивого человека - визуально увидеть графики нагрузки

1. В начальном посте слово "скрестить" необходимо было дополнить своии смыслом. Про 4-ку вообще ни слова не было.
2. В pfsense ставить development toolchain - помощь в руки потенциального инсайдера залесть под обычным пользователем и собрать fakeroot с помощью pkgsrc не поднимаясь до рута. PfSense минимизирован для целей безопасности.
3. 4-ка собирается без проблем из исходников.
4. Практический смысл моего решения в том, что все работает под одним ядром даже на процессоре без аппартной виртуализации, и не нужен трехядерный огород на базе Intel-VT с тремя OS, где 2 под гипервизором.
5. Все графики нагрузки нарисуют RRD Пфсенса.
6. При обновлении Пфсенса не надо вспоминать про забитые костыли при сборке netam4
7. Никаких сложностей в управлении jail через cmd не вижу. Есть и морда к ним кстати.
8. pcap агент ставится на роутер и сниффирит сессии с интерфейса, за которым находятся пользователи, а не провайдер, чтобы парсить url
Желаю здравствовать

[Tosh]

@netormoz:

1. В начальном посте слово "скрестить" необходимо было дополнить своии смыслом. Про 4-ку вообще ни слова не было.
2. В pfsense ставить development toolchain - помощь в руки потенциального инсайдера залесть под обычным пользователем и собрать fakeroot с помощью pkgsrc не поднимаясь до рута. PfSense минимизирован для целей безопасности.
3. 4-ка собирается без проблем из исходников.
4. Практический смысл моего решения в том, что все работает под одним ядром даже на процессоре без аппартной виртуализации, и не нужен трехядерный огород на базе Intel-VT с тремя OS, где 2 под гипервизором.
5. Все графики нагрузки нарисуют RRD Пфсенса.
6. При обновлении Пфсенса не надо вспоминать про забитые костыли при сборке netam4
7. Никаких сложностей в управлении jail через cmd не вижу. Есть и морда к ним кстати.
8. pcap агент ставится на роутер и сниффирит сессии с интерфейса, за которым находятся пользователи, а не провайдер, чтобы парсить url
Желаю здравствовать

:) я смотрю тут тоже не все читают полностью первое сообщение и заголовок.
вопросы со второго по седьмой мне просто не интересны - вы их сами придумали и меня они очень мало волнуют.

а вот по поводу оставшихся двух - прошу внимательно читать тему "Учет трафика". При этом в первом сообщении очень конкретно описывается, что у меня уже есть учет через NetFlow и есть сам Netams. Мне совершенно не нужны какие-то извращения, придуманные от желания сэкономить на железе. Да и не являюсь я провайдером (о чем, кстати, я тоже писал в первом сообщении).
по поводу пункта №8 - не вопрос - если вы сможете поставить pcap на D-Link DGS-1024 - я готов за это даже заплатить:). Ну а если серьезно - я уже писал - мне не нужны еще прослойки в виде NAS - дополнительные звенья в цепи требуют обслуживания и в данном случае совершенно не нужны.

В данном конкретном случае пограничными с пользователями серверами являются сервера с pfSense на борту. При этом такой сервер не один и каждый из них обслуживает свое "направление". Маршруты пользовательским компьютерам отдаются через DHCP. Идея была в том, чтобы все управление делалось через Netams не сильно квалифицированным сотрудником (естественно все сводится к простому заведению/удалению пользователей и назначению им тарифов)

[netormoz]

Можешь дальше заниматься упорным отрицанием. Только есть одно отличие: у меня урлы от хостов показываются, а у тебя до сих пор нет!!! Пустой диалог.

[Tosh]

@netormoz:

Можешь дальше заниматься упорным отрицанием. Только есть одно отличие: у меня урлы от хостов показываются, а у тебя до сих пор нет!!! Пустой диалог.

Ок. Давай тогда попробуем иначе - где в твоем монологе было место про урлы? Если ты снимаешь показания с оборудования - было бы неплохо описать отличия. Я свою ситуацию и оборудование обрисовал.
Пока что я только увидел предложение изменить структуру сети и докупать/заменять оборудование - это не очень правильный вариант для меня. Можешь помочь с тем вариантом, что я описывал? - сейчас как-то не очень.
Если есть альтернатива запихиванию RemoteAgent'а от Netams'а в pfSense - я буду рад услышать каким пакетом и каким образом можно передавать в Netams информацию о трафике (именно урлы, а не счетчики, как это получается при использовании pfFlowd)

[netormoz]

в пункте 8 и был заключен ответ.
С сайта netams берется статически скомпилированный агент и запускается на рутере PFS, который раздает интернет.
Агент натравливается на интерфейс pfs, относительно которого делается НАТ, то есть на локалку, и все данные льет на Netams посети.
В отчетах ты увидишь даные по ip в локалке с url. Агент не надо ставить на каждую машину пользователей  в сети.
Ту все написано и работает
http://docs.netams.com/display/N4/Remote+agent

[Tosh]

@netormoz:

в пункте 8 и был заключен ответ.
С сайта netams берется статически скомпилированный агент и запускается на рутере PFS, который раздает интернет.
Агент натравливается на интерфейс pfs, относительно которого делается НАТ, то есть на локалку, и все данные льет на Netams посети.
В отчетах ты увидишь даные по ip в локалке с url. Агент не надо ставить на каждую машину пользователей  в сети.
Ту все написано и работает
http://docs.netams.com/display/N4/Remote+agent

Я дико извиняюсь, но кто такие сказки Вам рассказал, что я собирался ставить агент на пользовательские машины? Вы, видимо, все же не читали мое первое сообщение и вообще переписку - ваш ответ полностью дублирует сообщения rubic + несет в себе кучу совершенно ненужной информации + совершенно не информативно.
Зачем писать то, что ответили до Вас? - уже все настроено и работает.
А вот ваше первое сообщение по поводу, того, что у Вас данные собираются через pfFlowd и все нормально работает получается не правда
@netormoz:

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

… врать-то не хорошо

[netormoz]

В отличие от тебя я ни у кого ничего не спрашиваю! Впервые собрал Netams в году 2006. Во всех случаях получалось то, что хотел - через через flow и pcap.
И у меня работает - а тебя до сих пор нет, раз ты сюда пришел!!! И проблема в том, что ты не умеещь делать в cmd из PFS подноценную  Free, потому что система инициализации в PFS переписана. Вместо этого ты начинаешь поучать тех, кто тебе отвечает!!!

[Tosh]

@netormoz:

В отличие от тебя я ни у кого ничего не спрашиваю! Впервые собрал Netams в году 2006. Во всех случаях получалось то, что хотел - через через flow и pcap.
И у меня работает - а тебя до сих пор нет, раз ты сюда пришел!!! И проблема в том, что ты не умеещь делать в cmd из PFS подноценную  Free, потому что система инициализации в PFS переписана. Вместо этого ты начинаешь поучать тех, кто тебе отвечает!!!

Ответил мне в этом топике совсем другой человек и очень мне помог, ты же только отвлекаешь.
А вот пиписьками меряться я бы пошел в другое место. Если столько г..на кипит - лучше бы промолчал.

… не стоит считать себя лучше остальных

[netormoz]

Вот именно: поучать и отрицать стал именно ты, ужасно обидившись, что замысел твоего 1 поста  не прочитан. Ты начал  тыкать и давать наставления человеку, который просто изложил как сделал он, не давая тебе никаких советов. Вместо того, чтобы вежливо прочесть и сказать "cпасибо", ты полез в бутылку с амбициями непризнанного  гения. Повторяю - у меня все работает, а у тебя нет, как ты хочешь!!!

[Tosh]

Ладушки.
Попробую еще раз - для особо одаренных.
Был задан вопрос (выделю жирным главные моменты, чтобы в этот раз никто не пропустил)
@Tosh:

Возник вопрос - управления трафиком пользователей (выделение полосы пропускания, квотирование, ведение логов и учет кто где и почему). Вопрос с учетом объема трафика замечательно решился при помощи пакета pfFlowd и соответствующим NetFlow агентом в Netams. Но это только часть того, что хотелось бы поиметь.

В связи с этим возник вопрос - кто-то пробовал скрестить Netams и pfSense? Можно ли затолкать на шлюзы RemoteAgent и как он в этом случае будет работать?

Я цитирую то, что было отвечено на мой вопрос:
@netormoz:

спокойно помещал в jail внутри pfsense Freebsd. Только делал это с помощью easyjail, а не с помощью менеджера пакетов внутри pfsense. Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd. Преимущества такой схемы - при обновлении не надо опять костыли забивать в pfsense, да и поковыряться в чистой Free тоже полезно для поддержания тонуса.

Жирным выделил то, что меня интересует и рецепт чего я с самого начала у тебя спрашивал.
Теперь внимание вопрос - это был звиздеж или рецептик зажал?
Вопрос, кстати, очень важный - если не звиздеж было бы очень интересно узнать рецепт (думаю и не мне одному)

[netormoz]

Цитата.Возник вопрос - управления трафиком пользователей (выделение полосы пропускания, квотирование, ведение логов и учет кто где и почему). Вопрос с учетом объема трафика замечательно решился при помощи пакета pfFlowd и соответствующим NetFlow агентом в Netams. Но это только часть того, что хотелось бы поиметь.

В связи с этим возник вопрос - кто-то пробовал скрестить Netams и pfSense? Можно ли затолкать на шлюзы RemoteAgent и как он в этом случае будет работать?
Конец цитаты

Ответ. Как известно, предложение вопроса имеет на конце вопросительный знак. Рассмотрим все вопросительные предложения в реплике
В связи с этим возник вопрос - кто-то пробовал скрестить Netams и pfSense? Из этого предложения без расшифровки слова "скрестить" можно понять, что стандартного тулчейна на борту PF нет, пакета Netams4 и порта тоже нет. Как на PFS собрать netams4 из исходников? Был дан ответ после прочтения реплики, что development PFS  тоже без тулчейна - лучше и не нарушать безопасную структуры PFS, и собрать netams в jail на полной Free. Оказалось что Netams уже собран на другой машине. Можно просто взять скопилированного агента с сайта.
Можно ли затолкать на шлюзы RemoteAgent и как он в этом случае будет работать? Тебе ответили что можно, потому что агент собран статически.
Далее ты стал придираться к словам, что  тебе ответили про flowd, а урлы через флоу не показываются. Тебе опять ответили, что с 2006 года Нетамс ставился несколько раз, в том числе и с pcap, которые урлы показывают.
с 23 марта, c первого поста, уже можно было все 10 раз подряд скрестить еще с помощью рецептв товарища, которые дал скриптинг на блеклисты и запуск агента как демона.

Цитата.А вот ваше первое сообщение по поводу, того, что у Вас данные собираются через pfFlowd и все нормально работает получается не правда.
Было сказано:Таким образом FreeBsd в DMZ зоне внутри надежно прикрыта pfsense. Ставил уже на Free Netams - все работало через pfflowd.
Где тут про все данные через  флоу? Речь была  про работающий нетамс внутри pfs и при этом никаих проблем к достопу к лановской карте PFS-папы. О том, что тебе нужны урлы - это ты написал только потом, ниже.

Вопрос был не в том можно ли внутрь pfSense поставить Netams, а о том каким образом подружить 4-й Netams с pfSense.
К стати - если вы поделитесь рецептом каким образом через pfFlowd в Netams отдавать не только объем, но и урлы - буду премного благодарен. В противном случае - прошу читать топик сначала

Хотя ваша информация интересная, но не вижу особого практического смысла - проще тогда уже vmWare ESXi (бесплатный) ставить и в него уже грузить и pfSense и FreeBSD  с Netams. Как минимум - такое решение выглядит намного более удобным - виртуальные машины управляются намного лучше да и опять же мордочка для управления, что уже легче для ленивого человека - визуально увидеть графики нагрузки.

И вот поcлее этого ты сидишь и ждешь, когда тебе дадут рецепт  про урлы через флоу.
ТЕБЕ НИКТО ЭТОГО НЕ ОБЕЩАЛ.
Итак, попробую задать вопрос от твоего лица.
"У меня нетамс на одной машине, pfs - на другой. Я с локалки PFS через flowd лью информацию о трафике на нетамс. Но через флоу урлы не показываются. Я уже настроил флоу, и я не хочу или не могу ставить pcap-агент, который показывает урлы, на PFS. поэтоиу я жду рецепта, как получать урлы через флоу и как-то еще, но только не через pcap внутри pfs. "

[rubic]

Может хватит? В первом сообщении топика четко прозвучало: "Можно ли затолкать на шлюзы RemoteAgent…". Все все поняли кроме, кажется, вас. Зачем задавать вопрос от лица топикстартера? Он сам его задал, может не очень понятно, но здесь почти всегда приходится терпеливо додумывать.
А если просто хочется поведать миру как это сделано у вас, то на это есть вики. Напишите статью, мы все вам будем благодарны.

[netormoz]

ему ответили -можно. Вы и ответили - только вполне может случиться,  что придется скомпилировать самому агента . Дали прекрасный набор скриптов для тюнинга PFS под агента. Так что, пж-та, работай - ТОЛЬКО через pcap. Нет, что-то мешает самому проверить. Хочку через флоу -и все.

[Tosh]

@rubic:

Может хватит? В первом сообщении топика четко прозвучало: "Можно ли затолкать на шлюзы RemoteAgent…". ........... Он сам его задал, может не очень понятно, но здесь почти всегда приходится терпеливо додумывать.

Значит действительно не очень понятно.
Дело не в том как запихать на pfSense агент Netams'а.

Попробую объяснить еще раз.
Есть сетка и несколько филиалов. Подключение внешних каналов устроено везде одинаково: есть несколько шлюзов на pfSense, обслуживающих свои направления (направлений просто больше, чем просто Интернет или связь с головным офисом).
Каждый шлюз имеет минимум 3 интерфейса: LAN, WAN и административный во внутреннюю локалку серверной. Маршруты пользователям раздаются через DHCP.
Есть компутер с Netasm на бору, куда по NetFlow шлюзы скидывают данные - получается такой мини аккаунтинг.
Это то, что есть и работает.

Так складываются обстоятельства, что кроме учета количества трафика, на некоторые направления необходимо пользователям не давать или ограничивать доступ. Так как список пользователей меняется, возникла идея прописать направления в тарифы и уже на списках запрета строить политику доступа.
Дело в том, что я тут появляюсь сильно эпизодически и просто физически не могу сам переносить пользователей из группы в группу - тут очень неплохо должен помочь Netams (те, кто будет этим всем заниматься не сильно подготовленные люди). И вот из-за этого и возник вопрос: если делать через RemoteAgent - это получается костыль (зато можно получить статистику и сами списки запрета), если делать через NetFlow - получается аккаунтинг, но без управления доступом.

По поводу установки агента очень хорошо расписал rubic. Я сейчас пытаюсь собрать тестовый стенд и проверить как это все будет работать, чтобы не проводить эксперименты на живых людях, попутно пытаюсь собрать еще информацию о том как этот вопрос можно решить еще

[netormoz]

Тогда уточняющий вопрос? Почему решение через pcap-АГЕНТ кажется костылем?

[Tosh]

@netormoz:

Тогда уточняющий вопрос? Почему решение через pcap-АГЕНТ кажется костылем?

В моем понимании RemoteAgent от Netams, встроенный в pfSense является "костылем" для pfSense.
То есть - это решение вопроса через неродные средства путем ковыряния во "внутренностях", что может быть черевато проблемами в дальнейшем при том же обновлении. Да и такой демон достаточно сложно элементарно мониторить через стандартные средства pfSense (элементарно запущен/нет, списки доступа): одно дело объяснить пользователю как нажать несколько кнопок в GUI, и совсем другое - попросить набрать какую-то команду в консоли - ощущаете разницу?