Еще раз о ipcad+squid+lightsquid
-
Ссылку нашел, но какой путь прописать и название фаила-не пойму ???
http://www.freebsd.org/cgi/cvsweb.cgi/ports/misc/compat6x/не ту ссылку нашёл
pkg_add -r http://ftp.freebsd.org/pub/FreeBSD/releases/i386/7.3-RELEASE/packages/Latest/compat6x-i386.tbz
это если pfsense 1.2.3P.S. Я в предыдущем посте неверно написал, не порты, а пакеты.
-
Установил, спасибо.
Все пошло с 4 попытки,когда прочитал формум и понял что надо открыть агрегацию портов и вуаля!)
Только одно НО-разве наормально что в логе есть порты с номером 0,я думал такие вообще не должны отображаться чтобы избежать двойного подсчета - 17 days later
-
Вопрос снимается, разобрался.
Теперь возник другой вопрос, ipcad записывает статистику почты как шттп трафик.
Например: скачиваю тундербёрдом письма с gmail.com, mail.ru смотрю как записал это ipcad:
rsh localhost show ip accountingSource Destination Packets Bytes SrcPt DstPt Proto IF 209.85.149.138 192.168.1.1 111 133586 0 64413 6 bge0
1. Скачал его я, а не сервер (Destination должен быть 192.168.1.55)
2. Порт должен быть 995 или 110 (0 это правило aggregate 3128 into 0)В чём проблема? У меня фрибсд прописан шлюзом, сам проксисервер настроен прозрачно с редиректом pf
rdr inet proto tcp from $lan_net to any port www -> 127.0.0.1 port 3128P.S. сейчас ещё заметил, аська по 5190 порту тоже никак не фиксируется, mirc по 6669 порту аналогично.
Что фиксируется?! 443 порт, 53, 2041, 5, 9999- up -
Подскажите пожалуйста, куда копать? я не могу посчитать и контролировать данный трафик, т.к. если уберу сортировку по порту 3128/80/8080? то трафик будет удваиваться, сквид + ipcad.
- up -
- 2 months later
-
Всем, кто использует данное решение подсчета трафика, необходимо отредактировать файл tolog.sh
Причина: при ротации логов squid, возможна ситуация когда файл /var/squid/log/access.log уже переименован в access.log.0, а новый файл access.log еще не создан. Если в это время сработает tolog.sh (а он таки срабатывает в 00:00, как и ротация), то новый файл access.log будет создан самим tolog.sh с владельцем root. В результате squid не сможет писать в него и остановится. Если установлен SquidGuard, то остановится и он. Пользователи не смогут открывать странички.
Новый файл tolog.sh (добавлена проверка существования access.log):#!/bin/sh if [ -f "/var/squid/log/access.log" ] then net="192.168.0" ttime=`/usr/bin/rsh localhost sh ip acco | grep 'Accounting data saved' | awk '{print ($4)}'` rsh localhost clear ip accounting rsh localhost show ip accounting checkpoint | grep $net | awk -v vtime=$ttime '{print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}' >> /var/squid/log/access.log fi
-
сделай чтобы ротация лога сквида проходила в 00:05 и всего делов
-
Подозреваю (но не уверен, кто бы подсказал?), что при ротации LightSquid'ом новый access.log вообще не создается. А создается он только в момент первой записи в него. Тут уж кто раньше встал - того и тапки. Squid или tolog.sh
-
Подозреваю (но не уверен, кто бы подсказал?), что при ротации LightSquid'ом новый access.log вообще не создается. А создается он только в момент первой записи в него. Тут уж кто раньше встал - того и тапки. Squid или tolog.sh
создается при ротации
-
Поторопился с определением причины такого поведения. Сегодня сбойнуло уже утром, далеко-далеко от ротации. У access.log владелец root, группа - proxy, и никакие проверки на существование файла естественно не помогают. Сам файл под 2 мега. Жаль не посмотрел содержимое, кто последний в него писал((
chown что ли в tolog.sh еще ставить? -
а не хард ли подсбаивает перед гибелью? смарт посмотреть (вот только чем его глянуть?
- about a month later
-
Поторопился с определением причины такого поведения. Сегодня сбойнуло уже утром, далеко-далеко от ротации. У access.log владелец root, группа - proxy, и никакие проверки на существование файла естественно не помогают. Сам файл под 2 мега. Жаль не посмотрел содержимое, кто последний в него писал((
chown что ли в tolog.sh еще ставить?я так и сделал, в конце tolog.sh chown добавил, потому как два раза за полгода файл сменил владельца и сквид встал колом
- 2 months later
-
Чего-то на свеже установленном релизе 2.0 не могу наладить работу ipcad. Делал по инструкции с новым rsh. В access.log нет записей от ipcad. На бетах и РЦ работало. RSH в памяти висит, ipcad в установленных пакетах есть. Помогите ПЖЛ.
-
Чего-то на свеже установленном релизе 2.0 не могу наладить работу ipcad. Делал по инструкции с новым rsh. В access.log нет записей от ipcad. На бетах и РЦ работало. RSH в памяти висит, ipcad в установленных пакетах есть. Помогите ПЖЛ.
а что показывает rsh localhost show ip accounting ?
-
После 30 сек ожидания
localhost: Operation timed out
-
top | grep ipcad
-
top | grep ipcad
нет его
в /cf/conf/config.xml запись есть```
<shellcmd>/usr/local/bin/ipcad -rds</shellcmd> -
ну попробуйте руками запустить ipcad -rds и посмотрите, что напишет
нормальный запуск - это примерно вот так:Opening bge0... [LCap] [ERSH] [4096] Initialized as 1 Configured RSH Server listening at 127.0.0.1 No valid entries found in /var/log/ipcad/ipcad.dump. Daemonized.
-
[2.0-RELEASE][root@srv.org.local]/root(2): ipcad -rds /libexec/ld-elf.so.1: Shared object "libpcap.so.5" not found, required by "ipcad"
-
Надо попробовать удалить ipcad и compat6x-i386, сделать:
setenv PACKAGESITE ftp://ftp-archive.freebsd.org/pub/FreeBSD-Archive/old-releases/i386/8.1-RELEASE/packages/Latest/
и заново все по инструкции -
rubic
Спасибо большое.
Удалил старые пакеты.setenv PACKAGESITE ftp://ftp-archive.freebsd.org/pub/FreeBSD-Archive/old-releases/i386/8.1-RELEASE/packages/Latest/
pkg_add -r compat6x-i386
pkg_add -r ipcad
reboot
И вуаля!!!
-
сделал шпаргалку для pfSense 2.0
http://ru.doc.pfsense.org/index.php/%D0%9F%D0%BE%D0%B4%D1%81%D1%87%D0%B5%D1%82_%D1%82%D1%80%D0%B0%D1%84%D0%B8%D0%BA%D0%B0_%D1%81_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E_Squid_%D0%B8_ipcad_%D0%B2_pfSense_2.0 - 2 months later
-
Спасибо за нормальный мануал, всё работает. Только вопрос. Сейчас экспериментирую дома - локального DNS нету (для локальных машин). Вопрос - какой способ резолвинга имен хостов нормально работает? SMB не хочет (nmblookup нету). DNS - нету самого сервера. Пока только list (и то только после правки конфигурирующей XML-ки, по умолчанию опции в ней нету, а при перезагрузке она всё равно конфиг правит).
-
Доброго времени суток!
Блуждая по форуму, так и не нашел ответа.[2.0.1-RELEASE][ea@firewall.loc]/home/ea(1): uname -a
FreeBSD firewall.loc 8.1-RELEASE-p6 FreeBSD 8.1-RELEASE-p6 #0:
root@FreeBSD_8.0_pfSense_2.0-snaps.pfsense.org:/usr/obj./usr/pfSensesrc/src/sys/pfSense_SMP.8 i386Устанавливаю:
-
squid Network Stable
2.7.9 pkg v.4.3.1
platform: 2 -
squidGuard Network Management 1.4_2 pkg v.1.9.1
Итог:
squid встает все нормально
squidGuard выдает вот это и висит и ни чего не происходит(достаточно длительное время)Installing squidGuard and its dependencies.
Beginning package installation for squidGuard…
Downloading package configuration file... done.
Saving updated package information... done.
Downloading squidGuard and its dependencies...
Checking for package installation... Loading package configuration... done.
Configuring package components...
Additional files... done.
Loading package instructions...При переходе на страницу установленных пакетов, если посмотреть, то он встал все нормально(вроде как)
но при переходе на статистику squid говорит error не могу найти свой конфиг...При установке связки squid+lightsquid, lightsquid не дает запустить парсер.
-
- about a month later
-
сделал шпаргалку для pfSense 2.0
http://ru.doc.pfsense.org/index.php/%D0%9F%D0%BE%D0%B4%D1%81%D1%87%D0%B5%D1%82_%D1%82%D1%80%D0%B0%D1%84%D0%B8%D0%BA%D0%B0_%D1%81_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E_Squid_%D0%B8_ipcad_%D0%B2_pfSense_2.0Установил, пропустив установку compat6x-i386. При этом вроде всё работает. Скажите, может в обновленной версии ipcad не нужен этот пакет?
- 10 days later
-
Огромное спасибо, полезная вещь)
Настраивал 2 дня)) -
сделал шпаргалку для pfSense 2.0
http://ru.doc.pfsense.org/index.php/%D0%9F%D0%BE%D0%B4%D1%81%D1%87%D0%B5%D1%82_%D1%82%D1%80%D0%B0%D1%84%D0%B8%D0%BA%D0%B0_%D1%81_%D0%BF%D0%BE%D0%BC%D0%BE%D1%89%D1%8C%D1%8E_Squid_%D0%B8_ipcad_%D0%B2_pfSense_2.0Установил, пропустив установку compat6x-i386. При этом вроде всё работает. Скажите, может в обновленной версии ipcad не нужен этот пакет?
Честно говоря, разбираться некогда сейчас. Точно помню, что в 1.2.3 ipcad не запускался, жалуюясь на отсутствие библиотек из этого пакета. Потому он и стоит в инструкции.
- 15 days later
-
Подскажите, всё сделал по инструкции, но данные так и не отображаются, вообще по моему не скидываются в лог. Куда капать, где лучше посмотреть что не так?
И ещё подскажите, у меня была заблокирована категория сайтов для скачки, я хотел скачать и он меня заблочил, потом я решил убрать эту категорию из блокировки, но именно на закачку он меня всё ровно блочит, хотя на остальные сайты стал пуска, такое ощущение что он записал в лог это и на всегда, как это отчистить и где? - about a month later
-
Подскажите, кто работает во второй версии пф
Непонятно по каталогу с логами. По инструкции "Подсчет трафика с помощью Squid и ipcad в pfSense 2.0" это
/var/squid/log/access.log
но в пф 2.01 каталогом по умолчанию является /var/squid/logs (отличие в букве s на конце)
и не смотря на то, что в веб интерфейсе Report(LightSquid) -> Settings
On the first - enable log in squid package with "/var/squid/log" path.
В конфигурационном файле стоит путь к логу /var/squid/logs
Если вручную поставит в сквиде /var/squid/log то через некоторое время все равно строка меняется на /var/squid/logsВвиду этого еще интересно, куда обращается rsh при конвертации логов ?
-
Подскажите, кто работает во второй версии пф
Непонятно по каталогу с логами. По инструкции "Подсчет трафика с помощью Squid и ipcad в pfSense 2.0" это
/var/squid/log/access.log
но в пф 2.01 каталогом по умолчанию является /var/squid/logs (отличие в букве s на конце)
и не смотря на то, что в веб интерфейсе Report(LightSquid) -> Settings
On the first - enable log in squid package with "/var/squid/log" path.
В конфигурационном файле стоит путь к логу /var/squid/logs
Если вручную поставит в сквиде /var/squid/log то через некоторое время все равно строка меняется на /var/squid/logsВвиду этого еще интересно, куда обращается rsh при конвертации логов ?
rsh никуда не обращается, это демон который считает трафик
есть скрипт
#!/bin/sh net="192.168" ttime=`/usr/bin/rsh localhost sh ip acco | grep 'Accounting data saved' | awk '{print ($4)}'` rsh localhost clear ip accounting rsh localhost show ip accounting checkpoint | grep $net | awk -v vtime=$ttime '{if ($5 != 0) print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}' >> /var/squid/log/access.log
в самом конце видно куда все дописывает, вот и поправь на нужный путь
-
Подскажите, кто работает во второй версии пф
Непонятно по каталогу с логами. По инструкции "Подсчет трафика с помощью Squid и ipcad в pfSense 2.0" это
/var/squid/log/access.log
но в пф 2.01 каталогом по умолчанию является /var/squid/logs (отличие в букве s на конце)
и не смотря на то, что в веб интерфейсе Report(LightSquid) -> Settings
On the first - enable log in squid package with "/var/squid/log" path.
В конфигурационном файле стоит путь к логу /var/squid/logs
Если вручную поставит в сквиде /var/squid/log то через некоторое время все равно строка меняется на /var/squid/logsВвиду этого еще интересно, куда обращается rsh при конвертации логов ?
По умолчанию, после установки squid каталог логов /var/squid/logs, но после установки LightSquid он автоматически меняется на /var/squid/log. Почему этого не происходит у вас - не знаю, но zar0ku1 прав - проще натравить скрипт на актуальный каталог логов, чем разбираться))
- 6 months later
-
Давненько дело было, forestman99 скрипт выкладывал для резолвинга IP в дом. имена. Для подсчета статистики без сквида.
http://forum.pfsense.org/index.php/topic,21394.msg168129.html#msg168129Кто-то тестировал?
содержимое /root/tolog.sh
#!/bin/sh
rez2=""
#REZ="q"
iptoname ()
{
rez2=$1
REZ=$(/usr/bin/dig -x $1 +short)
# echo "REZ - $REZ - $1"
if [ -z $REZ]
then{
echo
}
else
{
rez2=$REZ
}
fi
}net="192.168.3"
ttime=/usr/bin/rsh localhost sh ip acco | /usr/bin/grep 'Accounting data saved' | /usr/bin/awk '{print ($4)}'
/usr/bin/rsh localhost clear ip accounting
/usr/bin/rsh localhost show ip accounting checkpoint | /usr/bin/grep $net > /root/tolog.txtwhile read p1 p2 p3 p4 p5 p6 p7 p8
doif [ "$p5" != "0" ]
then
rez2=""
iptoname "$p1"
echo "$ttime.000" 1 $p2 "TCP_MISS/200" $p4 "CONNECT" $rez2:"$p5 "-" "DIRECT/"$p1" -"" >>/var/squid/log/access.log
# echo "$vtime.000" 1 $p2 "TCP_MISS/200" $p4 "CONNECT" $rez2:"$p5 "-" "DIRECT/"$p1" -"" >>/var/squid/log/access.log
else
fi
done < /root/tolog.txtexit 0
-
Народ всем привет, извиняюсь наверное за тупой вопрос, но в режиме Transparent proxy он только 80-й порт пропускает ??? а в остальных прогах придется прописывать все равно ??? Вообщем нужно настроить подсчет трафика, но чтобы на клиентских машинах не нужно было прокси нигде прописывать, по этому мануалу так возможно ???
-
-
сделал все по инструкции, в реал тайм статистике все работает хорошо, но вот когда перехожу на вкладку Lightsquid Report, выдает ошибку, скрины вкладки настроек и ошибки прилагаю.
![Image 4.png](/public/imported_attachments/1/Image 4.png)
![Image 4.png_thumb](/public/imported_attachments/1/Image 4.png_thumb)
![Image 5.png](/public/imported_attachments/1/Image 5.png)
![Image 5.png_thumb](/public/imported_attachments/1/Image 5.png_thumb) -
в папке /var/lightsquid/report болт ночевал - в общем она пустая.
-
в папке /var/lightsquid/report болт ночевал - в общем она пустая.
1. Вам сюда http://forum.pfsense.org/index.php/topic,21394.0.html
2. Все ваши вопросы давно обсуждались. Читайте тему.
3. Для получения адекватного ответа, пишите - что установлено, что сделано, через и что редактировалось, в какой среде установлен PF. -
в папке /var/lightsquid/report болт ночевал - в общем она пустая.
В сквиде стоит галка log?
-
- about a month later
-
После установки и настройки ipcad локальный трафик все равно считается.
Хотя в конфиге есть:
aggregate 192.168.0.0/16 strip 32; /* Don't aggregate internal range /
aggregate 0.0.0.0/0 strip 32; / Don't! Aggregate external networks */ -
Не могу прицепить к ipcad подсеть на pppoe сервере. Подсеть на лане видна в логи сквида добавляется.
-
После установки и настройки ipcad локальный трафик все равно считается.
Хотя в конфиге есть:
aggregate 192.168.0.0/16 strip 32; /* Don't aggregate internal range /
aggregate 0.0.0.0/0 strip 32; / Don't! Aggregate external networks */Эта aggregate не причем к локальному трафику, она только говорит как локальные хосты будут в логе отображаться. Либо каждый по отдельности (32), либо все скопом, как сеть, например 192.168.0.0 (24). В последнем случае локальные машины будут неразличимы в отчетах, будет видно только суммарный трафик на сеть 192.168.0.0/24