Еще раз о ipcad+squid+lightsquid

nomeron · Apr 27, 2012, 7:56 AM

Подскажите, кто работает во второй версии пф
Непонятно по каталогу с логами. По инструкции "Подсчет трафика с помощью Squid и ipcad в pfSense 2.0" это
/var/squid/log/access.log
но в пф 2.01 каталогом по умолчанию является /var/squid/logs (отличие в букве s на конце)
и не смотря на то, что в веб интерфейсе Report(LightSquid) -> Settings
On the first - enable log in squid package with "/var/squid/log" path.
В конфигурационном файле стоит путь к логу /var/squid/logs
Если вручную поставит в сквиде /var/squid/log то через некоторое время все равно строка меняется на /var/squid/logs

Ввиду этого еще интересно, куда обращается rsh при конвертации логов ?

zar0ku1 · Apr 27, 2012, 9:04 AM

@nomeron:

Подскажите, кто работает во второй версии пф
Непонятно по каталогу с логами. По инструкции "Подсчет трафика с помощью Squid и ipcad в pfSense 2.0" это
/var/squid/log/access.log
но в пф 2.01 каталогом по умолчанию является /var/squid/logs (отличие в букве s на конце)
и не смотря на то, что в веб интерфейсе Report(LightSquid) -> Settings
On the first - enable log in squid package with "/var/squid/log" path.
В конфигурационном файле стоит путь к логу /var/squid/logs
Если вручную поставит в сквиде /var/squid/log то через некоторое время все равно строка меняется на /var/squid/logs

Ввиду этого еще интересно, куда обращается rsh при конвертации логов ?

rsh никуда не обращается, это демон который считает трафик

есть скрипт

#!/bin/sh
net="192.168"
ttime=`/usr/bin/rsh localhost sh ip acco | grep 'Accounting data saved' | awk '{print ($4)}'`
rsh localhost clear ip accounting
rsh localhost show ip accounting checkpoint | grep $net | awk -v vtime=$ttime '{if ($5 != 0) print (vtime".000",1,$2,"TCP_MISS/200",$4,"CONNECT",$1":"$5,"-","DIRECT/"$1,"-")}' >> /var/squid/log/access.log

в самом конце видно куда все дописывает, вот и поправь на нужный путь

rubic · Apr 27, 2012, 12:53 PM

@nomeron:

Подскажите, кто работает во второй версии пф
Непонятно по каталогу с логами. По инструкции "Подсчет трафика с помощью Squid и ipcad в pfSense 2.0" это
/var/squid/log/access.log
но в пф 2.01 каталогом по умолчанию является /var/squid/logs (отличие в букве s на конце)
и не смотря на то, что в веб интерфейсе Report(LightSquid) -> Settings
On the first - enable log in squid package with "/var/squid/log" path.
В конфигурационном файле стоит путь к логу /var/squid/logs
Если вручную поставит в сквиде /var/squid/log то через некоторое время все равно строка меняется на /var/squid/logs

Ввиду этого еще интересно, куда обращается rsh при конвертации логов ?

По умолчанию, после установки squid каталог логов /var/squid/logs, но после установки LightSquid он автоматически меняется на /var/squid/log. Почему этого не происходит у вас - не знаю, но zar0ku1 прав - проще натравить скрипт на актуальный каталог логов, чем разбираться))

dr.gopher · Oct 17, 2012, 1:34 PM

Давненько дело было, forestman99 скрипт выкладывал для резолвинга IP в дом. имена. Для подсчета статистики без сквида.
http://forum.pfsense.org/index.php/topic,21394.msg168129.html#msg168129

Кто-то тестировал?

содержимое /root/tolog.sh

#!/bin/sh
rez2=""
#REZ="q"
iptoname ()
{
rez2=$1
REZ=$(/usr/bin/dig -x $1 +short)
# echo "REZ - $REZ - $1"
if [ -z $REZ]
then

{

echo

}
else
{
rez2=$REZ
}
fi
}

net="192.168.3"
ttime=/usr/bin/rsh localhost sh ip acco | /usr/bin/grep 'Accounting data saved' | /usr/bin/awk '{print ($4)}'
/usr/bin/rsh localhost clear ip accounting
/usr/bin/rsh localhost show ip accounting checkpoint | /usr/bin/grep $net > /root/tolog.txt

while read p1 p2 p3 p4 p5 p6 p7 p8
do

if [ "$p5" != "0" ]
then
rez2=""
iptoname "$p1"
echo "$ttime.000" 1 $p2 "TCP_MISS/200" $p4 "CONNECT" $rez2:"$p5 "-" "DIRECT/"$p1" -"" >>/var/squid/log/access.log
# echo "$vtime.000" 1 $p2 "TCP_MISS/200" $p4 "CONNECT" $rez2:"$p5 "-" "DIRECT/"$p1" -"" >>/var/squid/log/access.log
else
fi
done < /root/tolog.txt

exit 0

35house · Oct 23, 2012, 7:17 PM

Народ всем привет, извиняюсь наверное за тупой вопрос, но в режиме Transparent proxy он только 80-й порт пропускает ??? а в остальных прогах придется прописывать все равно ??? Вообщем нужно настроить подсчет трафика, но чтобы на клиентских машинах не нужно было прокси нигде прописывать, по этому мануалу так возможно ???

dr.gopher · Oct 23, 2012, 8:58 PM

@35house:

по этому мануалу так возможно ???

Да

35house · Oct 23, 2012, 10:01 PM

сделал все по инструкции, в реал тайм статистике все работает хорошо, но вот когда перехожу на вкладку Lightsquid Report, выдает ошибку, скрины вкладки настроек и ошибки прилагаю.

![Image 4.png](/public/imported_attachments/1/Image 4.png)
![Image 4.png_thumb](/public/imported_attachments/1/Image 4.png_thumb)
![Image 5.png](/public/imported_attachments/1/Image 5.png)
![Image 5.png_thumb](/public/imported_attachments/1/Image 5.png_thumb)

35house · Oct 23, 2012, 10:48 PM

в папке /var/lightsquid/report болт ночевал - в общем она пустая.

dr.gopher · Oct 24, 2012, 6:50 AM

@35house:

в папке /var/lightsquid/report болт ночевал - в общем она пустая.

1. Вам сюда http://forum.pfsense.org/index.php/topic,21394.0.html
2. Все ваши вопросы давно обсуждались. Читайте тему.
3. Для получения адекватного ответа, пишите - что установлено, что сделано, через и что редактировалось, в какой среде установлен PF.

DasTieRR · Oct 24, 2012, 5:16 PM

@35house:

в папке /var/lightsquid/report болт ночевал - в общем она пустая.

В сквиде стоит галка log?

35house · Oct 25, 2012, 6:13 AM

@DasTieRR:

@35house:

в папке /var/lightsquid/report болт ночевал - в общем она пустая.

В сквиде стоит галка log?

))))))))) Это ж надо было так лохануться, спасибо за помощь, все работает !!!

Rezor666 · Dec 5, 2012, 11:57 AM

После установки и настройки ipcad локальный трафик все равно считается.
Хотя в конфиге есть:
aggregate 192.168.0.0/16 strip 32; /* Don't aggregate internal range /
aggregate 0.0.0.0/0 strip 32; / Don't! Aggregate external networks */

ogursoft · Dec 6, 2012, 3:45 PM

Не могу прицепить к ipcad подсеть на pppoe сервере. Подсеть на лане видна в логи сквида добавляется.

rubic · Dec 7, 2012, 2:55 AM

@Rezor666:

После установки и настройки ipcad локальный трафик все равно считается.
Хотя в конфиге есть:
aggregate 192.168.0.0/16 strip 32; /* Don't aggregate internal range /
aggregate 0.0.0.0/0 strip 32; / Don't! Aggregate external networks */

Эта aggregate не причем к локальному трафику, она только говорит как локальные хосты будут в логе отображаться. Либо каждый по отдельности (32), либо все скопом, как сеть, например 192.168.0.0 (24). В последнем случае локальные машины будут неразличимы в отчетах, будет видно только суммарный трафик на сеть 192.168.0.0/24

rubic · Dec 7, 2012, 3:22 AM

@ogursoft:

Не могу прицепить к ipcad подсеть на pppoe сервере. Подсеть на лане видна в логи сквида добавляется.

Боюсь нельзя. Интерфейс, на котором pppoe-сервер висит, слушать бессмысленно, т.к. ipcad - это IP cisco accounting daemon, а у вас IP завернут в PPP завернутый в ethernet.

Rezor666 · Dec 10, 2012, 6:22 AM

а как тогда сделать что бы не считался трафик? Или хотя бы что бы его не было в lightsquid?

rubic · Dec 11, 2012, 1:32 AM

@Rezor666:

а как тогда сделать что бы не считался трафик? Или хотя бы что бы его не было в lightsquid?

Объясните подробнее какой трафик вас не устраивает? Между какими сетями?

Rezor666 · Dec 11, 2012, 5:24 AM

Мне нужно что бы не считался локальный трафик 192.168.0.0/16.
Просто организован локальное обновления антивирусных баз и WSUS и pfsense этот трафик считает.

rubic · Dec 12, 2012, 6:41 AM

ipcad считает трафик проходящий через интрефейс. Если сервера обновлений находятся в одном ethernet сегменте с теми рабочими станциями, которые эти обновления с них тянут, то этот трафик не проходит через pfSense.
Если в разных сегментах и, соответственно, разных подсетях, то проходит. Поэтому еще раз, между какими сетями (локальными IP адресами) вы видите трафик и сколько у вас локальных (LAN) интерфейсов на pfSense?

scorp_nv · Dec 12, 2012, 6:20 PM

Никто не сталкивался с тем, что при одновременной записи в лог строчка ipcad влезает в середину строчки squid или наоборот? В итоге анализатор лога на этой строчке вылетает с ошибкой или просто заканчивает работу… Через сервер проходит много траффика, первая мысль приостанавливать squid на момент отработки tolog.sh после работы мозгом показалась бредовой. Вторая мысль писать логи в разные файлы и объединять перед анализом получше, но не знаю как правильно слить, чтобы записи располагались правильно по времени... Ну и тут тоже подводный камень, ведь сливать нужно за текущий день, за неделю и за месяц, т.е. строго определённые промежутки, с этим у меня вообще тёмный лес... Помогите новичку, плз...