Еще раз о ipcad+squid+lightsquid

DasTieRR

Спасибо за совет, попробую! Однако, как всё же можно объяснить что файл размером 100Mb скачанный с ресурса FTP.BYFLY.BY в логе это отображается как forum.pfsense.org

Файл размером 100Mb, скачанный с ресурса FTP.BYFLY.BY, в логе не должен был отобразиться вообще. Если бы ipcad его подсчитал, это выглядело бы как FTP.BYFLY.BY:21, т.е. адрес с указанием порта.

Могу посоветовать только посмотреть что есть в access.log сквида на этот счёт.
Ещё статистика могла отобразиться, если файл качался через http, но подмену адреса я лично, объяснить не могу.

Broodval

@DasTieRR:

Спасибо за совет, попробую! Однако, как всё же можно объяснить что файл размером 100Mb скачанный с ресурса FTP.BYFLY.BY в логе это отображается как forum.pfsense.org

Файл размером 100Mb, скачанный с ресурса FTP.BYFLY.BY, в логе не должен был отобразиться вообще. Если бы ipcad его подсчитал, это выглядело бы как FTP.BYFLY.BY:21, т.е. адрес с указанием порта.

Могу посоветовать только посмотреть что есть в access.log сквида на этот счёт.
Ещё статистика могла отобразиться, если файл качался через http, но подмену адреса я лично, объяснить не могу.

Вот вырезка с access.log на этот счёт:

1299954060.000 1 10.10.200.14 TCP_MISS/200 1138 CONNECT 86.57.151.3:57684 - DIRECT/86.57.151.3 -
1299954060.000 1 10.10.200.14 TCP_MISS/200 133 CONNECT 82.209.213.51:53 - DIRECT/82.209.213.51 -
1299954060.000 1 10.10.200.14 TCP_MISS/200 1863 CONNECT 86.57.151.3:50196 - DIRECT/86.57.151.3 -
1299954060.000 1 10.10.200.14 TCP_MISS/200 2156 CONNECT 86.57.151.3:21 - DIRECT/86.57.151.3 -

IP 86.57.151.3 - это и есть ftp.byfly.by

rubic

@DasTieRR:

# ipcad
Opening bge0... [LCap] [ERSH] [4096] [bge0/interactive] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Aggregate ports 3128..3128 into 0
Aggregate ports 80..80 into 0
Aggregate ports 443..443 into 443
Configured RSH Server listening at 127.0.0.1
Can't start: another instance running, pid=521
Can't initialize pid file /var/log/ipcad/ipcad.pid: Operation not permitted
Make sure you have . under /var/log/ipcad used as new root. man 2 chroot.
…
В вашем текущем конфиге, который Вы указали выше, ipcad считает только HTTPS (443 порт).
Aggregate ports X into X; - под X подставляете все порты, которые ipcad должен подсчитать и сохранить в лог. Одна строчка - один порт, либо пул портов (последовательных)

Это не так. aggregate ports лишь описывает то, как реальные порты будут выглядеть в логе squid. Можно, например, написать:
aggregate ports 8080..8080 into 88 и тогда трафик пришедший с порта 8080 в логах будет выглядеть как пришедший с порта 88. Никакие aggregate ports не запрещают ipcad'у считать и заносить в лог остальные (не описанные в этих aggregate ports) порты. У меня, например, все aggregate ports вообще отключены, чего и всем советую.

DasTieRR

@rubic:

@DasTieRR:
# ipcad
Opening bge0... [LCap] [ERSH] [4096] [bge0/interactive] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Aggregate ports 3128..3128 into 0
Aggregate ports 80..80 into 0
Aggregate ports 443..443 into 443
Configured RSH Server listening at 127.0.0.1
Can't start: another instance running, pid=521
Can't initialize pid file /var/log/ipcad/ipcad.pid: Operation not permitted
Make sure you have . under /var/log/ipcad used as new root. man 2 chroot.
…
В вашем текущем конфиге, который Вы указали выше, ipcad считает только HTTPS (443 порт).
Aggregate ports X into X; - под X подставляете все порты, которые ipcad должен подсчитать и сохранить в лог. Одна строчка - один порт, либо пул портов (последовательных)
Это не так. aggregate ports лишь описывает то, как реальные порты будут выглядеть в логе squid. Можно, например, написать:
aggregate ports 8080..8080 into 88 и тогда трафик пришедший с порта 8080 в логах будет выглядеть как пришедший с порта 88. Никакие aggregate ports не запрещают ipcad'у считать и заносить в лог остальные (не описанные в этих aggregate ports) порты. У меня, например, все aggregate ports вообще отключены, чего и всем советую.

В принципе это я и имел ввиду (поэтому пользуюсь строчкой aggregate ports 1024..65536 into 65536, чтобы не захламлять статистику)

"У меня, например, все aggregate ports вообще отключены, чего и всем советую." - а вот это я не понял, т.е. я вот хочу видеть в логах аську - я добавил строчку для её порта aggregate ports 5190 into 5190 и сейчас она в логах есть, но ведь если я её закомменитрую разве она не перестанет отображаться в статистике?

rubic

@DasTieRR:

"У меня, например, все aggregate ports вообще отключены, чего и всем советую." - а вот это я не понял, т.е. я вот хочу видеть в логах аську - я добавил строчку для её порта aggregate ports 5190 into 5190 и сейчас она в логах есть, но ведь если я её закомменитрую разве она не перестанет отображаться в статистике?

Перестанет конечно, при том, что у вас стоит aggregate ports 1024..65536 into 65536, и только поэтому. Но у Broodval aggregate ports 1024..65536 into 65536 нет, поэтому на него не подействует. Он может добавлять aggregate ports 5190 into 5190, удалять его или комментировать, и все-равно трафик аськи будет исправно считаться на 5190 порту.

Broodval

Так всё таки вот это нормальная ситуация или нет?

Can't initialize pid file /var/log/ipcad/ipcad.pid: Operation not permitted
Make sure you have . under /var/log/ipcad used as new root. man 2 chroot.

И rubic, если я правильно понял, то при вот таком конфиге:

interface em0 filter "ip and dst net 10.10.200.0/24 and not src net 10.10.200.0/24 and not src port 80

и полностью закомментированных "aggregate <port_range_start>[-<port_range_end>]… " я буду видеть в логе Squid'a все соединения
идущие мимо 80 порта?
P.S. Просто я всё делал вот по этой инструкции http://ru.doc.pfsense.org/index.php/Подсчет_трафика_с_помощью_Squid_и_ipcad_в_pfSense_1.2.3,
но в логе была только статистика Squid'a, собственно поэтому я и поднял эту тему.</port_range_end></port_range_start>

rubic

@Broodval:

Так всё таки вот это нормальная ситуация или нет?
Can't initialize pid file /var/log/ipcad/ipcad.pid: Operation not permitted
Make sure you have . under /var/log/ipcad used as new root. man 2 chroot.

Не нормально, не нормально… Я вам в личку писал, вы читали?

И rubic, если я правильно понял, то при вот таком конфиге:
interface em0 filter "ip and dst net 10.10.200.0/24 and not src net 10.10.200.0/24 and not src port 80
и полностью закомментированных "aggregate <port_range_start>[-<port_range_end>]… " я буду видеть в логе Squid'a все соединения
идущие мимо 80 порта?</port_range_end></port_range_start>

да

P.S. Просто я всё делал вот по этой инструкции http://ru.doc.pfsense.org/index.php/Подсчет_трафика_с_помощью_Squid_и_ipcad_в_pfSense_1.2.3,
но в логе была только статистика Squid'a, собственно поэтому я и поднял эту тему.

Причина в другом, не в aggregate ports точно. Проверьте (top | grep ipcad) запущен ли ipcad. Если да, то покажите rsh localhost sh ip acco

Broodval

Всё привёл к первоначальному виду, а именно:

interface bge0 filter "ip and dst net 10.10.200.0/24 and not src net 10.10.200.0/24 and not src port 80";
Закомментировал все записи типа "aggregate <port_range_start>[-<port_range_end>] into <port>"
и запись dumpfile = /var/log/ipad/ipcad.dump привёл к виду dumpfile = ipcad.dump</port></port_range_end></port_range_start>

Перезагрузился.
Выполнил команду #top, результат:

last pid:  2403;  load averages:  0.00,  0.09,  0.08    up 0+00:08:29  11:10:55
55 processes:  1 running, 52 sleeping, 2 zombie
CPU:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
Mem: 30M Active, 11M Inact, 58M Wired, 296K Cache, 85M Buf, 893M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
  468 root        1   4    0 41736K 14816K accept 0   0:00  0.00% php
  892 proxy       1   4    0 13220K  8032K kqread 0   0:00  0.00% squid
 1234 root        1  44    0  7780K  3272K select 1   0:00  0.00% sshd
  698 root        1   8   20  3492K  1416K wait   0   0:00  0.00% sh
  991 root        1  44    0  7780K  3292K select 1   0:00  0.00% sshd
  995 root        1  44    0  4952K  2020K select 0   0:00  0.00% sftp-server
  452 root        1   8    0 39688K  5280K wait   0   0:00  0.00% php
  458 root        1   8    0 39688K  5280K wait   1   0:00  0.00% php
 1395 root        1   8   20  3156K   800K nanslp 1   0:00  0.00% check_reload_
  508 nobody      1  44    0  3156K  1292K select 1   0:00  0.00% dnsmasq
  457 root        1   8    0 39688K  5280K wait   0   0:00  0.00% php
  462 root        1   8    0 39688K  5280K wait   1   0:00  0.00% php
  323 root        1  44    0  3268K  1144K select 1   0:00  0.00% syslogd
 1366 root        1  20    0  3508K  2204K pause  1   0:00  0.00% tcsh
 1238 root        1   8    0  3492K  1388K wait   0   0:00  0.00% sh
  544 root        1   4    0  5156K  2844K kqread 0   0:00  0.00% lighttpd
 2397 root        1  44    0  3524K  1796K CPU0   0   0:00  0.00% top

Выполнил команду #rsh localhost sh ip account, результат:

   Source           Destination    Packets        Bytes  SrcPt DstPt Proto   IF

Accounting data age is     0
Accounting data age exact 44
Accounting data saved 1300266824
Interface bge0: received 11122, 5 m average 67 bytes/sec, 0 pkts/sec, dropped 0
Flow entries made: 0
Memory usage: 0% (0 from 10485760)
Free slots for rsh clients: 9
IPCAD uptime is 10 minutes
pfsense.local uptime is 10 minutes

Выполнил команду #killall ipcad && killall rsh, результат:

No matching processes were found

rubic

ipcad не стартует, /var/log/ipcad очистили?

Broodval

@rubic:

ipcad не стартует, /var/log/ipcad очистили?

Да, чистил (#rm /var/log/ipcad/ipcad*).
Сейчас в /var/log/ipcad/ находяться:
ipcad.pid

ipcad.dump

   Source           Destination    Packets        Bytes  SrcPt DstPt Proto   IF

Accounting data age is     0
Accounting data age exact 59
Accounting data saved 1300266899
Interface bge0: received 12195, 5 m average 52 bytes/sec, 0 pkts/sec, dropped 0
Flow entries made: 0
Memory usage: 0% (0 from 10485760)
Free slots for rsh clients: 10
IPCAD uptime is 11 minutes
pfsense.local uptime is 12 minutes

Так как же заставить ipcad запускаться?

DasTieRR

@Broodval:

@rubic:

ipcad не стартует, /var/log/ipcad очистили?

Да, чистил (#rm /var/log/ipcad/ipcad*).
Сейчас в /var/log/ipcad/ находяться:
ipcad.pid
4167
ipcad.dump
   Source           Destination    Packets        Bytes  SrcPt DstPt Proto   IF

Accounting data age is     0
Accounting data age exact 59
Accounting data saved 1300266899
Interface bge0: received 12195, 5 m average 52 bytes/sec, 0 pkts/sec, dropped 0
Flow entries made: 0
Memory usage: 0% (0 from 10485760)
Free slots for rsh clients: 10
IPCAD uptime is 11 minutes
pfsense.local uptime is 12 minutes
Так как же заставить ipcad запускаться?

Сравнил Ваш конфиг и свой (с рабочей машины) - отличие только одно (не знаю поможет ли) #chroot = /var/log/ipcad; т.е. у меня эта строчка закомментирована, у Вас нет. (при этой, закомментированной, строчке ipcad скидывает дамп в /var/log/ipcad)

rubic

2Broodval
Какая версия PFsense у вас? Что получается если попробовать запустить ipcad руками (ipcad -rds)?
На всякий случай:
@zar0ku1:

версия 1.2.2 выдает ошибку


Can't lock PID file ipcad.pid: Invalid argument
Can't initialize pid file /tmp/ipcad.pid: Operation not permitted
Make sure you have . under /tmp used as new root. man 2 chroot.

комментируем строчки

#chroot
#pidfile

прописываем:


dumpfile = /var/log/ipcad/ipcad.dump;

и создаем его


mkdir /var/log/ipcad/
touch /var/log/ipcad/ipcad.dump
chmod 600 /var/log/ipcad/ipcad.dump

Broodval

rubic
Версия: 1.2.3
Закомментировал chroot = /var/log/ipcad (также пробовал комментировать pidfile и chroot, результат аналогичный)
Прописал и создал ещё раз dumpfile = /var/log/ipcad/ipcad.dump;
Результаты:
#top

last pid:  3150;  load averages:  0.00,  0.04,  0.07    up 0+00:13:31  18:52:52
57 processes:  1 running, 52 sleeping, 4 zombie
CPU:  0.0% user,  0.0% nice,  0.2% system,  0.0% interrupt, 99.8% idle
Mem: 30M Active, 12M Inact, 66M Wired, 420K Cache, 88M Buf, 885M Free
Swap: 2048M Total, 2048M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
  472 root        1   4    0 41736K 14920K accept 0   0:00  0.00% php
  847 proxy       1   4    0 14244K  8860K kqread 1   0:00  0.00% squid
  703 root        1   8   20  3492K  1392K wait   1   0:00  0.00% sh
 2561 root        1  44    0  7780K  3276K select 0   0:00  0.00% sshd
  437 root        1  44    0  7780K  3212K select 1   0:00  0.00% sshd
 1448 root        1   8   20  3156K   784K nanslp 0   0:00  0.00% check_reload_
  453 root        1   8    0 39688K  5252K wait   1   0:00  0.00% php
  461 root        1   8    0 39688K  5252K wait   0   0:00  0.00% php
  324 root        1  44    0  3268K  1136K select 0   0:00  0.00% syslogd
  459 root        1   8    0 39688K  5252K wait   0   0:00  0.00% php
  458 root        1   8    0 39688K  5252K wait   1   0:00  0.00% php
  552 root        1   4    0  5156K  2864K kqread 0   0:00  0.00% lighttpd
 1436 root        1   8    0  3492K  1368K wait   1   0:00  0.00% sh
  447 root        1   4    0  5144K  2160K kqread 1   0:00  0.00% lighttpd
 3110 root        1  44    0  3524K  1796K CPU1   1   0:00  0.00% top
  344 root        1 -58    0  5716K  2092K bpf    0   0:00  0.00% tcpdump
 2528 root        1   8    0  3516K  1476K wait   0   0:00  0.00% login

#ipcad -rds

Opening bge0... [LCap] [ERSH] [4096] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Configured RSH Server listening at 127.0.0.1
No valid entries found in /var/log/ipcad/ipcad.dump.
Daemonized.

# ipcad

Opening bge0... [LCap] [ERSH] [4096] [bge0/interactive] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Configured RSH Server listening at 127.0.0.1
Can't bind socket for RSH Server.
Failed to start one or more servers.

rubic

@Broodval:

#ipcad -rds

Opening bge0... [LCap] [ERSH] [4096] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Configured RSH Server listening at 127.0.0.1
No valid entries found in /var/log/ipcad/ipcad.dump.
Daemonized.

Вот это и есть нормальный запуск ipcad, больше ничего делать не надо

Broodval

@rubic:

@Broodval:
#ipcad -rds
Opening bge0... [LCap] [ERSH] [4096] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Configured RSH Server listening at 127.0.0.1
No valid entries found in /var/log/ipcad/ipcad.dump.
Daemonized.
Вот это и есть нормальный запуск ipcad, больше ничего делать не надо

Это конечно радует, однако когда после всего вышеизложенного я делаю команду #ipcad, то получаю вот что:

# ipcad -rds
Opening bge0... [LCap] [ERSH] [4096] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Configured RSH Server listening at 127.0.0.1
No valid entries found in /var/log/ipcad/ipcad.dump.
Daemonized.
# ipcad
Opening bge0... [LCap] [ERSH] [4096] [bge0/interactive] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Configured RSH Server listening at 127.0.0.1
Can't bind socket for RSH Server.
Failed to start one or more servers.

Это так и надо или ещё что-то надо покрутить?

rubic

У вас ipcad уже запущен, а вы пытаетесь его запустить еще раз. Вот и лезут ошибки. Вам нужно добиться чтобы вот это:

Opening bge0... [LCap] [ERSH] [4096] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Configured RSH Server listening at 127.0.0.1
No valid entries found in /var/log/ipcad/ipcad.dump.
Daemonized.

появлялось при загрузке системы, больше ничего не нужно запускать.

Broodval

@rubic:

У вас ipcad уже запущен, а вы пытаетесь его запустить еще раз. Вот и лезут ошибки. Вам нужно добиться чтобы вот это:
Opening bge0... [LCap] [ERSH] [4096] Initialized as 1
Aggregate network 10.10.200.0/255.255.255.0 -> 255.255.255.255
Aggregate network 0.0.0.0/0.0.0.0 -> 255.255.255.255
Configured RSH Server listening at 127.0.0.1
No valid entries found in /var/log/ipcad/ipcad.dump.
Daemonized.
появлялось при загрузке системы, больше ничего не нужно запускать.

Исправил! Проблема была в файле config.xml, а именно он содержал две одинаковые строчки запуска ipcad.
<shellcmd>/usr/local/bin/ipcad -rds</shellcmd>

Axl

Добрый день!
все тоже самое было, поправил… НО! статистика считается только со сквида... как получить статистику по другим портам и протоколам?

Broodval

Да, небольшая проблема осталась(
Вот при такой строчке:

nterface bge0 filter "ip and dst net 10.10.200.0/24 and not src net 10.10.200.0/24";и полностью закомментированных  "aggregate <port_range_start>[-<port_range_end>]</port_range_end></port_range_start>

в статистике есть всё, но не ресолвятся адреса, статистика имеет вид ip:port.
А вот при такой строчке:

nterface bge0 filter "ip and dst net 10.10.200.0/24 and not src net 10.10.200.0/24 and not src port 80";и полностью закомментированных  "aggregate <port_range_start>[-<port_range_end>]</port_range_end></port_range_start>

в статистике отображается только статистика ipcad, вида IP:port (для ipcad вид IP:port это нормально).

P.S. Спасибо rubic что помог решить предыдущие проблемы и указал направление действий!</ip:port>

Broodval

@Axl:

Добрый день!
все тоже самое было, поправил… НО! статистика считается только со сквида... как получить статистику по другим портам и протоколам?

Если ты делал тоже самое, то твоей целью и должно было быть получение статистики по другим портам. Уточни проблему!