Problema Reporte Squid

[locopepo]

Estimados tengo problema con el reporte del Squid, ya q me faltan dias en los reportes,, alguien le pasa o ha pasado por lo mismo ?

Atte.

[periko]

Oyes a mi me pasa algo igual, pero un favor ejecuta este comando en la consola de favor:

grep "Restart required" cache.log.0 o grep "Restart required" cache.log

Dime si te sale:

2011/08/02 23:55:54| ERROR: Can't change type of existing cache_dir aufs /var/squid/cache to diskd. Restart required

Si das con esta linea arriba viene una que dice:

2011/08/02 23:55:54 |  logfileClose: closing log /var/squid/log/access.log

Segun squid yo lo tengo para que me deje 30 logs, el solito debe rotarse, pero hay dias donde no lo hace, necesito yo manualmente tener que ejecutar el restart y otros pasos mas, tu como lo estas rotantdo?

Lo que si existe es que lightsquid tambien rota el log entonces hay un choque entre squid y este paquete si lo usas, pero yo uso sarg y lo que voy hacer es yo crear un batch que lo haga, ahi luego te cuento!!!

[locopepo]

Esto me sale cuando ejecuto la linea de comando

grep "Restart required" cache.log.0 o grep "Restart required" cache.log

grep: cache.log.0: No such file or directory
grep: o: No such file or directory
grep: grep: No such file or directory
grep: Restart required: No such file or directory
grep: cache.log: No such file or directory

[locopepo]

El valor del log rotate incide en la generación de reportes.?

[periko]

Oyes que tienes en el folder

/var/squid/log

Ejecuta:

ls -l /var/squid/log

?

[locopepo]

Esto me arrojo

ls -l /var/squid/log
total 466810
-rw-r–---  1 proxy  proxy  5758219 Aug  4 10:24 access.log
-rw-r-----  1 proxy  proxy  36603952 Aug  3 23:57 access.log.0
-rw-r-----  1 proxy  proxy    78014 Aug  2 23:43 access.log.1
-rw-r-----  1 proxy  proxy        0 Jul 23 00:00 access.log.10
-rw-r-----  1 proxy  proxy        0 Jul 22 00:00 access.log.11
-rw-r-----  1 proxy  proxy        0 Jul 21 00:00 access.log.12
-rw-r-----  1 proxy  proxy  3749898 Jul 20 21:29 access.log.13
-rw-r-----  1 proxy  proxy  6023254 Jul 19 23:29 access.log.14
-rw-r-----  1 proxy  proxy  5367356 Jul 18 23:29 access.log.15
-rw-r-----  1 proxy  proxy    31925 Jul 17 23:27 access.log.16
-rw-r-----  1 proxy  proxy    31744 Jul 16 23:27 access.log.17
-rw-r-----  1 proxy  proxy    872149 Jul 15 23:27 access.log.18
-rw-r-----  1 proxy  proxy  2957628 Jul 14 23:27 access.log.19
-rw-r-----  1 proxy  proxy        0 Jul 31 00:00 access.log.2
-rw-r-----  1 proxy  proxy  1880693 Jul 13 23:40 access.log.20
-rw-r-----  1 proxy  proxy  4015152 Jul 12 23:27 access.log.21
-rw-r-----  1 proxy  proxy  3947604 Jul 11 23:52 access.log.22
-rw-r-----  1 proxy  proxy    143077 Jul 10 23:57 access.log.23
-rw-r-----  1 proxy  proxy    160279 Jul  9 23:55 access.log.24
-rw-r-----  1 proxy  proxy  16584969 Jul  9 00:00 access.log.25
-rw-r-----  1 proxy  proxy  20745891 Jul  7 23:59 access.log.26
-rw-r-----  1 proxy  proxy    258194 Jul  6 23:57 access.log.27
-rw-r-----  1 proxy  proxy  14668122 Jul  5 12:01 access.log.28
-rw-r-----  1 proxy  proxy  23439335 Jul  4 23:31 access.log.29
-rw-r-----  1 proxy  proxy        0 Jul 30 00:00 access.log.3
-rw-r-----  1 proxy  proxy    206350 Jul  3 23:50 access.log.30
-rw-r-----  1 proxy  proxy    210669 Jul  2 23:49 access.log.31
-rw-r-----  1 proxy  proxy    660626 Jul  1 23:50 access.log.32
-rw-r-----  1 proxy  proxy  7493736 Jun 30 10:29 access.log.33
-rw-r-----  1 proxy  proxy  34667519 Jun 29 23:44 access.log.34
-rw-r-----  1 proxy  proxy  27341014 Jun 29 00:00 access.log.35
-rw-r-----  1 proxy  proxy    242075 Jun 27 23:55 access.log.36
-rw-r-----  1 proxy  proxy    293870 Jun 26 23:44 access.log.37
-rw-r-----  1 proxy  proxy    276949 Jun 25 23:44 access.log.38
-rw-r-----  1 proxy  proxy  27470725 Jun 24 23:45 access.log.39
-rw-r-----  1 proxy  proxy        0 Jul 29 00:00 access.log.4
-rw-r-----  1 proxy  proxy  26947102 Jun 23 23:45 access.log.40
-rw-r-----  1 proxy  proxy  15955926 Jun 22 23:45 access.log.41
-rw-r-----  1 proxy  proxy        0 Jun 21 00:00 access.log.42
-rw-r-----  1 proxy  proxy        0 Jun 20 00:00 access.log.43
-rw-r-----  1 proxy  proxy    39598 Jun 19 08:44 access.log.44
-rw-r-----  1 proxy  proxy    138074 Jun 18 23:53 access.log.45
-rw-r-----  1 proxy  proxy  27404033 Jun 17 23:53 access.log.46
-rw-r-----  1 proxy  proxy  32087419 Jun 16 23:53 access.log.47
-rw-r-----  1 proxy  proxy  31182415 Jun 15 23:53 access.log.48
-rw-r-----  1 proxy  proxy  26282251 Jun 14 23:53 access.log.49
-rw-r-----  1 proxy  proxy        0 Jul 28 00:00 access.log.5
-rw-r-----  1 proxy  proxy  12589505 Jun 13 23:57 access.log.50
-rw-r-----  1 proxy  proxy        0 Jun 12 00:00 access.log.51
-rw-r-----  1 proxy  proxy        0 Jun 11 00:00 access.log.52
-rw-r-----  1 proxy  proxy  1191937 Jun 10 11:08 access.log.53
-rw-r-----  1 proxy  proxy    774819 Jun  9 23:57 access.log.54
-rw-r-----  1 proxy  proxy  4636238 Jun  9 00:00 access.log.55
-rw-r-----  1 proxy  proxy  22248741 Jun  7 23:57 access.log.56
-rw-r-----  1 proxy  proxy  26276911 Jun  6 23:57 access.log.57
-rw-r-----  1 proxy  proxy    266114 Jun  5 23:53 access.log.58
-rw-r-----  1 proxy  proxy    416230 Jun  4 23:53 access.log.59
-rw-r-----  1 proxy  proxy        0 Jul 27 00:00 access.log.6
-rw-r-----  1 proxy  proxy        0 Jul 26 00:00 access.log.7
-rw-r-----  1 proxy  proxy        0 Jul 25 00:00 access.log.8
-rw-r-----  1 proxy  proxy        0 Jul 24 00:00 access.log.9
-rw-r-----  1 proxy  proxy    77592 Aug  4 10:22 cache.log
-rw-r-----  1 proxy  proxy    272579 Aug  3 19:00 cache.log.0
-rw-r-----  1 proxy  proxy    28394 Aug  2 18:52 cache.log.1
-rw-r-----  1 proxy  proxy      474 Jul 23 00:00 cache.log.10
-rw-r-----  1 proxy  proxy      474 Jul 22 00:00 cache.log.11
-rw-r-----  1 proxy  proxy      474 Jul 21 00:00 cache.log.12
-rw-r-----  1 proxy  proxy    75348 Jul 20 22:12 cache.log.13
-rw-r-----  1 proxy  proxy    172156 Jul 19 17:39 cache.log.14
-rw-r-----  1 proxy  proxy    97192 Jul 18 18:29 cache.log.15
-rw-r-----  1 proxy  proxy      419 Jul 17 00:00 cache.log.16
-rw-r-----  1 proxy  proxy      419 Jul 16 00:00 cache.log.17
-rw-r-----  1 proxy  proxy      419 Jul 15 00:00 cache.log.18
-rw-r-----  1 proxy  proxy    25874 Jul 14 12:42 cache.log.19
-rw-r-----  1 proxy  proxy      474 Jul 31 00:00 cache.log.2
-rw-r-----  1 proxy  proxy      1409 Jul 13 11:30 cache.log.20
-rw-r-----  1 proxy  proxy      709 Jul 12 08:43 cache.log.21
-rw-r-----  1 proxy  proxy      853 Jul 11 11:44 cache.log.22
-rw-r-----  1 proxy  proxy      7226 Jul 10 20:08 cache.log.23
-rw-r-----  1 proxy  proxy      507 Jul  9 00:23 cache.log.24
-rw-r-----  1 proxy  proxy    60617 Jul  8 23:23 cache.log.25
-rw-r-----  1 proxy  proxy    184027 Jul  7 23:08 cache.log.26
-rw-r-----  1 proxy  proxy      7833 Jul  6 23:52 cache.log.27
-rw-r-----  1 proxy  proxy    42199 Jul  5 17:48 cache.log.28
-rw-r-----  1 proxy  proxy    143920 Jul  4 17:13 cache.log.29
-rw-r-----  1 proxy  proxy      474 Jul 30 00:00 cache.log.3
-rw-r-----  1 proxy  proxy      363 Jul  3 00:00 cache.log.30
-rw-r-----  1 proxy  proxy      363 Jul  2 00:00 cache.log.31
-rw-r-----  1 proxy  proxy      4875 Jul  1 16:41 cache.log.32
-rw-r-----  1 proxy  proxy    11597 Jun 30 10:32 cache.log.33
-rw-r-----  1 proxy  proxy    14924 Jun 29 17:20 cache.log.34
-rw-r-----  1 proxy  proxy    454904 Jun 28 19:11 cache.log.35
-rw-r-----  1 proxy  proxy      915 Jun 27 16:19 cache.log.36
-rw-r-----  1 proxy  proxy      915 Jun 26 16:19 cache.log.37
-rw-r-----  1 proxy  proxy      509 Jun 25 13:27 cache.log.38
-rw-r-----  1 proxy  proxy    21364 Jun 24 15:56 cache.log.39
-rw-r-----  1 proxy  proxy      474 Jul 29 00:00 cache.log.4
-rw-r-----  1 proxy  proxy    83295 Jun 23 17:26 cache.log.40
-rw-r-----  1 proxy  proxy    22236 Jun 22 17:34 cache.log.41
-rw-r-----  1 proxy  proxy      306 Jun 21 00:00 cache.log.42
-rw-r-----  1 proxy  proxy      4671 Jun 20 08:48 cache.log.43
-rw-r-----  1 proxy  proxy      3525 Jun 19 15:14 cache.log.44
-rw-r-----  1 proxy  proxy      306 Jun 18 00:00 cache.log.45
-rw-r-----  1 proxy  proxy    65126 Jun 17 16:30 cache.log.46
-rw-r-----  1 proxy  proxy    11763 Jun 16 17:26 cache.log.47
-rw-r-----  1 proxy  proxy    23212 Jun 15 18:28 cache.log.48
-rw-r-----  1 proxy  proxy    16112 Jun 14 18:59 cache.log.49
-rw-r-----  1 proxy  proxy      4427 Jul 28 14:03 cache.log.5
-rw-r-----  1 proxy  proxy      7888 Jun 13 17:56 cache.log.50
-rw-r-----  1 proxy  proxy      305 Jun 12 00:00 cache.log.51
-rw-r-----  1 proxy  proxy      305 Jun 11 00:00 cache.log.52
-rw-r-----  1 proxy  proxy    12764 Jun 10 18:17 cache.log.53
-rw-r-----  1 proxy  proxy      6571 Jun  9 17:30 cache.log.54
-rw-r-----  1 proxy  proxy      4821 Jun  8 17:05 cache.log.55
-rw-r-----  1 proxy  proxy    35476 Jun  7 20:05 cache.log.56
-rw-r-----  1 proxy  proxy    248469 Jun  6 19:35 cache.log.57
-rw-r-----  1 proxy  proxy      306 Jun  5 00:00 cache.log.58
-rw-r-----  1 proxy  proxy      306 Jun  4 00:00 cache.log.59
-rw-r-----  1 proxy  proxy      474 Jul 27 00:00 cache.log.6
-rw-r-----  1 proxy  proxy      474 Jul 26 00:00 cache.log.7
-rw-r-----  1 proxy  proxy      474 Jul 25 00:00 cache.log.8
-rw-r-----  1 proxy  proxy      474 Jul 24 00:00 cache.log.9

[periko]

Tienes un arsenal de logs.

Se supone que por cada log debe mostrarte un reporte.

Tienes muchos en 0 como el access.log.10 y otros mas ahi no tiene lightsquid datos para sacar el reporte de ese dia por ello aparece vacio, correcto?.

lightsquid tiene su propio batch que rota los logs de squid, y aparte si en tu configuracion del squid tienes un valor en log rotate donde le indicamos a squid cuantos archivos deseamos mantener esto tambien le indica a squid que el mismo debe rotar los logs y choca con el de lightsquid y esto lo lei en el foro gringo, te recomiendo que si tienes un valor en el log rotate de squid lo borres y dejes que lightsquid haga su chamba.

De esto me di cuenta por que yo estuve usando lightsquid por un tiempo y nunca me gusto y a veces no sacaba informacion, no soy programador y le batalle para dar con el problema.

Lo que estoy usando ahorita es sarg pero a este lo tuve que instalar a mano y los reportes son mas completos que lightsquid.

Me avisas al respecto de favor, ando monitoreando todo lo relacionado con squid.

[locopepo]

Tu me dices que en
Proxy server: General settings deje en blanco …y en...
Services: Proxy server Report(LightSquid) -> Settings .....Refresh sheduler ponga un valor...

entiendo bien...?

[periko]

Bueno, me imagino que configurastes ambos o no?

[locopepo]

Pero esa es tu idea
dejar el primero en blanco y el segundo lo tengo en 24h?

[locopepo]

Instale sarg con
pkg_add -r http://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-7-stable/Latest/sarg.tbz

pero no me aparece en los menús y cuando lo ejecuto

sarg

SARG: Cannot open config file: /usr/local/etc/sarg/sarg.conf - No such file or directory

tienes algun manual de como instarlo?

[periko]

No, sarg no es parte de pfsense, lo puedes correr ya que a el final tienes un freebsd.

Este se tiene que meter a mano, mas tarde te voy a pasar una informacion sobre como hecharlo a volar, claro olvidate de verlo en el gui de pfsense, para esto se necesita alguien que entienda como integrarlo.

Saludos!!!

[locopepo]

ok a la espera de la info..

[periko]

Bueno ya tienes a sarg instalado, vamos viendo como ponerlo a trabajar:

-Debemos configurarlo, se instala en /usr/local/etc/sarg/
-Editalo a tu gusto, nomas eso donde indica rutas a archivos valida esas rutas.
-En /usr/local/www crea un folder llamado squid-reports.
Sarg tiene un parametro donde le indicamos a donde va a mandar toda su informacion:

output_dir /usr/local/www/squid-reports

Otro parametro importante es de donde toma la informacion de squid:

access_log /var/squid/log/access.log

Los demas son ya de apariencia y solo valida que los font que indica esten en ese lugar.

Ahora, existe un batch que yo encontre en la red y me esta haciendo el trabajo sucio, para que reinventar la rueda:

http://www.initzero.it/products/opensource/sarg-reports/download/sarg-reports

Crea un folder en /root/ llamado scripts, ahi guarda ese archivo.

Creo que solo debemos modificar estos parametros:

#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Italian Language

SARG=/usr/local/bin/sarg    –----------------------------- ruta del ejecutable del squid
    CONFIG=/usr/local/etc/sarg/sarg.conf  ------------------------- ruta de la config del squid
   HTMLOUT=/usr/local/www/squid-reports --------------------------- ruta a donde va a mandar los reportes
 PAGETITLE="Statistiche Proxy di $(hostname)"
   LOGOIMG=http://www.initzero.it/images/initzero-logo.jpg
  LOGOLINK=http://www.initzero.it
     DAILY=Diario
    WEEKLY=Semanal
   MONTHLY=Mensual
EXCLUDELOG1="SARG: Nessun records trovato."
EXCLUDELOG2="SARG: Fine"
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Revisa lo demas, creo que no es necesario modificar mas. Hay que respetar su trabajo, van a salir en Italiano ciertos comentarios pero no importa.

El batch hazlo ejecutable, y puedes correrlo a mano para que lo pruebes, cuando ya lo conozcas ahora si sigue crear el cron job que se encargara de el:

/root/scripts/sarg-reports.sh
SARG - Daily / Weekly / Monthly - Squid proxy usage reports creation tool
Written by Ugo Viti ugo.viti@initzero.itVersion: 20050202

Usage: /root/scripts/sarg-reports.sh [OPTIONS]

Allowed options:
    manual,  Create Manual report
    today,  Create Today report
    daily,  Create Daily report
    weekly,  Create Weekly report
    montly,  Create Monthly report/ugo.viti@initzero.it

Juega con el para que veas su funcion ;D

Ejecuta:

crontab -e

Y introduce esto:

50 59 * * * /root/scripts/sarg-reports.sh today
0 0 * * 0 /root/scripts/sarg-reports.sh weekly
0 0 1 * * /root/scripts/sarg-reports.sh montly

Listo, si lo ejecutastes a mano revisa el folder /usr/local/www/squid-reports/ te van a aparecer un directorio Diario, Semanal y dentro todo el contenido.

Ya nomas vete a tu navegador y metes la ruta manual:

http://ip-pfsense/squid-reports/

Y tienes que ver el contenido, me dices como te fue, saludos  :)

Aqui les dejo unos pantallazos, saludos  ;D

[locopepo]

Uff no he tenido ni tiempo para probarlo…pero apenas pueda lo hago con tu ayuda,,,muchas gracias...