Problema Reporte Squid

locopepo

El valor del log rotate incide en la generación de reportes.?

periko

Oyes que tienes en el folder

/var/squid/log

Ejecuta:

ls -l /var/squid/log

?

locopepo

Esto me arrojo

ls -l /var/squid/log
total 466810
-rw-r–--- 1 proxy proxy 5758219 Aug 4 10:24 access.log
-rw-r----- 1 proxy proxy 36603952 Aug 3 23:57 access.log.0
-rw-r----- 1 proxy proxy 78014 Aug 2 23:43 access.log.1
-rw-r----- 1 proxy proxy 0 Jul 23 00:00 access.log.10
-rw-r----- 1 proxy proxy 0 Jul 22 00:00 access.log.11
-rw-r----- 1 proxy proxy 0 Jul 21 00:00 access.log.12
-rw-r----- 1 proxy proxy 3749898 Jul 20 21:29 access.log.13
-rw-r----- 1 proxy proxy 6023254 Jul 19 23:29 access.log.14
-rw-r----- 1 proxy proxy 5367356 Jul 18 23:29 access.log.15
-rw-r----- 1 proxy proxy 31925 Jul 17 23:27 access.log.16
-rw-r----- 1 proxy proxy 31744 Jul 16 23:27 access.log.17
-rw-r----- 1 proxy proxy 872149 Jul 15 23:27 access.log.18
-rw-r----- 1 proxy proxy 2957628 Jul 14 23:27 access.log.19
-rw-r----- 1 proxy proxy 0 Jul 31 00:00 access.log.2
-rw-r----- 1 proxy proxy 1880693 Jul 13 23:40 access.log.20
-rw-r----- 1 proxy proxy 4015152 Jul 12 23:27 access.log.21
-rw-r----- 1 proxy proxy 3947604 Jul 11 23:52 access.log.22
-rw-r----- 1 proxy proxy 143077 Jul 10 23:57 access.log.23
-rw-r----- 1 proxy proxy 160279 Jul 9 23:55 access.log.24
-rw-r----- 1 proxy proxy 16584969 Jul 9 00:00 access.log.25
-rw-r----- 1 proxy proxy 20745891 Jul 7 23:59 access.log.26
-rw-r----- 1 proxy proxy 258194 Jul 6 23:57 access.log.27
-rw-r----- 1 proxy proxy 14668122 Jul 5 12:01 access.log.28
-rw-r----- 1 proxy proxy 23439335 Jul 4 23:31 access.log.29
-rw-r----- 1 proxy proxy 0 Jul 30 00:00 access.log.3
-rw-r----- 1 proxy proxy 206350 Jul 3 23:50 access.log.30
-rw-r----- 1 proxy proxy 210669 Jul 2 23:49 access.log.31
-rw-r----- 1 proxy proxy 660626 Jul 1 23:50 access.log.32
-rw-r----- 1 proxy proxy 7493736 Jun 30 10:29 access.log.33
-rw-r----- 1 proxy proxy 34667519 Jun 29 23:44 access.log.34
-rw-r----- 1 proxy proxy 27341014 Jun 29 00:00 access.log.35
-rw-r----- 1 proxy proxy 242075 Jun 27 23:55 access.log.36
-rw-r----- 1 proxy proxy 293870 Jun 26 23:44 access.log.37
-rw-r----- 1 proxy proxy 276949 Jun 25 23:44 access.log.38
-rw-r----- 1 proxy proxy 27470725 Jun 24 23:45 access.log.39
-rw-r----- 1 proxy proxy 0 Jul 29 00:00 access.log.4
-rw-r----- 1 proxy proxy 26947102 Jun 23 23:45 access.log.40
-rw-r----- 1 proxy proxy 15955926 Jun 22 23:45 access.log.41
-rw-r----- 1 proxy proxy 0 Jun 21 00:00 access.log.42
-rw-r----- 1 proxy proxy 0 Jun 20 00:00 access.log.43
-rw-r----- 1 proxy proxy 39598 Jun 19 08:44 access.log.44
-rw-r----- 1 proxy proxy 138074 Jun 18 23:53 access.log.45
-rw-r----- 1 proxy proxy 27404033 Jun 17 23:53 access.log.46
-rw-r----- 1 proxy proxy 32087419 Jun 16 23:53 access.log.47
-rw-r----- 1 proxy proxy 31182415 Jun 15 23:53 access.log.48
-rw-r----- 1 proxy proxy 26282251 Jun 14 23:53 access.log.49
-rw-r----- 1 proxy proxy 0 Jul 28 00:00 access.log.5
-rw-r----- 1 proxy proxy 12589505 Jun 13 23:57 access.log.50
-rw-r----- 1 proxy proxy 0 Jun 12 00:00 access.log.51
-rw-r----- 1 proxy proxy 0 Jun 11 00:00 access.log.52
-rw-r----- 1 proxy proxy 1191937 Jun 10 11:08 access.log.53
-rw-r----- 1 proxy proxy 774819 Jun 9 23:57 access.log.54
-rw-r----- 1 proxy proxy 4636238 Jun 9 00:00 access.log.55
-rw-r----- 1 proxy proxy 22248741 Jun 7 23:57 access.log.56
-rw-r----- 1 proxy proxy 26276911 Jun 6 23:57 access.log.57
-rw-r----- 1 proxy proxy 266114 Jun 5 23:53 access.log.58
-rw-r----- 1 proxy proxy 416230 Jun 4 23:53 access.log.59
-rw-r----- 1 proxy proxy 0 Jul 27 00:00 access.log.6
-rw-r----- 1 proxy proxy 0 Jul 26 00:00 access.log.7
-rw-r----- 1 proxy proxy 0 Jul 25 00:00 access.log.8
-rw-r----- 1 proxy proxy 0 Jul 24 00:00 access.log.9
-rw-r----- 1 proxy proxy 77592 Aug 4 10:22 cache.log
-rw-r----- 1 proxy proxy 272579 Aug 3 19:00 cache.log.0
-rw-r----- 1 proxy proxy 28394 Aug 2 18:52 cache.log.1
-rw-r----- 1 proxy proxy 474 Jul 23 00:00 cache.log.10
-rw-r----- 1 proxy proxy 474 Jul 22 00:00 cache.log.11
-rw-r----- 1 proxy proxy 474 Jul 21 00:00 cache.log.12
-rw-r----- 1 proxy proxy 75348 Jul 20 22:12 cache.log.13
-rw-r----- 1 proxy proxy 172156 Jul 19 17:39 cache.log.14
-rw-r----- 1 proxy proxy 97192 Jul 18 18:29 cache.log.15
-rw-r----- 1 proxy proxy 419 Jul 17 00:00 cache.log.16
-rw-r----- 1 proxy proxy 419 Jul 16 00:00 cache.log.17
-rw-r----- 1 proxy proxy 419 Jul 15 00:00 cache.log.18
-rw-r----- 1 proxy proxy 25874 Jul 14 12:42 cache.log.19
-rw-r----- 1 proxy proxy 474 Jul 31 00:00 cache.log.2
-rw-r----- 1 proxy proxy 1409 Jul 13 11:30 cache.log.20
-rw-r----- 1 proxy proxy 709 Jul 12 08:43 cache.log.21
-rw-r----- 1 proxy proxy 853 Jul 11 11:44 cache.log.22
-rw-r----- 1 proxy proxy 7226 Jul 10 20:08 cache.log.23
-rw-r----- 1 proxy proxy 507 Jul 9 00:23 cache.log.24
-rw-r----- 1 proxy proxy 60617 Jul 8 23:23 cache.log.25
-rw-r----- 1 proxy proxy 184027 Jul 7 23:08 cache.log.26
-rw-r----- 1 proxy proxy 7833 Jul 6 23:52 cache.log.27
-rw-r----- 1 proxy proxy 42199 Jul 5 17:48 cache.log.28
-rw-r----- 1 proxy proxy 143920 Jul 4 17:13 cache.log.29
-rw-r----- 1 proxy proxy 474 Jul 30 00:00 cache.log.3
-rw-r----- 1 proxy proxy 363 Jul 3 00:00 cache.log.30
-rw-r----- 1 proxy proxy 363 Jul 2 00:00 cache.log.31
-rw-r----- 1 proxy proxy 4875 Jul 1 16:41 cache.log.32
-rw-r----- 1 proxy proxy 11597 Jun 30 10:32 cache.log.33
-rw-r----- 1 proxy proxy 14924 Jun 29 17:20 cache.log.34
-rw-r----- 1 proxy proxy 454904 Jun 28 19:11 cache.log.35
-rw-r----- 1 proxy proxy 915 Jun 27 16:19 cache.log.36
-rw-r----- 1 proxy proxy 915 Jun 26 16:19 cache.log.37
-rw-r----- 1 proxy proxy 509 Jun 25 13:27 cache.log.38
-rw-r----- 1 proxy proxy 21364 Jun 24 15:56 cache.log.39
-rw-r----- 1 proxy proxy 474 Jul 29 00:00 cache.log.4
-rw-r----- 1 proxy proxy 83295 Jun 23 17:26 cache.log.40
-rw-r----- 1 proxy proxy 22236 Jun 22 17:34 cache.log.41
-rw-r----- 1 proxy proxy 306 Jun 21 00:00 cache.log.42
-rw-r----- 1 proxy proxy 4671 Jun 20 08:48 cache.log.43
-rw-r----- 1 proxy proxy 3525 Jun 19 15:14 cache.log.44
-rw-r----- 1 proxy proxy 306 Jun 18 00:00 cache.log.45
-rw-r----- 1 proxy proxy 65126 Jun 17 16:30 cache.log.46
-rw-r----- 1 proxy proxy 11763 Jun 16 17:26 cache.log.47
-rw-r----- 1 proxy proxy 23212 Jun 15 18:28 cache.log.48
-rw-r----- 1 proxy proxy 16112 Jun 14 18:59 cache.log.49
-rw-r----- 1 proxy proxy 4427 Jul 28 14:03 cache.log.5
-rw-r----- 1 proxy proxy 7888 Jun 13 17:56 cache.log.50
-rw-r----- 1 proxy proxy 305 Jun 12 00:00 cache.log.51
-rw-r----- 1 proxy proxy 305 Jun 11 00:00 cache.log.52
-rw-r----- 1 proxy proxy 12764 Jun 10 18:17 cache.log.53
-rw-r----- 1 proxy proxy 6571 Jun 9 17:30 cache.log.54
-rw-r----- 1 proxy proxy 4821 Jun 8 17:05 cache.log.55
-rw-r----- 1 proxy proxy 35476 Jun 7 20:05 cache.log.56
-rw-r----- 1 proxy proxy 248469 Jun 6 19:35 cache.log.57
-rw-r----- 1 proxy proxy 306 Jun 5 00:00 cache.log.58
-rw-r----- 1 proxy proxy 306 Jun 4 00:00 cache.log.59
-rw-r----- 1 proxy proxy 474 Jul 27 00:00 cache.log.6
-rw-r----- 1 proxy proxy 474 Jul 26 00:00 cache.log.7
-rw-r----- 1 proxy proxy 474 Jul 25 00:00 cache.log.8
-rw-r----- 1 proxy proxy 474 Jul 24 00:00 cache.log.9

periko

Tienes un arsenal de logs.

Se supone que por cada log debe mostrarte un reporte.

Tienes muchos en 0 como el access.log.10 y otros mas ahi no tiene lightsquid datos para sacar el reporte de ese dia por ello aparece vacio, correcto?.

lightsquid tiene su propio batch que rota los logs de squid, y aparte si en tu configuracion del squid tienes un valor en log rotate donde le indicamos a squid cuantos archivos deseamos mantener esto tambien le indica a squid que el mismo debe rotar los logs y choca con el de lightsquid y esto lo lei en el foro gringo, te recomiendo que si tienes un valor en el log rotate de squid lo borres y dejes que lightsquid haga su chamba.

De esto me di cuenta por que yo estuve usando lightsquid por un tiempo y nunca me gusto y a veces no sacaba informacion, no soy programador y le batalle para dar con el problema.

Lo que estoy usando ahorita es sarg pero a este lo tuve que instalar a mano y los reportes son mas completos que lightsquid.

Me avisas al respecto de favor, ando monitoreando todo lo relacionado con squid.

locopepo

Tu me dices que en
Proxy server: General settings deje en blanco …y en...
Services: Proxy server Report(LightSquid) -> Settings .....Refresh sheduler ponga un valor...

entiendo bien...?

periko

Bueno, me imagino que configurastes ambos o no?

locopepo

Pero esa es tu idea
dejar el primero en blanco y el segundo lo tengo en 24h?

locopepo

Instale sarg con
pkg_add -r http://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-7-stable/Latest/sarg.tbz

pero no me aparece en los menús y cuando lo ejecuto

sarg

SARG: Cannot open config file: /usr/local/etc/sarg/sarg.conf - No such file or directory

tienes algun manual de como instarlo?

periko

No, sarg no es parte de pfsense, lo puedes correr ya que a el final tienes un freebsd.

Este se tiene que meter a mano, mas tarde te voy a pasar una informacion sobre como hecharlo a volar, claro olvidate de verlo en el gui de pfsense, para esto se necesita alguien que entienda como integrarlo.

Saludos!!!

locopepo

ok a la espera de la info..

periko

Bueno ya tienes a sarg instalado, vamos viendo como ponerlo a trabajar:

-Debemos configurarlo, se instala en /usr/local/etc/sarg/
-Editalo a tu gusto, nomas eso donde indica rutas a archivos valida esas rutas.
-En /usr/local/www crea un folder llamado squid-reports.
Sarg tiene un parametro donde le indicamos a donde va a mandar toda su informacion:


output_dir /usr/local/www/squid-reports

Otro parametro importante es de donde toma la informacion de squid:


access_log /var/squid/log/access.log

Los demas son ya de apariencia y solo valida que los font que indica esten en ese lugar.

Ahora, existe un batch que yo encontre en la red y me esta haciendo el trabajo sucio, para que reinventar la rueda:

http://www.initzero.it/products/opensource/sarg-reports/download/sarg-reports

Crea un folder en /root/ llamado scripts, ahi guarda ese archivo.

Creo que solo debemos modificar estos parametros:

#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Italian Language

SARG=/usr/local/bin/sarg –----------------------------- ruta del ejecutable del squid
CONFIG=/usr/local/etc/sarg/sarg.conf ------------------------- ruta de la config del squid
HTMLOUT=/usr/local/www/squid-reports --------------------------- ruta a donde va a mandar los reportes
PAGETITLE="Statistiche Proxy di $(hostname)"
LOGOIMG=http://www.initzero.it/images/initzero-logo.jpg
LOGOLINK=http://www.initzero.it
DAILY=Diario
WEEKLY=Semanal
MONTHLY=Mensual
EXCLUDELOG1="SARG: Nessun records trovato."
EXCLUDELOG2="SARG: Fine"
#@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Revisa lo demas, creo que no es necesario modificar mas. Hay que respetar su trabajo, van a salir en Italiano ciertos comentarios pero no importa.

El batch hazlo ejecutable, y puedes correrlo a mano para que lo pruebes, cuando ya lo conozcas ahora si sigue crear el cron job que se encargara de el:

/root/scripts/sarg-reports.sh
SARG - Daily / Weekly / Monthly - Squid proxy usage reports creation tool
Written by Ugo Viti ugo.viti@initzero.itVersion: 20050202

Usage: /root/scripts/sarg-reports.sh [OPTIONS]

Allowed options:
manual, Create Manual report
today, Create Today report
daily, Create Daily report
weekly, Create Weekly report
montly, Create Monthly report/ugo.viti@initzero.it

Juega con el para que veas su funcion ;D

Ejecuta:

crontab -e

Y introduce esto:

50 59 * * * /root/scripts/sarg-reports.sh today
0 0 * * 0 /root/scripts/sarg-reports.sh weekly
0 0 1 * * /root/scripts/sarg-reports.sh montly

Listo, si lo ejecutastes a mano revisa el folder /usr/local/www/squid-reports/ te van a aparecer un directorio Diario, Semanal y dentro todo el contenido.

Ya nomas vete a tu navegador y metes la ruta manual:

http://ip-pfsense/squid-reports/

Y tienes que ver el contenido, me dices como te fue, saludos :)

Aqui les dejo unos pantallazos, saludos ;D

sarg2.JPG_thumb

sarg1.JPG_thumb

sarg3.JPG_thumb

locopepo

Uff no he tenido ni tiempo para probarlo…pero apenas pueda lo hago con tu ayuda,,,muchas gracias...