¿Squid no cachea?

jpabloace · May 8, 2013, 9:58 AM

Hola, llevo varios dias con squid3 y tras probar lo indicado en este hilo
http://forum.pfsense.org/index.php?topic=34616.0;prev_next=prev

du -hs /var/squid me devuelve siempre 9.7 M

y al editar var/squid/logs/access.logs siempre tiene muchas lineas en las que aparece solo TCP_MISS/302 o TCP_MISS/200 /204/206…

el contenido de squid.conf:

This file is automatically generated by pfSense

Do not edit manually !

http_port 192.168.100.1:3128
http_port 192.168.200.1:3128
http_port 127.0.0.1:3128 intercept
icp_port 7
dns_v4_first off
pid_filename /var/run/squid.pid
cache_effective_user proxy
cache_effective_group proxy
error_default_language es-es
icon_directory /usr/local/etc/squid/icons
visible_hostname localhost
cache_mgr admin@localhost
access_log /dev/null
cache_log /var/squid/logs/cache.log
cache_store_log none
sslcrtd_children 0
logfile_rotate 0
shutdown_lifetime 3 seconds

Allow local network(s) on interface(s)

acl localnet src 192.168.100.0/24 192.168.200.0/24
uri_whitespace strip

Break HTTP standard for flash videos. Keep them in cache even if asked not to.

refresh_pattern -i .flv$ 10080 90% 999999 ignore-no-cache override-expire ignore-private

Let the clients favorite video site through with full caching

acl youtube dstdomain .youtube.com
cache allow youtube

Windows Update refresh_pattern

range_offset_limit -1
refresh_pattern -i microsoft.com/..(cab|exe|ms[i|u|f]|asf|wm[v|a]|dat|zip) 4320 80% 43200 reload-into-ims
refresh_pattern -i windowsupdate.com/..(cab|exe|ms[i|u|f]|asf|wm[v|a]|dat|zip) 4320 80% 43200 reload-into-ims
refresh_pattern -i my.windowsupdate.website.com/.*.(cab|exe|ms[i|u|f]|asf|wm[v|a]|dat|zip) 4320 80% 43200 reload-into-ims

Avast refresh_pattern

range_offset_limit -1
refresh_pattern avast.com/.*.(vpu|cab|stamp|exe) 10080 100% 43200 reload-into-ims
cache_mem 1000 MB
maximum_object_size_in_memory 2500 KB
memory_replacement_policy heap LFUDA
cache_replacement_policy heap LFUDA
cache_dir ufs /var/squid/cache 20000 16 256
minimum_object_size 0 KB
maximum_object_size 10000 KB
offline_mode offcache_swap_low 90
cache_swap_high 95

Add any of your own refresh_pattern entries above these.

refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|?) 0 0% 0
refresh_pattern . 0 20% 4320

No redirector configured

#Remote proxies

Setup some default acls

acl allsrc src all
acl localhost src 127.0.0.1/32
acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901 3128 1025-65535
acl sslports port 443 563
acl manager proto cache_object
acl purge method PURGE
acl connect method CONNECT

Define protocols used for redirects

acl HTTP proto HTTP
acl HTTPS proto HTTPS

acl allowed_subnets src 192.168.200.1/24 192.168.100.1/24
acl unrestricted_hosts src "/var/squid/acl/unrestricted_hosts.acl"
acl blacklist dstdom_regex -i "/var/squid/acl/blacklist.acl"
http_access allow manager localhost

http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !safeports
http_access deny CONNECT !sslports

Always allow localhost connections

http_access allow localhost

request_body_max_size 0 KB
delay_pools 1
delay_class 1 2
delay_parameters 1 -1/-1 -1/-1
delay_initial_bucket_level 100
delay_access 1 allow allsrc

Reverse Proxy settings

Custom options

These hosts do not have any restrictions

http_access allow unrestricted_hosts

Block access to blacklist domains

http_access deny blacklist

Setup allowed acls

Allow local network(s) on interface(s)

http_access allow allowed_subnets
http_access allow localnet

Default block all to be sure

http_access deny allsrc

jpabloace · May 8, 2013, 12:47 PM

Se me ha pasado en mi post anterior que el proxy debe actuar sobre dos vlan . El filtrado de lista negra si lo hace. ?.¿puede haber alguna opción ajena a squid que este impidiendo que se haga caché.?

byPCS · May 9, 2013, 10:34 AM

buenas..
sin analizar mucho te diria que esta linea en la config del squid esta erronea..

@jpabloace:

acl allowed_subnets src 192.168.200.1/24 192.168.100.1/24

tendria que ser
192.168.200.0/24 y 192.168.100.0/24, caso contrario estas dando permiso solo a una PC de cada net

saludos..

jpabloace · May 9, 2013, 1:21 PM

Gracias. Ya lo he modificado y la situación sigue igual

jpabloace · May 10, 2013, 9:38 AM

He vuelto a reinstalar desde cero.
Configurar dos vlans
Instalar squid3
Habilitar squid3 para la dos vlans

Proxy transparente
Allow users on interface
Enabled logging
Cache Dynamic Content para youtube y avast

Y el resultado es el mismo, todos los logs son con TCP_MISS
Gracias

periko · May 10, 2013, 11:36 PM

Ya prediste el log y subistes el nivel de logeo para ver por que no lo hace, a lo mejor el mismo te dice…
Instalastes algun software para ver que si esta cacheando?
Saludos!!!

jpabloace · May 11, 2013, 6:27 PM

No he instalado ningún software para ver si almacena en caché. ¿Si alguien me puede recomendar algun paquete de pfsense para comprobarlo?. ¿Lightsquid valdría?. Tengo squid3
Las pruebas que hice, como ya he comentado arriba.

du -hs /var/squid me devuelve siempre 9.7 M

todos los logs son con TCP_MISS, lo cual, creo que indica, que no encuentra nada en la caché.
Dicho TCP-MISS me aparece con archivos jpg gif o png de 3 o 4 kb.
no hay ni un solo TCP_HIT o TCP_MEM
¿Esto indica que no hace caché?.
Gracias.

periko · May 11, 2013, 10:25 PM

Yo no he trabajado squid 3, pero si HIT, MEM en la rama 2.x es cuando le pega a el cache, lightsquid no da reportes de cache segun mi conocimiento.

Oyes si tiene creado todos los folders que crea squid cuando se instala para el cache?

jpabloace · May 13, 2013, 1:58 PM

Me podrían decir qué carpetas debo tener, existe /var/squid/cache/ con muchas carpetas dentro cuyo nombre es de 00 a ff, pero están vacias.
Sigo recibiendo TCP_MISS continuamente (todas son entradas de este tipo) en el log. Gracias

periko · May 13, 2013, 5:27 PM

A ver intenta esto:

http://pheriko.blogspot.com/2012/05/pfsense-2-como-borrar-y-crear-el-cache.html

Puedes parar el servicio del GUI no hay problema, solo checa cuanto tarda pfsense en prender el servicio de nuevo para que cuando ejecutes esto no te vaya hacer algo raro.

Nos avisas como te fue, saludos!!!

jpabloace · May 14, 2013, 10:00 AM

Gracias, lo he hecho hace un rato, reinicié incluso el sistema pero sigue igual. Todas las entradas en el log siguen siendo TCP-MISS. Se admite cualquier sugerencia.

periko · May 14, 2013, 3:44 PM

Te recomiendo lo siguiente, guarda tu config, empieza con la configuracion de fabrica, no la modifiques, asi como la da pfsense habilitando el cache por supuesto, nos avisas, saludos!!!

jpabloace · May 16, 2013, 11:05 AM

Hola, gracias por el interés, ahora me es imposible hacer una instalación desde cero para probar, porque el sistema está ocupado continuamente.
He hecho el cambio de marcar la opción "Resolv dns v4 first" dentro de la configuración de squid y ahora me aparecen (no muchas) algunas lineas como las siguiente:

1368698942.578 212 192.168.100.33 TCP_REFRESH_UNMODIFIED/304 320 GET http://forum.pfsense.org/Themes/slickprographite/images/topic/veryhot_post.gif - DIRECT/66.219.34.171 -

1368701293.928 0 192.168.100.19 TCP_MEM_HIT/200 629 GET http://cdn1.editmysite.com/editor/images/slideshow/control_icons.gif - NONE/- image/gif

En muchos sitios de los que he visitado se habla de una carpeta var/spool/squid3, y a mi no se me ha creado dicha carpeta. ¿Está en otro sitio?
Disable X-Forward: ¿Esta opción afecta a que se consideren como peticiones diferentes?

periko · May 16, 2013, 3:17 PM

Esta es la buena:

TCP_MEM_HIT

Ya esta usando el cache, vamos bien. La opcion X-Forward creo yo que no afecta en caso del cache.

Si deseas ver el desempeno del cache, a ver si te sirven estos:

http://pheriko.blogspot.com/2012/05/pfsense-2-reportes-de-desempeno.html

Voy a meterme con squid3, saludos!!!

jpabloace · May 17, 2013, 7:16 AM

El error no era el "Resolv dns v4 first" (aunque con él ya no me da problema los accesos a gmail), si no que me empeñaba en activar "Dynamic and Update Content" para youtube, avast, y windows update y al hacerlo dejaba de hacer caché.
Me interesa hacer caché de esos contenidos dinámicos, agradezco cualquier indicación en ese sentido.

periko · May 17, 2013, 4:08 PM

Yo he probado esos parametros de windows updates en la version 2.x no en la 3 y funcionaban, tengo que empezar a meterle mano a la 3, algo por ahi no le ha de gustar de los parametros.
Gracias por el update!!!

jpabloace · May 17, 2013, 8:05 PM

En la red tengo como 150 ordenadores y por tanto hay muchas actualizaciones de windows y de antivirus, pero como es un centro educativo, también se ven muchos videos; necesito cachear todo eso. ¿Alguna idea?, si lo activo en el squid3 deja de cachear los otros contenidos. Gracias

periko · May 17, 2013, 9:33 PM

Pues en este momento no puedo dar mas, espero poder darle una checada a esto, saludos!!!