Squid , Rendimiento, Opciones de Cache Mgmt, como saber si está usando el Caché?

bellera

A ver…

Cuando un navegador pide una página a través de un proxy pueden pasar dos cosas:

El objeto pedido es un contenido dinámico, es decir la URL contiene parámetros, no es fija. El proxy no lo cachea y se pide al servidor de destino.
El objeto pedido es un contenido estático, fijo. Si es reciente (no ha caducado), el proxy lo sirve de su caché (caso de tenerlo). Si no lo tiene (el proxy) o está caducado se pide al servidor de destino, se guarda en la caché y se sirve.

De ahí que veas tráfico...

Saludos,

Josep Pujadas-Jubany

enic68

Estimado muy agradecido por su respuesta, siempre leo con atención sus comentarios en el foro.

Efectivamente el sitio con el que hice la prueba (lun.com) es dinámico (ASP), me quedé pensando un poco en esto y la mayoría de los sitios web que visitamos (yo y mi red) lo son.

La cantidad de sitios web con tecnología de programación dinámica es enorme (php, asp, etc)… desde blog´s, sitios personales, prensa, facebook, la lista es larguísima. Casi todos consumen mucho tráfico Internet, por la gran cantidad de imágenes que despliegan, aún cuando son las mismas durante bastante tiempo.

En el caso de la prensa, la portada de estos sitios cambia todos los días (como el web lun.com) pero es visitada por muchos de mis usuarios diariamente y creo que bastaría con que, en el primer ingreso al sitio web las imágenes fueran a dar a caché para que en el resto de los ingresos por parte de mis usuarios estos archivos (jpg, gif otros) ya no generen tráfico por que ya estarían localmente.

Buscado información del tema he encontrado algunas pistas de como indicar a squid (en squid.conf) el almacenamiento de imágenes y otro tipo de archivos

como la siguiente linea:

#almacenar archivos.
refresh_pattern -i .(mp3|mp4|mpeg|swf|flv|x-flv|class|jar|js|gif|jpg|ico|png|css)$ 43200 90% 43200 override-expire ignore-no-cache ignore-no-store ignore-private

Lo que no me queda claro es si existirá una linea de código de mayor jerarquía (que la que comento), que impida pedir a squid que se almacenen jpg, gif, otros.

Lineas de código para squid.conf que me parecen interesantes.

OPTIONS FOR TUNING THE CACHE

–---------------------------------------------------------------------------

cache deny QUERY
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 10080 95% 43200
refresh_pattern -i .(rpm|cab|deb|exe|msi|msu|zip|tar|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 10080 90% 43200
refresh_pattern -i .(avi|iso|wav|mid|mp?|mpeg|mov|3gp|wm?|swf|flv|x-flv|axd)$ 43200 95% 432000
refresh_pattern -i .(html|htm|css|js)$ 1440 75% 40320
refresh_pattern -i .index.(html|htm)$ 0 75% 10080
refresh_pattern -i (/cgi-bin/|?) 0 0% 0
refresh_pattern . 1440 90% 10080

quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 98
store_avg_object_size 13 KB

#refresh_pattern ((facebook.com)|(69.63.181.11|69.63.181.12|69.63.1 89.11|69.63.189.16))..(jpg|png|gif|swf|mp3|mp4|m pg|3gp|flv|swf|wmv|zip|rar) 12960 99% 12960
refresh_pattern -i .facebook.com..(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129600
refresh_pattern -i .fbcdn.net..(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129690
refresh_pattern -i .zynga.com..(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 12960 999999% 129609
refresh_pattern -i .crowdstar.com..(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 12960 999999% 129609
refresh_pattern ^http://\static.ak.fbcdn.net.(jpg|gif|png|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 129600 999999% 129600
refresh_pattern ^http://\videoxl.l[0-9].facebook.com/(.)(3gp|flv|swf|wmv|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://*.channel.facebook.com/(.)(js|css|swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://video.ak.facebook.com*.(3gp|flv|swf|wmv|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://photos-[a-z].ak.fbcdn.net/(.)(css|swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://profile.ak.fbcdn.net.(jpg|gif|png) 129600 999999% 129600
refresh_pattern ^http://platform.ak.fbcdn.net/.* 720 100% 4320
refresh_pattern ^http://creative.ak.fbcdn.net/.* 720 100% 4320
refresh_pattern ^http://apps.facebook.com/.* 720 100% 4320
refresh_pattern ^http://static.ak.fbcdn.net*.(js|css|jpg|gif|png) 129600 999999% 129600
refresh_pattern ^http://\statics.poker.static.zynga.com/(.)(swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://statics.poker.static.zynga.com/. 720 100% 4320
refresh_pattern ^http://*.zynga.com*.(swf|jpg|gif|png|wav|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://*.crowdstar.com*.(swf|jpg|gif|png|wav|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://.google-analytics./.* 720 100% 4320
refresh_pattern -i .kaskus.com..(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129600
refresh_pattern -i .kaskus.us..(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129600
refresh_pattern ^http://*.kaskus.us*.*(jpg|gif|png|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 129600 999999% 129600

–---------------------------------------------------------------------------

Seguiré haciendo pruebas, estaré atento a leer cualquier aporte, acotación, crítica, abucheos, insultos.

Saludos
césar-v

ZAC

Pues si logras las cosas como quieres, tal vez sería bueno que postearas claramente como lo has obtenido, saludos y suerte.

enic68

Buenas tardes como van .. como pueden verificar que su servidor Squid hace realmente caché a disco?
y de que elementos lo está haciendo ?
lo monitorean? de que forma? acceden al log? con alguna herramienta?

El amigo , bellera, me indicaba lo siguiente:

"* El objeto pedido es un contenido dinámico, es decir la URL contiene parámetros, no es fija. El proxy no lo cachea y se pide al servidor de destino.

El objeto pedido es un contenido estático, fijo. Si es reciente (no ha caducado), el proxy lo sirve de su caché (caso de tenerlo). Si no lo tiene (el proxy) o está caducado se pide al servidor de destino, se guarda en la caché y se sirve."

Si estoy entendiendo bien lo que me dice. Si visito un sitio web desarrollado en php o asp, pasando por el proxy por ejemplo….. "www.algo.com/index.php" squid no cachea el archivo "index.php" y que ocurre con los elementos que pudiera llamar ese index.php ? (como las imágenes) que pueden estar en rutas como /images/foto1.jpg ? … o al momento de solicitar ese index.php squid ya queda "frenado"..?

leí de unas lineas de código "refresh_pattern -i .(gif|png|jp?g|ico|bmp|tiff?)$ 10080 95% 43200" que le indican a squid que use los gif|png|jp?g|ico|bmp|tiff en su caché
pero me sigue dando vuelta el tema de los web dinámicos...

hice algunas pruebas agregando estas lineas como parámetros adicionales en squid.conf (desde la propia herramienta web de administracion de pfsense) sin exito aparente ... ???
sigo probando con el web lun.com y sigue usando ancho de banda internet en segundos ingresos...

sigo estudiando.... por favor cualquier aporte es bienvenido....

bellera

Ajustar la caché suele ser complicado e incluso contraproducente. La configuración "normal" de squid cachea lo cacheable hoy en día.

No se pueden cachear contenidos php, asp, pl, py, cgi-bin… por la sencilla razón de que son lenguajes "de servidor" y cuando el usuario hace una solicitud entregan un código html siempre supuestamente distinto.

En cambio si se puede cachear todo lo que sea estático, incluído el código de lenguajes de scripting (Java Script y similares).

http://es.wikipedia.org/wiki/Contenido_din%C3%A1mico

Querer cachear contenidos dinámicos es incluso peligroso. Más de una vez he visto proxys mal configurados, que provocan que un usuario se encuentre con la cuenta de otro en entornos php como Moodle.

Además internet está lleno de malos consejos de sobre cómo utilizar las opciones de cacheo con squid, principalmente porque las configuraciones explicadas son de versiones bastante primitivas de squid (y de la propia internet). Incluso poco hay del tema en la wiki oficial:

http://wiki.squid-cache.org/ConfigExamples/DynamicContent

squid loguea lo que hace con la caché en store.log:

http://wiki.squid-cache.org/SquidFaq/SquidLogs#store.log

Resumiendo:

RELEASE -> Objeto casducado. Se borra de la caché.
SWAPOUT -> Se guarda objeto en el disco.
SWAPIN -> Se sirve objeto en disco.

Yo no me preocuparía demasiado por esto. Tengo un squid funcionando sin ningún ajuste de caché con 70-90 GByte de caché continuamente.

Saludos,

Josep Pujadas-Jubany

periko

Un comentario, si revisas tus logs(access.log), si vez algo como esto:


 TCP_HIT...

Si vez esto estas usando tu cache.

Saludos!!!

periko

Hola, bellera segun he revisado la configuracion de squid y creo que maneja el store.log por default, ahora he tratado de correr algunos reportes que hablan del cache y podemos ver si estamos ahorrando o no ancho de banda y como esta su desempeno, si gustan revisarlos, pfsense no tiene ninguno de ellos solo el sarg:

http://pheriko.blogspot.com/2012/05/pfsense-2-reportes-de-desempeno.html

Estoy seguro que los que tienen trafico alto van ver datos mas grandes del cache que los que muestro en el blog.

Saludos!!!

bellera

¡Buen trabajo!

Lo pongo arriba, en el hilo dedicado a squid…

Josep

enic68

buenas tardes como van ;

Creo que cambiaré mi nick a "majadero"… ;D

De los días que llevo probando y de las respuestas emitidas en el foro puedo concluir (por favor me corrigen si me equivoco) lo siguiente :

Intentar que el servidor squid almacene en su caché imágenes jpg, gif, png para ahorrar ancho de banda entre otros tipos de archivos No será posible en sitios web con tecnología de programación dinámica o Si?

*- Por ejemplo un sitio web programado en asp o php que haga despliegue de imágenes JPG o gif siendo estos dinámicos no pasarán al caché de Squid y sus archivos jpg tampoco?….. o estos últimos si se podrían "cachear".-

..gracias gracias...no se molesten

saludos
César.-

pd: que fantástico trabajo el del amigo periko

periko

De los sitios dinamicos que tienes, como aparecen en access.log cuando los accesas?

enic68

buen día, este es un trozo del log que genera squid al acceder a lun.com

1336581733.511 3 192.168.1.150 TCP_MEM_HIT/200 504 GET http://www.lun.com/Style%20Library/Images/08modulo.gif - NONE/- image/gif
1336581733.511 3 192.168.1.150 TCP_MEM_HIT/200 495 GET http://www.lun.com/Style%20Library/Images/09modulo.gif - NONE/- image/gif
1336581733.512 3 192.168.1.150 TCP_MEM_HIT/200 505 GET http://www.lun.com/Style%20Library/Images/10modulo.gif - NONE/- image/gif
1336581733.512 3 192.168.1.150 TCP_MEM_HIT/200 557 GET http://www.lun.com/Style%20Library/images/01modulo.gif - NONE/- image/gif
1336581733.512 3 192.168.1.150 TCP_MEM_HIT/200 547 GET http://www.lun.com/Style%20Library/images/02modulo.gif - NONE/- image/gif
1336581733.525 25 192.168.1.150 TCP_REFRESH_MISS/200 2242 GET http://images.lun.com/luncontents/Noticias%20Imagenes/2012/may/09/40_003_0905_RB_65.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.526 26 192.168.1.150 TCP_REFRESH_MISS/200 2790 GET http://images.lun.com/luncontents/Noticias%20Imagenes/2012/may/09/40_004_0905_N_65.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.536 36 192.168.1.150 TCP_REFRESH_MISS/200 2604 GET http://images.lun.com/luncontents/Noticias%20Imagenes/2012/may/09/39_1_0905_rb_65.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.573 10 192.168.1.150 TCP_REFRESH_HIT/200 3480 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/04/MIA001201205041H_78.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.587 10 192.168.1.150 TCP_REFRESH_HIT/200 3885 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/06/LCTP01RE0605_78.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.601 16 192.168.1.150 TCP_REFRESH_HIT/200 4445 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/07/LCTP01MM0705_78.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.640 0 192.168.1.150 TCP_MEM_HIT/200 568 GET http://www.lun.com/Style%20Library/images/03modulo.gif - NONE/- image/gif
1336581733.640 0 192.168.1.150 TCP_MEM_HIT/200 450 GET http://www.lun.com/Style%20Library/images/04modulo.gif - NONE/- image/gif
1336581733.641 0 192.168.1.150 TCP_MEM_HIT/200 715 GET http://www.lun.com/Style%20Library/images/h3.gif - NONE/- image/gif
1336581733.658 0 192.168.1.150 TCP_MEM_HIT/200 452 GET http://www.lun.com/Style%20Library/images/05modulo.gif - NONE/- image/gif
1336581733.665 0 192.168.1.150 TCP_MEM_HIT/200 504 GET http://www.lun.com/Style%20Library/images/08modulo.gif - NONE/- image/gif
1336581733.676 1 192.168.1.150 TCP_MEM_HIT/200 494 GET http://www.lun.com/Style%20Library/images/09modulo.gif - NONE/- image/gif
1336581733.708 34 192.168.1.150 TCP_REFRESH_MISS/200 11605 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3__RAU9389.JPG - DIRECT/200.12.22.16 image/jpeg
1336581733.720 46 192.168.1.150 TCP_REFRESH_MISS/200 23072 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_VictoriasSecret(1).jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.723 33 192.168.1.150 TCP_REFRESH_MISS/200 21436 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_Angie_Alvarado.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.770 32 192.168.1.150 TCP_REFRESH_MISS/200 32881 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_Francisca_Merino(1).jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.783 15 192.168.1.150 TCP_REFRESH_HIT/200 11875 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_RBDURANDURAN01.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.796 0 192.168.1.150 TCP_MEM_HIT/200 506 GET http://www.lun.com/Style%20Library/images/10modulo.gif - NONE/- image/gif
1336581733.796 0 192.168.1.150 TCP_MEM_HIT/200 507 GET http://www.lun.com/Style%20Library/Images/col_curveleft_no_focus.gif - NONE/- image/gif
1336581733.796 0 192.168.1.150 TCP_MEM_HIT/200 507 GET http://www.lun.com/Style%20Library/Images/col_curveright_no_focus.gif - NONE/- image/gif
1336581733.818 35 192.168.1.150 TCP_REFRESH_MISS/200 33127 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_Robo01.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.818 0 192.168.1.150 TCP_MEM_HIT/200 534 GET http://www.lun.com/Style%20Library/Images/01modulo2.gif - NONE/- image/gif
1336581733.821 0 192.168.1.150 TCP_MEM_HIT/200 480 GET http://www.lun.com/Style%20Library/Images/02modulo2.gif - NONE/- image/gif
1336581733.826 0 192.168.1.150 TCP_MEM_HIT/200 535 GET http://www.lun.com/Style%20Library/Images/03modulo2.gif - NONE/- image/gif
1336581733.897 17 192.168.1.150 TCP_REFRESH_HIT/200 28406 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_RBLLEGADADEBOCAJUNIORS01.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.920 26 192.168.1.150 TCP_REFRESH_MISS/200 7516 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_MS-02.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.920 34 192.168.1.150 TCP_REFRESH_MISS/200 32107 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_FEER3064.JPG - DIRECT/200.12.22.16 image/jpeg
1336581733.951 0 192.168.1.150 TCP_MEM_HIT/200 452 GET http://www.lun.com/Style%20Library/Images/04modulo2.gif - NONE/- image/gif
1336581733.951 0 192.168.1.150 TCP_MEM_HIT/200 2865 GET http://www.lun.com/Style%20Library/Images/loading2.gif - NONE/- image/gif
1336581733.954 0 192.168.1.150 TCP_MEM_HIT/200 448 GET http://www.lun.com/Style%20Library/Images/05modulo2.gif - NONE/- image/gif
1336581733.966 0 192.168.1.150 TCP_MEM_HIT/200 547 GET http://www.lun.com/Style%20Library/Images/08modulo2.gif - NONE/- image/gif
1336581733.967 1 192.168.1.150 TCP_MEM_HIT/200 512 GET http://www.lun.com/Style%20Library/Images/09modulo2.gif - NONE/- image/gif
1336581733.974 0 192.168.1.150 TCP_MEM_HIT/200 1294 GET http://www.lun.com/Style%20Library/images/twitter_ico.png - NONE/- image/png
1336581734.048 0 192.168.1.150 TCP_MEM_HIT/200 1273 GET http://www.lun.com/Style%20Library/images/facebook_ico.png - NONE/- image/png
1336581734.060 0 192.168.1.150 TCP_MEM_HIT/200 532 GET http://www.lun.com/Style%20Library/Images/10modulo2.gif - NONE/- image/gif
1336581734.060 0 192.168.1.150 TCP_MEM_HIT/200 1470 GET http://www.lun.com/Style%20Library/images/iconVideo1.png - NONE/- image/png
1336581736.698 35 192.168.1.150 TCP_REFRESH_MISS/200 27991 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST04LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.031 14 192.168.1.150 TCP_REFRESH_HIT/200 27518 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST06LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.047 34 192.168.1.150 TCP_REFRESH_MISS/200 16549 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR05LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.054 33 192.168.1.150 TCP_REFRESH_MISS/200 23761 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST07LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.108 49 192.168.1.150 TCP_REFRESH_HIT/200 19605 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST09LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.114 55 192.168.1.150 TCP_REFRESH_MISS/200 25294 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR08LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.114 51 192.168.1.150 TCP_REFRESH_MISS/200 25712 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR10LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.126 34 192.168.1.150 TCP_REFRESH_MISS/200 23951 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR11LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.492 148 192.168.1.150 TCP_REFRESH_MISS/200 1808 GET http://www.lun.com/favicon.ico - DIRECT/216.241.26.8 image/x-icon
1336581739.221 32 192.168.1.150 TCP_REFRESH_MISS/200 25878 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR12LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581739.347 26 192.168.1.150 TCP_REFRESH_MISS/200 15855 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST13LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581739.410 13 192.168.1.150 TCP_REFRESH_HIT/200 26821 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR14LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.116 16 192.168.1.150 TCP_REFRESH_HIT/200 24602 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST15LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.232 33 192.168.1.150 TCP_REFRESH_MISS/200 24108 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR16LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.243 40 192.168.1.150 TCP_REFRESH_MISS/200 27885 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR17LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.318 16 192.168.1.150 TCP_REFRESH_HIT/304 437 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST15LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.567 35 192.168.1.150 TCP_REFRESH_MISS/200 26838 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR18LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.669 28 192.168.1.150 TCP_REFRESH_MISS/200 26606 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST19LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.760 14 192.168.1.150 TCP_REFRESH_HIT/304 381 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR18LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581742.999 33 192.168.1.150 TCP_REFRESH_HIT/200 26507 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR21LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.000 39 192.168.1.150 TCP_REFRESH_MISS/200 24537 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST20LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.022 47 192.168.1.150 TCP_REFRESH_MISS/200 31291 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST22LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.023 42 192.168.1.150 TCP_REFRESH_MISS/200 26295 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST23LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.293 32 192.168.1.150 TCP_REFRESH_MISS/200 27923 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR24LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.373 16 192.168.1.150 TCP_REFRESH_HIT/200 29637 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST26LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.385 32 192.168.1.150 TCP_REFRESH_MISS/200 28501 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST25LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.475 11 192.168.1.150 TCP_REFRESH_HIT/304 438 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST20LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.480 13 192.168.1.150 TCP_REFRESH_HIT/304 437 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST22LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.490 14 192.168.1.150 TCP_REFRESH_HIT/304 436 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST23LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.225 34 192.168.1.150 TCP_REFRESH_MISS/200 25093 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR27LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.301 29 192.168.1.150 TCP_REFRESH_MISS/200 25836 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR28LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.385 12 192.168.1.150 TCP_REFRESH_HIT/304 235 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR27LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581744.587 27 192.168.1.150 TCP_REFRESH_MISS/200 28831 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST30LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.695 15 192.168.1.150 TCP_REFRESH_HIT/200 22928 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR31LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.723 36 192.168.1.150 TCP_REFRESH_MISS/200 28203 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST32LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.899 33 192.168.1.150 TCP_REFRESH_MISS/200 27131 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR33LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.026 15 192.168.1.150 TCP_REFRESH_HIT/200 28407 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR34LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.048 32 192.168.1.150 TCP_REFRESH_MISS/200 25329 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR35LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.185 13 192.168.1.150 TCP_REFRESH_HIT/304 379 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR31LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581745.460 50 192.168.1.150 TCP_REFRESH_MISS/200 22343 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR40LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.463 49 192.168.1.150 TCP_REFRESH_MISS/200 26212 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST41LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.463 44 192.168.1.150 TCP_REFRESH_MISS/200 26109 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR42LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.604 16 192.168.1.150 TCP_REFRESH_HIT/304 235 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR35LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581745.617 32 192.168.1.150 TCP_REFRESH_MISS/200 28399 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR34LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.714 26 192.168.1.150 TCP_REFRESH_MISS/200 17366 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/04/MIA001201205041H_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.787 14 192.168.1.150 TCP_REFRESH_HIT/304 437 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR42LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.787 16 192.168.1.150 TCP_REFRESH_HIT/304 439 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST41LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581747.478 39 192.168.1.150 TCP_REFRESH_MISS/200 27590 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/08/CUARTILLA001201205081H_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581747.529 37 192.168.1.150 TCP_REFRESH_MISS/200 25045 GET http://images.lun.com/lunservercontents/SupplementPages/2012/abr/12/ENMOV001201204121H_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581749.746 14 192.168.1.150 TCP_REFRESH_HIT/200 19765 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/06/LCTP01RE0605_240.jpg - DIRECT/200.12.22.16 image/jpeg

por ejemplo esta linea indica una de los jpg que quisiera "cachear"
pero indica TCP_MISS :(

1336581749.802 34 192.168.1.150 TCP_MISS/200 24124 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/07/LCTP01MM0705_240.jpg - DIRECT/200.12.22.16 image/jpeg

Por otra parte veo varios TCP_MEM_HIT y TCP_HIT pero de elementos muy pequeños que..

Lo que intento es que los jpg aparecen en por ejemplo de este sitio www.lun.com puedan ser usados desde el caché

Este es el tipo de imagen que me gustaria fuera a dar a la cachè y que log la señala como TCP_MISS: 1336581749.802 34 192.168.1.150 TCP_MISS/200 24124 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/07/LCTP01MM0705_240.jpg - DIRECT/200.12.22.16 image/jpeg

saludos gracias
Cesar.-

periko

Este caso esta interesante, tienes varios HIT's, tu deseas que esa pagina sea cacheada, desconozco si tu estas a cargo de ese servidor?

Alguno sitios bloquean los proxies para que no lleguen programas como squid a cachear su info.

Algunos HIT's van a ese servidor, has probado usando otra computadora, el log solo muestra el cliente 1.150, si abres en el mismo cliente el otro navegador que pasa?

Si puedes probar con otra pc mejor, saludos!!!

bellera

http://www.linofee.org/~jel/proxy/Squid/accesslog.shtml

TCP_REFRESH_MISS
El objeto estaba en la caché per había caducado (STALE). Squid hizo una petición IMS (If-Modified-Since) y recibió un nuevo, distinto objecto.

enic68

Hola buenas tardes como va;

*- No tenemos control sobre el servidor que despliega el portal web www.lun.com (portal de noticias prensa local en chile), este es uno de los tantos sitios web de prensa
que son accedidos por los usuarios de mi red.

*- Tenemos pfsense ultima versión disponible con squid corriendo en el.

*- La máquina 1.150 es la que uso para pruebas, primero accedo en Firefox al sitio en cuestión y luego desde chrome (con su caché de navegador limpia)
luego…verifico el log de squid.

Como lo comentaba el sitio (lun.com) está programado en ASP y hace un despliegue diariamente de unas 60 imágenes que son las "mini portadas" (90kb cada una aprox) de cada hoja de este periódico electrónico.
son estas imágenes las que intento que use desde la caché

...al ver el LOG de squid me encuentro con que algunas imágenes muy pequeñas si van a parar al caché, pero las que quisiera ninguna...

Comentario de último minuto: En el momento que ingresaba esto el amigo Bellera me hace una indicación

tengo Hits y caducados de elementos muy pequeños del sitio web llegan a ser usados desde el caché, pero los que componen el grueso del sitio caducan? (TCP_REFRESH_MISS)

??? comentario nuevo: Los elementos que requiero que usen el caché caducan de inmediato en cuanto ingresan el caché.. al parecer esto es lo que ocurre… ...me pregunto como caducarán si los visito nuevamente de inmediato desde otra maquina =? (estos elementos siguen siendo los mismos también en el servidor de lun.com durante todo el día)
ya mañana actualizarán las noticias y los jpg´s serán otros con que criterio se considerarán caducados los elementos en el squid?

EL LOG con los caducados mmm ???

1336581745.463 44 192.168.1.150 TCP_REFRESH_MISS/200 26109 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR42LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.604 16 192.168.1.150 TCP_REFRESH_HIT/304 235 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR35LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581745.617 32 192.168.1.150 TCP_REFRESH_MISS/200 28399 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR34LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.714 26 192.168.1.150 TCP_REFRESH_MISS/200 17366 GET

bellera

[Services] [Proxy server] [Cache Management]

Memory cache size -> RAM usada (en MByte) para la caché
Minimum object size -> Objeto más pequeño (en kByte) en disco. Dejar a 0.
Maximum object size -> Objeto más grande (en kByte) en disco. Aumenta esto.
Maximum object size in RAM -> Objeto más grande (en kByte) en RAM. Puedes dejarlo como está.

La caché en RAM es para los objetos más usuales y pequeños.

Memory replacement policy -> Lee y obra en consecuencia.

http://www.squid-cache.org/Versions/v2/2.7/cfgman/cache_replacement_policy.html

En un squid que tengo con 100 GByte de caché empleo heap LFUDA, por lo que maximum_object_size tiene que estar como mínimo a 4096 (4 MByte).

Concretamente tengo maximum_object_size 512 MB

Es un squid fuera de pfSense, bastante potente…

Saludos,

Josep Pujadas-Jubany

enic68

:)….muy buenas noches... apliqué los últimos cambios que me indicó el amigo bellera...

1.- Hice la misma prueba del inicio, cargar el portal www.lun.com y registrar el tráfico de WAN el gráfico
Me indica casi 3 mbits mientras el sitio cargaba.

2.- Luego en otra máquina visité www.lun.com y que creen....!!!! el grafico de WAN no superó los 70kbits
hasta ahora veo que es todo un éxito la configuración

De todo esto saco en limpio que... Me toca estudiar bastante más y si está funcionando como creo.. tendré que comprar un disco duro más grande

...ya se me hizo algo tarde ...mañana veré como van los LOG de acceso squid gracias amigo bellera,
también intentaré probar las aplicaciones que indicó el amigo periko..

saludos gracias...

bellera

Me toca estudiar bastante más

Squid es todo un mundo y mucha documentación no es fiable por ser de versiones antiguas…

Procura partir de los enlaces oficiales que te dí y para la versión que tengas.