Alto consumo de RAM squid Pfsense

emax4

Hola j.sejo1

El servidos es un i3 con 8GB de ram, tiene isntalado pfsense 2.3.2, squid, squidguard y lightsquid…..

Las opciones de Squid cache las he cambiado infinidad de veces y nada

Ahorita está

Todo en default menos:

Hard Disk Cache Size: 8000
Memory Cache Size: 1024
Maximum Object Size in RAM: 256

Esas opciones las he variado bastante y el comportamiento es similar.

Poco a poco sube la RAM hasta llegar casi a 100%, luego se activa la SWAP, si no reinicio el servicio de squid o limpio la cache al llegar a 100% obviamente colapsa el sistema.

Muchas gracias de antemano

j.sejo1

Bueno, te respondo en base a una experiencia de squid pero no con pfsense.

En mi caso, no llegaba la ram al 100%, lo que me llenaba era el disco y se reiniciaba el servidor.

Motivo: cuando uno ajusta los cambios de cache del squid no basta con vaciarla-limpiarla. lo mejor es borrar el contenido completo (lo que esta dentro de spool) y generarla nuevamente con squid -z si mal no recuerdo.

Te recomiendo lo siguiente:

Deten squid.
Borra el contenido de /var/squid/cache/*
AJusta en las opciones de cache: Level 1 Directories a 32.
Minimum Object Size 0
Maximum Object Size 8192 (8MB mi caso) Por defecto es 4, déjalo por defecto. a ver.
Memory Cache Size 2048
Maximum Object Size in RAM 1024
Hard Disk Cache Size yo tengo 16GB (este valor es en mb)
Ejecutar: squid -z (esto debe recrear el directorio cache en /var/squid/cache/)
Inicia squid

Monitorea el comportamiento de la ram.

Espero te sirva.

Saludos.

fabshdz

Se me ocurre lo siguiente…

Los expertos dirán...

Si tienes mucho tráfico probablemente tengas que reducir el tiempo que guarda las páginas el squid

tal vez vaya por ahí, no?

Aun que eso, creo lo hace el D.D.

slim

Hola

tengo el mismo problema desde hace un rato desde la vesion 2.3.1, y en las prubeas que he hecho, no es el cache del squid, ni el disco duro, ni la manera del almacenar el cache
El problema radica en las conecxiones https que establece el squid, lo que encontrado es que cuando se reliaza una conecxion el espacio en memoria del squid ocupa 3 veces mas y sigue manteniendo la conexion asi no se este usando, tambien encontre que desde cierta version del squid tiene ese problea y que solo que genera cuando se ha actulizado desde versiones anteriores

Sigo en la tarea de como parametrizar el squid para que no consuma toda esa memoria.

Saludos.

emax4

Muchachos!

Así es, leyendo un poco y haciendo pruebas, me di cuenta que el problema se da cuando se realizan las conexiones HTTPS, cuando se tilda en services> squid service> pestaña general

Allí tenemos la opción de que el SQUID filtre o no los sitios HTTPS , cuando lo mantenemos tildado se genera el alto consumo de RAM, al destildarlo la RAM no me pasa de 16%

Ahora la idea es que el SQUID verifique los sitios HTTPS , no sé si será un problema de la versión del squid como tal o algún problema de configuración.

Si dan con la problema avisar por favor.

Aleximper

Buen día

Usar proxy explicito, sin el check de https, así automáticamente te filtrará todo, es engorroso tener que poner el proxy en el navegador, pero para ello puedes usar wpad, si estás en un dominio Windows, con GPO también se puede automatizar esto.

Saludos

emax4

Hola Aleximper.

Cuando hablas de "proxy explicito" te refieres a que lo coloquemos en modo "no transparente"?

Estando de esta forma no hay necesidad de marcar el check de https para que filtre estos sitios?

Saludos

Aleximper

Buen día

Así es, en modo no transparente, con eso no hay necesidad de marcar el check de https para que filtre estos sitios.

Saludos

emax4

Si bueno…

Esta semana pruebo, lo unico tediosos es que hay que configurar cada usuario

Otra interrogante, los usuarios conectados por WiFi como hacen con las aplicaciones al estar en modo no trasparente?

Saludos!

emax4

Hola.

Nadie ha dado con la solución?

Saludos

tsis

en mi caso se cae al usar la swap a tope.

es curioso, no hay ninguna forma de cuando cae el servicio lanzar un script que vuelva a iniciarlo previo borrado de cache.

kernel pid 62710 (squid), uid 100, was killed: out of swap space

un saludo

gersonofstone

@emax4:

Hola.

Nadie ha dado con la solución?

Saludos

No hasta el momento hacer una instalacion en limpio del fw el squid no consume toda la ram

tsis

habria alguna forma de automatizar como en otros sistemas, que cuando se caiga el proceso squid, se elimine la cache y se inicie de forma automatica?

mediante algun cron que cada hora lo comprueba o algo asi? ..

un saludo

trasher mx

Crea un cron job que haga el trabajo cada 12 hrs por ejemplo o mas frecuente si tu problema es muy continuo.

cd /var/squid
rm -rf cache/
mkdir cache
chown proxy:proxy cache/
squid -zX

Algo asi.

Saludos.

trasher mx

Ah se me olvidaba, el alto consumo de RAM va directamente a como squid guarda los datos "cacheados".

Los que son mas solicitados se guardan momentaneamente en ram, para al "vuelo" volverlos a servir. Si dejan de estar tan "solicitados" se guarda en HD para liberar RAM Me da que tu problema es mas de configuracion alguna flag mal setteada.

gersonofstone

@trasher:

Ah se me olvidaba, el alto consumo de RAM va directamente a como squid guarda los datos "cacheados".

Los que son mas solicitados se guardan momentaneamente en ram, para al "vuelo" volverlos a servir. Si dejan de estar tan "solicitados" se guarda en HD para liberar RAM Me da que tu problema es mas de configuracion alguna flag mal setteada.

No es eso, todo las peticiones que van sobre https y el squid en modo transparente son guardadas en el HD, pero las sesiones se mantienes eos cuasa que la memoria poco a poco se va usando hasta el punto de usar toda la RAM y despues la SWAP , eso se evidencia en habilitar el modo debug 9 de squid, muestra que los puertos 443 se mantiene en memoria

Aleximper

Buen día

Pienso que te ahorrarías muchos problemas si usaras squid en modo explicito, a través de wpad o GPO de windows colocas el proxy en el navegador y listo, eso te filtra todo sin tener que habilitar el check de https.

Saludos

gersonofstone

@Aleximper:

Buen día

Pienso que te ahorrarías muchos problemas si usaras squid en modo explicito, a través de wpad o GPO de windows colocas el proxy en el navegador y listo, eso te filtra todo sin tener que habilitar el check de https.

Saludos

Si es muy buena la idea,pero entiende q hay ciertos ambientes que estan asi y que el costo de cambiar puede ser muy alto eso ya depende de cada uno

Aleximper

Buen día

Puede ser que ya haya ambientes que estén así, pero eso no quiere decir que no sea viable mejorarlos, esa es la labor de un Admon de red, además si existen problemas, pues la solución no creo que sea peor que la enfermedad, sino que permitirá estar más tranquilo.

Saludos

gersonofstone

voy a colocar este ambiente si tiene 400 equipos linux como maneja el tema de squid? en modo no trasnparente