Alto consumo de RAM squid Pfsense

emax4

Hola.

Tengo un problema con el consumo de RAM en pfsense 2.3.2, verificando, me doy cuenta que es el squid, al liberar cache o reiniciar el servicio baja considerablemente.
Llega un momento en que si no reinicio servicio o borro cache se activa la SWAP y al llegar a 100% colapsa el sistema.

Según leí es la versión del Squid, tengo instalada la 3.5.23 aparente mento con la 3.5.19 esto no ocurria.

Alguien le sucede lo mismo?

Alguna solución?

fabshdz

Hola tengo instalada la 3.5.23, y no me da ese problema, mi equipo tiene 8GB ram y anda entre el 10 y 15% de uso

emax4

Que podría estar pasando allí? Alguna idea?

j.sejo1

Cuanto tienes de ram? cuantos cpu?

Peganos tus opciones de cache del squid y del uso de memoria ram.

Aparte de squid utilizas otro software adicional en el pfsense? snort, ntop, antivirus, etc?

Saludos.

emax4

Hola j.sejo1

El servidos es un i3 con 8GB de ram, tiene isntalado pfsense 2.3.2, squid, squidguard y lightsquid……

Las opciones de Squid cache las he cambiado infinidad de veces y nada

Ahorita está

Todo en default menos:

Hard Disk Cache Size: 8000
Memory Cache Size: 1024
Maximum Object Size in RAM: 256

Esas opciones las he variado bastante y el comportamiento es similar.

Poco a poco sube la RAM hasta llegar casi a 100%, luego se activa la SWAP, si no reinicio el servicio de squid o limpio la cache al llegar a 100% obviamente colapsa el sistema.

Muchas gracias de antemano

j.sejo1

Bueno, te respondo en base a una experiencia de squid pero no con pfsense.

En mi caso, no llegaba la ram al 100%, lo que me llenaba era el disco y se reiniciaba el servidor.

Motivo: cuando uno ajusta los cambios de cache del squid no basta con vaciarla-limpiarla. lo mejor es borrar el contenido completo (lo que esta dentro de spool) y generarla nuevamente con squid -z si mal no recuerdo.

Te recomiendo lo siguiente:

Deten squid.
Borra el contenido de /var/squid/cache/*
AJusta en las opciones de cache: Level 1 Directories a 32.
Minimum Object Size 0
Maximum Object Size 8192 (8MB mi caso) Por defecto es 4, déjalo por defecto. a ver.
Memory Cache Size 2048
Maximum Object Size in RAM 1024
Hard Disk Cache Size yo tengo 16GB (este valor es en mb)
Ejecutar: squid -z (esto debe recrear el directorio cache en /var/squid/cache/)
Inicia squid

Monitorea el comportamiento de la ram.

Espero te sirva.

Saludos.

fabshdz

Se me ocurre lo siguiente…

Los expertos dirán…

Si tienes mucho tráfico probablemente tengas que reducir el tiempo que guarda las páginas el squid

tal vez vaya por ahí, no?

Aun que eso, creo lo hace el D.D.

slim

Hola

tengo el mismo problema desde hace un rato desde la vesion 2.3.1, y en las prubeas que he hecho, no es el cache del squid, ni el disco duro, ni la manera del almacenar el cache
El problema radica en las conecxiones https que establece el squid, lo que encontrado es que cuando se reliaza una conecxion el espacio en memoria del squid ocupa 3 veces mas y sigue manteniendo la conexion asi no se este usando, tambien encontre que desde cierta version del squid tiene ese problea y que solo que genera cuando se ha actulizado desde versiones anteriores

Sigo en la tarea de como parametrizar el squid para que no consuma toda esa memoria.

Saludos.

emax4

Muchachos!

Así es, leyendo un poco y haciendo pruebas, me di cuenta que el problema se da cuando se realizan las conexiones HTTPS, cuando se tilda en services> squid service> pestaña general

Allí tenemos la opción de que el SQUID filtre o no los sitios HTTPS , cuando lo mantenemos tildado se genera el alto consumo de RAM, al destildarlo la RAM no me pasa de 16%

Ahora la idea es que el SQUID verifique los sitios HTTPS , no sé si será un problema de la versión del squid como tal o algún problema de configuración.

Si dan con la problema avisar por favor.

Aleximper

Buen día

Usar proxy explicito, sin el check de https, así automáticamente te filtrará todo, es engorroso tener que poner el proxy en el navegador, pero para ello puedes usar wpad, si estás en un dominio Windows, con GPO también se puede automatizar esto.

Saludos

emax4

Hola Aleximper.

Cuando hablas de “proxy explicito” te refieres a que lo coloquemos en modo “no transparente”?

Estando de esta forma no hay necesidad de marcar el check de https para que filtre estos sitios?

Saludos

Aleximper

Buen día

Así es, en modo no transparente, con eso no hay necesidad de marcar el check de https para que filtre estos sitios.

Saludos

emax4

Si bueno…

Esta semana pruebo, lo unico tediosos es que hay que configurar cada usuario

Otra interrogante, los usuarios conectados por WiFi como hacen con las aplicaciones al estar en modo no trasparente?

Saludos!

emax4

Hola.

Nadie ha dado con la solución?

Saludos

tsis

en mi caso se cae al usar la swap a tope.

es curioso, no hay ninguna forma de cuando cae el servicio lanzar un script que vuelva a iniciarlo previo borrado de cache.

kernel pid 62710 (squid), uid 100, was killed: out of swap space

un saludo

gersonofstone

@emax4:

Hola.

Nadie ha dado con la solución?

Saludos

No hasta el momento hacer una instalacion en limpio del fw el squid no consume toda la ram

tsis

habria alguna forma de automatizar como en otros sistemas, que cuando se caiga el proceso squid, se elimine la cache y se inicie de forma automatica?

mediante algun cron que cada hora lo comprueba o algo asi? …

un saludo

trasher mx

Crea un cron job que haga el trabajo cada 12 hrs por ejemplo o mas frecuente si tu problema es muy continuo.

cd /var/squid
rm -rf cache/
mkdir cache
chown proxy:proxy cache/
squid -zX

Algo asi.

Saludos.

trasher mx

Ah se me olvidaba, el alto consumo de RAM va directamente a como squid guarda los datos “cacheados”.

Los que son mas solicitados se guardan momentaneamente en ram, para al “vuelo” volverlos a servir. Si dejan de estar tan “solicitados” se guarda en HD para liberar RAM Me da que tu problema es mas de configuracion alguna flag mal setteada.

gersonofstone

@trasher:

Ah se me olvidaba, el alto consumo de RAM va directamente a como squid guarda los datos “cacheados”.

Los que son mas solicitados se guardan momentaneamente en ram, para al “vuelo” volverlos a servir. Si dejan de estar tan “solicitados” se guarda en HD para liberar RAM Me da que tu problema es mas de configuracion alguna flag mal setteada.

No es eso, todo las peticiones que van sobre https y el squid en modo transparente son guardadas en el HD, pero las sesiones se mantienes eos cuasa que la memoria poco a poco se va usando hasta el punto de usar toda la RAM y despues la SWAP , eso se evidencia en habilitar el modo debug 9 de squid, muestra que los puertos 443 se mantiene en memoria

Aleximper

Buen día

Pienso que te ahorrarías muchos problemas si usaras squid en modo explicito, a través de wpad o GPO de windows colocas el proxy en el navegador y listo, eso te filtra todo sin tener que habilitar el check de https.

Saludos

gersonofstone

@Aleximper:

Buen día

Pienso que te ahorrarías muchos problemas si usaras squid en modo explicito, a través de wpad o GPO de windows colocas el proxy en el navegador y listo, eso te filtra todo sin tener que habilitar el check de https.

Saludos

Si es muy buena la idea,pero entiende q hay ciertos ambientes que estan asi y que el costo de cambiar puede ser muy alto eso ya depende de cada uno

Aleximper

Buen día

Puede ser que ya haya ambientes que estén así, pero eso no quiere decir que no sea viable mejorarlos, esa es la labor de un Admon de red, además si existen problemas, pues la solución no creo que sea peor que la enfermedad, sino que permitirá estar más tranquilo.

Saludos

gersonofstone

voy a colocar este ambiente si tiene 400 equipos linux como maneja el tema de squid? en modo no trasnparente

Aleximper

Buen día

Si tienes un servidor que administre todos esos servidores Linux, como por ejemplo Spacewalk o foreman podrás a través de scripts masivo enviar la configuración de proxy como variable de entorno. Si no tienes eso, pues te tocaría servidor a servidor.

Saludos

gersonofstone

He eso voy si sale mas costoso pasar por cada cliente linux, que encontrar el porque el squid consume la memoria, es mucho mas productivo encontrar el error a utilizar soluciones facilistas, tambien existe la posibilidad que al salir una nueva actulizacion vuelva y genere el mismo problema

Aleximper

Buen día

Pues yo no consideraría facilista la solución, solo que más práctica, se supone que la administración de red facilita las cosas, no las complica, pero bueno, cada quien mata sus pulgas como puede, mientras pasas horas y horas buscando la solución ya hubieses ingresado via remota por protocolos como SSH, sin tener que ir a cada sitio a realizar ese cambio, incluso yo que soy facilista tendría intercambio de llaves en mi equipo y crearía un script que me haga ese trabajo.

Saludos.

emax4

Muchachos

Al reiniciar el SQUID la memoria RAM baja considerablemente.

Creo que (por ahora) la solución sería activar un cron que reinicie el servicio cada cierto tiempo (dependiendo de el funcionamiento de tu red). De esta forma la RAM y la Swap no llegan al tope.

Y bueno, esperar alguna actualización de PFSense o Squid a ver SI Dan solución a este incidente.

¿Que opinan?

Si alguien solventa el problema por favor avisar.

Saludos!

gersonofstone

@emax4:

Muchachos

Al reiniciar el SQUID la memoria RAM baja considerablemente.

Creo que (por ahora) la solución sería activar un cron que reinicie el servicio cada cierto tiempo (dependiendo de el funcionamiento de tu red). De esta forma la RAM y la Swap no llegan al tope.

Y bueno, esperar alguna actualización de PFSense o Squid a ver SI Dan solución a este incidente.

¿Que opinan?

Si alguien solventa el problema por favor avisar.

Saludos!

Con la ultima actulizacion de squid ademas de habilitar en

SystemAdvancedFirewall & NAT
Firewall Optimization Options Agrresive
IP Do-Not-Fragment compatibility
Clear invalid DF bits instead of dropping the packets

*Disable Firewall Scrub
Disables the PF scrubbing option which can sometimes interfere with NFS traffic.

SystemAdvancedNetworking

Hardware Checksum Offloading *Disable
Hardware TCP Segmentation Offloading *Disable
Hardware Large Receive Offloading *Disable

Esto en caso de usar tarjetas realtek

El consumo de ram se normalizo

hagan sus pruebas señores

emax4

@:

@emax4:

Muchachos

Al reiniciar el SQUID la memoria RAM baja considerablemente.

Creo que (por ahora) la solución sería activar un cron que reinicie el servicio cada cierto tiempo (dependiendo de el funcionamiento de tu red). De esta forma la RAM y la Swap no llegan al tope.

Y bueno, esperar alguna actualización de PFSense o Squid a ver SI Dan solución a este incidente.

¿Que opinan?

Si alguien solventa el problema por favor avisar.

Saludos!

Con la ultima actulizacion de squid ademas de habilitar en

SystemAdvancedFirewall & NAT
Firewall Optimization Options Agrresive

IP Do-Not-Fragment compatibility
Clear invalid DF bits instead of dropping the packets

*Disable Firewall Scrub
Disables the PF scrubbing option which can sometimes interfere with NFS traffic.

SystemAdvancedNetworking

Hardware Checksum Offloading *Disable
Hardware TCP Segmentation Offloading *Disable
Hardware Large Receive Offloading *Disable

Esto en caso de usar tarjetas realtek

El consumo de ram se normalizo

hagan sus pruebas señores

Si pudiste darle solución?

Solo con la actualización de Squid? O también habilitando lo que indicas?

Que versión de Squid estas usando?

gersonofstone

Hola

Subi la version squid www 0.4.37
y habilite lo que indique ahi hasta el momento el pfsese solo esta usando el 18% de la memoria, no he reiciado el sercivicio desde hace 2 dias.

Pruebas y me cuentas

emax4

Qué bueno, apenas lo haga te aviso, lo que pasa es que ando sin servicio de internet, porque me mudé de sede.

Otra pregunta, cuantos usuarios tienes?

gersonofstone

unos 450 usuarios

emax4

Ok, muchas gracias.

Apenas acualice y haga los cambios les cuento

Saludos

emax4

Buenas muchachos.

Si, efectivamente el problema se solventó solo actualizando la versión de Squid, en estos momentos estoy usando la 3.5.26 y va bien, el consumo de RAM se mantiene.

No hice nungun otro tipo de configuración.

Saludos