Alto consumo de RAM squid Pfsense
-
Hola.
Tengo un problema con el consumo de RAM en pfsense 2.3.2, verificando, me doy cuenta que es el squid, al liberar cache o reiniciar el servicio baja considerablemente.
Llega un momento en que si no reinicio servicio o borro cache se activa la SWAP y al llegar a 100% colapsa el sistema.Según leí es la versión del Squid, tengo instalada la 3.5.23 aparente mento con la 3.5.19 esto no ocurria.
Alguien le sucede lo mismo?
Alguna solución?
-
Hola tengo instalada la 3.5.23, y no me da ese problema, mi equipo tiene 8GB ram y anda entre el 10 y 15% de uso
-
Que podría estar pasando allí? Alguna idea?
-
Cuanto tienes de ram? cuantos cpu?
Peganos tus opciones de cache del squid y del uso de memoria ram.
Aparte de squid utilizas otro software adicional en el pfsense? snort, ntop, antivirus, etc?
Saludos.
-
Hola j.sejo1
El servidos es un i3 con 8GB de ram, tiene isntalado pfsense 2.3.2, squid, squidguard y lightsquid…..
Las opciones de Squid cache las he cambiado infinidad de veces y nada
Ahorita está
Todo en default menos:
Hard Disk Cache Size: 8000
Memory Cache Size: 1024
Maximum Object Size in RAM: 256Esas opciones las he variado bastante y el comportamiento es similar.
Poco a poco sube la RAM hasta llegar casi a 100%, luego se activa la SWAP, si no reinicio el servicio de squid o limpio la cache al llegar a 100% obviamente colapsa el sistema.
Muchas gracias de antemano
-
Bueno, te respondo en base a una experiencia de squid pero no con pfsense.
En mi caso, no llegaba la ram al 100%, lo que me llenaba era el disco y se reiniciaba el servidor.
Motivo: cuando uno ajusta los cambios de cache del squid no basta con vaciarla-limpiarla. lo mejor es borrar el contenido completo (lo que esta dentro de spool) y generarla nuevamente con squid -z si mal no recuerdo.
Te recomiendo lo siguiente:
- Deten squid.
- Borra el contenido de /var/squid/cache/*
- AJusta en las opciones de cache: Level 1 Directories a 32.
- Minimum Object Size 0
- Maximum Object Size 8192 (8MB mi caso) Por defecto es 4, déjalo por defecto. a ver.
- Memory Cache Size 2048
- Maximum Object Size in RAM 1024
- Hard Disk Cache Size yo tengo 16GB (este valor es en mb)
- Ejecutar: squid -z (esto debe recrear el directorio cache en /var/squid/cache/)
- Inicia squid
Monitorea el comportamiento de la ram.
Espero te sirva.
Saludos.
-
Se me ocurre lo siguiente…
Los expertos dirán...
Si tienes mucho tráfico probablemente tengas que reducir el tiempo que guarda las páginas el squid
tal vez vaya por ahí, no?
Aun que eso, creo lo hace el D.D.
-
Hola
tengo el mismo problema desde hace un rato desde la vesion 2.3.1, y en las prubeas que he hecho, no es el cache del squid, ni el disco duro, ni la manera del almacenar el cache
El problema radica en las conecxiones https que establece el squid, lo que encontrado es que cuando se reliaza una conecxion el espacio en memoria del squid ocupa 3 veces mas y sigue manteniendo la conexion asi no se este usando, tambien encontre que desde cierta version del squid tiene ese problea y que solo que genera cuando se ha actulizado desde versiones anterioresSigo en la tarea de como parametrizar el squid para que no consuma toda esa memoria.
Saludos.
-
Muchachos!
Así es, leyendo un poco y haciendo pruebas, me di cuenta que el problema se da cuando se realizan las conexiones HTTPS, cuando se tilda en services> squid service> pestaña general
Allí tenemos la opción de que el SQUID filtre o no los sitios HTTPS , cuando lo mantenemos tildado se genera el alto consumo de RAM, al destildarlo la RAM no me pasa de 16%
Ahora la idea es que el SQUID verifique los sitios HTTPS , no sé si será un problema de la versión del squid como tal o algún problema de configuración.
Si dan con la problema avisar por favor.
-
Buen día
Usar proxy explicito, sin el check de https, así automáticamente te filtrará todo, es engorroso tener que poner el proxy en el navegador, pero para ello puedes usar wpad, si estás en un dominio Windows, con GPO también se puede automatizar esto.
Saludos
-
Hola Aleximper.
Cuando hablas de "proxy explicito" te refieres a que lo coloquemos en modo "no transparente"?
Estando de esta forma no hay necesidad de marcar el check de https para que filtre estos sitios?
Saludos
-
Buen día
Así es, en modo no transparente, con eso no hay necesidad de marcar el check de https para que filtre estos sitios.
Saludos
-
Si bueno…
Esta semana pruebo, lo unico tediosos es que hay que configurar cada usuario
Otra interrogante, los usuarios conectados por WiFi como hacen con las aplicaciones al estar en modo no trasparente?
Saludos!
-
Hola.
Nadie ha dado con la solución?
Saludos
-
en mi caso se cae al usar la swap a tope.
es curioso, no hay ninguna forma de cuando cae el servicio lanzar un script que vuelva a iniciarlo previo borrado de cache.
kernel pid 62710 (squid), uid 100, was killed: out of swap space
un saludo
-
Hola.
Nadie ha dado con la solución?
Saludos
No hasta el momento hacer una instalacion en limpio del fw el squid no consume toda la ram
-
habria alguna forma de automatizar como en otros sistemas, que cuando se caiga el proceso squid, se elimine la cache y se inicie de forma automatica?
mediante algun cron que cada hora lo comprueba o algo asi? ..
un saludo
-
Crea un cron job que haga el trabajo cada 12 hrs por ejemplo o mas frecuente si tu problema es muy continuo.
cd /var/squid
rm -rf cache/
mkdir cache
chown proxy:proxy cache/
squid -zXAlgo asi.
Saludos.
-
Ah se me olvidaba, el alto consumo de RAM va directamente a como squid guarda los datos "cacheados".
Los que son mas solicitados se guardan momentaneamente en ram, para al "vuelo" volverlos a servir. Si dejan de estar tan "solicitados" se guarda en HD para liberar RAM Me da que tu problema es mas de configuracion alguna flag mal setteada.
-
Ah se me olvidaba, el alto consumo de RAM va directamente a como squid guarda los datos "cacheados".
Los que son mas solicitados se guardan momentaneamente en ram, para al "vuelo" volverlos a servir. Si dejan de estar tan "solicitados" se guarda en HD para liberar RAM Me da que tu problema es mas de configuracion alguna flag mal setteada.
No es eso, todo las peticiones que van sobre https y el squid en modo transparente son guardadas en el HD, pero las sesiones se mantienes eos cuasa que la memoria poco a poco se va usando hasta el punto de usar toda la RAM y despues la SWAP , eso se evidencia en habilitar el modo debug 9 de squid, muestra que los puertos 443 se mantiene en memoria
-
Buen día
Pienso que te ahorrarías muchos problemas si usaras squid en modo explicito, a través de wpad o GPO de windows colocas el proxy en el navegador y listo, eso te filtra todo sin tener que habilitar el check de https.
Saludos
-
Buen día
Pienso que te ahorrarías muchos problemas si usaras squid en modo explicito, a través de wpad o GPO de windows colocas el proxy en el navegador y listo, eso te filtra todo sin tener que habilitar el check de https.
Saludos
Si es muy buena la idea,pero entiende q hay ciertos ambientes que estan asi y que el costo de cambiar puede ser muy alto eso ya depende de cada uno
-
Buen día
Puede ser que ya haya ambientes que estén así, pero eso no quiere decir que no sea viable mejorarlos, esa es la labor de un Admon de red, además si existen problemas, pues la solución no creo que sea peor que la enfermedad, sino que permitirá estar más tranquilo.
Saludos
-
voy a colocar este ambiente si tiene 400 equipos linux como maneja el tema de squid? en modo no trasnparente
-
Buen día
Si tienes un servidor que administre todos esos servidores Linux, como por ejemplo Spacewalk o foreman podrás a través de scripts masivo enviar la configuración de proxy como variable de entorno. Si no tienes eso, pues te tocaría servidor a servidor.
Saludos
-
He eso voy si sale mas costoso pasar por cada cliente linux, que encontrar el porque el squid consume la memoria, es mucho mas productivo encontrar el error a utilizar soluciones facilistas, tambien existe la posibilidad que al salir una nueva actulizacion vuelva y genere el mismo problema
-
Buen día
Pues yo no consideraría facilista la solución, solo que más práctica, se supone que la administración de red facilita las cosas, no las complica, pero bueno, cada quien mata sus pulgas como puede, mientras pasas horas y horas buscando la solución ya hubieses ingresado via remota por protocolos como SSH, sin tener que ir a cada sitio a realizar ese cambio, incluso yo que soy facilista tendría intercambio de llaves en mi equipo y crearía un script que me haga ese trabajo.
Saludos.
-
Muchachos
Al reiniciar el SQUID la memoria RAM baja considerablemente.
Creo que (por ahora) la solución sería activar un cron que reinicie el servicio cada cierto tiempo (dependiendo de el funcionamiento de tu red). De esta forma la RAM y la Swap no llegan al tope.
Y bueno, esperar alguna actualización de PFSense o Squid a ver SI Dan solución a este incidente.
¿Que opinan?
Si alguien solventa el problema por favor avisar.
Saludos!
-
Muchachos
Al reiniciar el SQUID la memoria RAM baja considerablemente.
Creo que (por ahora) la solución sería activar un cron que reinicie el servicio cada cierto tiempo (dependiendo de el funcionamiento de tu red). De esta forma la RAM y la Swap no llegan al tope.
Y bueno, esperar alguna actualización de PFSense o Squid a ver SI Dan solución a este incidente.
¿Que opinan?
Si alguien solventa el problema por favor avisar.
Saludos!
Con la ultima actulizacion de squid ademas de habilitar en
-
SystemAdvancedFirewall & NAT
Firewall Optimization Options Agrresive -
IP Do-Not-Fragment compatibility
Clear invalid DF bits instead of dropping the packets
*Disable Firewall Scrub
Disables the PF scrubbing option which can sometimes interfere with NFS traffic.- SystemAdvancedNetworking
Hardware Checksum Offloading *Disable
Hardware TCP Segmentation Offloading *Disable
Hardware Large Receive Offloading *DisableEsto en caso de usar tarjetas realtek
El consumo de ram se normalizo :)
hagan sus pruebas señores
-
-
@
:Muchachos
Al reiniciar el SQUID la memoria RAM baja considerablemente.
Creo que (por ahora) la solución sería activar un cron que reinicie el servicio cada cierto tiempo (dependiendo de el funcionamiento de tu red). De esta forma la RAM y la Swap no llegan al tope.
Y bueno, esperar alguna actualización de PFSense o Squid a ver SI Dan solución a este incidente.
¿Que opinan?
Si alguien solventa el problema por favor avisar.
Saludos!
Con la ultima actulizacion de squid ademas de habilitar en
-
SystemAdvancedFirewall & NAT
Firewall Optimization Options Agrresive -
IP Do-Not-Fragment compatibility
Clear invalid DF bits instead of dropping the packets
*Disable Firewall Scrub
Disables the PF scrubbing option which can sometimes interfere with NFS traffic.- SystemAdvancedNetworking
Hardware Checksum Offloading *Disable
Hardware TCP Segmentation Offloading *Disable
Hardware Large Receive Offloading *DisableEsto en caso de usar tarjetas realtek
El consumo de ram se normalizo :)
hagan sus pruebas señores
Si pudiste darle solución?
Solo con la actualización de Squid? O también habilitando lo que indicas?
Que versión de Squid estas usando?
-
-
Hola
Subi la version squid www 0.4.37
y habilite lo que indique ahi hasta el momento el pfsese solo esta usando el 18% de la memoria, no he reiciado el sercivicio desde hace 2 dias.Pruebas y me cuentas
-
Qué bueno, apenas lo haga te aviso, lo que pasa es que ando sin servicio de internet, porque me mudé de sede.
Otra pregunta, cuantos usuarios tienes?
-
unos 450 usuarios
-
Ok, muchas gracias.
Apenas acualice y haga los cambios les cuento
Saludos
-
Buenas muchachos.
Si, efectivamente el problema se solventó solo actualizando la versión de Squid, en estos momentos estoy usando la 3.5.26 y va bien, el consumo de RAM se mantiene.
No hice nungun otro tipo de configuración.
Saludos
