Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Alto consumo de RAM squid Pfsense

    Scheduled Pinned Locked Moved Español
    35 Posts 8 Posters 8.0k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • E
      emax4
      last edited by

      Hola.

      Tengo un problema con el consumo de RAM en pfsense 2.3.2, verificando, me doy cuenta que es el squid, al liberar cache o reiniciar el servicio baja considerablemente.
      Llega un momento en que si no reinicio servicio o borro cache se activa la SWAP y al llegar a 100% colapsa el sistema.

      Según leí es la versión del Squid, tengo instalada la 3.5.23 aparente mento con la 3.5.19 esto no ocurria.

      Alguien le sucede lo mismo?

      Alguna solución?

      1 Reply Last reply Reply Quote 0
      • F
        fabshdz
        last edited by

        Hola tengo instalada la 3.5.23,  y no me da ese problema, mi equipo tiene 8GB ram y anda entre el 10 y 15% de uso

        1 Reply Last reply Reply Quote 0
        • E
          emax4
          last edited by

          Que podría estar pasando allí? Alguna idea?

          1 Reply Last reply Reply Quote 0
          • J
            j.sejo1
            last edited by

            Cuanto tienes de ram? cuantos cpu?

            Peganos tus  opciones de cache del squid y del uso de memoria ram.

            Aparte de squid utilizas otro software adicional en el pfsense?  snort, ntop, antivirus, etc?

            Saludos.

            Pfsense - Bacula - NagiosZabbix - Zimbra - AlienVault
            Hardening Linux
            Telegram: @vtlbackupbacula
            http://www.smartitbc.com/en/contact.html

            1 Reply Last reply Reply Quote 0
            • E
              emax4
              last edited by

              Hola j.sejo1

              El servidos es un i3 con 8GB de ram, tiene isntalado pfsense 2.3.2, squid, squidguard y lightsquid…..

              Las opciones de Squid cache las he cambiado infinidad de veces y nada

              Ahorita está

              Todo en default menos:

              Hard Disk Cache Size: 8000
              Memory Cache Size: 1024
              Maximum Object Size in RAM:  256

              Esas opciones las he variado bastante y el comportamiento es similar.

              Poco a poco sube la RAM hasta llegar casi a 100%, luego se activa la SWAP, si no reinicio el servicio de squid o limpio la cache al llegar a 100% obviamente colapsa el sistema.

              Muchas gracias de antemano

              1 Reply Last reply Reply Quote 0
              • J
                j.sejo1
                last edited by

                Bueno, te respondo en base a una experiencia de squid pero no con pfsense.

                En mi caso, no llegaba la ram al 100%, lo que me llenaba era el disco y se reiniciaba el servidor.

                Motivo: cuando uno ajusta los cambios de cache del squid no basta con vaciarla-limpiarla. lo mejor es borrar el contenido completo (lo que esta dentro de spool) y generarla  nuevamente con squid -z si mal no recuerdo.

                Te recomiendo lo siguiente:

                1. Deten squid.
                2. Borra el contenido de  /var/squid/cache/*
                3. AJusta en las opciones de cache: Level 1 Directories    a 32.
                4. Minimum Object Size  0
                5. Maximum Object Size  8192  (8MB mi caso) Por defecto es 4,  déjalo por defecto. a ver.
                6. Memory Cache Size  2048
                7. Maximum Object Size in RAM  1024
                8. Hard Disk Cache Size  yo tengo 16GB (este valor es en mb)
                9. Ejecutar: squid -z  (esto debe recrear el directorio cache en  /var/squid/cache/)
                10. Inicia squid

                Monitorea el comportamiento de la ram.

                Espero te sirva.

                Saludos.

                Pfsense - Bacula - NagiosZabbix - Zimbra - AlienVault
                Hardening Linux
                Telegram: @vtlbackupbacula
                http://www.smartitbc.com/en/contact.html

                1 Reply Last reply Reply Quote 0
                • F
                  fabshdz
                  last edited by

                  Se me ocurre lo siguiente…

                  Los expertos dirán...

                  Si tienes mucho tráfico probablemente tengas que reducir el tiempo que guarda las páginas el squid

                  tal vez vaya por ahí, no?

                  Aun que eso, creo lo hace el D.D.

                  1 Reply Last reply Reply Quote 0
                  • S
                    slim
                    last edited by

                    Hola

                    tengo el mismo problema desde hace un rato desde la vesion 2.3.1, y en las prubeas que he hecho, no es el cache del squid, ni el disco duro, ni la manera del almacenar el cache
                    El problema radica en las conecxiones https que establece el squid, lo que encontrado es que cuando se reliaza una conecxion el espacio en memoria del squid ocupa 3 veces mas y sigue manteniendo la conexion asi no se este usando, tambien encontre que desde cierta version del squid tiene ese problea y que solo que genera cuando se ha actulizado desde  versiones anteriores

                    Sigo en la tarea de como parametrizar el squid para que no consuma toda esa memoria.

                    Saludos.

                    1 Reply Last reply Reply Quote 0
                    • E
                      emax4
                      last edited by

                      Muchachos!

                      Así es, leyendo un poco y haciendo pruebas, me di cuenta que el problema se da cuando se realizan las conexiones HTTPS, cuando se tilda en services> squid service> pestaña general

                      Allí tenemos la opción de que el SQUID filtre o no los sitios HTTPS , cuando lo mantenemos tildado se genera el alto consumo de RAM, al destildarlo la RAM no me pasa de 16%

                      Ahora la idea es que el SQUID verifique los sitios HTTPS , no sé si será un problema de la versión del squid como tal o algún problema de configuración.

                      Si dan con la problema avisar por favor.

                      1 Reply Last reply Reply Quote 0
                      • A
                        Aleximper
                        last edited by

                        Buen día

                        Usar proxy explicito, sin el check de https, así automáticamente te filtrará todo, es engorroso tener que poner el proxy en el navegador, pero para ello puedes usar wpad, si estás en un dominio Windows, con GPO también se puede automatizar esto.

                        Saludos

                        1 Reply Last reply Reply Quote 0
                        • E
                          emax4
                          last edited by

                          Hola  Aleximper.

                          Cuando hablas de "proxy explicito" te refieres a que lo coloquemos en modo "no transparente"?

                          Estando de esta forma no hay necesidad de marcar  el check de https para que filtre estos sitios?

                          Saludos

                          1 Reply Last reply Reply Quote 0
                          • A
                            Aleximper
                            last edited by

                            Buen día

                            Así es, en modo no transparente, con eso no hay necesidad de marcar  el check de https para que filtre estos sitios.

                            Saludos

                            1 Reply Last reply Reply Quote 0
                            • E
                              emax4
                              last edited by

                              Si bueno…

                              Esta semana pruebo, lo unico tediosos es que hay que configurar cada usuario

                              Otra interrogante, los usuarios conectados por WiFi como hacen con las aplicaciones al estar en modo no trasparente?

                              Saludos!

                              1 Reply Last reply Reply Quote 0
                              • E
                                emax4
                                last edited by

                                Hola.

                                Nadie ha dado con la solución?

                                Saludos

                                1 Reply Last reply Reply Quote 0
                                • T
                                  tsis
                                  last edited by

                                  en mi caso se cae al usar la swap a tope.

                                  es curioso, no hay ninguna forma de cuando cae el servicio lanzar un script que vuelva a iniciarlo previo borrado de cache.

                                  kernel pid 62710 (squid), uid 100, was killed: out of swap space

                                  un saludo

                                  1 Reply Last reply Reply Quote 0
                                  • gersonofstoneG
                                    gersonofstone
                                    last edited by

                                    @emax4:

                                    Hola.

                                    Nadie ha dado con la solución?

                                    Saludos

                                    No hasta el momento hacer una instalacion en limpio del fw el squid no consume toda la ram

                                    Papu!! :V

                                    1 Reply Last reply Reply Quote 0
                                    • T
                                      tsis
                                      last edited by

                                      habria alguna forma de automatizar como en otros sistemas, que cuando se caiga el proceso squid, se elimine la cache y se inicie de forma automatica?

                                      mediante algun cron que cada hora lo comprueba o algo asi? ..

                                      un saludo

                                      1 Reply Last reply Reply Quote 0
                                      • T
                                        trasher mx
                                        last edited by

                                        Crea un cron job que haga el trabajo cada 12 hrs por ejemplo o mas frecuente si tu problema es muy continuo.

                                        cd /var/squid
                                        rm -rf cache/
                                        mkdir cache
                                        chown proxy:proxy  cache/
                                        squid -zX

                                        Algo asi.

                                        Saludos.

                                        1 Reply Last reply Reply Quote 0
                                        • T
                                          trasher mx
                                          last edited by

                                          Ah se me olvidaba, el alto consumo de RAM va directamente a como squid guarda los datos "cacheados".

                                          Los que son mas solicitados se guardan momentaneamente en ram, para al "vuelo" volverlos a servir. Si dejan de estar tan "solicitados" se guarda en HD para liberar RAM Me da que tu problema es mas de configuracion alguna flag mal setteada.

                                          1 Reply Last reply Reply Quote 0
                                          • gersonofstoneG
                                            gersonofstone
                                            last edited by

                                            @trasher:

                                            Ah se me olvidaba, el alto consumo de RAM va directamente a como squid guarda los datos "cacheados".

                                            Los que son mas solicitados se guardan momentaneamente en ram, para al "vuelo" volverlos a servir. Si dejan de estar tan "solicitados" se guarda en HD para liberar RAM Me da que tu problema es mas de configuracion alguna flag mal setteada.

                                            No es eso, todo las peticiones que van sobre https y el squid en modo transparente son guardadas en el HD, pero las sesiones se  mantienes eos cuasa que la memoria poco a poco se va usando hasta el punto de usar toda la RAM y despues la SWAP , eso se evidencia en habilitar el modo debug 9 de squid, muestra que los puertos 443 se mantiene en memoria

                                            Papu!! :V

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.