Pfsense colapsado por 1000 usuarios



  • Que tal, espero puedan apoyarme, estoy implementando un servidor pfsense para filtrado de contenido con  squid + squidguard en modo transparente, usando también certificados en los clientes para todo https. El pfsense esta configurado con una interfaz WAN y una LAN, instalado en un servidor HP ProLiant, el problema es: cuando se puso a funcionar (en produccion) trabajo casi medio día y al final no dio conexión a Internet a los usuarios, ademas que se quejaban los usuarios de que estaba muy lenta la conexión, la cantidad de usuarios que aproximadamente se conectaron fue de 1100 usuarios, no he configurado nada mas que squid, squidguard y ligthsquid  y solo tres reglas en firewall para bloqueo de teamvewer espero puedan apoyarme con algunas sugerencias, he estado pensando que puede ser por el consumo de ancho de banda, pienso hacer algo con traffic shaper para limitar consumos pero he leido que con squid no es recomendable, siendo que no soy experto en pfsense de verdad espero sus sugerencias gracias !!!!!!!

    PD: no comente que la forma en como esta el sevidor pfsense es:
                                    firewall checkpoint –- pfsense --- switch procurve ---- clientes



  • Buen día

    Realiza una descripción del hardware de pfsense, y verifica el consumo de RAM y CPU, también específica qué funciones en la red realiza el checkpoint y cuales pfsense, ya que ambos podrían estar haciendo lo mismo, puede ser que en tu red tengas un doble NAT y eso genera muchos problemas, para lo que deberías usar pfsense en modo bridge.

    Saludos



  • @mercke:

    Que tal, espero puedan apoyarme, estoy implementando un servidor pfsense para filtrado de contenido con  squid + squidguard en modo transparente, usando también certificados en los clientes para todo https. El pfsense esta configurado con una interfaz WAN y una LAN, instalado en un servidor HP ProLiant, el problema es: cuando se puso a funcionar (en produccion) trabajo casi medio día y al final no dio conexión a Internet a los usuarios, ademas que se quejaban los usuarios de que estaba muy lenta la conexión, la cantidad de usuarios que aproximadamente se conectaron fue de 1100 usuarios, no he configurado nada mas que squid, squidguard y ligthsquid  y solo tres reglas en firewall para bloqueo de teamvewer espero puedan apoyarme con algunas sugerencias, he estado pensando que puede ser por el consumo de ancho de banda, pienso hacer algo con traffic shaper para limitar consumos pero he leido que con squid no es recomendable, siendo que no soy experto en pfsense de verdad espero sus sugerencias gracias !!!!!!!

    PD: no comente que la forma en como esta el sevidor pfsense es:
                                    firewall checkpoint –- pfsense --- switch procurve ---- clientes

    Como tienes configurado el cache y que tipo de disco duro tienes y memoria?



  • Gracias por responder, disculpen la tardanza estas son las caracteristicas del servidor
    https://imagizer.imageshack.us/v2/274x476q90/922/HN2vgY.png

    LA configuración del cache es esta:
    https://imageshack.com/i/pm8khVCYp
    https://imageshack.com/i/pmQxhWaap
    Lo configure sin cache  :-\



  • Buen día

    Por lo que pude ver esa máquina está muy bien en hardware, el problema puede ser si no me equivoco por un doble NAT que debes tener  el primero lo realiza pfsense desde la Red LAN hacia la red de chekpoint, y el segundo el que realiza Checkpoint hacia internet, te recomiendo dejar uno de los 2 dispositivos, o si el checkpoint es el que le pone la cara al mundo, entonces debes configurar pfsense como firewall transparente o viceversa, que lo haces configurando un bridge entre LAN y WAN.

    Configura caché en esa máquina que te corre perfecto para la cantidad de usuarios que manejas



  • Gracias Aleximper, si creo que tiene mucho que ver el checkpoint, este no se puede quitar porque sirve como protección firewall, ya que solo pfsense lo uso como proxy para filtrar contenido, respecto a la sugerencia del bridge, por lo que he leido, (alomejor estoy mal), seria que la IP de la WAN y la de LAN sea igual?? en este caso no lo podria hacer ya que checkpoint me porvee una IP para la WAN y para la LAN le asigno otra diferente para las pc  :-, tambien el problema es que la configuracion del checkpoint no la manejo yo, digamos que solo tengo accceso a lo que es el pfsense solo me proveen la IP para WAN y a apartir de ahi para realizar el filtrado de contenido
    Tambien le configurare el cache ya que ahorita no realiza nada de chache



  • Buen día

    El bridge implica que la WAN y la LAN se van a ver como 1 sola interfaz, pfsense, facilmente puede reemplazar al checkpoint en funciones de firewall, pero bueno ese es otro tema de discusión, en cuanto a lo que dijiste de la IP de WAN en pfsense y e IP para las LAN, pues reconfigura el checkpoint para que sea el dhcp con WPAD para que el proxy explicito no implique configurar el navegador, y dejas pfsense como bridge y ya, no tiene mayor complique, ya que ese doble NAT en tu red te va a seguir molestando.



  • Gracias! revisare lo que me recomiendas y comento como me fue con los cambios!!!



  • Yo la verdad es que dudo mucho que esto sea un problema con el doble NAT , los dos equipos tienen para manejar las tablas de nat sin problema,  mas bien creo que es un problema con el squid.  Hay gente aca que sabe mucho del tema asi que yo creo que debes de buscarle por ahi.

    Revisa tambien que el numero de sesiones que tienes es suficiente para el numero de usuarios que tienes operando. Hay que hacer las pruebas sin el squid tambien.

    checa esta pagina tambien https://doc.pfsense.org/index.php/Squid_Package_Tuning

    revisa tambien que tus tarjetas de red no tengan problemas de negociacion , paquetes reenviados, tirados, etc.
    seguimos pendientes.



  • Acriollo, gracias, también vi una publicación en este foro donde se menciona que "un squid que tenga mucha demanda requiere una buena optimización" donde se mencionaba configurar el cache lo cual ya estoy revisando, revisare también el link que propones, igual si tuvieras mas información te lo agradecería, igual buscaré más al respecto gracias!!!



  • mercke

    yo suguiero algo

    Elimina el squid y verifica el rendimiento en cuanto navegacion, si el problema persiste puede estar el problema en otro lado entre el checkpoint y pfsense, pero esa parte la dudo, si al eliminar el squid se soluciona el problema lo mejor seria tunearlo para que pueda trabajr lo mejor posible



  • 1000 Usuarios???

    Que hacen los Usuarios???? creo que el inconveniente puede ser el puerto LAN GB, si por lo menos tendrán 1 MB c/u, eso significa que ya llegaste al limite de trafico del puerto… ntonces necesitarías un Tb para tenes ancho de banda suficiente para esa cantidad de IPs.

    Saludos



  • Saludos mi estimado,

    ha verificado estados de la conexión en tiempo real??? si usted cree que pueden estar colapsadas las tarjetas de red con ello puede notarlo rápidamente.

    Pruebe desactivar squid +squidguard y deje navegar sus clientes directos mientras hace la pruebas y testee si ocurre lo mismo.

    Lo otro a tomar que ancho de banda tiene contratado con su isp?? noto que no posee regla alguna o limitación en cuanto a ancho de banda, recuerde que al dejar dicho punto libre los pcs clientes que agarren primero el ancho de banda lo van a disfrutar quedando una gran parte de los clientes necesitando ancho de banda y trabajando de una manera no adecuada..

    Para ello vendria bien analizar limitaciones en cuanto a ancho de banda para garantizar establidad y calidad en cada cliente

    Espero atento su comentarios



  • Actualizando este Post, en caso de que sirva como referencia para alguien (si es el caso), y para compartir los resultados que se obtuvieron (si aun hay más sugerencias, se los agradecería).

    • Opcion 1:Se configuro el squid para que realize cache–---- sin resultados, colapso sin dar acceso a nadie

    http://imageshack.com/a/img924/3120/l52wS4.png –--Imagen cache
    http://imageshack.com/a/img923/1644/vIBCuP.png -----Imagen cache
    http://imageshack.com/a/img921/6069/X9hl55.png ------Imagen cache

    • Opcion 2: Se modificó el archivo loader.conf y se limito la velocidad de navegacion por ciente con traffic shaper- Limiters (para 100MB que da el ISP, al mayor numero de Ips se les asigno128K de subida y 512Kde bajada (grupo de Ips mayor), para el mas alto con 2 y 3 MB de descarga por 1MB de bajada (tomando en cuenta que son menos Ips) )–-SIN RESULTADOS, colapso sin dar acceso a nadie

    http://imageshack.com/a/img921/5643/MshSqN.png –--Imagen limiter
    http://imageshack.com/a/img922/5162/sJSWb1.png ----Imagen limiter
    http://imageshack.com/a/img924/4476/g5dZ5A.png ----Imagen limiter
    http://imageshack.com/a/img922/9841/Y5XVvw.png ----Imagen loader.conf
    En base a las sugerencias que me dieron realize estas modificaciones, descartando el cache , el limitar velocidades a cada cliente y el archivo loader hasta ahora, en cuanto a desactivar el squid para probar si squid es el problema sinceramente no lo realize pero tambien seria otra opcion, por otro lado considero que puede ser lo que comentaba Aleximper, el problema de doble NAT, por lo que buscare atender esa parte, configurando el pfsense como bridge, si hay mas sugerencias en base a lo que he realizado se los agradecería, igual comentare los siguientes resultados obtenidos.
    OBSERVACIONES: Al aplicar lo de los limites de velocidad si se vio un poco de mejora, en cuanto a acceso a internet aunque era muy lento a diferencia de pruebas anteriores que no abria de plano paginas, pero como las otras veces llego un momento en el que no dio acceso a nadie en horas pico se podria decir, donde el registro es de 1200 usuarios, viendo tambien que con cerca de 800 usuarios y aplicando los limtes se ve mucho mas la mejora, se podria decir que conforme van aumentando el numero de usuarios va bajando el nivel de acceso hasta no dejar navegar a nadie.



  • Yo he visto pfsense con 600 usuarios en un pote y funciona bien. Usango squid + squidguard.

    Valida los siguiente:

    1. Que tu switch core o switch principal,  no se quede inhibido.

    2. Bug en las tarjetas de red. hace años, un colega con a version del pfsense, que se le caía cada 6 horas con trafico pesado, bussco y busco en la red y encontró que una interface que usaba tenia un bug…. se cambio y listo.

    3. Pon tu mejor tarjeta de red como LAN.

    En lo personal, si veo que paso de 200 usuarios, me voy mejor con un proxy dedicado NO transparente.  Por que? Pfsense que haga lo suyo. Firewall, vpn, nat, etc.    Prefiero mil veces, manejar en un server aparte, y jugar con squid y con todos los juguetes con los que pueda interacturar (ldap, dansguardian, squidguar, AD)  etc etc etc.

    Del resto, he visto a pfsense con mas de 1000 usuarios, hechandose aire.



  • Gracias j.sejo1, revisare tambien esa parte, saludos!