Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    INSTALANDO LUSCA EN PFSENSE (Caché youtube y contenidos dinámicos)

    Scheduled Pinned Locked Moved Español
    50 Posts 13 Posters 44.6k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • A
      amnarl
      last edited by

      Buenas nuevamente posteando por aca ya casi va a llegar a la semana de uso el server que les explique aca voy a dejar colgada una imagen tomada hoy en ese equipo de lo que se muestra en el comado tail -f access.log | grep TCP_HIT en el directorio /va/squid/logs. Unos cuantos pequeños y hermosos Hit tanto de youtube como de facebook tan esperado en nuestras redes WISP . http://redsoporte.dyndns.org/lusca/hit Disfrutenlo como dije anteriormente completamente a la orden de veras aca en este forum he aprendido mucho de ustedes, tutoriales como el de bellera y otros en mis inicios fueron de gran ayuda.

      Configuracion y puesta en marcha de servers incluyendo pfsense en areas de produccion, para administrar y proveer servicios . Servicio tecnico presencial y online. Reparacion y mantenimiento de computadores. Instalacion y actualizacion de sistemas (Linux, Windows,Os/2) Conectividad a internet en zonas del Estado Lara donde no hay red cableada.
      http://www.linkedin.com/pub/amnarlyei-goitia/66/b2/722

      1 Reply Last reply Reply Quote 0
      • E
        enic68
        last edited by

        Estimado muy buena la imagen, podrías contarnos mas del procedimiento de instalación que usaste para obtener este resultado?

        Instalé una máquina nueva con pfsense 2.0.2 , agregué el paquete lusca y  luego el storeurl.pl que compartes, pero el servicio de lusca deja de funcionar..

        *- Como instalaste Lusca?  lo adicionaste luego de instalar squid? o solo Lusca?
        *- Usaste pfsense 2.0.2 o lo actualizate a  2.0.3?
        *- Algún otro archivo que tocar o solo  storeurl.pl?

        Saludos desde Chile
        César.-

        1 Reply Last reply Reply Quote 0
        • A
          amnarl
          last edited by

          Saludos!! Cesar recuerda como ya se ha dicho Lusca es un squid como tal no debemos instalar el paquete squid en pfsense solo lusca y seguir los paso posteados aca, solo en el paso del archivo storeurl.pl usar el que publique. En ese pfsense de la imagen que muestro solo tengo instalado los paquetes: Lusca y Lightsquid  para verificar sitios navegados por los usuarios conectados. Dejo una imagen de la pantalla de paquetes http://redsoporte.dyndns.org/lusca/paquetes. Ah se me olvidaba al version utilizada es 2.01 no he probado en 2.02
          Espero ser de ayuda para todos !!! Saludos desde venezuela barquisimeto

          Configuracion y puesta en marcha de servers incluyendo pfsense en areas de produccion, para administrar y proveer servicios . Servicio tecnico presencial y online. Reparacion y mantenimiento de computadores. Instalacion y actualizacion de sistemas (Linux, Windows,Os/2) Conectividad a internet en zonas del Estado Lara donde no hay red cableada.
          http://www.linkedin.com/pub/amnarlyei-goitia/66/b2/722

          1 Reply Last reply Reply Quote 0
          • E
            enic68
            last edited by

            ;D jajajaja,  vale gracias, si yo mismo lo he dicho al iniciar este hilo  (Lusca es Squid en si mismo, por tanto si instalamos squid y lusca tendremos rutas y archivos de configuración contradictorios).  que cosas no..!

            1 Reply Last reply Reply Quote 0
            • S
              system_urrutia
              last edited by

              Saludos amigos del foro llevo probando lusca cerca de 15 días basado en la guía y orientaciones del compa Cesar-V y pues no logro hacer Hit o TCP_HIT de los videos de youtube ni de ninguna otra pagina al parecer lo único que almacena en cache son solo imágenes estáticas y animadas pero nada de vídeos, haciendo un analisis del script del compa de barquisimeto amnarl considero que debe haber algún error en las lineas que describo a continuación;

              youtube All itag (semua resolusi)

              } elsif (m/^http://([0-9.]{4}|..youtube.com|..googlevideo.com|..video.google.com).?(itag=[0-9]).?&(id=[a-zA-Z0-9])./) {
              print $x . "http://video-srv.youtube.com.SQUIDINTERNAL/" . $2 . "&" . $3 . "\n";

              youtube All itag (semua resolusi) posisi kebalikan

              } elsif (m/^http://([0-9.]{4}|..youtube.com|..googlevideo.com|..video.google.com).?(id=[a-zA-Z0-9]).?&(itag=[0-9])./) {
              print $x . "http://video-srv.youtube.com.SQUIDINTERNAL/" . $3 . "&" . $2 . "\n";

              ya que se queda pegado el lusca o mejor dicho se cae el servicio, he anexado algunas de las modificaciones del compa de barquisimeto al script del compa Cesar-V y aparentemente funcionan bien me imagino que el error es debido a que se utiliza prácticamente una sola linea para hacer el caheo tomando cualquiera de los 6 formatos de reproducción de youtube, 144,240,360,480,720 y 1080 haciendo un análisis de esto veo que el compa cesar-v tampoco los incluye todos en su script.
              se me olvidaba estoy usando la version 2.1-BETA1 (i386) built on Fri Apr 5 00:57:29 EDT 2013  FreeBSD 8.3-RELEASE-p7 de pfsense en una red con 16 clientes

              1 Reply Last reply Reply Quote 0
              • E
                enic68
                last edited by

                Estimados logré reactivar el caché de Videos de Youtube.

                Lo que se debe hacer es  modificar el "storeurl.pl" existente y no sobre-escribir directamente el archivo en el directorio de pfsense…  me explico:

                -*- Cuando se carga un nuevo archivo storeurl.pl, directamente, el propietario del archivo no corresponde al que tiene el original de pfsense.

                Si siguen el procedimiento de la primera página (punto 5), al ingresar por FTP ,   descarguen desde la ruta  ("/usr/local/etc/squid/") el archivo  (storeurl.pl).
                Luego  editen  el archivo con un block de notas por ejemplo y reemplacen editando todo el código nuevo, propuesto por el amigo amnarl en su archivo storeurl.pl ,  luego que graben podrán cargar el archivo al directorio nuevamente.

                Es por esta razón que el servicio lusca-cache  se detenía,

                Otras maneras

                Editar  el archivo desde la opción (Edit file) del administrador Web de pfsense, (pero antes deben cambiar los permisos de escritura del archivo storeurl.pl)

                Me parece muy interesante lo que indica el amigo system_urrutia  en cuanto a seguir modificando para optimizar el caché de videos  ojalá se anime a publicar su storeurl.pl

                Saludos desde Chile,
                César.-

                1 Reply Last reply Reply Quote 0
                • S
                  system_urrutia
                  last edited by

                  Saludos amigo Cesar-V, de hecho es lo que he echo con el archivo storeurl.pl, que tu y el amigo amnarl han posteado utilizo la opción EditFile del PfSense, con el tuyo no he tenido problemas pero con el del amigo amnarl al hacerlo de la misma forma se detiene el lusca o sucede un error con los vídeos empieza a reproducir en youtube y pasado 20 segundos se detiene y no carga mas al hacer un refresh de youtube el video al parecer empieza a cargar del cache pero se ve en negro y al llegar hasta la parte en que se detuvo, no carga mas pasa la linea gris y la linea roja de forma rapida, esto es lo que me sucede a mi no se si el amigo cesar-v ha tenido al gun problema con el storeurl.pl del amigo amnarl.

                  me gustaría poder colaborar creando un storeurl, pero desconozco la programación

                  1 Reply Last reply Reply Quote 0
                  • A
                    amnarl
                    last edited by

                    Saludos mis estimados que bueno saber que estan trabajando y haciendo pruebas para dejar este tema al 100 % realmente en mi experiencia he editado el archivo storeurl.pl directamente en el administrador web de pfsense deteniendo el servicio de lusca y reactivandolo al modificar y no he tenido problema. Les cuento que el server sigue haciendo cache de videos sin problemas aun reportados por los clientes ni visto por mi persona. Estoy trabajando en incluir en ese storeurl cacheo de actualizaciones de NOD32 ya que visualizo que muchos usuario hacen uso de ese antivirus. Sigo atento a nuevas noticias

                    Configuracion y puesta en marcha de servers incluyendo pfsense en areas de produccion, para administrar y proveer servicios . Servicio tecnico presencial y online. Reparacion y mantenimiento de computadores. Instalacion y actualizacion de sistemas (Linux, Windows,Os/2) Conectividad a internet en zonas del Estado Lara donde no hay red cableada.
                    http://www.linkedin.com/pub/amnarlyei-goitia/66/b2/722

                    1 Reply Last reply Reply Quote 0
                    • E
                      enic68
                      last edited by

                      :-\  Al estar haciendo pruebas con virtualización,  (virtualBOX)  la velocidad de transferencia de datos (desde el servidor de caché hacia la red que sirve) , está limitada por el controlador de disco?  en este caso IDE?
                      *- La velocidad a la que entrega datos del caché sería muy superior usando un disco SATA.

                      BUG???….....  haciendo pruebas en realidad navegando varios videos de youtube   los videos se confunden

                      me ha pasado varias veces que  al pinchar sobre un video en youtube ,  el despliegue es el de otro que ya visualicé hace tiempo... raro..!???   sigo probando!

                      Saludos
                      César.

                      1 Reply Last reply Reply Quote 0
                      • S
                        system_urrutia
                        last edited by

                        muchachos en contre este escript según el creador funciona muy bien y cachea todo, seria cuestión de adaptarlo para que corra en pfsense, hay les dejo ya que el codigo y yo no somos muy amigos.
                        #      WELCOME TO SQUID LUSCA_HEAD-r14809
                        #      –--------------------------
                        #      Provided by meTRohaus.info and recompile by ouziel-cyber-tech
                        #      last revision February/1/2012
                        #      start of config

                        http_port 10.10.1.1:3128 transparent
                        http_port 127.0.0.1:3128
                        icp_port 3130
                        server_http11 on

                        cache_effective_user proxy
                        cache_effective_group proxy

                        error_directory /usr/share/squid/errors/English
                        icon_directory /usr/share/squid/icons
                        visible_hostname infomypc.blogspot.com
                        cache_mgr ouziel-cyber-tech
                        access_log /var/log/squid/access.log
                        cache_log /var/log/squid/cache.log
                        cache_store_log none
                        log_http_violations off
                        logfile_rotate 1
                        shutdown_lifetime 10 seconds
                        forwarded_for off

                        acl localnet src 192.168.2.0/24

                        uri_whitespace strip
                        dns_nameservers 192.168.20.1
                        dns_testnames 127.0.0.1
                        cache_mem 32 MB
                        maximum_object_size_in_memory 64 KB
                        memory_replacement_policy heap GDSF
                        cache_replacement_policy heap LFUDA

                        cache_dir aufs /cache 7000 16 256

                        minimum_object_size 0 bytes
                        maximum_object_size 256000 KB
                        offline_mode off
                        cache_swap_low 98%
                        cache_swap_high 99%

                        redirector configured

                        storeurl_rewrite_program /etc/squid/storeurl.pl
                        storeurl_rewrite_children 1
                        storeurl_rewrite_concurrency 100
                        storeurl_bypass on

                        Setup some default acls

                        acl all src 0.0.0.0/0
                        acl localhost src 127.0.0.1/255.255.255.255
                        acl safeports port 21 70 80 210 280 443 488 563 591 631 667 777 901 81 3128 1025-65535
                        acl sslports port 443 563 81
                        acl manager proto cache_object
                        acl purge method PURGE
                        acl connect method CONNECT
                        acl dynamic urlpath_regex cgi-bin ?
                        acl porn url_regex "/etc/squid/porno.txt

                        http_access deny porn
                        http_access allow manager localhost
                        http_access deny manager
                        http_access allow purge localhost
                        http_access deny purge
                        http_access deny !safeports
                        http_access deny CONNECT !sslports

                        Always allow localhost connections

                        http_access allow localhost

                        Allow local network(s) on interface(s)

                        http_access allow localnet

                        Default block all to be sure

                        http_access deny all

                        acl store_rewrite_list urlpath_regex /(get_video|videoplayback?id|videoplayback.id) .(jp(e?g|e|2)|gif|png|tiff?|bmp|ico|flv|wmv|3gp|mp(4|3)|exe|msi|zip|on2|mar|swf)?
                        acl store_rewrite_list urlpath_regex -i .youtube.com/get_video?
                        acl store_rewrite_list urlpath_regex -i .youtube.com/videoplayback .youtube.com/videoplay .youtube.com/get_video?
                        acl store_rewrite_list urlpath_regex -i .youtube.[a-z][a-z]/videoplayback .youtube.[a-z][a-z]/videoplay .youtube.[a-z][a-z]/get_video?
                        acl store_rewrite_list urlpath_regex -i .googlevideo.com/videoplayback .googlevideo.com/videoplay .googlevideo.com/get_video?
                        acl store_rewrite_list urlpath_regex -i .google.com/videoplayback .google.com/videoplay .google.com/get_video?
                        acl store_rewrite_list_domain url_regex ^http://([a-zA-Z-]+[0-9-]+).[A-Za-z]
                        .[A-Za-z]*
                        acl store_rewrite_list_domain url_regex (([a-z]{1,2}[0-9]{1,3})|([0-9]{1,3}[a-z]{1,2})).[a-z][0-9]?.[a-z]{3}
                        acl store_rewrite_list_path urlpath_regex .(jp(e?g|e|2)|gif|png|tiff?|bmp|ico|flv|avc|zip|mp3|3gp|rar|on2|mar|exe)$
                        acl store_rewrite_list_domain_CDN url_regex .rapidshare.com.
                        /[0-9]/./[^/]* ^http://(www.ziddu.com..[^/]{3,4})/(.) .doubleclick.net.* ^http://[.a-z0-9].photobucket.com..[a-z]{3}$ quantserve.com

                        acl dontrewrite url_regex redbot.org .php (get_video|videoplayback?id|videoplayback.*id).*begin=
                        acl getmethod method GET

                        acl apache rep_header Server ^Apache
                        broken_vary_encoding allow apache

                        storeurl_access deny dontrewrite
                        storeurl_access deny !getmethod
                        storeurl_access allow store_rewrite_list_domain_CDN
                        storeurl_access allow store_rewrite_list
                        storeurl_access allow store_rewrite_list_domain
                        storeurl_access allow store_rewrite_list_path
                        storeurl_access deny all

                        include /usr/local/etc/squid/refresh.conf

                        acl snmp_host src 127.0.0.1
                        snmp_port 3401
                        acl snmppublic snmp_community public
                        snmp_access allow snmppublic snmp_host

                        string pendukung squidstats

                        snmp_access allow snmppublic all
                        snmp_access deny all

                        1 year = 525600 mins, 1 month = 43800 mins

                        refresh_pattern imeem.*.flv            0 0% 0  override-lastmod override-expire
                        refresh_pattern ^ftp:  40320  20%    40320  override-expire reload-into-ims store-stale
                        refresh_pattern ^gopher: 1440  0%      1440

                        #ads
                        refresh_pattern ^.(utm.gif|ads?|rmxads.com|ad.z5x.net|bh.contextweb.com|bstats.adbrite.com|a1.interclick.com|ad.trafficmp.com|ads.cubics.com|ad.xtendmedia.com|.googlesyndication.com|advertising.com|yieldmanager|game-advertising.com|pixel.quantserve.com|adperium.com|doubleclick.net|adserving.cpxinteractive.com|syndication.com|media.fastclick.net). 129600 20% 129600 ignore-no-cache ignore-no-store ignore-private override-expire ignore-reload ignore-auth ignore-must-revalidate store-stale negative-ttl=40320 max-stale=1440
                        refresh_pattern ^.*safebrowsing.*google  131400 999999% 525600 override-expire ignore-reload ignore-no-cache ignore-no-store ignore-private ignore-auth ignore-must-revalidate negative-ttl=10080 store-stale

                        #specific sites
                        refresh_pattern .rapidshare./[0-9]/./[^/] 161280      90%    161280 ignore-reload store-stale
                        refresh_pattern (get_video?|videoplayback?|videodownload?|.flv?)    129600 99999999% 129600 override-expire ignore-reload store-stale
                        refresh_pattern .(ico|video-stats) 129600 999999% 129600      override-expire ignore-reload ignore-no-cache ignore-no-store ignore-private ignore-auth override-lastmod ignore-must-revalidate negative-ttl=10080 store-stale
                        refresh_pattern .etology?                    129600 999999% 129600  override-expire ignore-reload ignore-no-cache store-stale
                        refresh_pattern galleries.video(?|sz)                129600 999999% 129600  override-expire ignore-reload ignore-no-cache store-stale
                        refresh_pattern brazzers?                      129600 999999% 129600  override-expire ignore-reload ignore-no-cache store-stale
                        refresh_pattern .adtology?            129600 999999% 129600  override-expire ignore-reload ignore-no-cache store-stale
                        refresh_pattern ^.safebrowsing.google                129600 999999% 129600  override-expire ignore-reload ignore-no-cache ignore-no-store ignore-private ignore-auth ignore-must-revalidate negative-ttl=10080 store-stale
                        refresh_pattern ^http://((cbk|mt|khm|mlt)[0-9]?).google.co(m|.uk)    129600 999999% 129600  override-expire ignore-reload store-stale ignore-private negative-ttl=10080
                        refresh_pattern ytimg.com.
                        .(jpg|png) 129600 999999% 129600  override-expire ignore-reload store-stale
                        refresh_pattern (avgate|avira).
                        .(idx|gz)$            1440 90% 1440 ignore-reload ignore-no-cache ignore-no-store store-stale ignore-must-revalidate
                        refresh_pattern images.friendster.com..(png|gif)            129600 999999% 129600 override-expire ignore-reload store-stale
                        refresh_pattern ((facebook.com)|(85.131.151.39)).
                        .(png|gif) 129600 999999% 129600 override-expire ignore-reload store-stale
                        refresh_pattern garena.com 129600 999999% 129600      override-expire reload-into-ims store-stale
                        refresh_pattern photobucket..(jp(e?g|e|2)|tiff?|bmp|gif|png) 129600 999999% 129600 override-expire ignore-reload store-stale
                        refresh_pattern vid.akm.dailymotion.com.
                        .on2?            129600 999999% 129600 ignore-no-cache override-expire override-lastmod store-stale
                        refresh_pattern .fbcdn.net..(jpg|gif|png)            129600 999999% 129600  ignore-no-cache override-expire ignore-reload store-stale negative-ttl=5
                        refresh_pattern ^http://images|pics|thumbs[0-9].            129600 999999% 129600 ignore-no-cache ignore-no-store ignore-reload override-expire store-stale
                        refresh_pattern ^http://www.onemanga.com.
                        /  129600 999999% 129600  reload-into-ims override-expire store-stale
                        refresh_pattern mediafire.com/images..(jp(e?g|e|2)|tiff?|bmp|gif|png) 129600 999999% 129600  reload-into-ims override-expire ignore-private store-stale
                        refresh_pattern ^http://.www[0-9][0-9].indowebster.com/(.
                        )(rar|mov|mkv|cab|flv|wmv|3gp|mp(4|3)|exe|msi|zip) 43200 99999% 129600 reload-into-ims  ignore-reload override-expire ignore-no-cache ignore-no-store  ignore-private  store-stale ignore-auth

                        ANTI VIRUS

                        refresh_pattern guru.avg.com/..(bin)                                  43200 999999% 43200 ignore-no-cache ignore-no-store ignore-reload  reload-into-ims store-stale
                        refresh_pattern (avgate|avira).
                        (idx|gz)$                              43200 999999% 43200 ignore-no-cache ignore-no-store ignore-reload  reload-into-ims store-stale
                        refresh_pattern update.nai.com/..(gem|zip|mcs)                        43200 999999% 43200 ignore-no-cache ignore-no-store ignore-reload  reload-into-ims store-stale
                        refresh_pattern ^http://liveupdate.symantecliveupdate.com.
                        (zip)    43200 999999% 43200 ignore-no-cache ignore-no-store ignore-reload  reload-into-ims store-stale
                        refresh_pattern kaspersky..avc$      129600 999999% 129600  ignore-reload store-stale
                        refresh_pattern kaspersky 1440 50% 161280 ignore-no-cache store-stale
                        refresh_pattern avast.com.
                        .vpx  40320 50% 525600 store-stale reload-into-ims
                        refresh_pattern .symantecliveupdate.com..zip  1440 90% 131400 ignore-must-revalidate store-stale
                        refresh_pattern .update.nai.com/.
                        .(gem|zip|mcs) 43800 999999% 43800  ignore-reload store-stale ignore-must-revalidate
                        refresh_pattern .symantec.com.*(exe|zip) 43800 999999% 43800  ignore-reload store-stale  ignore-must-revalidate

                        #GAME PB
                        refresh_pattern ^http://file.pb.gemscool.com.*.zip 131400 999999% 131400 override-expire store-stale

                        #Windows Update
                        refresh_pattern windowsupdate.com/..(cab|exe)                                43200  999999%  129600 ignore-no-cache ignore-no-store ignore-reload  reload-into-ims store-stale
                        refresh_pattern update.microsoft.com/.
                        .(cab|exe)                      43200  999999%  129600 ignore-no-cache ignore-no-store ignore-reload  reload-into-ims store-stale
                        refresh_pattern download.microsoft.com/.*.(cab|exe)                    43200  999999%  129600 ignore-no-cache ignore-no-store ignore-reload  reload-into-ims store-stale

                        #images facebook
                        refresh_pattern ((facebook.com)|(85.131.151.39))..(jpg|png|gif)      129600 999999% 129600 ignore-reload  override-expire ignore-no-cache ignore-no-store store-stale
                        refresh_pattern -i .facebook.com.
                        .(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129600
                        refresh_pattern -i .fbcdn.net..(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129690
                        refresh_pattern -i .zynga.com.
                        .(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 12960 999999% 129609
                        refresh_pattern -i .crowdstar.com..(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 12960 999999% 129609
                        refresh_pattern ^http://static.ak.fbcdn.net
                        .(jpg|gif|png|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 129600 999999% 129600
                        refresh_pattern ^http://videoxl.l[0-9].facebook.com/(.)(3gp|flv|swf|wmv|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
                        refresh_pattern ^http://
                        .channel.facebook.com/(.)(js|css|swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
                        refresh_pattern ^http://video.ak.facebook.com
                        .(3gp|flv|swf|wmv|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
                        refresh_pattern ^http://photos-[a-z].ak.fbcdn.net/(.)(css|swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
                        refresh_pattern ^http://profile.ak.fbcdn.net
                        .(jpg|gif|png) 129600 999999% 129600
                        refresh_pattern ^http://platform.ak.fbcdn.net/.* 720 100% 4320
                        refresh_pattern ^http://creative.ak.fbcdn.net/.* 720 100% 4320
                        refresh_pattern ^http://apps.facebook.com/.* 720 100% 4320
                        refresh_pattern ^http://static.ak.fbcdn.net*.(js|css|jpg|gif|png) 129600 999999% 129600
                        refresh_pattern ^http://statics.poker.static.zynga.com/(.)(swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
                        refresh_pattern ^http://statics.poker.static.zynga.com/.
                        720 100% 4320
                        refresh_pattern ^http://.zynga.com.(swf|jpg|gif|png|wav|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
                        refresh_pattern ^http://.crowdstar.com.(swf|jpg|gif|png|wav|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600

                        #refresh_pattern -i .fbcdn.net..(jpg|gif|png|swf|mp3)                129600 999999% 129600 ignore-reload  override-expire ignore-no-cache ignore-no-store store-stale
                        refresh_pattern .fbcdn.net.
                        .(jpg|gif|png|swf|mp3)                            40320  20%    40320 ignore-reload store-stale negative-ttl=5
                        refresh_pattern  static.ak.fbcdn.net*.(jpg|gif|png)                129600 999999% 129600 ignore-reload  override-expire ignore-no-cache ignore-no-store store-stale
                        refresh_pattern ^http://profile.ak.fbcdn.net*.(jpg|gif|png|flv|avi)        129600 999999% 129600 ignore-reload  override-expire ignore-no-cache ignore-no-store store-stale
                        refresh_pattern ^http://..zynga.com/(.)                        129600 999999% 129600 reload-into-ims ignore-no-cache ignore-no-store ignore-reload override-expire store-stale

                        #speedtest
                        refresh_pattern .speedtest.* 0 60% 10 negative-ttl=0
                        refresh_pattern speedtest.*.(jp(e?g|e|2)|tiff?|bmp|gif|png|swf|txt|js) 0 50% 180 store-stale negative-ttl=0

                        #general
                        refresh_pattern .(jp(e?g|e|2)|tiff?|bmp|gif|png) 129600 999999% 129600 ignore-no-cache ignore-no-store reload-into-ims override-expire store-stale
                        refresh_pattern .(z(ip|[0-9]{2})|r(ar|[0-9]{2})|jar|bz2|gz|tar|rpm|vpu) 129600 999999% 129600  override-expire reload-into-ims
                        refresh_pattern .(mp3|wav|og(g|a)|flac|midi?|rm|aac|wma|mka|ape)              129600 999999% 129600  override-expire reload-into-ims ignore-reload
                        refresh_pattern .(exe|msi|dmg|bin|xpi|iso|swf|mar|psf|cab)    129600 999999% 129600 override-expire reload-into-ims ignore-no-cache
                        refresh_pattern .(mpeg|ra?m|avi|mp(g|e|4)|mov|divx|asf|wmv|m\dv|rv|vob|asx|ogm|flv|3gp|on2|swf) 129600 9999999% 129600 override-expire reload-into-ims

                        refresh_pattern -i (cgi-bin)            0      0%      0
                        refresh_pattern .(php|jsp|cgi|asx)?  0      0%      0
                        refresh_pattern .                      0      50%    161280 store-stale

                        zph_mode tos
                        zph_local 0x30
                        zph_parent 0
                        zph_option 136

                        global_internal_static off
                        max_stale 10 years
                        retry_on_error on
                        buffered_logs on
                        read_ahead_gap 32 KB

                        header_access Accept-Encoding deny  all
                        client_persistent_connections on
                        server_persistent_connections on
                        half_closed_clients off
                        strip_query_terms off
                        quick_abort_min 0 KB
                        quick_abort_max 0 KB
                        quick_abort_pct 100
                        vary_ignore_expire on
                        reload_into_ims on
                        pipeline_prefetch on
                        #range_offset_limit 50 KB
                        read_timeout 30 minutes
                        client_lifetime 6 hours
                        negative_ttl 30 seconds
                        positive_dns_ttl 6 hours
                        negative_dns_ttl 60 seconds
                        pconn_timeout 15 seconds
                        request_timeout 1 minute
                        store_avg_object_size 13 KB
                        log_icp_queries off
                        ipcache_size 16384
                        ipcache_low 98
                        ipcache_high 99
                        log_fqdn off
                        fqdncache_size 2048
                        memory_pools on
                        memory_pools_limit 1024 MB
                        #forwarded_for on

                        #cachemgr_passwd none info
                        cachemgr_passwd none all
                        client_db on
                        n_aiops_threads 32
                        load_check_stopen on
                        load_check_stcreate on
                        download_fastest_client_speed on

                        1 Reply Last reply Reply Quote 0
                        • E
                          eduardcaballero
                          last edited by

                          Tocara esperar que los expertos en esto adapten el código porque quede  :-\ ??? :o

                          1 Reply Last reply Reply Quote 0
                          • H
                            Himeki
                            last edited by

                            @amnarl:

                            Buenas amigos!! Saludos desde venezuela barquisimeto, estuve revisando este hilo y me parecio interesante ya que desarrollo varias redes de un pequeño WISP en produccion con algunos clientes conectado y como todos saben en venezuela el ahorro de ancho de banda es necesario. Note que al hacer lo que cesar y kalelsito estaban explicando de sus avances en el uso de lusca-cache en pfsense version 2.01 y 2.02 el service squid se detiene al usar ese archivo storeurl.pl que indican en el link probado en la version 2.01. Razon por la cual me toco investigar algo para encontrar un desarrollo mas actualizado del estoreurl.pl y que realmente funcione ya lo he puesto en marcha 2 dias funcionando y haciendo full cache. Si alguien necesita algo sobre este tema estoy totalmente a la orden.
                            Agradecido a los autores principales de este Hilo (Cesar y kalelsito)

                            Buenas amigo seria bueno que publicases donde conseguiste el desarrollo mas actualizado del estoreurl.pl y pues que compartieses tus experiencias con este

                            1 Reply Last reply Reply Quote 0
                            • A
                              amnarl
                              last edited by

                              Saludos Cordiales !! Mi estimados un poco perdido de aca les puedo seguir compartiendo que hasta ahora el server sigue haciendo cache a ya mas de un mes funcionando del contenido consultado por usuarios clientes del server un 30 % son hit enviados por lusca. Al amigo Himeki que posteo de ultimo aca le indico que he compartido en la parte de arriba de este hilo mi experiencia inclusive el archivo storeurl usado al momento de la instalacion del servidor y una pequeña imagen de muestra de hits enviados por el mismo. Sigo a su ordenes

                              Configuracion y puesta en marcha de servers incluyendo pfsense en areas de produccion, para administrar y proveer servicios . Servicio tecnico presencial y online. Reparacion y mantenimiento de computadores. Instalacion y actualizacion de sistemas (Linux, Windows,Os/2) Conectividad a internet en zonas del Estado Lara donde no hay red cableada.
                              http://www.linkedin.com/pub/amnarlyei-goitia/66/b2/722

                              1 Reply Last reply Reply Quote 0
                              • H
                                Himeki
                                last edited by

                                Gracias y pido disculpas no me había percatado que lo habías posteado, saludos

                                1 Reply Last reply Reply Quote 0
                                • A
                                  amnarl
                                  last edited by

                                  Saludos mis estimados cuenten como les ha ido con el cacheo de contenidos dinamicos ???? De mi parte les cuento que el servidor que les habia comentado en el cual se esta implementando esto. esta funcionando super bien ya varios meses de uso y nuevos clientes conectados y ha llegado hasta 30 % de ahorro con el cache de contenidos dinamicos. Son clientes que mas que nada usan mucho paginas como youtube, facebook, entre otras ….. Saludos desde barquisimeto venezuela

                                  Configuracion y puesta en marcha de servers incluyendo pfsense en areas de produccion, para administrar y proveer servicios . Servicio tecnico presencial y online. Reparacion y mantenimiento de computadores. Instalacion y actualizacion de sistemas (Linux, Windows,Os/2) Conectividad a internet en zonas del Estado Lara donde no hay red cableada.
                                  http://www.linkedin.com/pub/amnarlyei-goitia/66/b2/722

                                  1 Reply Last reply Reply Quote 0
                                  • V
                                    vatlab
                                    last edited by

                                    Buenas amigos. He instalado en la ultima version de pFsense el servicio Lusca cache y, si bien al dar inicio al programa veo que informa que se ha cargado el mismo, cuando miro en los status de servicios que corren, el Lusca aparece STOPEADO.

                                    Al darle  click en Services–>Proxy server me tira un error "Warning: dir(/usr/local/etc/squid/errors/): failed to open dir: No such file or directory in /etc/inc/pfsense-utils.inc on line 417 Fatal error: Call to a member function read() on a non-object in /etc/inc/pfsense-utils.inc on line 418 "

                                    No obstante el error, si cargo manualmente para que aparezcan las demas opciones de Proxy Server, por ejemplo: http://192.168.xx.xxx/pkg_edit.php?xml=squid_cache.xml&id=0 aparecen sin inconvenientes, pero nunca el primero o sea la pestaña General

                                    Como en esa pestaña esta la opciòn de activacion, no puedo hacerlo correr. Si alguno de ustedes me pudiera indicar que puede estar pasando se los agradeceria.

                                    A proposito, los enlaces que refrencian a archivos de configuracion en el post no funcionan.

                                    Muchas gracias. Victorino

                                    1 Reply Last reply Reply Quote 0
                                    • V
                                      vatlab
                                      last edited by

                                      Ese tema se ha solucionado, le faltaba crear un directorio llamado "errors" y debido a ello no cargaba el squid.xml correspondiente a la pestaña "General".
                                      No obstante ello, aun no puedo hacerlo funcionar porque sigue STOPPED en los Status de Servicios.

                                      He estado mirando y aparentemente faltan o hay que modificar algunos archivos "incluidos" en alguno de los directorios ….. seguire investigando ...

                                      Victorino

                                      1 Reply Last reply Reply Quote 0
                                      • A
                                        amnarl
                                        last edited by

                                        Saludos mi estimados colegas!!! Le informo que esta semana algunos clientes administrados con el pfsense en producción haciendo cacheo de contenidos con lusca empezaron a presentar una falla común que al final terminamos pensando es lusca quien la genera. Hablo de la carga de videos de youtube que se paran y dan este gran conocido error como se muestra "acá" redsoporte.com.ve/lusca/error_youtube.jpg fijense en la imagen se navega con mozilla firefox el cual al momento no tiene los plugins como " adobe flash player" actualizados ni activos y genera el dichoso error a diferencia de el navegador google chrome que al momento tiene los plugins actualizado al menos de "adobe flash player" y se ve el vídeo sin problemas como se muestra aca redsoporte.com.ve/lusca/video_normal. En conclusión a nivel informático en general una falla puede ser ocasionada por muchas causales solo habría que investigar y revisar a fondo cual de todas esas puede estar ocasionado nuestra falla en especifico. Seguimos a la orden por este medio

                                        Configuracion y puesta en marcha de servers incluyendo pfsense en areas de produccion, para administrar y proveer servicios . Servicio tecnico presencial y online. Reparacion y mantenimiento de computadores. Instalacion y actualizacion de sistemas (Linux, Windows,Os/2) Conectividad a internet en zonas del Estado Lara donde no hay red cableada.
                                        http://www.linkedin.com/pub/amnarlyei-goitia/66/b2/722

                                        1 Reply Last reply Reply Quote 0
                                        • L
                                          lem13631363
                                          last edited by

                                          hola buenas un gusto saludarlos queria agradecer ante mano a todos por sus aportes, queria compartir mi experiencia
                                          hice todos los pases indicados , al querer ejecutar el  tail -f access.log | grep TCP_HIT

                                          al parecer funciona pero  cuando eligo un video y luego quiero ver el mismo video de otra pc simplemente no carga o pareciera q carga pero se pone oscura y sale un error que vuelva a intentarlo mas tarde . alguien le paso lo mismo?

                                          1 Reply Last reply Reply Quote 0
                                          • A
                                            amnarl
                                            last edited by

                                            Saludos mi estimado!! tiempo sin postearles por aca las experiencias. Les comento que estoy probando actualmente el uso de "Haarpcache" sobre squid3 y va super bien hasta ahora. Obviamente este cambio fue dado en miras de tomar en cuenta lo que el compañero bellera y otros han comentado anteriormente que el rendimiento es mejor usando squid fuera de pfsense. Ademas luego de usar el squid en pfsense y hacer cache dinamico note que los usuarios consumian mas ancho de banda en los siguientes renglones (Youtube, videos pornos y facebook)En mi caso como les habia comentado el pfsense lo tengo virtualizado en virtualbox y por razones de recursos el rendimiento y crecimento de la red en produccion ya estaban afectando el cacheo en la red!!! O mejor dicho la velocidad de navegacion.  Seguimos igual a la orden para cualquier duda sobre esto. Por cierto al compañero "lem13631363" si puede cuelgue una imagen del error que le da para colaborarle

                                            Configuracion y puesta en marcha de servers incluyendo pfsense en areas de produccion, para administrar y proveer servicios . Servicio tecnico presencial y online. Reparacion y mantenimiento de computadores. Instalacion y actualizacion de sistemas (Linux, Windows,Os/2) Conectividad a internet en zonas del Estado Lara donde no hay red cableada.
                                            http://www.linkedin.com/pub/amnarlyei-goitia/66/b2/722

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.