Navegação pelo proxy squid está lenta.



  • Recentemente, os usuários de uma rede que configurei a pouco tempo vêem se queixando da velocidade da conexão.

    Quando navego por fora do proxy a velocidade é ótima, mas se navego pelo proxy a velocidade cai bastante.

    Quando instalei o squid deixei tudo padrão, não mexi em nada sobre cache, downloads, memoria ram, etc.

    Gostaria de saber que valores adotar para melhorar a performance do squid. A rede em questão possui um Link GVT de 10MB e que dever ser usado por 15 a 20 máquinas simultaneamente, em média.E o pfsense possui HD de 140GB e RAM de 1GB.

    Obs: Comprei o livro Squid: O Guia Definitivo, mas estou tendo dificuldade para entendê-lo sozinho, daí a minha busca por informação aqui no fórum.



  • Boa Noite Adert. Eu posso lhe ajudar em sua tarefa. Para isso preciso que nos passe quais são suas intenções de configurações/bloqueios em sua rede para que eu possa lhe passar alguns parametros e ideias para seu Pfsense. Estou a sua disposição. Assim que tiver com as informações posta que iremos lhe ajudar. Abraços.



  • @adert

    Quando instalei o squid deixei tudo padrão, não mexi em nada sobre cache, downloads, memoria ram, etc.

    Acredito que seu problema se encontra aqui, pois o cache de disco padrao é pequeno, ele tem que se renovar com muita frequencia, altera esse valores, para um pouco acima e vai alterendo conforme sua necessidade o cache de disco e memoria, cuidado com o cache de memoria eu nao utilizo mais de 35%,

    Att. German Sachelaride



  • Breno.uni

    Cara, minha intenção com o squid não é nada muito elaborado não, quero apenas, juntamente com o squidguard, bloquear sites pornográficos, sites de relacionamento e permitir o acesso ao youtube somente para alguns usuários. E fazer cache das páginas. É isso, acredito que o que quero fazer é simples,desde que eu entenda como configurar o cache, a memoria ram e outros parâmetros que influenciam na performance do proxy.

    German Sachelaride

    Vou ver isso que voce citou, mas queria alguma referencia pra saber que valores devo usar.

    Obs: Tomo conta dessa rede junto com um amigo. E ele percebeu que, ao desabilitar os logs do squid, a internet voltou ao normal e quando habilitou os logs a internet voltou a ficar lenta. Existe mesmo essa relação ou foi coincidência? se existe como posso evitar o acúmulo de logs para que meu proxy não sobre carregue?

    Pesquisando no google achei esse link http://www.2be-secure.com/2010/03/squid-proxy-in-pfsense-slow.html onde ele sugere alterar alguns arquivos do pfsense para transformá-lo num servidor, pois por padrão pfsense funciona como roteador. Segundo o dono do post isso resolveu o seu problema de lentidão. Mas sei lá, acho arriscado ficar alterando os arquivos de sistema do pfsense sem ter certeza do que se está fazendo.

    valeu,moçada.



  • @adert:

    … quero apenas, juntamente com o squidguard, bloquear sites pornográficos, sites de relacionamento e permitir o acesso ao youtube somente para alguns usuários. E fazer cache das páginas. É isso, acredito que o que quero fazer é simples,desde que eu entenda como configurar o cache, a memoria ram e outros parâmetros que influenciam na performance do proxy.

    Dependendo do tamanho da Blacklist que você está utilizando no SquidGuard e das suas configurações no Squid o impacto é forte, tanto na memória física (que pode ser pouca) quanto no Processador (que também pode ser fraco, você não especificou) ao se utilizar pacotes adicionais no pfSense. A performance dos HDs também tem influência consideravel no cache do Proxy. Adicione a isso uma placa de rede (NIC) 10/100Mbps com chipset de baixa qualidade e seus problemas aumentam ainda mais, principalmente quando faz downloads de video/musica. E tem ainda o switch que (caso você tenha um ou dois que sejam apenas hub/switch) pode afetar bastante no conjunto todo, aumentando ainda mais o gargalo. Bata isso tudo no liquidificador e prove: o gosto é amargo, por mais açucar que você adicione. Além disso, quantos clientes (hosts) podem estar fazendo download do youtube simultaneamente?

    Especifique seu hardware pois estou achando que além das configurações o problema pode estar aqui.

    @adert:

    Obs: Tomo conta dessa rede junto com um amigo. E ele percebeu que, ao desabilitar os logs do squid, a internet voltou ao normal e quando habilitou os logs a internet voltou a ficar lenta. Existe mesmo essa relação ou foi coincidência? se existe como posso evitar o acúmulo de logs para que meu proxy não sobre carregue?

    Existe sim essa relação. O Squid precisa fazer o download dos arquivos, colocá-los em cache para depois disponibilizar a página alvo no navegador de cada host que solicitou a tal página web. E utilizando o Squidguard em conjunto, toda a blacklist precisa ser processada, linha à linha - url por url: entra na memória fisica, é processada, verifica se bloqueia ou libera, tira da memória física, escreve o log no HD, entrega o pacote, põe uma nova entrada na memória, processa e assim por diante. É uma explicação simplista mas é assim que funciona.

    Só para exemplificar: na minha casa o pfSense 2.0 Release roda num Athlon XP 1700+ funcionado em 600Mhz numa MoBo ASUS A7NX-X com 1G de memória RAM 133 (rodando em 100), HD IDE 7200 rpm e 2 placas de rede 10/100 com chipsets de qualidade (a onboard da ASUS na WAN e uma Marvell na LAN) servindo apenas 4 (quatro) hosts, tres deles via Wireless atraves de um roteador Netgear WGR614 v9 e uma conexão cabeada também no Netgear. O link é de 5M da NET. Se eu colocar o Squidguard com uma blacklist das grandes, como a Shalla's Blacklists com todas URLs habilitadas para bloqueio, o sofrimento é gigantesco para carregar as páginas da internet. Porém, se eu aumento o clock do Athlon XP 1700+ dos 600MHz atuais para o padrão de clock dele em 1463MHz com barramento 133, as páginas carregam muito mais rápido.

    Percebe porque eu perguntei do hardware acima?

    @adert:

    Pesquisando no google achei esse link http://www.2be-secure.com/2010/03/squid-proxy-in-pfsense-slow.html onde ele sugere alterar alguns arquivos do pfsense para transformá-lo num servidor, pois por padrão pfsense funciona como roteador. Segundo o dono do post isso resolveu o seu problema de lentidão. Mas sei lá, acho arriscado ficar alterando os arquivos de sistema do pfsense sem ter certeza do que se está fazendo.

    No seu lugar eu também não arriscaria. Principalmente porque no link está citando a versão pfSense 1.2.2

    Fora a especificação do hardware, coloque também uma screenshot das suas configurações no Squid em Proxy server: Cache management e qual a blacklist que você está usando atualmente no Squidguard.



  • Johnnybe, antes de mais nada, gostaria de pedir desculpas pela minha demora em responder. Essa semana foi turbulenta.

    Bom vou começar descrevendo a situação da rede, como ela foi montada, hardware, etc.

    O pfsense roda numa VM(vmware workstation) que foi configurada com 1200MB de RAM e com um HD de 140GB. A máquina física que hospeda a VM possui a seguinte configuração:

    Processador - Intel Core i3-2100 CPU 3.10GHz
    RAM - 2GB
    HD - 500GB( não achei a rotação) é da Samsung.
    Placas de rede - Uma Realtek PCIe GBE Family controller e duas Realtek RTL8139 Family PCI fast ethernet.

    Um switch TP-LINK(não lembro o modelo) é reponsável pela comunicação entre o pfsense e as máquinas clientes.

    Pronto em relação a hardware é isso, acho que acima estão as informações que podem ajudar.

    Agora descreverei o squid e o squidguard.

    No squidguard estou usando a blacklist http://squidguard.mesd.k12.or.us/blacklists.tgz, não é tão grande comparada com a Shalla's Blacklists, abrange apenas 10 tios de sites.

    Já em relação ao squid o cache management, seguem duas imagens.

    Valeu.

    ![cliente XP1-2011-10-02-22-08-18.png](/public/imported_attachments/1/cliente XP1-2011-10-02-22-08-18.png)
    ![cliente XP1-2011-10-02-22-08-18.png_thumb](/public/imported_attachments/1/cliente XP1-2011-10-02-22-08-18.png_thumb)
    ![cliente XP1-2011-10-02-22-11-24.png](/public/imported_attachments/1/cliente XP1-2011-10-02-22-11-24.png)
    ![cliente XP1-2011-10-02-22-11-24.png_thumb](/public/imported_attachments/1/cliente XP1-2011-10-02-22-11-24.png_thumb)



  • Seu firewall de produção esta hospedado em um vmware workstation?

    Acho que seu primeiro problema esta ai.
    Uma estação de trabalho com sata já tem uma péssima performance de disco, "amontoado" com outros serviços que exijam io, a performance do sata fica péssima. Se Voce configurou disco na vm com crescimento dinâmico, vai ter menos performance ainda.

    Minha sugestão é sair do vm workstation para algo melhor.
    Depois confere os parâmetros de performance do squid.

    Se Nao puder sair do vmware workstation, coloque um disco sata exclusivo para a vm do pfsense/squid.



  • adert,
    Eu tinha quase 90% de certeza que seu problema era hardware. Agora não tenho mais dúvidas.
    Há alguma coisa que pode ser melhorada nas suas configurações também.

    Nosso camarada marcelloc também fez algumas observações que, caso você precise manter o pfSense numa
    máquina virtual
    , precisam urgentemente ser consideradas como por demais importantes:

    1- Disco Sata de 7200 rpm ou maior, dedicado à máquina virtual.
    2- Pelo menos VmWare Server
    3- Aumentar a memória física da máquina hospedeira para 4Gb, ou melhor ainda 6Gb. Memórias estão baratas e
    vão ajudar muito no conjunto todo, por isso 6Gb seria o que considero bom.
    4- Aumentar a memória da máquina virtual do pfSense para 1,5Gb, ou melhor ainda 2Gb.
    5- Trocar urgentemente suas Realtek RTL8139 por placas com chipsets mais decentes: Intel, Agere, Marvell. As Realtek 10/100 são horríveis! Péssimos drivers. Isso tem uma influência bastante considerável no fluxo, causando latência. O mesmo não acontece com as Gigabit da Realtek, mas eu… sinceramente, prefiro evitá-las.
    6- Switches tem que ter qualidade também. Muitos Switches são Hubs disfarçados e você deve saber o impacto que um mesmo domínio de broadcast causa na rede quando há muitas requisições simultâneas, o que parece ser seu caso (video/som).

    O ideal seria você ter uma "máquina real" dedicada ao pfSense. Nem pecisa ser uma máquina tão forte quanto a sua atual que hospeda
    a VM. Um Dual-Core de 1,5G numa MoBo com capacitores sólidos, 2Gb de ram, disco Sata 320 Gb de 7200rpm, NICs com bons chipsets, uma boa Fonte 80 Plus de 300W e um Switch gerenciável dariam conta na boa da sua rede.

    Aliás, faça uma experiência. Troque as Realtek 10/100, aumente a RAM da máquina hospedeira para 4Gb, aumente a RAM da VM para 1,536
    Gb, altere as configurações do processador da VM também, e veja se não melhora um bocado sem mudar as configurações atuais do Squid+SquidGuard. Talvez seja pouco, mas vai dar pra notar a diferença.



  • Posso realmente falar que mudar a maquina ajuda demais, tinha uma casca com 1 gb de ram e hd de 80 gb, sobrou um antigo servidor dual xeon com 4 giga de ram, placas de rede intel onboard, o quesito performance melhora e muito.


Locked