Páginas muito demoradas para serem carregadas…

jleandro

Olá … eu estou passando por isso neste momento.
Migrei um gateway com squid/squidGuard/ntp/sarg/dhcp de um linux openSuse para o pfSense ... e estou sofrendo com reclamações de lentidão.
Rodo o pfSense em VMWare com mais processamento mais memória e nada
Load Average baixo, State table 1%, memória 23% ... e mesmo os sites que não passam pelo proxy (https) costumam dar uma engasgada... de modo que no começo suspeitei de falta de tunning no squid, mas quando percebi lentidão no https, percebo que pode ser outra coisa...

Opinião de vocês que voltaram a versão? é fácil ? Como proceder ?

Obs. mudei o firewall para aggressive mode porém também não surtiu efeito ...
Alguem pensou em algum tunning nos parâmetros TCP (em system tunables) ? será que isso poderia gerar alguma situação mais positiva ?

tks

neo_X

proxy transparent? squidguard?

elvio.tche

@neo_X:

proxy transparent? squidguard?

Opa!

proxy transparent? Não

squidguard? Não -> DansGuardian

…

neo_X

Quantos usuários tem na rede? Tem algum arquivo de configuração do dansguardian que informa os números de conexões?

jleandro

No meu caso:
pfSense 2.1/squid2.7/squidGuard/Sarg/
alguns Aliases de IP e Porta usados nas regras de firewall
acls no squid e squidGuard
(Como mencionei percebo lentidão até em sites https, que não é filtrado pelo squid)

abs

elvio.tche

@neo_X:

Quantos usuários tem na rede? Tem algum arquivo de configuração do dansguardian que informa os números de conexões?

Quando estão todos "online", em torno de 25 usuários.

Abaixo, duas telas. Uma é dos pacotes instalados e outra dos serviços em execução.

pfSense_Packages.jpg_thumb

pfSense_Services.jpg_thumb

neo_X

Elvio,

Comentei sobre a quantidade de usuário na rede que acessa simultaneamente a web, por que tive um problema similar com um proxy + Dansguardian (não era pfSense) aqui na empresa. Quando coloquei em produção a navegação ficou muito lenta principalmente de manhã e depois de alguns dias descobri que tinha que alterar alguns parâmetros no dansguardian para aumentar o número de conexões no proxy.

MAXCHILDREN=256
MINCHILDREN=16
MINSPARECHILDREN=8
PREFORKCHILDREN=16
MAXSPARECHILDREN=32
MAXAGECHILDREN=1000 (n° total de conexões, coloquei 1000 pq tenho 800 users na rede).

Não sei com funciona o DG no pfSense, mas é só uma dica.

elvio.tche

@neo_X:

Elvio,

Comentei sobre a quantidade de usuário na rede que acessa simultaneamente a web, por que tive um problema similar com um proxy + Dansguardian (não era pfSense) aqui na empresa. Quando coloquei em produção a navegação ficou muito lenta principalmente de manhã e depois de alguns dias descobri que tinha que alterar alguns parâmetros no dansguardian para aumentar o número de conexões no proxy.

MAXCHILDREN=256
MINCHILDREN=16
MINSPARECHILDREN=8
PREFORKCHILDREN=16
MAXSPARECHILDREN=32
MAXAGECHILDREN=1000 (n° total de conexões, coloquei 1000 pq tenho 800 users na rede).

Não sei com funciona o DG no pfSense, mas é só uma dica.

Certo, conferi e está lá na Daemon do DansGuardian. Vaja na imagem…. deixei os valores padrões que, a princípio, devem comportar minha pequena rede.

Qualquer sugestão, pode falar (escrever).

Valeu.

DansGuardian_cfgs.jpg_thumb

neo_X

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10

Isso é só uma explicação dos valores, ok….
MAXCHILDREN=256 # padrão é 40
Este valor define o número de processos para lidar com conexões de entrada, também evita ataques do tipo DoS de matar o servidor, mas em caso de sites grandes seria ideal adequar este valor.

MINCHILDREN=16 # padrão é 8
Aqui irá definir os valores mínimos, mesma ideia, talvez em grandes sites terá que alterar o valor.

MINSPARECHILDREN=8 # padrão é 4
Número de processos a serem mantidos com as conexões.

PREFORKCHILDREN=16 # padrão é 6
Configura o números de processos para saídas do dansguardian.

Resumindo: são configurações para o números de processos que o dansguardian irá executar.

zilmar

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:

acl windowsupdate dstdomain windowsupdate.microsoft.com;acl windowsupdate dstdomain .update.microsoft.com;acl windowsupdate dstdomain download.windowsupdate.com;acl windowsupdate dstdomain redir.metaservices.microsoft.com;acl windowsupdate dstdomain images.metaservices.microsoft.com;acl windowsupdate dstdomain c.microsoft.com;acl windowsupdate dstdomain www.download.windowsupdate.com;acl windowsupdate dstdomain wustat.windows.com;acl windowsupdate dstdomain crl.microsoft.com;acl windowsupdate dstdomain sls.microsoft.com;acl windowsupdate dstdomain productactivation.one.microsoft.com;acl windowsupdate dstdomain ntservicepack.microsoft.com;acl CONNECT method CONNECT;acl wuCONNECT dstdomain www.update.microsoft.com;acl wuCONNECT dstdomain sls.microsoft.com;http_access allow CONNECT wuCONNECT localnet;http_access allow windowsupdate localnet;acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;http_access allow java_app;acl java_vm browser regexp -i Java;acl java urlpath_regex -i \.class$ \.jar; http_access allow java;http_access allow java_vm; acl_uses_indirect_client on;follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;auth_param ntlm children 10;auth_param ntlm keep_alive on;acl password proxy_auth REQUIRED;http_access allow password;redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10
…

Vou testar ao meio-dia!

elvio.tche

@zilmar:

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:

acl windowsupdate dstdomain windowsupdate.microsoft.com;acl windowsupdate dstdomain .update.microsoft.com;acl windowsupdate dstdomain download.windowsupdate.com;acl windowsupdate dstdomain redir.metaservices.microsoft.com;acl windowsupdate dstdomain images.metaservices.microsoft.com;acl windowsupdate dstdomain c.microsoft.com;acl windowsupdate dstdomain www.download.windowsupdate.com;acl windowsupdate dstdomain wustat.windows.com;acl windowsupdate dstdomain crl.microsoft.com;acl windowsupdate dstdomain sls.microsoft.com;acl windowsupdate dstdomain productactivation.one.microsoft.com;acl windowsupdate dstdomain ntservicepack.microsoft.com;acl CONNECT method CONNECT;acl wuCONNECT dstdomain www.update.microsoft.com;acl wuCONNECT dstdomain sls.microsoft.com;http_access allow CONNECT wuCONNECT localnet;http_access allow windowsupdate localnet;acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;http_access allow java_app;acl java_vm browser regexp -i Java;acl java urlpath_regex -i \.class$ \.jar; http_access allow java;http_access allow java_vm; acl_uses_indirect_client on;follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;auth_param ntlm children 10;auth_param ntlm keep_alive on;acl password proxy_auth REQUIRED;http_access allow password;redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

Vou testar ao meio-dia também! :D

elvio.tche

@zilmar:

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:
acl windowsupdate dstdomain ...

Só para confirmar, editei o conteúdo do "[ code ] … [ / code ] e ficou assim:


acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm;
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;
auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

…é isso mesmo?

zilmar

Elvio, na verdade eu não estou te sugerindo uma solução. Esse é o meu caso de uso e estou passando pelo mesmo problema que você. hehe

acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm; 
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

elvio.tche

@zilmar:

Elvio, na verdade eu não estou te sugerindo uma solução. Esse é o meu caso de uso e estou passando pelo mesmo problema que você. hehe

acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm; 
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

Entendi, até pq tem algumas linhas de referência que não tem o mesmo diretório no pfSense, etc.
Só "desmontei" a linha e coloquei uma abaixo da outra para melhor leitura e interpretação.

Valeu.

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180
Prefork = 10
…

Creio que por tais alterações, surgiu a seguinte mensagem:

Approaching the limit on PV entries, consider increasing either the vm.pmap.shpgperproc or the vm.pmap.pv_entry_max sysctl

… então pesquisei sobre tal mensagem, encontrei algumas sugestões, editei o arquivo /boot/loader.conf e defini os seguintes valores as variáveis:

vm.pmap.shpgperproc="500"
vm.pmap.pv_entry_max="1743504"
kern.ipc.nmbclusters="0"

… no final do arquivo e, por enquanto, não surgiu mais mensagem alguma.

Vou testando depois vou postar se deu diferença ou não.

Até mais...

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10
…

Parece ter melhorado.
Junto a isso, estou colocando alguns sites na lista "Do not cache" do Squid.

oracle.com
sun.com
java.com
nvidia.com
smiles.com.br
youtube.com

Por enquanto, vou deixar assim e observar.

Consegui outra máquina para testar a versão 2.1.1 e ver se fica legal.
Ainda quero testar a própria versão 2.1 com squid3-dev para ver se fica funcional e estável.

Por enquanto é isso!

sosmicro

Apenas para postar minha experiência….
Testei TODOS os tunnings possiveis e imaginaveis com o Dansguardian, além de diversas máquinas (servidores dell, ibm, hp) tanto com o 2.03 quanto com o 2.1...Mas.... desisti do DANS....
Em redes pequenas ele funfa até sem problemas, mas passou dos 50 users aí começa a dor de cabeça....
Hoje uso uma solução com squidguard sem nenhum problema. Embora seja uma solução bem menos poderosa, atende bem no quesito filtro de conteudo (proxy não transparente)...
O mais estranho é que até uma determinada versão do DANS, nenhum problema ocorria...pena :(

neo_X

Ainda não testei o DG no pfSense. Eu uso proxy autenticado (endian) + DG com 800 usuários e no início tive que ajustar alguns valores para a minha rede. Depois disso não tive mais dor de cabeça.
Quero migrar para o pfSense futuramente, vamos ver o que dá.

elvio.tche

@sosmicro:

Apenas para postar minha experiência….
Testei TODOS os tunnings possiveis e imaginaveis com o Dansguardian, além de diversas máquinas (servidores dell, ibm, hp) tanto com o 2.03 quanto com o 2.1...Mas.... desisti do DANS....
Em redes pequenas ele funfa até sem problemas, mas passou dos 50 users aí começa a dor de cabeça....
Hoje uso uma solução com squidguard sem nenhum problema. Embora seja uma solução bem menos poderosa, atende bem no quesito filtro de conteudo (proxy não transparente)...
O mais estranho é que até uma determinada versão do DANS, nenhum problema ocorria...pena :(

Valeu por compartilhar a experiência.
Amanhã vou tentar configurar e testar em outro PC a instalação com o SquidGuard (sem o DG) - isso se eu tiver tempo, claro!