Páginas muito demoradas para serem carregadas…

elvio.tche

Elvio,

Comentei sobre a quantidade de usuário na rede que acessa simultaneamente a web, por que tive um problema similar com um proxy + Dansguardian (não era pfSense) aqui na empresa. Quando coloquei em produção a navegação ficou muito lenta principalmente de manhã e depois de alguns dias descobri que tinha que alterar alguns parâmetros no dansguardian para aumentar o número de conexões no proxy.

MAXCHILDREN=256
MINCHILDREN=16
MINSPARECHILDREN=8
PREFORKCHILDREN=16
MAXSPARECHILDREN=32
MAXAGECHILDREN=1000 (n° total de conexões, coloquei 1000 pq tenho 800 users na rede).

Não sei com funciona o DG no pfSense, mas é só uma dica.

Certo, conferi e está lá na Daemon do DansGuardian. Vaja na imagem…. deixei os valores padrões que, a princípio, devem comportar minha pequena rede.

Qualquer sugestão, pode falar (escrever).

Valeu.

DansGuardian_cfgs.jpg_thumb

neo_X

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10

Isso é só uma explicação dos valores, ok….
MAXCHILDREN=256 # padrão é 40
Este valor define o número de processos para lidar com conexões de entrada, também evita ataques do tipo DoS de matar o servidor, mas em caso de sites grandes seria ideal adequar este valor.

MINCHILDREN=16 # padrão é 8
Aqui irá definir os valores mínimos, mesma ideia, talvez em grandes sites terá que alterar o valor.

MINSPARECHILDREN=8 # padrão é 4
Número de processos a serem mantidos com as conexões.

PREFORKCHILDREN=16 # padrão é 6
Configura o números de processos para saídas do dansguardian.

Resumindo: são configurações para o números de processos que o dansguardian irá executar.

zilmar

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:

acl windowsupdate dstdomain windowsupdate.microsoft.com;acl windowsupdate dstdomain .update.microsoft.com;acl windowsupdate dstdomain download.windowsupdate.com;acl windowsupdate dstdomain redir.metaservices.microsoft.com;acl windowsupdate dstdomain images.metaservices.microsoft.com;acl windowsupdate dstdomain c.microsoft.com;acl windowsupdate dstdomain www.download.windowsupdate.com;acl windowsupdate dstdomain wustat.windows.com;acl windowsupdate dstdomain crl.microsoft.com;acl windowsupdate dstdomain sls.microsoft.com;acl windowsupdate dstdomain productactivation.one.microsoft.com;acl windowsupdate dstdomain ntservicepack.microsoft.com;acl CONNECT method CONNECT;acl wuCONNECT dstdomain www.update.microsoft.com;acl wuCONNECT dstdomain sls.microsoft.com;http_access allow CONNECT wuCONNECT localnet;http_access allow windowsupdate localnet;acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;http_access allow java_app;acl java_vm browser regexp -i Java;acl java urlpath_regex -i \.class$ \.jar; http_access allow java;http_access allow java_vm; acl_uses_indirect_client on;follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;auth_param ntlm children 10;auth_param ntlm keep_alive on;acl password proxy_auth REQUIRED;http_access allow password;redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10
…

Vou testar ao meio-dia!

elvio.tche

@zilmar:

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:

acl windowsupdate dstdomain windowsupdate.microsoft.com;acl windowsupdate dstdomain .update.microsoft.com;acl windowsupdate dstdomain download.windowsupdate.com;acl windowsupdate dstdomain redir.metaservices.microsoft.com;acl windowsupdate dstdomain images.metaservices.microsoft.com;acl windowsupdate dstdomain c.microsoft.com;acl windowsupdate dstdomain www.download.windowsupdate.com;acl windowsupdate dstdomain wustat.windows.com;acl windowsupdate dstdomain crl.microsoft.com;acl windowsupdate dstdomain sls.microsoft.com;acl windowsupdate dstdomain productactivation.one.microsoft.com;acl windowsupdate dstdomain ntservicepack.microsoft.com;acl CONNECT method CONNECT;acl wuCONNECT dstdomain www.update.microsoft.com;acl wuCONNECT dstdomain sls.microsoft.com;http_access allow CONNECT wuCONNECT localnet;http_access allow windowsupdate localnet;acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;http_access allow java_app;acl java_vm browser regexp -i Java;acl java urlpath_regex -i \.class$ \.jar; http_access allow java;http_access allow java_vm; acl_uses_indirect_client on;follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;auth_param ntlm children 10;auth_param ntlm keep_alive on;acl password proxy_auth REQUIRED;http_access allow password;redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

Vou testar ao meio-dia também! :D

elvio.tche

@zilmar:

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:
acl windowsupdate dstdomain ...

Só para confirmar, editei o conteúdo do "[ code ] … [ / code ] e ficou assim:


acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm;
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;
auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

…é isso mesmo?

zilmar

Elvio, na verdade eu não estou te sugerindo uma solução. Esse é o meu caso de uso e estou passando pelo mesmo problema que você. hehe

acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm; 
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

elvio.tche

@zilmar:

Elvio, na verdade eu não estou te sugerindo uma solução. Esse é o meu caso de uso e estou passando pelo mesmo problema que você. hehe

acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm; 
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

Entendi, até pq tem algumas linhas de referência que não tem o mesmo diretório no pfSense, etc.
Só "desmontei" a linha e coloquei uma abaixo da outra para melhor leitura e interpretação.

Valeu.

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180
Prefork = 10
…

Creio que por tais alterações, surgiu a seguinte mensagem:

Approaching the limit on PV entries, consider increasing either the vm.pmap.shpgperproc or the vm.pmap.pv_entry_max sysctl

… então pesquisei sobre tal mensagem, encontrei algumas sugestões, editei o arquivo /boot/loader.conf e defini os seguintes valores as variáveis:

vm.pmap.shpgperproc="500"
vm.pmap.pv_entry_max="1743504"
kern.ipc.nmbclusters="0"

… no final do arquivo e, por enquanto, não surgiu mais mensagem alguma.

Vou testando depois vou postar se deu diferença ou não.

Até mais...

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10
…

Parece ter melhorado.
Junto a isso, estou colocando alguns sites na lista "Do not cache" do Squid.

oracle.com
sun.com
java.com
nvidia.com
smiles.com.br
youtube.com

Por enquanto, vou deixar assim e observar.

Consegui outra máquina para testar a versão 2.1.1 e ver se fica legal.
Ainda quero testar a própria versão 2.1 com squid3-dev para ver se fica funcional e estável.

Por enquanto é isso!

sosmicro

Apenas para postar minha experiência….
Testei TODOS os tunnings possiveis e imaginaveis com o Dansguardian, além de diversas máquinas (servidores dell, ibm, hp) tanto com o 2.03 quanto com o 2.1...Mas.... desisti do DANS....
Em redes pequenas ele funfa até sem problemas, mas passou dos 50 users aí começa a dor de cabeça....
Hoje uso uma solução com squidguard sem nenhum problema. Embora seja uma solução bem menos poderosa, atende bem no quesito filtro de conteudo (proxy não transparente)...
O mais estranho é que até uma determinada versão do DANS, nenhum problema ocorria...pena :(

neo_X

Ainda não testei o DG no pfSense. Eu uso proxy autenticado (endian) + DG com 800 usuários e no início tive que ajustar alguns valores para a minha rede. Depois disso não tive mais dor de cabeça.
Quero migrar para o pfSense futuramente, vamos ver o que dá.

elvio.tche

@sosmicro:

Apenas para postar minha experiência….
Testei TODOS os tunnings possiveis e imaginaveis com o Dansguardian, além de diversas máquinas (servidores dell, ibm, hp) tanto com o 2.03 quanto com o 2.1...Mas.... desisti do DANS....
Em redes pequenas ele funfa até sem problemas, mas passou dos 50 users aí começa a dor de cabeça....
Hoje uso uma solução com squidguard sem nenhum problema. Embora seja uma solução bem menos poderosa, atende bem no quesito filtro de conteudo (proxy não transparente)...
O mais estranho é que até uma determinada versão do DANS, nenhum problema ocorria...pena :(

Valeu por compartilhar a experiência.
Amanhã vou tentar configurar e testar em outro PC a instalação com o SquidGuard (sem o DG) - isso se eu tiver tempo, claro!

elvio.tche

@neo_X:

Ainda não testei o DG no pfSense. Eu uso proxy autenticado (endian) + DG com 800 usuários e no início tive que ajustar alguns valores para a minha rede. Depois disso não tive mais dor de cabeça.
Quero migrar para o pfSense futuramente, vamos ver o que dá.

Como tenho poucos usuários e não tenho um AD, por enquanto está mais simples de contornar as situações.

Valeu.

jleandro

Ola pessoal, acompanhei a discussão de vocs, mas no meu caso não ajudou muito, não uso Dansguardian…
Meu cenário
Duas lans (lan + wifi) em nics diferentes, squid2.7/squidGuard/sarg em média 50 usuáriosas vezes um pouco mais as vezes um pouco menos.
Nos ultimos dois dias desativei o squidGuard mas mesmo assim, continuava lento.

Hoje fiz a experiencia de voltar meu servidor openSuse e a diferença foi brutal. As páginas carregam muito rápido.
Mas, eu preciso usar o pfSense, os controles que fiz com MACs, aliases e etc são muito eficazes
e tenho um projeto de unificar um pfSense que uso como gw de vpn ipsec com proxy/fw deixando tudo em uma máquina. Infelizmente não sei o que fazer para resolver isso. Alguma sugestão ?
Obs.: meu pfsense roda em Vmware ESXi 4.1, uso NICs E1000. (o openSuse está em outro VMware, mas com as mesmas caracteristicas)

abs

zilmar

@jleandro:

Ola pessoal, acompanhei a discussão de vocs, mas no meu caso não ajudou muito, não uso Dansguardian…
Meu cenário
Duas lans (lan + wifi) em nics diferentes, squid2.7/squidGuard/sarg em média 50 usuáriosas vezes um pouco mais as vezes um pouco menos.
Nos ultimos dois dias desativei o squidGuard mas mesmo assim, continuava lento.

Hoje fiz a experiencia de voltar meu servidor openSuse e a diferença foi brutal. As páginas carregam muito rápido.
Mas, eu preciso usar o pfSense, os controles que fiz com MACs, aliases e etc são muito eficazes
e tenho um projeto de unificar um pfSense que uso como gw de vpn ipsec com proxy/fw deixando tudo em uma máquina. Infelizmente não sei o que fazer para resolver isso. Alguma sugestão ?
Obs.: meu pfsense roda em Vmware ESXi 4.1, uso NICs E1000. (o openSuse está em outro VMware, mas com as mesmas caracteristicas)

abs

Eu alterei o meu wpad.dat e agora nada passa pelo tráfego, toda requisição recebe um DIRECT. O tráfego está normal, mas não tenho nenhuma filtragem mais… Ainda estou em busca de uma solução também.

neo_X

Você usa o wpad.dat?

Dá uma olhada nesse tutorial. Quando implantei o wpad tive lentidão nos acessos à internet.

http://www.pfsense-br.org/blog/2013/12/configuracao-wpad-no-pfsense-2-1/

zilmar

@neo_X:

Você usa o wpad.dat?

Dá uma olhada nesse tutorial. Quando implantei o wpad tive lentidão nos acessos à internet.

http://www.pfsense-br.org/blog/2013/12/configuracao-wpad-no-pfsense-2-1/

Uso, as portas estão todas padrão.
Meu wpad.dat está assim:


function FindProxyForURL(url, host){
var host_ip;
host_ip= dnsResolve(host);
if (isInNet(host_ip, "127.0.0.1", "255.255.255.255"))
return "DIRECT";
if(shExpMatch(url,"*.bb.com.br/*"))
return "DIRECT";
if (isInNet(myIpAddress(), "192.168.0.0", "255.255.255.0"))
return "PROXY 192.168.0.252:3128";
else
return "DIRECT";
}

Será que o shExpMatch do BB tá dando zica? Vou testar sem pra ver…

neo_X

Essa exceção pode ser feita no proxy.

Qual é a porta que utiliza para acesso ao seu firewall?

Veja isso:

Observação: Verifique a porta do WebConfigurator e o protocolo utilizado. Neste exemplo, procurei usar a porta 80 (http). Fiz testes utilizando o https://IP_do_pfSense:11000 e uma porta diferente por exemplo 11000 e o browser de internet demorou para carregar as páginas.

zilmar

@neo_X:

Essa exceção pode ser feita no proxy.

Qual é a porta que utiliza para acesso ao seu firewall?

Veja isso:

Observação: Verifique a porta do WebConfigurator e o protocolo utilizado. Neste exemplo, procurei usar a porta 80 (http). Fiz testes utilizando o https://IP_do_pfSense:11000 e uma porta diferente por exemplo 11000 e o browser de internet demorou para carregar as páginas.

Porta 80, nunca alterei isso.
Retirei a exceção do wpad.dat também.