Páginas muito demoradas para serem carregadas…

elvio.tche

Quantos usuários tem na rede? Tem algum arquivo de configuração do dansguardian que informa os números de conexões?

Quando estão todos "online", em torno de 25 usuários.

Abaixo, duas telas. Uma é dos pacotes instalados e outra dos serviços em execução.

pfSense_Packages.jpg_thumb

pfSense_Services.jpg_thumb

neo_X

Elvio,

Comentei sobre a quantidade de usuário na rede que acessa simultaneamente a web, por que tive um problema similar com um proxy + Dansguardian (não era pfSense) aqui na empresa. Quando coloquei em produção a navegação ficou muito lenta principalmente de manhã e depois de alguns dias descobri que tinha que alterar alguns parâmetros no dansguardian para aumentar o número de conexões no proxy.

MAXCHILDREN=256
MINCHILDREN=16
MINSPARECHILDREN=8
PREFORKCHILDREN=16
MAXSPARECHILDREN=32
MAXAGECHILDREN=1000 (n° total de conexões, coloquei 1000 pq tenho 800 users na rede).

Não sei com funciona o DG no pfSense, mas é só uma dica.

elvio.tche

@neo_X:

Elvio,

Comentei sobre a quantidade de usuário na rede que acessa simultaneamente a web, por que tive um problema similar com um proxy + Dansguardian (não era pfSense) aqui na empresa. Quando coloquei em produção a navegação ficou muito lenta principalmente de manhã e depois de alguns dias descobri que tinha que alterar alguns parâmetros no dansguardian para aumentar o número de conexões no proxy.

MAXCHILDREN=256
MINCHILDREN=16
MINSPARECHILDREN=8
PREFORKCHILDREN=16
MAXSPARECHILDREN=32
MAXAGECHILDREN=1000 (n° total de conexões, coloquei 1000 pq tenho 800 users na rede).

Não sei com funciona o DG no pfSense, mas é só uma dica.

Certo, conferi e está lá na Daemon do DansGuardian. Vaja na imagem…. deixei os valores padrões que, a princípio, devem comportar minha pequena rede.

Qualquer sugestão, pode falar (escrever).

Valeu.

DansGuardian_cfgs.jpg_thumb

neo_X

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10

Isso é só uma explicação dos valores, ok….
MAXCHILDREN=256 # padrão é 40
Este valor define o número de processos para lidar com conexões de entrada, também evita ataques do tipo DoS de matar o servidor, mas em caso de sites grandes seria ideal adequar este valor.

MINCHILDREN=16 # padrão é 8
Aqui irá definir os valores mínimos, mesma ideia, talvez em grandes sites terá que alterar o valor.

MINSPARECHILDREN=8 # padrão é 4
Número de processos a serem mantidos com as conexões.

PREFORKCHILDREN=16 # padrão é 6
Configura o números de processos para saídas do dansguardian.

Resumindo: são configurações para o números de processos que o dansguardian irá executar.

zilmar

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:

acl windowsupdate dstdomain windowsupdate.microsoft.com;acl windowsupdate dstdomain .update.microsoft.com;acl windowsupdate dstdomain download.windowsupdate.com;acl windowsupdate dstdomain redir.metaservices.microsoft.com;acl windowsupdate dstdomain images.metaservices.microsoft.com;acl windowsupdate dstdomain c.microsoft.com;acl windowsupdate dstdomain www.download.windowsupdate.com;acl windowsupdate dstdomain wustat.windows.com;acl windowsupdate dstdomain crl.microsoft.com;acl windowsupdate dstdomain sls.microsoft.com;acl windowsupdate dstdomain productactivation.one.microsoft.com;acl windowsupdate dstdomain ntservicepack.microsoft.com;acl CONNECT method CONNECT;acl wuCONNECT dstdomain www.update.microsoft.com;acl wuCONNECT dstdomain sls.microsoft.com;http_access allow CONNECT wuCONNECT localnet;http_access allow windowsupdate localnet;acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;http_access allow java_app;acl java_vm browser regexp -i Java;acl java urlpath_regex -i \.class$ \.jar; http_access allow java;http_access allow java_vm; acl_uses_indirect_client on;follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;auth_param ntlm children 10;auth_param ntlm keep_alive on;acl password proxy_auth REQUIRED;http_access allow password;redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10
…

Vou testar ao meio-dia!

elvio.tche

@zilmar:

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:

acl windowsupdate dstdomain windowsupdate.microsoft.com;acl windowsupdate dstdomain .update.microsoft.com;acl windowsupdate dstdomain download.windowsupdate.com;acl windowsupdate dstdomain redir.metaservices.microsoft.com;acl windowsupdate dstdomain images.metaservices.microsoft.com;acl windowsupdate dstdomain c.microsoft.com;acl windowsupdate dstdomain www.download.windowsupdate.com;acl windowsupdate dstdomain wustat.windows.com;acl windowsupdate dstdomain crl.microsoft.com;acl windowsupdate dstdomain sls.microsoft.com;acl windowsupdate dstdomain productactivation.one.microsoft.com;acl windowsupdate dstdomain ntservicepack.microsoft.com;acl CONNECT method CONNECT;acl wuCONNECT dstdomain www.update.microsoft.com;acl wuCONNECT dstdomain sls.microsoft.com;http_access allow CONNECT wuCONNECT localnet;http_access allow windowsupdate localnet;acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;http_access allow java_app;acl java_vm browser regexp -i Java;acl java urlpath_regex -i \.class$ \.jar; http_access allow java;http_access allow java_vm; acl_uses_indirect_client on;follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;auth_param ntlm children 10;auth_param ntlm keep_alive on;acl password proxy_auth REQUIRED;http_access allow password;redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

Vou testar ao meio-dia também! :D

elvio.tche

@zilmar:

Estou passando pelo mesmo problema.

Minha configuração é pfSense2.1+squid+squidGuard+autenticação integrada ao AD.

Não tenho nenhuma regra no firewall (só as padrões), e no squidguard somente filtro sites indesejáveis.
No custom options do squid tenho:
acl windowsupdate dstdomain ...

Só para confirmar, editei o conteúdo do "[ code ] … [ / code ] e ficou assim:


acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm;
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;
auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

…é isso mesmo?

zilmar

Elvio, na verdade eu não estou te sugerindo uma solução. Esse é o meu caso de uso e estou passando pelo mesmo problema que você. hehe

acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm; 
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

elvio.tche

@zilmar:

Elvio, na verdade eu não estou te sugerindo uma solução. Esse é o meu caso de uso e estou passando pelo mesmo problema que você. hehe

acl windowsupdate dstdomain windowsupdate.microsoft.com;
acl windowsupdate dstdomain .update.microsoft.com;
acl windowsupdate dstdomain download.windowsupdate.com;
acl windowsupdate dstdomain redir.metaservices.microsoft.com;
acl windowsupdate dstdomain images.metaservices.microsoft.com;
acl windowsupdate dstdomain c.microsoft.com;
acl windowsupdate dstdomain www.download.windowsupdate.com;
acl windowsupdate dstdomain wustat.windows.com;
acl windowsupdate dstdomain crl.microsoft.com;
acl windowsupdate dstdomain sls.microsoft.com;
acl windowsupdate dstdomain productactivation.one.microsoft.com;
acl windowsupdate dstdomain ntservicepack.microsoft.com;
acl CONNECT method CONNECT;
acl wuCONNECT dstdomain www.update.microsoft.com;
acl wuCONNECT dstdomain sls.microsoft.com;
http_access allow CONNECT wuCONNECT localnet;
http_access allow windowsupdate localnet;
acl java_app browser Java/1.4 Java/1.5 Java/1.6 Java/1.7;
http_access allow java_app;
acl java_vm browser regexp -i Java;
acl java urlpath_regex -i \.class$ \.jar;
http_access allow java;
http_access allow java_vm; 
acl_uses_indirect_client on;
follow_x_forwarded_for allow localhost;auth_param ntlm program /usr/local/bin/ntlm_auth --use-cached-creds --helper-protocol=squid-2.5-ntlmssp;
auth_param ntlm children 10;
auth_param ntlm keep_alive on;
acl password proxy_auth REQUIRED;
http_access allow password;
redirect_program /usr/pbi/squidguard-i386/bin/squidGuard -c /usr/pbi/squidguard-i386/etc/squidGuard/squidGuard.conf;
redirector_bypass off;
url_rewrite_children 5

Entendi, até pq tem algumas linhas de referência que não tem o mesmo diretório no pfSense, etc.
Só "desmontei" a linha e coloquei uma abaixo da outra para melhor leitura e interpretação.

Valeu.

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180
Prefork = 10
…

Creio que por tais alterações, surgiu a seguinte mensagem:

Approaching the limit on PV entries, consider increasing either the vm.pmap.shpgperproc or the vm.pmap.pv_entry_max sysctl

… então pesquisei sobre tal mensagem, encontrei algumas sugestões, editei o arquivo /boot/loader.conf e defini os seguintes valores as variáveis:

vm.pmap.shpgperproc="500"
vm.pmap.pv_entry_max="1743504"
kern.ipc.nmbclusters="0"

… no final do arquivo e, por enquanto, não surgiu mais mensagem alguma.

Vou testando depois vou postar se deu diferença ou não.

Até mais...

elvio.tche

@neo_X:

Configura esses valores e reinicia o DG
Min/Max AGE = 32/180

Prefork = 10
…

Parece ter melhorado.
Junto a isso, estou colocando alguns sites na lista "Do not cache" do Squid.

oracle.com
sun.com
java.com
nvidia.com
smiles.com.br
youtube.com

Por enquanto, vou deixar assim e observar.

Consegui outra máquina para testar a versão 2.1.1 e ver se fica legal.
Ainda quero testar a própria versão 2.1 com squid3-dev para ver se fica funcional e estável.

Por enquanto é isso!

sosmicro

Apenas para postar minha experiência….
Testei TODOS os tunnings possiveis e imaginaveis com o Dansguardian, além de diversas máquinas (servidores dell, ibm, hp) tanto com o 2.03 quanto com o 2.1...Mas.... desisti do DANS....
Em redes pequenas ele funfa até sem problemas, mas passou dos 50 users aí começa a dor de cabeça....
Hoje uso uma solução com squidguard sem nenhum problema. Embora seja uma solução bem menos poderosa, atende bem no quesito filtro de conteudo (proxy não transparente)...
O mais estranho é que até uma determinada versão do DANS, nenhum problema ocorria...pena :(

neo_X

Ainda não testei o DG no pfSense. Eu uso proxy autenticado (endian) + DG com 800 usuários e no início tive que ajustar alguns valores para a minha rede. Depois disso não tive mais dor de cabeça.
Quero migrar para o pfSense futuramente, vamos ver o que dá.

elvio.tche

@sosmicro:

Apenas para postar minha experiência….
Testei TODOS os tunnings possiveis e imaginaveis com o Dansguardian, além de diversas máquinas (servidores dell, ibm, hp) tanto com o 2.03 quanto com o 2.1...Mas.... desisti do DANS....
Em redes pequenas ele funfa até sem problemas, mas passou dos 50 users aí começa a dor de cabeça....
Hoje uso uma solução com squidguard sem nenhum problema. Embora seja uma solução bem menos poderosa, atende bem no quesito filtro de conteudo (proxy não transparente)...
O mais estranho é que até uma determinada versão do DANS, nenhum problema ocorria...pena :(

Valeu por compartilhar a experiência.
Amanhã vou tentar configurar e testar em outro PC a instalação com o SquidGuard (sem o DG) - isso se eu tiver tempo, claro!

elvio.tche

@neo_X:

Ainda não testei o DG no pfSense. Eu uso proxy autenticado (endian) + DG com 800 usuários e no início tive que ajustar alguns valores para a minha rede. Depois disso não tive mais dor de cabeça.
Quero migrar para o pfSense futuramente, vamos ver o que dá.

Como tenho poucos usuários e não tenho um AD, por enquanto está mais simples de contornar as situações.

Valeu.

jleandro

Ola pessoal, acompanhei a discussão de vocs, mas no meu caso não ajudou muito, não uso Dansguardian…
Meu cenário
Duas lans (lan + wifi) em nics diferentes, squid2.7/squidGuard/sarg em média 50 usuáriosas vezes um pouco mais as vezes um pouco menos.
Nos ultimos dois dias desativei o squidGuard mas mesmo assim, continuava lento.

Hoje fiz a experiencia de voltar meu servidor openSuse e a diferença foi brutal. As páginas carregam muito rápido.
Mas, eu preciso usar o pfSense, os controles que fiz com MACs, aliases e etc são muito eficazes
e tenho um projeto de unificar um pfSense que uso como gw de vpn ipsec com proxy/fw deixando tudo em uma máquina. Infelizmente não sei o que fazer para resolver isso. Alguma sugestão ?
Obs.: meu pfsense roda em Vmware ESXi 4.1, uso NICs E1000. (o openSuse está em outro VMware, mas com as mesmas caracteristicas)

abs

zilmar

@jleandro:

Ola pessoal, acompanhei a discussão de vocs, mas no meu caso não ajudou muito, não uso Dansguardian…
Meu cenário
Duas lans (lan + wifi) em nics diferentes, squid2.7/squidGuard/sarg em média 50 usuáriosas vezes um pouco mais as vezes um pouco menos.
Nos ultimos dois dias desativei o squidGuard mas mesmo assim, continuava lento.

Hoje fiz a experiencia de voltar meu servidor openSuse e a diferença foi brutal. As páginas carregam muito rápido.
Mas, eu preciso usar o pfSense, os controles que fiz com MACs, aliases e etc são muito eficazes
e tenho um projeto de unificar um pfSense que uso como gw de vpn ipsec com proxy/fw deixando tudo em uma máquina. Infelizmente não sei o que fazer para resolver isso. Alguma sugestão ?
Obs.: meu pfsense roda em Vmware ESXi 4.1, uso NICs E1000. (o openSuse está em outro VMware, mas com as mesmas caracteristicas)

abs

Eu alterei o meu wpad.dat e agora nada passa pelo tráfego, toda requisição recebe um DIRECT. O tráfego está normal, mas não tenho nenhuma filtragem mais… Ainda estou em busca de uma solução também.

neo_X

Você usa o wpad.dat?

Dá uma olhada nesse tutorial. Quando implantei o wpad tive lentidão nos acessos à internet.

http://www.pfsense-br.org/blog/2013/12/configuracao-wpad-no-pfsense-2-1/

zilmar

@neo_X:

Você usa o wpad.dat?

Dá uma olhada nesse tutorial. Quando implantei o wpad tive lentidão nos acessos à internet.

http://www.pfsense-br.org/blog/2013/12/configuracao-wpad-no-pfsense-2-1/

Uso, as portas estão todas padrão.
Meu wpad.dat está assim:


function FindProxyForURL(url, host){
var host_ip;
host_ip= dnsResolve(host);
if (isInNet(host_ip, "127.0.0.1", "255.255.255.255"))
return "DIRECT";
if(shExpMatch(url,"*.bb.com.br/*"))
return "DIRECT";
if (isInNet(myIpAddress(), "192.168.0.0", "255.255.255.0"))
return "PROXY 192.168.0.252:3128";
else
return "DIRECT";
}

Será que o shExpMatch do BB tá dando zica? Vou testar sem pra ver…