[Resolvido] All 5/5 redirector processes are busy.

A Former User

Olá. Tenho o pfSense 2.1.2, com squid3-dev e squidguard-squid3.

fazendo uma verificação de rotina percebi um comportamento diferente no cache.log, como segue abaixo?

2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_001-2013/domains.db
2014-04-28 14:57:00 [88099] init expressionlist /var/db/squidGuard/RCAI_001-2013/expressions
2014-04-28 14:57:00 [88099] init urllist /var/db/squidGuard/RCAI_001-2013/urls
2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_001-2013/urls.db
2014-04-28 14:57:00 [88099] init domainlist /var/db/squidGuard/RCAI_003-2013/domains
2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_003-2013/domains.db
2014-04-28 14:57:00 [88099] init domainlist /var/db/squidGuard/RCAI_005-2013/domains
2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_005-2013/domains.db
2014-04-28 14:57:00 [88099] init domainlist /var/db/squidGuard/RCAI_002-2014/domains
2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_002-2014/domains.db
2014-04-28 14:57:00 [88099] logfile not allowed in acl other than default
2014-04-28 14:57:00 [88099] logfile not allowed in acl other than default
2014-04-28 14:57:00 [88099] logfile not allowed in acl other than default
2014-04-28 14:57:00 [88099] logfile not allowed in acl other than default
2014/04/28 14:57:14 kid1| WARNING: All 5/5 redirector processes are busy.
2014/04/28 14:57:14 kid1| WARNING: 5 pending requests queued
2014/04/28 14:57:14 kid1| WARNING: Consider increasing the number of redirector processes in your config file.

no campo Integrations do custom settings (na UI) está assim:

redirect_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

depois de algumas pesquisas vi um pessoal falando pra ativar o redirector e aumentar os children, entretanto aparentemente isso pode fazer com que alguns clientes acessem conteúdos que deveriam ser bloqueados para eles.
vi também recomendarem que se retire a linha dos children do arquivo de configuração e coloque o bypass em off, mas já está assim. entretanto aparentemente essa opção pode fazer com que o squid dê crash após um tempo.

vale notar que antes ele tinha alertado sobre os sslcrtd children, então eu aumentei para 10 e parou de dar alerta.
também não notei qualquer problema na navegação até então, e nenhum usuário me reclamou nada ainda.

devo fazer o que?

marcelloc

@UnDr3aD:

depois de algumas pesquisas vi um pessoal falando pra ativar o redirector e aumentar os children, entretanto aparentemente isso pode fazer com que alguns clientes acessem conteúdos que deveriam ser bloqueados para eles.

Onde leu isso? A quantidade de children não deve interferir nas acls.

A Former User

@marcelloc:

@UnDr3aD:

depois de algumas pesquisas vi um pessoal falando pra ativar o redirector e aumentar os children, entretanto aparentemente isso pode fazer com que alguns clientes acessem conteúdos que deveriam ser bloqueados para eles.

Onde leu isso? A quantidade de children não deve interferir nas acls.

infelizmente não salvei os links que estava lendo. posso ter entendido errado.
No entanto gostaria de saber qual a recomendação.
Deixo do jeito que está (bypass off) ou ligo e aumento os children? ou o que mais sugerem.

no post anterior falei que o sslcrt children estava acusando estar todos ocupado e aumentei de 5 pra 10 e tinha resolvido, entretanto está aparecendo no log novamente:


basic_ldap_auth: WARNING, could not bind to binddn 'Can't contact LDAP server'
2014/04/29 14:00:46 kid1| WARNING: All 5/5 redirector processes are busy.
2014/04/29 14:00:46 kid1| WARNING: 5 pending requests queued
2014/04/29 14:00:46 kid1| WARNING: Consider increasing the number of redirector processes in your config file.
2014/04/29 14:10:51 kid1| WARNING: All 5/5 redirector processes are busy.
2014/04/29 14:10:51 kid1| WARNING: 5 pending requests queued
2014/04/29 14:10:51 kid1| WARNING: Consider increasing the number of redirector processes in your config file.
2014/04/29 14:13:22 kid1| WARNING: All 10/10 ssl_crtd processes are busy.
2014/04/29 14:13:22 kid1| WARNING: 10 pending requests queued
2014/04/29 14:13:22 kid1| WARNING: Consider increasing the number of ssl_crtd processes in your config file.

antes de atualizar o pfSense eu não tinha visto nada disso no cache.log, agora só aparece isso e mais nada!
seria seguro ignorar?

LFCavalcanti

Olá,

Na verdade o parametro que influencia é o "redirect_children". Segue a linha abaixo:


redirect_children 5;redirect_program /usr/local/bin/squidGuard -c /usr/local/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

Exemplo: Em um dos clientes que atendo, são 90 usuários. Aumentei de 5 para 80.

marcelloc

No procedimento do squidguard para o squid3 - dev mostra como alterar o parâmetro no squidguard_configurator.inc
5 é um valor muito baixo.

A Former User

@LFCavalcanti:

Olá,

Na verdade o parametro que influencia é o "redirect_children". Segue a linha abaixo:
redirect_children 5;redirect_program /usr/local/bin/squidGuard -c /usr/local/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5
Exemplo: Em um dos clientes que atendo, são 90 usuários. Aumentei de 5 para 80.

@marcelloc:

No procedimento do squidguard para o squid3 - dev mostra como alterar o parâmetro no squid.inc
5 é um valor muito baixo.

pois bem, na interface do squid, no campo custom settings > integration estava declarado da seguinte forma:

redirect_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

então alterei para:

redirect_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 40

no caso, a configuração de integração com o squid (nessa versão?) aparentemente não é feita mais com a declaração redirect, como pode ser observado no squid.conf:

# Package Integration
url_rewrite_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf
url_rewrite_bypass off
url_rewrite_children 40

isso me confundiu um pouco, mas em todo caso, foi só aumentar o número do url_rewrite_children pra 40 (por que tenho cerca de 40 usuários)

da mesma forma, como citei anteriormente, o sslcrt_children também estava dando alerta, logo, aumentei pra 40 também!
aproveito para indagar: todos os children deveriam ser configurados para um valor relativo ao número de usuários (vide que há também o "auth_param basic children 5" na autenticação, apesar de não ter visto nenhum problema ainda)????

faz um tempinho que fiz tais alterações e não foi mais alertado acerca dos children sslcrt e rediretor. Espero que tenha funcionado. Entretanto o cache log está assim:


(...)
2014-04-30 10:11:41 [32211] loading dbfile /var/db/squidGuard/RCAI_005-2013/doma                    ins.db
2014-04-30 10:11:41 [32211] init domainlist /var/db/squidGuard/RCAI_002-2014/dom                    ains
2014-04-30 10:11:41 [32211] loading dbfile /var/db/squidGuard/RCAI_002-2014/doma                    ins.db
2014-04-30 10:11:41 [32211] logfile not allowed in acl other than default
2014-04-30 10:11:41 [32211] logfile not allowed in acl other than default
2014-04-30 10:11:41 [32211] logfile not allowed in acl other than default
2014-04-30 10:11:41 [32211] logfile not allowed in acl other than default
2014/04/30 10:24:19 kid1| Starting new ssl_crtd helpers...
2014/04/30 10:24:19 kid1| Starting new ssl_crtd helpers...
2014/04/30 10:24:19 kid1| Starting new ssl_crtd helpers...
2014/04/30 10:24:19 kid1| Starting new ssl_crtd helpers...

o "logfile not allowed in acl other than default" pode me causar problemas?

desde já agradeço todo a ajuda

LFCavalcanti

Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

marcelloc

@LFCavalcanti:

Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

Toda vez que você salvar a configuração no squidguard, ele volta o parametro para 5.

Alterando o inc, sempre que ele salvar, já aparece o novo valor.

A Former User

@LFCavalcanti:

Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

pois é. como mencionei acima a configuração do redirecionador não tinha essa declaração. tudo que tinha lá era:
@UnDr3aD:

redirect_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5

tentei fazer a declaração do jeito que vc mencionou mais não deu certo aqui. só funcionou alterando o valor de url_rewrite_children pra 40.

@marcelloc:

@LFCavalcanti:

Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

Toda vez que você salvar a configuração no squidguard, ele volta o parametro para 5.

Alterando o inc, sempre que ele salvar, já aparece o novo valor.

não tá voltando configuração não. alterei o url_rewrite_children pra 40 e, mesmo após reiniciar o squid algumas vezes ele manteve, tanto na interface como no squid.conf.

marcelloc

@UnDr3aD:

mesmo após reiniciar o squid algumas vezes ele manteve, tanto na interface como no squid.conf.

Essa configuração é alterada pelo squidguard. salva a configuração do squidguard e aplica para ver se a alteração se mantem ou não.

O topico que descreve a alteração no arquivo inc do squidguard(além da compatibilidade com o squid3-dev) é esse:
https://forum.pfsense.org/index.php?topic=73640.0

--- squidguard_configurator.inc.orig
+++ squidguard_configurator.inc
@@ -98,1 +98,1 @@
-define('REDIRECTOR_PROCESS_COUNT', '5'); # redirector processes count will started
+define('REDIRECTOR_PROCESS_COUNT', '16 startup=8 idle=4 concurrency=0'); # redirector processes count will started

A Former User

@marcelloc:

@UnDr3aD:

mesmo após reiniciar o squid algumas vezes ele manteve, tanto na interface como no squid.conf.

Essa configuração é alterada pelo squidguard. salva a configuração do squidguard e aplica para ver se a alteração se mantem ou não.

O topico que descreve a alteração no arquivo inc do squidguard(além da compatibilidade com o squid3-dev) é esse:
https://forum.pfsense.org/index.php?topic=73640.0
--- squidguard_configurator.inc.orig
+++ squidguard_configurator.inc
@@ -98,1 +98,1 @@
-define('REDIRECTOR_PROCESS_COUNT', '5'); # redirector processes count will started
+define('REDIRECTOR_PROCESS_COUNT', '16 startup=8 idle=4 concurrency=0'); # redirector processes count will started

De fato! Ao restartar o squidguard o valor volta mesmo!
fiz o fix e funcionou!

Vlw pela dica

LFCavalcanti

@marcelloc:

@LFCavalcanti:

Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

Toda vez que você salvar a configuração no squidguard, ele volta o parametro para 5.

Alterando o inc, sempre que ele salvar, já aparece o novo valor.

Eu editei isso pela WebGUI nas configurações do Squid. E pelo menos nos dois clientes que testei funcionou. Um com o Squid 2 Stable e outro com o Squid3-DEV(não lembro a versão). Ambos em PFSense 2.0.1