[Resolvido] All 5/5 redirector processes are busy.



  • Olá. Tenho o pfSense 2.1.2, com squid3-dev e squidguard-squid3.

    fazendo uma verificação de rotina percebi um comportamento diferente no cache.log, como segue abaixo?

    2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_001-2013/domains.db
    2014-04-28 14:57:00 [88099] init expressionlist /var/db/squidGuard/RCAI_001-2013/expressions
    2014-04-28 14:57:00 [88099] init urllist /var/db/squidGuard/RCAI_001-2013/urls
    2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_001-2013/urls.db
    2014-04-28 14:57:00 [88099] init domainlist /var/db/squidGuard/RCAI_003-2013/domains
    2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_003-2013/domains.db
    2014-04-28 14:57:00 [88099] init domainlist /var/db/squidGuard/RCAI_005-2013/domains
    2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_005-2013/domains.db
    2014-04-28 14:57:00 [88099] init domainlist /var/db/squidGuard/RCAI_002-2014/domains
    2014-04-28 14:57:00 [88099] loading dbfile /var/db/squidGuard/RCAI_002-2014/domains.db
    2014-04-28 14:57:00 [88099] logfile not allowed in acl other than default
    2014-04-28 14:57:00 [88099] logfile not allowed in acl other than default
    2014-04-28 14:57:00 [88099] logfile not allowed in acl other than default
    2014-04-28 14:57:00 [88099] logfile not allowed in acl other than default
    2014/04/28 14:57:14 kid1| WARNING: All 5/5 redirector processes are busy.
    2014/04/28 14:57:14 kid1| WARNING: 5 pending requests queued
    2014/04/28 14:57:14 kid1| WARNING: Consider increasing the number of redirector processes in your config file.
    
    

    no campo Integrations do custom settings (na UI) está assim:

    redirect_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5
    

    depois de algumas pesquisas vi um pessoal falando pra ativar o redirector e aumentar os children, entretanto aparentemente isso pode fazer com que alguns clientes acessem conteúdos que deveriam ser bloqueados para eles.
    vi também recomendarem que se retire a linha dos children do arquivo de configuração e coloque o bypass em off, mas já está assim. entretanto aparentemente essa opção pode fazer com que o squid dê crash após um tempo.

    vale notar que antes ele tinha alertado sobre os sslcrtd children, então eu aumentei para 10 e parou de dar alerta.
    também não notei qualquer problema na navegação até então, e nenhum usuário me reclamou nada ainda.

    devo fazer o que?



  • @UnDr3aD:

    depois de algumas pesquisas vi um pessoal falando pra ativar o redirector e aumentar os children, entretanto aparentemente isso pode fazer com que alguns clientes acessem conteúdos que deveriam ser bloqueados para eles.

    Onde leu isso? A quantidade de children não deve interferir nas acls.



  • @marcelloc:

    @UnDr3aD:

    depois de algumas pesquisas vi um pessoal falando pra ativar o redirector e aumentar os children, entretanto aparentemente isso pode fazer com que alguns clientes acessem conteúdos que deveriam ser bloqueados para eles.

    Onde leu isso? A quantidade de children não deve interferir nas acls.

    infelizmente não salvei os links que estava lendo. posso ter entendido errado.
    No entanto gostaria de saber qual a recomendação.
    Deixo do jeito que está (bypass off) ou ligo e aumento os children? ou o que mais sugerem.

    no post anterior falei que o sslcrt children estava acusando estar todos ocupado e aumentei de 5 pra 10 e tinha resolvido, entretanto está aparecendo no log novamente:

    
    basic_ldap_auth: WARNING, could not bind to binddn 'Can't contact LDAP server'
    2014/04/29 14:00:46 kid1| WARNING: All 5/5 redirector processes are busy.
    2014/04/29 14:00:46 kid1| WARNING: 5 pending requests queued
    2014/04/29 14:00:46 kid1| WARNING: Consider increasing the number of redirector processes in your config file.
    2014/04/29 14:10:51 kid1| WARNING: All 5/5 redirector processes are busy.
    2014/04/29 14:10:51 kid1| WARNING: 5 pending requests queued
    2014/04/29 14:10:51 kid1| WARNING: Consider increasing the number of redirector processes in your config file.
    2014/04/29 14:13:22 kid1| WARNING: All 10/10 ssl_crtd processes are busy.
    2014/04/29 14:13:22 kid1| WARNING: 10 pending requests queued
    2014/04/29 14:13:22 kid1| WARNING: Consider increasing the number of ssl_crtd processes in your config file.
    
    

    antes de atualizar o pfSense eu não tinha visto nada disso no cache.log, agora só aparece isso e mais nada!
    seria seguro ignorar?



  • Olá,

    Na verdade o parametro que influencia é o "redirect_children". Segue a linha abaixo:

    
    redirect_children 5;redirect_program /usr/local/bin/squidGuard -c /usr/local/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5
    
    

    Exemplo: Em um dos clientes que atendo, são 90 usuários. Aumentei de 5 para 80.



  • No procedimento do squidguard para o squid3 - dev mostra como alterar o parâmetro no squidguard_configurator.inc
    5 é um valor muito baixo.



  • @LFCavalcanti:

    Olá,

    Na verdade o parametro que influencia é o "redirect_children". Segue a linha abaixo:

    
    redirect_children 5;redirect_program /usr/local/bin/squidGuard -c /usr/local/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5
    
    

    Exemplo: Em um dos clientes que atendo, são 90 usuários. Aumentei de 5 para 80.

    @marcelloc:

    No procedimento do squidguard para o squid3 - dev mostra como alterar o parâmetro no squid.inc
    5 é um valor muito baixo.

    pois bem, na interface do squid, no campo custom settings > integration estava declarado da seguinte forma:

    redirect_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5
    

    então alterei para:

    redirect_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 40
    

    no caso, a configuração de integração com o squid (nessa versão?) aparentemente não é feita mais com a declaração redirect, como pode ser observado no squid.conf:

    # Package Integration
    url_rewrite_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf
    url_rewrite_bypass off
    url_rewrite_children 40
    

    isso me confundiu um pouco, mas em todo caso, foi só aumentar o número do url_rewrite_children pra 40 (por que tenho cerca de 40 usuários)

    da mesma forma, como citei anteriormente, o sslcrt_children também estava dando alerta, logo, aumentei pra 40 também!
    aproveito para indagar: todos os children deveriam ser configurados para um valor relativo ao número de usuários (vide que há também o "auth_param basic children 5" na autenticação, apesar de não ter visto nenhum problema ainda)????

    faz um tempinho que fiz tais alterações e não foi mais alertado acerca dos children sslcrt e rediretor. Espero que tenha funcionado. Entretanto o cache log está assim:

    
    (...)
    2014-04-30 10:11:41 [32211] loading dbfile /var/db/squidGuard/RCAI_005-2013/doma                    ins.db
    2014-04-30 10:11:41 [32211] init domainlist /var/db/squidGuard/RCAI_002-2014/dom                    ains
    2014-04-30 10:11:41 [32211] loading dbfile /var/db/squidGuard/RCAI_002-2014/doma                    ins.db
    2014-04-30 10:11:41 [32211] logfile not allowed in acl other than default
    2014-04-30 10:11:41 [32211] logfile not allowed in acl other than default
    2014-04-30 10:11:41 [32211] logfile not allowed in acl other than default
    2014-04-30 10:11:41 [32211] logfile not allowed in acl other than default
    2014/04/30 10:24:19 kid1| Starting new ssl_crtd helpers...
    2014/04/30 10:24:19 kid1| Starting new ssl_crtd helpers...
    2014/04/30 10:24:19 kid1| Starting new ssl_crtd helpers...
    2014/04/30 10:24:19 kid1| Starting new ssl_crtd helpers...
    
    

    o "logfile not allowed in acl other than default" pode me causar problemas?

    desde já agradeço todo a ajuda



  • Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.



  • @LFCavalcanti:

    Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

    Toda vez que você salvar a configuração no squidguard, ele volta o parametro para 5.

    Alterando o inc, sempre que ele salvar, já aparece o novo valor.



  • @LFCavalcanti:

    Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

    pois é. como mencionei acima a configuração do redirecionador não tinha essa declaração. tudo que tinha lá era:
    @UnDr3aD:

    redirect_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;redirector_bypass off;url_rewrite_children 5
    

    tentei fazer a declaração do jeito que vc mencionou mais não deu certo aqui. só funcionou alterando o valor  de url_rewrite_children pra 40.

    @marcelloc:

    @LFCavalcanti:

    Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

    Toda vez que você salvar a configuração no squidguard, ele volta o parametro para 5.

    Alterando o inc, sempre que ele salvar, já aparece o novo valor.

    não tá voltando configuração não. alterei  o url_rewrite_children pra 40 e, mesmo após reiniciar o squid algumas vezes ele manteve, tanto na interface como no squid.conf.



  • @UnDr3aD:

    mesmo após reiniciar o squid algumas vezes ele manteve, tanto na interface como no squid.conf.

    Essa configuração é alterada pelo squidguard. salva a configuração do squidguard e aplica para ver se a alteração se mantem ou não.

    O topico que descreve a alteração no arquivo inc do squidguard(além da compatibilidade com o squid3-dev) é esse:
    https://forum.pfsense.org/index.php?topic=73640.0

    --- squidguard_configurator.inc.orig
    +++ squidguard_configurator.inc
    @@ -98,1 +98,1 @@
    -define('REDIRECTOR_PROCESS_COUNT', '5'); # redirector processes count will started
    +define('REDIRECTOR_PROCESS_COUNT', '16 startup=8 idle=4 concurrency=0'); # redirector processes count will started
    
    


  • @marcelloc:

    @UnDr3aD:

    mesmo após reiniciar o squid algumas vezes ele manteve, tanto na interface como no squid.conf.

    Essa configuração é alterada pelo squidguard. salva a configuração do squidguard e aplica para ver se a alteração se mantem ou não.

    O topico que descreve a alteração no arquivo inc do squidguard(além da compatibilidade com o squid3-dev) é esse:
    https://forum.pfsense.org/index.php?topic=73640.0

    --- squidguard_configurator.inc.orig
    +++ squidguard_configurator.inc
    @@ -98,1 +98,1 @@
    -define('REDIRECTOR_PROCESS_COUNT', '5'); # redirector processes count will started
    +define('REDIRECTOR_PROCESS_COUNT', '16 startup=8 idle=4 concurrency=0'); # redirector processes count will started
    
    

    De fato! Ao restartar o squidguard o valor volta mesmo!
    fiz o fix e funcionou!

    Vlw pela dica



  • @marcelloc:

    @LFCavalcanti:

    Na verdade eu só adicionei o valor "redirect_children 80" no cliente que mencionei. Pra mim isso resolveu, não precisei alterar o outro parametro sobre URL.

    Toda vez que você salvar a configuração no squidguard, ele volta o parametro para 5.

    Alterando o inc, sempre que ele salvar, já aparece o novo valor.

    Eu editei isso pela WebGUI nas configurações do Squid. E pelo menos nos dois clientes que testei funcionou. Um com o Squid 2 Stable e outro com o Squid3-DEV(não lembro a versão). Ambos em PFSense 2.0.1