Dansguardian não inicia serviço (blacklist error)…



  • Depois de uma queda de luz, reiniciei o pfsense e o DansGuardian não inciou mais pelo conselo e nem pela webGUI.

    pelo console, dá o seguinte erro:

    $ dansguardian
    Error reading file /usr/local/etc/dansguardian/lists/blacklists/ads/domains: No such file or directory
    Error reading file /usr/local/etc/dansguardian/lists/blacklists/ads/domains: No such file or directory
    Error opening file: /usr/local/etc/dansguardian/lists/blacklists/ads/domains
    Error opening bannedsitelist
    Error opening filter group config: /usr/local/etc/dansguardian/dansguardianf1.conf
    Error reading filter group conf file(s).
    Error parsing the dansguardian.conf file or other DansGuardian configuration files
    
    

    Tentei baixar a blacklist novamente tanto do link:
    http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist

    …quanto do link:
    http://www.shallalist.de/Downloads/shallalist.tar.gz

    e nada resolveu.

    Preciso de uma dica cobre como remover por completo as referências a blacklist para tentar baixar novamente mais tarde.



  • Execute o comando da blacklist na console/ssh.

    php /usr/local/bin/php /usr/local/www/dansguardian.php fetch_blacklist

    Se retornar erro de arquivo corrompido ou algo do tipo, tente uma segunda vez.



  • @marcelloc:

    Execute o comando da blacklist na console/ssh.

    php /usr/local/bin/php /usr/local/www/dansguardian.php fetch_blacklist

    Se retornar erro de arquivo corrompido ou algo do tipo, tente uma segunda vez.

    mensagens do comando:

    Warning: Unexpected character in input: ' ' (ASCII=15) state=1 in /usr/local/bin/php on line 686
    Warning: Unexpected character in input: ' in /usr/local/bin/php on line 686
    Warning: Unexpected character in input: ' in /usr/local/bin/php on line 686
    Warning: Unexpected character in input: ' in /usr/local/bin/php on line 686
    Warning: Unexpected character in input: ' *' in /usr/local/bin/php on line 686
    

    e continua a não iniciar!



  • Postei o php duas vezes, tira o primeiro php e tenta novamente



  • @marcelloc:

    Postei o php duas vezes, tira o primeiro php e tenta novamente

    Agora, apenas é mostrada a mensagem:

    content-type: text/html
    

    … tento o "dansguardian start" e continuam os mesmos erros do início da postagem.



  • @marcelloc:

    Postei o php duas vezes, tira o primeiro php e tenta novamente

    Me chamou atenção também uma mensage, que "rola" no topo da webGUI, em vermelho com fundo amarelo:

    Dansguardian - could not determine Blacklist extract dir. Categories not updated]
    

    …ou seja, não foi possível determinar o diretório para "extrair" a blacklist. Qual diretório? Eu poderia criá-lo manualmente?



  • @marcelloc:

    Postei o php duas vezes, tira o primeiro php e tenta novamente

    Bom, resolvi da seguinte maneira:

    • acessei o console e fiz o download com o comando "wget http://www.shallalist.de/Downloads/shallalist.tar.gz"
    • descompactei o arquivo com "tar -xzvf shallalist.tar.gz", o que gerou o diretório "BL"
    • executei "mv blacklists blacklists.old"
    • executei "mv BL blacklists"
    • executei "dansguardian start" e rodou o processo sem erros.

    Agora, a mensagem que vejo na linha de avisos é "[Dansguardian - Blacklist url is invalid.].:."

    *** Editado ***

    Agora, quando vou em "Access list -> Site ou URL", e marco algumas categorias da lista exibida em "Include", o serviço do Dansguardian para novamente. Desmarco as seleções, o serviço volta a rodar.



  • @elvio.tche:

    Agora, apenas é mostrada a mensagem:

    Qual a frequência de atualização que você marcou na aba de blacklist do dansguardian?

    Como uso a mesma lista em vários servidores, eu baixei a bigblacklist, deixei disponível no diretório /usr/local/www e apontei no dansguardian a url para 127.0.0.1/blacklist.tgz

    /usr/local/bin/php /usr/local/www/dansguardian.php fetch_blacklist
    Content-type: text/html

    /usr/local/etc/dansguardian/lists/blacklist.tgz 100% of  19 MB  55 MBps



  • @marcelloc:

    Qual a frequência de atualização que você marcou na aba de blacklist do dansguardian?

    Estava marcado para atualizar 1x por semana (Once a week). Só não lembro de qual link estava programado.
    Mas posso baixar manualmente, colocar no diretório "/usr/local/www" via winSCP, apontar para o http://127.0.0.1/bl.tgz (.tar.gz) (there's no place better than…), alterar a frequência para "Reapplay downloaded list now" e clicar um "Save" para tentar novamente. Pode ser ?



  • @elvio.tche:

    alterar a frequência para "Reapplay downloaded list now" e clicar um "Save" para tentar novamente. Pode ser ?

    pode sim. Se quiser, execute o fetchblacklist na mão para ver o que retorna



  • @marcelloc:

    @elvio.tche:

    alterar a frequência para "Reapplay downloaded list now" e clicar um "Save" para tentar novamente. Pode ser ?

    pode sim. Se quiser, execute o fetchblacklist na mão para ver o que retorna

    Testei novamente e, ao marcar um item das categorias, no caso marquei "ads…", o serviço para e é exibida a mensagem:

    Acknowledge All     .:.     11-19-12 11:23:32 - [Dansguardian - Could not determine Blacklist extract dir. Categories not updated]     .:.    
    
    

    … então, para que o DansGuardian volte a rodar o serviço, tenho que desmarcar a categoria e salvar as alterações.

    Não haveria uma maneira de excluir todos os diretórios e referências dessas blacklists e reconfigurar ?



  • @elvio.tche:

    Não haveria uma maneira de excluir todos os diretórios e referências dessas blacklists e reconfigurar ?

    o script que roda via cron faz isso,

    • remove a blacklist antiga

    • extrai a nova blacklist

    • aplica a nova  e refazer a lista de acls na interface gráfica



  • @marcelloc:

    o script que roda via cron faz isso,

    • remove a blacklist antiga

    • extrai a nova blacklist

    • aplica a nova  e refazer a lista de acls na interface gráfica

    Pois é, removi tudo referente a "blacklist", incluindo o diretório "blacklists", dentro de "lists" e as categorias continuam sendo exibidas.
    Essa lista está em mais de um diretório ?




  • você tem que aplicar uma black list via script/interface gráfica para atualizar os campos do pacote.



  • @marcelloc:

    você tem que aplicar uma black list via script/interface gráfica para atualizar os campos do pacote.

    … ou seja, no DansGuardian, vou na guia "Blacklist", em "Blacklist options":

    List on = "Banned Only"
    Update frequency = "Download and update now"
    Blacklist URL = "http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist"
    

    … e "Save" para aplicar via webGUI ?



  • @elvio.tche:

    @marcelloc:

    você tem que aplicar uma black list via script/interface gráfica para atualizar os campos do pacote.

    … ou seja, no DansGuardian, vou na guia "Blacklist", em "Blacklist options":

    List on = "Banned Only"
    Update frequency = "Download and update now"
    Blacklist URL = "http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist"
    

    … e "Save" para aplicar via webGUI ?

    depois disso, mudei o Update frequency = "Once a week", mantive as demais configs e salvei. Foi então que bagunçou de novo… Observei que o serviço parou novamente.
    Então, fui no diretório "/usr/local/etc/dansguardian/lists" e verifiquei que (pelo que analisei no php do dg), o diretório "blacklists" foi renomeado para "blacklists.old"; troquei o nome manualmente de volta para "blacklists", voltei a interface do DG, selecionei as categorias, salvei novamente e voltou a rodar o serviço sem erros.
    Sendo assim, dou por resolvido o contra-tempo.
    Valeu Marcello.



  • @elvio.tche:

    Blacklist URL = "http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist"
    … e "Save" para aplicar via webGUI ?

    esta blacklist é grande e pode exceder o limite do php ou time out da interface web do pfsense.

    salve o arquivo em /usr/local/www/blacklist.tgz e muda o campo "Blacklist URL" para http://127.0.0.1/blacklist.tgz (exemplo com o pfsense na porta 80)



  • Marcelo,

    tem como, quando tiveres um tempo, fazer com que o DG verifique se houve alguma falha no download da blacklist e aguardar uns 60 ou 90 minutos para tentar novamente?
    Ou, adicionar uma opção, tipo: "Em caso de falha no download, aguardar: [  ]min" (default=90min).
    Sugiro isso, pois o site URL Blacklist bloqueia o download por 1h caso seja feito o download.
    Então, se o mesmo for interrompido por algum motivo, para fazê-lo novamente, devemos esperar 1h para tentar novamente.
    Isso poderia ser programado para qualquer link do blacklist, pois cada site tem sua política.



  • @elvio.tche:

    tem como, quando tiveres um tempo, fazer com que o DG verifique se houve alguma falha no download da blacklist e aguardar uns 60 ou 90

    Tem sim, mas parei de contribuir com o projeto temporariamente até receber resposta do core team sobre o copyright dos pacotes e da própria ferramenta.

    O sarg, dansguardian, postifx, mailscanner foram para nos "forks fura olho" sem respeitar qualquer copyright no meu entedimento.

    Como alternativa, transfira o arquivo manualmente e copie na pasta www do pfsense.

    Já que mencionei a questão de uso indevido de recursos alheios, a bigblacklist permite somente um download gratuito. Acima disso, eles pedem gentilmente a assinatura da lista. ;)


Locked