Dansguardian não inicia serviço (blacklist error)…

elvio.tche

Depois de uma queda de luz, reiniciei o pfsense e o DansGuardian não inciou mais pelo conselo e nem pela webGUI.

pelo console, dá o seguinte erro:

$ dansguardian
Error reading file /usr/local/etc/dansguardian/lists/blacklists/ads/domains: No such file or directory
Error reading file /usr/local/etc/dansguardian/lists/blacklists/ads/domains: No such file or directory
Error opening file: /usr/local/etc/dansguardian/lists/blacklists/ads/domains
Error opening bannedsitelist
Error opening filter group config: /usr/local/etc/dansguardian/dansguardianf1.conf
Error reading filter group conf file(s).
Error parsing the dansguardian.conf file or other DansGuardian configuration files

Tentei baixar a blacklist novamente tanto do link:
http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist

…quanto do link:
http://www.shallalist.de/Downloads/shallalist.tar.gz

e nada resolveu.

Preciso de uma dica cobre como remover por completo as referências a blacklist para tentar baixar novamente mais tarde.

marcelloc

Execute o comando da blacklist na console/ssh.

php /usr/local/bin/php /usr/local/www/dansguardian.php fetch_blacklist

Se retornar erro de arquivo corrompido ou algo do tipo, tente uma segunda vez.

elvio.tche

@marcelloc:

Execute o comando da blacklist na console/ssh.

php /usr/local/bin/php /usr/local/www/dansguardian.php fetch_blacklist

Se retornar erro de arquivo corrompido ou algo do tipo, tente uma segunda vez.

mensagens do comando:

Warning: Unexpected character in input: ' ' (ASCII=15) state=1 in /usr/local/bin/php on line 686
Warning: Unexpected character in input: ' in /usr/local/bin/php on line 686
Warning: Unexpected character in input: ' in /usr/local/bin/php on line 686
Warning: Unexpected character in input: ' in /usr/local/bin/php on line 686
Warning: Unexpected character in input: ' *' in /usr/local/bin/php on line 686

e continua a não iniciar!

marcelloc

Postei o php duas vezes, tira o primeiro php e tenta novamente

elvio.tche

@marcelloc:

Postei o php duas vezes, tira o primeiro php e tenta novamente

Agora, apenas é mostrada a mensagem:

content-type: text/html

… tento o "dansguardian start" e continuam os mesmos erros do início da postagem.

elvio.tche

@marcelloc:

Postei o php duas vezes, tira o primeiro php e tenta novamente

Me chamou atenção também uma mensage, que "rola" no topo da webGUI, em vermelho com fundo amarelo:

Dansguardian - could not determine Blacklist extract dir. Categories not updated]

…ou seja, não foi possível determinar o diretório para "extrair" a blacklist. Qual diretório? Eu poderia criá-lo manualmente?

elvio.tche

@marcelloc:

Postei o php duas vezes, tira o primeiro php e tenta novamente

Bom, resolvi da seguinte maneira:

acessei o console e fiz o download com o comando "wget http://www.shallalist.de/Downloads/shallalist.tar.gz"
descompactei o arquivo com "tar -xzvf shallalist.tar.gz", o que gerou o diretório "BL"
executei "mv blacklists blacklists.old"
executei "mv BL blacklists"
executei "dansguardian start" e rodou o processo sem erros.

Agora, a mensagem que vejo na linha de avisos é "[Dansguardian - Blacklist url is invalid.].:."

*** Editado ***

Agora, quando vou em "Access list -> Site ou URL", e marco algumas categorias da lista exibida em "Include", o serviço do Dansguardian para novamente. Desmarco as seleções, o serviço volta a rodar.

marcelloc

@elvio.tche:

Agora, apenas é mostrada a mensagem:

Qual a frequência de atualização que você marcou na aba de blacklist do dansguardian?

Como uso a mesma lista em vários servidores, eu baixei a bigblacklist, deixei disponível no diretório /usr/local/www e apontei no dansguardian a url para 127.0.0.1/blacklist.tgz

/usr/local/bin/php /usr/local/www/dansguardian.php fetch_blacklist
Content-type: text/html

/usr/local/etc/dansguardian/lists/blacklist.tgz 100% of 19 MB 55 MBps

elvio.tche

@marcelloc:

Qual a frequência de atualização que você marcou na aba de blacklist do dansguardian?

Estava marcado para atualizar 1x por semana (Once a week). Só não lembro de qual link estava programado.
Mas posso baixar manualmente, colocar no diretório "/usr/local/www" via winSCP, apontar para o http://127.0.0.1/bl.tgz (.tar.gz) (there's no place better than…), alterar a frequência para "Reapplay downloaded list now" e clicar um "Save" para tentar novamente. Pode ser ?

marcelloc

@elvio.tche:

alterar a frequência para "Reapplay downloaded list now" e clicar um "Save" para tentar novamente. Pode ser ?

pode sim. Se quiser, execute o fetchblacklist na mão para ver o que retorna

elvio.tche

@marcelloc:

@elvio.tche:

alterar a frequência para "Reapplay downloaded list now" e clicar um "Save" para tentar novamente. Pode ser ?

pode sim. Se quiser, execute o fetchblacklist na mão para ver o que retorna

Testei novamente e, ao marcar um item das categorias, no caso marquei "ads…", o serviço para e é exibida a mensagem:

Acknowledge All     .:.     11-19-12 11:23:32 - [Dansguardian - Could not determine Blacklist extract dir. Categories not updated]     .:.

… então, para que o DansGuardian volte a rodar o serviço, tenho que desmarcar a categoria e salvar as alterações.

Não haveria uma maneira de excluir todos os diretórios e referências dessas blacklists e reconfigurar ?

marcelloc

@elvio.tche:

Não haveria uma maneira de excluir todos os diretórios e referências dessas blacklists e reconfigurar ?

o script que roda via cron faz isso,

remove a blacklist antiga
extrai a nova blacklist
aplica a nova e refazer a lista de acls na interface gráfica

elvio.tche

@marcelloc:

o script que roda via cron faz isso,

remove a blacklist antiga

extrai a nova blacklist

aplica a nova e refazer a lista de acls na interface gráfica

Pois é, removi tudo referente a "blacklist", incluindo o diretório "blacklists", dentro de "lists" e as categorias continuam sendo exibidas.
Essa lista está em mais de um diretório ?

DansGuardian_AccessLists.jpg_thumb

marcelloc

você tem que aplicar uma black list via script/interface gráfica para atualizar os campos do pacote.

elvio.tche

@marcelloc:

você tem que aplicar uma black list via script/interface gráfica para atualizar os campos do pacote.

… ou seja, no DansGuardian, vou na guia "Blacklist", em "Blacklist options":

List on = "Banned Only"
Update frequency = "Download and update now"
Blacklist URL = "http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist"

… e "Save" para aplicar via webGUI ?

elvio.tche

@elvio.tche:

@marcelloc:

você tem que aplicar uma black list via script/interface gráfica para atualizar os campos do pacote.

… ou seja, no DansGuardian, vou na guia "Blacklist", em "Blacklist options":
List on = "Banned Only"
Update frequency = "Download and update now"
Blacklist URL = "http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist"
… e "Save" para aplicar via webGUI ?

depois disso, mudei o Update frequency = "Once a week", mantive as demais configs e salvei. Foi então que bagunçou de novo… Observei que o serviço parou novamente.
Então, fui no diretório "/usr/local/etc/dansguardian/lists" e verifiquei que (pelo que analisei no php do dg), o diretório "blacklists" foi renomeado para "blacklists.old"; troquei o nome manualmente de volta para "blacklists", voltei a interface do DG, selecionei as categorias, salvei novamente e voltou a rodar o serviço sem erros.
Sendo assim, dou por resolvido o contra-tempo.
Valeu Marcello.

marcelloc

@elvio.tche:

Blacklist URL = "http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist"
… e "Save" para aplicar via webGUI ?

esta blacklist é grande e pode exceder o limite do php ou time out da interface web do pfsense.

salve o arquivo em /usr/local/www/blacklist.tgz e muda o campo "Blacklist URL" para http://127.0.0.1/blacklist.tgz (exemplo com o pfsense na porta 80)

elvio.tche

Marcelo,

tem como, quando tiveres um tempo, fazer com que o DG verifique se houve alguma falha no download da blacklist e aguardar uns 60 ou 90 minutos para tentar novamente?
Ou, adicionar uma opção, tipo: "Em caso de falha no download, aguardar: [ ]min" (default=90min).
Sugiro isso, pois o site URL Blacklist bloqueia o download por 1h caso seja feito o download.
Então, se o mesmo for interrompido por algum motivo, para fazê-lo novamente, devemos esperar 1h para tentar novamente.
Isso poderia ser programado para qualquer link do blacklist, pois cada site tem sua política.

marcelloc

@elvio.tche:

tem como, quando tiveres um tempo, fazer com que o DG verifique se houve alguma falha no download da blacklist e aguardar uns 60 ou 90

Tem sim, mas parei de contribuir com o projeto temporariamente até receber resposta do core team sobre o copyright dos pacotes e da própria ferramenta.

O sarg, dansguardian, postifx, mailscanner foram para nos "forks fura olho" sem respeitar qualquer copyright no meu entedimento.

Como alternativa, transfira o arquivo manualmente e copie na pasta www do pfsense.

Já que mencionei a questão de uso indevido de recursos alheios, a bigblacklist permite somente um download gratuito. Acima disso, eles pedem gentilmente a assinatura da lista. ;)