Envoyer les Logs (Squid ) vers Graylog

[gtrolet]

Bonjour à tous,
Actuellement en train de tester l'outil Graylog2 pour exploiter l'ensemble des logs de mon infrastructure, j'essaye de trouver l'outil le plus ergonomique et manipulable pour pouvoir consulter l'ensemble des logs

Mon infra est composé de plusieurs types de machines :

• Debian

• PFSENSE

• Windows 7

• Windows Serveur 2012 R2

Afin d'avoir des logs uniformes et exploitables, j'ai utilisé l'outil NXlog afin d'envoyer vers Graylog, les logs dans un format GELF plus facile à exploiter sur l'interface web Gaylog2. Néanmoins, j'ai un problème pour envoyer mes logs "squid" qui permettent à mon entreprise d'archiver l'historique de la consultation des utilisateurs sur internet. Je n'arrive pas à envoyer mes logs squid sur mon serveur de logs et encore moins de les exploiter. Est ce que vous avez un moyen pour les envoyer facilement depuis pfsense et de les exploiter?

Merci d'avance de votre aide  :D

[jdh]

Merci de lire les sticky topics … puisque vous êtes débutant sur le forum, en particulier A LIRE EN PREMIER.

Ce fil ne concerne en rien pfSense, en dehors que Squid est placé dessus.
Tant qu'à faire proprement un serveur de log centralisateur, il serait judicieux de dédier une machine au proxy (=la séparer de pfSense ... dont ce n'est pas le rôle).

De plus, vous méconnaissez le rôle de syslog, et, en particulier pourquoi Squid n'envoie pas ses logs d'accès (access.log) dans syslog ...

Enfin, si vous aviez pris la peine de commencer par rechercher sur le forum, vous auriez déjà trouvé des fils sur le même sujet

J'arrête là, car 3 erreurs c'est déjà pas mal ...

[ccnet]

Vraiment aucun rapport avec Pfsense. Avez vous regarder le forum graylog ? C'est là bas qu'il faut poser cette question. Je serai bien étonné que le cas de Squid n'y soit pas traité.

[jdh]

Je complète, à partir de ce que j'ai déjà pu écrire sur le sujet :

Syslog peut servir à suivre l'activité telle

• démarrage/arrêt d'un programme/service,
• ouverture d'une session, d'un vpn, fermeture de celle-ci/celui-ci,
• tunnel qui monte ou qui tombe,
• …

Squid, qui est un proxy, alimente un fichier 'access.log' qui contient

• ligne par ligne, la requête passé pour le compte d'un client
  Dans la pratique, une page HTML peut se traduire par 10, 20 ou 30 lignes, car une page peut comporter
• un accès à 1 ou +sieurs feuille de style
• un accès à 10 ou + images, ...
  L'utilisation de ce fichier est faire par des logiciels d'analyse de navigation tel LightSquid, Calamaris, Sarg, ...
  (Et ces logiciels ne vont pas chercher dans syslog !)
  Typiquement c'est 10.000, 20.000, 100.000, 200.000 par jour selon le nombre d'utilisateurs et le volume ...

Donc,

• non, access.log ne doit pas passer dans syslog
• non, graylog ne fera rien des données d'access.log (puisqu'il ne fait pas de cumuls, stats, ...)

(Enfin je ne suis pas sûr pour la dernière affirmation mais je pense fortement que c'est bien le cas ...)

[ccnet]

C'est possible d'exploiter les logs de squid dans Graylog mais il faut ajouter un extracteur prévu à cet effet.