Envoyer les Logs (Squid ) vers Graylog

gtrolet

Bonjour à tous,
Actuellement en train de tester l'outil Graylog2 pour exploiter l'ensemble des logs de mon infrastructure, j'essaye de trouver l'outil le plus ergonomique et manipulable pour pouvoir consulter l'ensemble des logs

Mon infra est composé de plusieurs types de machines :

Debian
PFSENSE
Windows 7
Windows Serveur 2012 R2

Afin d'avoir des logs uniformes et exploitables, j'ai utilisé l'outil NXlog afin d'envoyer vers Graylog, les logs dans un format GELF plus facile à exploiter sur l'interface web Gaylog2. Néanmoins, j'ai un problème pour envoyer mes logs "squid" qui permettent à mon entreprise d'archiver l'historique de la consultation des utilisateurs sur internet. Je n'arrive pas à envoyer mes logs squid sur mon serveur de logs et encore moins de les exploiter. Est ce que vous avez un moyen pour les envoyer facilement depuis pfsense et de les exploiter?

Merci d'avance de votre aide :D

jdh

Merci de lire les sticky topics … puisque vous êtes débutant sur le forum, en particulier A LIRE EN PREMIER.

Ce fil ne concerne en rien pfSense, en dehors que Squid est placé dessus.
Tant qu'à faire proprement un serveur de log centralisateur, il serait judicieux de dédier une machine au proxy (=la séparer de pfSense ... dont ce n'est pas le rôle).

De plus, vous méconnaissez le rôle de syslog, et, en particulier pourquoi Squid n'envoie pas ses logs d'accès (access.log) dans syslog ...

Enfin, si vous aviez pris la peine de commencer par rechercher sur le forum, vous auriez déjà trouvé des fils sur le même sujet

J'arrête là, car 3 erreurs c'est déjà pas mal ...

ccnet

Vraiment aucun rapport avec Pfsense. Avez vous regarder le forum graylog ? C'est là bas qu'il faut poser cette question. Je serai bien étonné que le cas de Squid n'y soit pas traité.

jdh

Je complète, à partir de ce que j'ai déjà pu écrire sur le sujet :

Syslog peut servir à suivre l'activité telle

démarrage/arrêt d'un programme/service,
ouverture d'une session, d'un vpn, fermeture de celle-ci/celui-ci,
tunnel qui monte ou qui tombe,
…

Squid, qui est un proxy, alimente un fichier 'access.log' qui contient

ligne par ligne, la requête passé pour le compte d'un client
Dans la pratique, une page HTML peut se traduire par 10, 20 ou 30 lignes, car une page peut comporter
un accès à 1 ou +sieurs feuille de style
un accès à 10 ou + images, ...
L'utilisation de ce fichier est faire par des logiciels d'analyse de navigation tel LightSquid, Calamaris, Sarg, ...
(Et ces logiciels ne vont pas chercher dans syslog !)
Typiquement c'est 10.000, 20.000, 100.000, 200.000 par jour selon le nombre d'utilisateurs et le volume ...

Donc,

non, access.log ne doit pas passer dans syslog
non, graylog ne fera rien des données d'access.log (puisqu'il ne fait pas de cumuls, stats, ...)

(Enfin je ne suis pas sûr pour la dernière affirmation mais je pense fortement que c'est bien le cas ...)

ccnet

C'est possible d'exploiter les logs de squid dans Graylog mais il faut ajouter un extracteur prévu à cet effet.