Squid et squidguard plantent.
-
Je ne vais pas commenter le contenu de la requête, chacun sont truc, ;D ;D ;D mais elle n'a rien de confidentiel. A la limite de résultat de la recherche peut-il l'être mais celui-ci restera dans le tunnel et donc personne ne saura si tu as trouvé ton bonheur. D'ailleurs ce qui intéresse l'investigateur éventuel, ce n'est pas la réponse mais le fait que tu sois allé visiter ce site.
le site en l'occurence est google
qui fournit un contenu de rechercheset pour moi, la requête exprimée dans l'url est confidentielle a mes yeux
a moins que tu trouves normal que l'on puisse savoir ce qu'un utilisateur cherche dans google?
(je ne te parle pas d'un poste pro nécéssairement)De plus, pour autant que je sache, et c'est le point qui devrait te rassurer, Squid ne va pas conserver de trace du contenu de ta requête.
squid conservera l'url
or elle contient tous les parametres pour être rejouableelle contient les parametres en clair, et en plus elle est rejouable
donc non, la confidentialité vient clairement de sauter
Les solutions basées sur le DNS visent plutôt, dans ma compréhension, lorsqu'il ne s'agit pas soit de hacker soit de censurer, à offrir à l'utilisateur un accès au service proche (du point de vue réseau) du demandeur.
ce que tu dis est vrai sur l'angle Geo-DNS
toutefois c'est hors du sujet "filtrage"donc c'est faux
les solutions de filtrage par DNS, sont tout aussi performantes que par proxy
par ailleurs, elles ne nécéssitent aucun travail du proxy, ni aucune gestion de l'admin réseau des blacklistes -
De plus, pour autant que je sache, et c'est le point qui devrait te rassurer, Squid ne va pas conserver de trace du contenu de ta requête.
squid conservera l'url
or elle contient tous les parametres pour être rejouable
elle contient les parametres en clair, et en plus elle est rejouable
donc non, la confidentialité vient clairement de sauterAs-tu seulement fait le test que je te suggère avant d'affirmer ça ? visiblement pas ::)
D'où vient cette histoire de "rejouabilité" ?les solutions de filtrage par DNS, sont tout aussi performantes que par proxy
par ailleurs, elles ne nécéssitent aucun travail du proxy, ni aucune gestion de l'admin réseau des blacklisteset as-tu déjà opéré des solutions de filtrage, de contrôle ou de sécurisation de flux HTTP dans un environnement de taille significative pour penser que l'administration du DNS permet de mettre en œuvre du filtrage "aussi performant que du proxy" ? Si c'est le cas, ce doit être dans un environnement bien particulier, à moins que ce soit mon expérience personnelle qui me donne une vision biaisée, ce qui est possible même si j'en doute fortement ;)
Pour bien comprendre ce que raconte le log de Squid.
-
j'expérimente la solution actuellement sur un réseau d'environ 300 à 400 machines (de toute nature, de tous os,)
j'en suis très satisfait, autant par l'aspect "mise a terre à 99%" des flux néphastes (c'est a dire hors du reglement du réseau)
autant que par la gestion au quotidien de la solution, tres centralisée, et totalement transverse sur le réseau (multi protocolaire) et totalement détachée du réseau
il ne me suffit que de cocher "pornography" pour mettre un terme (avec un délai de propagation de 10à 20 min) a des magistrales sessions de branlettes quotidiennes (ces etudiants…)
evidemment ce n'est pas le cas
ces blacklistes sont là pour une autre finalité.
mais il serait sans problème possible de faire le salaud jusqu'au bout, et de proposer a ce parc machine de l'internet a plusieurs vitesses
avec des policies orientées "web de base" (texte) et des policies permettant le "web gourmand" (youtube vod.. etc)
il n'est pas bien sur question de s'en servir de cette manière.
par ailleurs, toutes solutions sont contournables, moi ce que je regarde c'est le ratio de ceux qui font rien, + ceux qui lachent l'affaire, rapportés aux 2% de jusqu'au boutistes
pour qui tu ne peux rien
concernant le reste :
-
la facon de voir comment squid journalise les requetes HTTP, me suffit pour imaginer comment il va journaliser les HTTPS
-
et oui, les urls qui contiennent des parametres en GET, sans système de token, sont rejouables
=> tu peux rejouer mes liens google de ton coté , et tu les verras de la même manière s'afficher chez toi que si tu avais tapé les mots clés
-> donc si la requete est présente en entier dans le log de squid, et bien moi je dis c'est une atteinte à la vie privée
car les mots clés sont en clair, et le lien est rejouable
-> donc le contenu de la requête (a la base cryptée) ne l'est plus, vu que tu peux rejouer la requête a ton tour de ton coté ultérieurement, et indéfiniment -
-
j'expérimente la solution actuellement sur un réseau d'environ 300 à 400 machines (de toute nature, de tous os,)
Je suis très intéressé par une descriptions technique de comment est-ce que cela fonctionne
mais il serait sans problème possible de faire le salaud jusqu'au bout, et de proposer a ce parc machine de l'internet a plusieurs vitesses
avec des policies orientées "web de base" (texte) et des policies permettant le "web gourmand" (youtube vod.. etc)tout ça basé sur le DNS :o n'hésite surtout pas à en dire un peu plus sur comment ça se met en œuvre.
-
la facon de voir comment squid journalise les requetes HTTP, me suffit pour imaginer comment il va journaliser les HTTPS
-
et oui, les urls qui contiennent des parametres en GET, sans système de token, sont rejouables
Ton imagination te joue des tours ! Il n'y a pas, jusqu'à preuve du contraire, dans le log de Squid, de "GET https://….." ce qui voudrait dire que Squid exécute la requête HTTPS à ta place, ce qui, sauf si tu met en place de l'interception (et donc man-in-the-middle :-X), n'existe pas.
Mais même sans interception, et c'est tout le débat depuis le début, tu peux grace au proxy explicite et contrairement au proxy transparent, bénéficier de Squid et SquidGuard (ou Dansguardian) pour faire du filtrage, du contrôle d'accès et du profiling sur les URL en HTTP et en HTTPS.Pour mettre fin à ce débat qui perd un peu de son utilité dans le cadre de la question initiale de crashoux (mais je reste très intéressé par une description de ton implémentation de contrôle de l'internet basée sur le DNS), je te suggère de lire la doc de Squid sur la partie HTTPS.
-> donc si la requete est présente en entier dans le log de squid, …/...
Tous les mots sont importants :)
un petit extrait de la doc de Squid pour illustrer mon propos et conclure, de mon coté (là aussi tous les mots sont utiles):
When a browser establishes a CONNECT tunnel through Squid, Access Controls are able to control CONNECT requests, but only limited information is available. For example, many common parts of the request URL do not exist in a CONNECT request:
the URL scheme or protocol (e.g., http://, https://, ftp://, voip://, itunes://, or telnet://),
the URL path (e.g., /index.html or /secure/images/),
and query string (e.g. ?a=b&c=d)
With HTTPS, the above parts are present in encapsulated HTTP requests that flow through the tunnel, but Squid does not have access to those encrypted messages. Other tunnelled protocols may not even use HTTP messages and URLs (e.g., telnet).
-
-
j'agréé
je n'avais point lu cette doc
méa maxima culpa
-
concernant le DNS, tu n'as qu 'a m'écrire
-
Salut salut
Juste la pour suivre sans pour autant vouloir interférer.
Je suis curieux de voir la suite sur l'information traitant des dns.
Cordialement.
-
Salut salut
Juste la pour suivre sans pour autant vouloir interférer.
Je suis curieux de voir la suite sur l'information traitant des dns.
Cordialement.
bah dis donc tatave, t abuses, tu la connais la methode ^^
l autre jour j en ai parlé t etais la -
J'espère que "la" méthode n'est pas celle-ci ;)
Ce n'est pas vraiment du filtrage ni du contrôle mais juste une solution de contournement partielle.Ce n'est pas que je n'aime pas OpenDNS (je j'ai largement utilisé) mais Umbrella + Investigate … bof :-\ A la limite en complément d'une infrastructure dédiée au filtrage mais encore, je ne vois pas bien ce que ça apporte, si ce n'est une autre vision de la catégorisation des fournisseurs de service et de site.
-
Filtrage par dns ?
La liste 'adult' de la blacklist de Toulouse comporte plus d'1 million de lignes soit autant de domaine dns.
Il me parait totalement impossible (et fantaisiste) qu'un serveur dns avec une telle liste de domaines (associé à 127.0.0.1) réponde aussi vite que SquidGuard pour traiter cette même liste !Lire la page de http://dsi.ut-capitole.fr/documentations/cache/squidguard.html sur le comparatif entre SquidGuard et ses concurrents.
Notamment la liste 'adult' est augmentée pour limiter l'utilisation de regex qui, elle, est très consommatrice.Le filtrage par dns est tout à fait possible et efficace pour de petites listes de domaines.
Par exemple, si un fournisseur FAI français est obligé, par décision de justice, d'interdire à ses clients l'accès à un site pirate, il utilisera cette méthode.
Et chacun peut le vérifier …Je salue la précision de chris4916 : sans regarder la doc, il suffit de regarder un 'access.log' pour vérifier que
- les paramètres après le ? n'y sont pas,
- les 'CONNECT xxxx:443' pour le trafic https (=443/tcp).
-
@jdh:
Filtrage par dns ?
Nous sommes d'accord 8)
Je viens de lire quelques sujets (dans ce forum que je découvre) relatifs à cette solution préconisée ici et là (en commençant par le lien ci-dessus). ça m’interpelle quand même pas mal ce truc lorsque c'est déployé avec cette idée en tête de remplacer un proxy HTTP.il y a des aspects performance mais également des aspects "niveau de service", granularité, profiling, anti-virus… bref, ce n'est simplement pas la même chose.
Par contre, c'est une solution qui me semble acceptable pour un device mobile isolé dans la nature qui voudrait avoir une protection de base pour ne pas être redirigé vers des sites malveillants. Je vais essayer d'améliorer ma compréhension de ce truc en attendant les explications de Florian
-
La solution filtrage dns fonctionne bien, avec du DNS RPZ (bind). Le problème est plutôt d'arriver à installer un Bind 9.10 qui est le seul à même de faire fonctionner cela "correctement"..
En plus cela fonctionne pour tout : HTTP, HTTPS, ftp, etc… et sans configuration des postes.. Pratique.
Mais bon, il faut arriver à le faire "tomber en marche".... ;-)
Bien sûr, cela ne dispense nullement d'un filtrage par proxy....
-
Bien sûr, cela ne dispense nullement d'un filtrage par proxy….
Mais quel est l'intérêt dans ce cas ?
avec un proxy, la résolution de l'URL est faite par l'URL, donc moins de chance que cette couche soit bricolée par l'utilisateur mais je ne comprends la finalité si on superpose les 2 solutions ???
-
Tu ne traite pas les mêmes cas :
- proxy "simple" (configuration standard)
- pour les postes contrôlés pour lesquels tu as positionné le proxy
- filtrage complet
- proxy avec wpad
- pour les postes qui sont configurés correctement après information (style affiche pour du public étudiant, ou autre)
- filtrage complet
- proxy transparent
- pour les postes qui ne respectent pas le wpad
- filtrage complet pour le port 80
- pour les autres ports => filtrage DNS. -
Tu ne traite pas les mêmes cas : …/...
J'avoue ne pas vraiment comprend, même si je saisi je pense une partie de l'idée.
D'un point de vue DNS, selon que le proxy est transparent ou pas, la différence se situe au niveau de "qui" demande la résolution.-
Dans le cas d'un proxy transparent, c'est le poste de l'utilisateur qui se charge de demander au DNS de résoudre le nom et qui fait ensuite la requête sur l'adresse IP, laquelle est interceptée par le proxy de manière transparente ::)
-
dans le cas d'un proxy explicite ou WPAD (c'est à quelques détails près la même chose), le client sait qu'il parle à un proxy, il ne demande pas de résolution de nom au DNS mais délègue ça au proxy qui s'en charge (avec les avantages que ça présente en terme de cache au niveau DNS)
-
pour mémoire: sans proxy, c'est, comme en proxy transparent, le client qui gère le DNS
donc soit il y a une différence entre les DNS utilisés par les clients vs. ceux utilisés par le proxy et effectivement on ne traite pas la même chose (mais ça devient compliqué de savoir quoi est filtré par quoi) soit les DNS sont les mêmes et la différence que tu évoques ne me saute pas aux yeux.
Je ne prétends pas que ce que tu énonces est faux, erroné ou quoique ce soit de ce genre. Je n’ai de plus pas utilisé OpenDNS en dehors d'un DNS classique (donc sans filtrage) et ma compréhension est celle liée à la lecture de leur publication mais cette notion de filtrage DNS me laisse perplexe. Le seul intérêt que j'y vois, éventuellement, est de fournir aux clients qui n'ont pas de proxy configuré ou configurable (en direct ou via WPAD) une sorte de protection basée sur le blocage de l'adresse IP correspondant au FQDN, ce qui dans certains cas, j'en conviens, est mieux que rien.
Mais avec quelques effets de bord et des points pas pris en compte.
Du coup, si il n'y a pas de proxy, pourquoi pas, ça peut dépanner… provisoirement ou en fonction des environnements
Si un proxy est disponible, en mode explicite (je ne considère jamais le proxy transparent comme une solution fiable si il s'agit de fournir du filtrage ou de la sécurité) alors je ne comprends pas l’intérêt de superposer les 2 solutions, ce qui crée des zones de flou en terme d'administration et contrôle, avec les effets de bord déjà évoqués.Mais je suis complètement ouvert à changer d'avis si ma compréhension de "comment ça marche" évolue ;)
-
-
je rejoins l'avis de JDH
encore une fois, je réhitère ma position, (chris) il n' a jamais été question d'avoir une blackliste "mégapuissante"
–
je ne pointe simplement le fait que le filtrage par DNS, est (a mes yeux) LA solution idéale pour filtrer des destinations bien précises
et étoffer le tout avec les blacklistes umbrella
je prend un exemple de base : le torrent
et bien moi, j'adore prendre les sites (non bloqués) qui recencent une 60e de sites de torrents,
et tous les ouvrir un par un dans les onglets de mon navigateur, pour voir que oui, sur les 60 j'en ai deux ou 3 a bloquer à la mainet que les autres sont pré-inclus dans la BL, sans que j'aie quoi que ce soit a faire
c'est un reel plaisir de faire tomber les trackers torrent, chose pas forcement gérable sur un proxy
par ailleurs, j'attire l'attention sur le fait que les pages de blocages Opendns, peuvent elle aussi dans pfsense, faire l'objet d'un empoisonnement
a leur tour, qui peut être géré sur un serveur web par un virtualhost adapatéen conséquence la solution est brandée, gratuite, performante et DEPORTEE
par ailleurs sa gestion est CENTRALISEE, en cas de loadbalancing, il suffit d'ouvrir un compte par ligne..
et le service fournit par ailleurs de bonnes stats DNS.
donc compte tenu que tout est contournable, je me permet de comparer les solutions avec des + et des -
et pour moi cette solution à des + bien interessants@chris > Oui cette solution est bien a mes yeux assimilable a un filtrage
sauf que oui, je te confirme, de la vue du réseau tu n'as que des CONNECTS
et pas de rejetspuisque quoi qqu'il arrive la requête aboutit soit sur la bonne IP, soit sur une IP frauduleuse.
--
tu me diras, qu'est ce qui empêche un mec de faire un nslookup depuis une connexion 4G et de revenir sur le réseau en accès direct sans domaine?
je te répondrais que 95% des sites, sont soit mutualisés, soit protégés, soit CDN-isés, soit autrechose-isés, et donc
oui, il y a bien toujours 2% de jusqu'au boutistes, et 5% d'adresses spécifiques
-> Ce n'est pas ce que recherche un ISP, WISP, Mini ISP
-> Ce qu''il cherche c'est mettre a terre une tendance, un mouvement-> si tu fermes la BL torrent, et que tu fermes les BL Webproxies, webVPN etc, je te garantis que cette ssolution te permet de n'avoir plus que une ou deux machines sur les 400 qui encore et toujours arrivent a te fare du torrent.
par contre je tee confirme bien qu'un domaine "filtré" lorsqu'il est SSL, (filtré DNS), te renvoie une belle erreur de certificat (puisqu'il pointe sur le serveur WEB de refus brandé), que lorsque l'utilisateur va forcer, apparaiitra la page de filtrage.
--
d'après l'entretien que j'avais eu avec le commercial umbrella, si tu distribues en DHCP directement les IP externes DNS, tu peux gérer les origines
et donc avoir des policies en fonction des hoteset donc fournir des services a plusieurs vitesses
--
par contre dans mes souvenirs c'est assez pas donné
-> Uniquement a considérer pour les PME, de l'ordre il me semble de 3 a 5€ par poste (je me rappelle plus)
-
Le seul intérêt que j'y vois, éventuellement, est de fournir aux clients qui n'ont pas de proxy configuré ou configurable (en direct ou via WPAD) une sorte de protection basée sur le blocage de l'adresse IP correspondant au FQDN, ce qui dans certains cas, j'en conviens, est mieux que rien.
Mais avec quelques effets de bord et des points pas pris en compte.
Du coup, si il n'y a pas de proxy, pourquoi pas, ça peut dépanner… provisoirement ou en fonction des environnements
Si un proxy est disponible, en mode explicite (je ne considère jamais le proxy transparent comme une solution fiable si il s'agit de fournir du filtrage ou de la sécurité) alors je ne comprends pas l’intérêt de superposer les 2 solutions, ce qui crée des zones de flou en terme d'administration et contrôle, avec les effets de bord déjà évoqués.les deux solutions peuvent être complémentaires ou indépendantes
cela vient du besoin de filtrage que tu as, pour un filtrage généraliste, ou basé sur quelques domaines précis, ou hyper thématique, umbrella peut tres bien faire le JOB
et comme dit plus haut, cette technique ne se contente pas du SURF, elle est multi proto
tu ne veux plus "dl.free.fr" sur tes reseaux, tu le mets dans le système, ca redescend sur tous les réseaux gérés en 20min
et en 20min tu as des blocages autant WEB, que FTP
mais OUI, une fois encore, pour un blocage plus puissant il est impératif de: soit bloquer par proxy en sus
soit bloquer le bloc IP de dl.free.fr (pool serveur) en dur dans le FW avec une reglela tu es tranquile
mais pourtant, ta solution DNS, t aura déja permis de mettre a terre les usages de 95% des usagers.
-
J'espère que "la" méthode n'est pas celle-ci ;)
Ce n'est pas vraiment du filtrage ni du contrôle mais juste une solution de contournement partielle.il s'agit bien du post que tu as déterré.
je peux t en parler plus si tu le veuxje t'exhorte à ouvrir ton esprit cette solution apporte de nombreux avantages
par ailleurs n'oublie pas que nous n'avons pas les mêmes prérogatives, toi tu es orienté "Entreprise, filtrage salarié, tracage légal, tracage patronal, contre attaque à oisiveté employés au travail sur un réseau homogène machine, et homogene usages/flux (usages textes / usages métiers)"
et moi
"réseau commercial usagers, tracage legal, nécéssité de rester le moins restrictif possible, obligation de faire respecter mon reglement interrieur, de proteger ma qualité de service, de traquer les abus, sur un réseau hétérogene machine, et hétérogene usages/flux"
-
et comme dit plus haut, cette technique ne se contente pas du SURF, elle est multi proto
C'est une question de lecture ;), le verre à moitié plein etc….
Ta vision est:
- cette technique ne se contente pas du surf, elle est multi protocole ;DLa mienne est:
- cette technique n'offre aucun contrôle ni aucune souplesse en terme de protocole car les adresses IP associées au FQDN ne sont plus joignables quel que soit le protocole >:(tu ne veux plus "dl.free.fr" sur tes reseaux, tu le mets dans le système, ca redescend sur tous les réseaux gérés en 20min
peut-on discuter techniquement de ce que "ça descend" veut dire ?
qui résout quoi en terme de DNS pour que ça fonctionne ?soit bloquer le bloc IP de dl.free.fr (pool serveur) en dur dans le FW avec une regle
:o la seule raison pour laquelle je m'autorise à introduire temporairement ce genre de règle au niveau d'un firewall, c'est lorsque je mets en œuvre fail2ban :-\
je ne pointe simplement le fait que le filtrage par DNS, est (a mes yeux) LA solution idéale pour filtrer des destinations bien précises
Soit mais la préconisation forte, telle que tu la fais, de ce genre de solution devrait s'accompagner à minima de beaucoup plus de précautions sur ce que ça fait vraiment et quels en sont les effets de bord.
Ecrire comme tu le fais dans ce post
Je vous déconseille squidguard.
gerer une blackliste, ce n 'est pas votre metier.
infliger a votre proxy de lire une blackliste a chaque requete, c'est dommage
par ailleurs, ce n'est pas tres scalable, et plus la lliste grossit plus le surf devient lent
seul un bloquage DNS, vous permettra de bloquer par thematiques.avec en plus des arguments très discutables, si on regarde les aspects techniques de près, me semble un peu biaisé (j'avoue ne pas trop savoir quoi écrire là pour exprimer mon avis sans froisser personne :-[)
D'une manière générale, l'action qui est d'exposer publiquement un DNS dont le contenu ne reflète pas la réalité de l'internet me semble être juste une idée étrange.
Ce n'est pas le principe de RPZ que je remets en cause ici mais le principe de "RPZ as a service" tel que exposé par OpenDNS.
Si tu penses que le "filtrage par DNS" est une bonne solution (ce qui est potentiellement le cas dans certaines situations) alors n'hésite pas une seconde à mettre en œuvre ce mécanisme sur ton propre DNS local avec BIND comme le propose fprigent. Tu peux t'appuyer sur les blacklists de [url=http://www.spamhaus.org/news/article/669/spamhaus-dbl-as-a-response-policy-zone-rpz]Spamhaus par exemple mais au moins ton DNS fonctionne localement et TU contrôles ce qui s'y passe plutôt que de tout envoyer à OpenDNS qui fait bien ce qu'il veut, y compris garder la trace des requêtes que tu fais.Last but not least, si on arrive à discuter du détail technique de l’implémentation de ce truc (quels DNS sont configurés, où, et comment l’utilisateur final bénéficie t-il de ce service (d'un point de vue DNS) ?) , j'ai l'impression que les fonctionnalités qui t'ont été présentées par le commercial de OpenDNS vont se rétrécir, sauf à accepter que tous les clients de ton LAN fassent des requêtes en direct les serveur OpenDNS et dans ce cas, je me demande comment tu résouts les noms "locaux" ???
Je fais cette remarque car comme tu es en parallèle défenseur du proxy en mode transparent, tu comprends bien que la résolution d'URL ne fonctionne pas de la même manière selon le mode de proxy utilisé. Si l’implémentation s'appuie sur l'utilisation du DNS local configuré avec un forwader vers OpenDNS, alors le requeteur aura toujours l'adresse publique de ton DNS, i.e. pas de "filtrage à 2 vitesses" ;) et si DHCP pousse en direct les DNS de OpenDNS coté client, tu pourrais imaginer avoir quelque chose de personnalisé par poste (et non pas pas utilisateur ;)) en espérant que le poste en question ne change pas trop souvent d'adresse (réservation de lease par MAC ?) mais en revanche tu ne sais plus résoudre les noms locaux.Je parle bien sûr ici de la version free de OpenDNS. Umbrella est sensiblement différent.
Bref, je ne partage pas ton engouement pour cette solution qui s'appuie sur un business model qui ne me plait pas beaucoup. Ce doit être mon coté paranoïaque qui rejette systématiquement les FaceBook et autre Google+ et tout ce qui vise à alimenter le BigData de Big Brother ;D ;D ;D
-
Comme je n'aime pas éditer mes posts :-[ voici un lien vers un peu de lecture intéressante:
[url=http://www.sans.org/reading-room/whitepapers/dns/implementation-dns-rpz-malware-phishing-defence-34535]http://www.sans.org/reading-room/whitepapers/dns/implementation-dns-rpz-malware-phishing-defence-34535
