Squid3-dev transparente con clamav 64 bit - 1a prueba

periko

Leyendo de varios docs, tanto en este foro como en google, me vi a la tarea de dar mi 1er test completo, con buenos resultados, excepto en un banco que no me dejo entrar pero ya tendre tiempo de depurarlo, otro de mis bancos sin problema.

gmail, santander.com.mx, ebay, paypal, google, hotmail todos ellos son via https, en el blacklist bloqueo de facebook.com sin problemas.

Como les mencione, solo uno de mis bancos tuvo problemas de autentificacion, pero ya con calma revisare este caso aislado.

En mi firewall de lado de la LAN solo una regla, que mis clientes lograran consultar mi dns interno solamente, claro y la regla de fabrica que permite accesar el GUI.

Lan Subnet -> Lan Interface UDP 53

No habia mas reglas, asi de simple cuando ya hagan la prueba de fuego.

Les quiero aclarar que esta es una instalacion desde 0, virgen por asi llamarla, no instale nada mas que lo necesario, squid3-dev.

NOTA: No deshabilitar IPV6, como lo han mencionado por todos lados "IPV6" debe estar activado aunque no se use.

pfsense 2.1 x64

Estos fue lo que hice:

1; Instalar pfsense.
2; Habilitar ssh ya que es mas facil ejecutar comandos que hacerlo desde el GUI.
3; configurar lo basico, lan, wan, dns forwarder y que puedan navegar antes de.
4; Instalar squid3-dev.
5; Instalar las ya tan famosas librerias que le hacen falta, segun su arquitectura i386/x64, en mi caso es x64:

fetch -o /usr/local/lib/libasn1.so.10 http://e-sac.siteseguro.ws/pfsense/8/amd64/All/ldd/libasn1.so.10
fetch -o /usr/local/lib/libgssapi.so.10 http://e-sac.siteseguro.ws/pfsense/8/amd64/All/ldd/libgssapi.so.10
fetch -o /usr/local/lib/libheimntlm.so.10 http://e-sac.siteseguro.ws/pfsense/8/amd64/All/ldd/libheimntlm.so.10
fetch -o /usr/local/lib/libhx509.so.10 http://e-sac.siteseguro.ws/pfsense/8/amd64/All/ldd/libhx509.so.10
fetch -o /usr/local/lib/libkrb5.so.10 http://e-sac.siteseguro.ws/pfsense/8/amd64/All/ldd/libkrb5.so.10
fetch -o /usr/local/lib/libroken.so.10 http://e-sac.siteseguro.ws/pfsense/8/amd64/All/ldd/libroken.so.10

Aqui viene la parte interesante, segun algunos docs que por aqui los he visto mencionar y que trate de llevar a cabo pero no me funcionaron, pero de ahi saque info clave.

Hay uno que dice que debemos agregar ciertos permisos, ya que la instalacion no crea los usuarios ni los directorios de clamd.

6; Crear los siguientes usuarios y directorios para clamd.

pw useradd clamav -G wheel
pw usermod clamav -G wheel
mkdir /var/log/clamav
chmod 775 /var/log/clamav
mkdir /var/db/clamav
chmod 775 /var/db/clamav
mkdir /var/run/clamav
chmod 775 /var/run/clamav

NOTA: Por alguna razon aun misteriosa el servicio clamd no arranca desde el GUI, segundo, cada que inicia el sistema me borra el folder /var/run/clamav.

Si necesitan el servicio, yo no por el momento, pero pueden crear un batch que repare este detalle, al rato se los pongo.

7; Ya con esto debemos actualizar la bd de virus, si no clamd no arrancara, si han usado este demonio en FreeBSD/Linux esto es necesario, si no, no arranca.

freshclam

Al final veran un error igual o similiar a este, no se preocupen, no esta en ejecucion clamd por ello el mensaje:

freshclam
…
Database updated (3281742 signatures) from database.clamav.net (IP: 78.46.84.244)
WARNING: Clamd was NOT notified: Can't connect to clamd through /var/run/clamav/clamd.sock
connect(): No such file or directory

Prender el servicio clamd y verificar que arranque.

8; Este paso es solo para eliminar un error en squid que no le pasa nada si no se hace, pero mas vale quitar logs ya que estamos probando y si podemos eliminar algunos mejor:

mkdir /var/log/squid
cd /var/log/squid/
touch netdb.state
chown -R proxy:proxy /var/log/squid

9; Ahora si, se van y configuran squid en modo NO-TRANSPARENTE, configuran cache, etc, una instalacion normal.
Claro que aqui deben abrir temporal la regla que permita a sus clientes llegarle a el puerto 3128 de su proxy(pfense.)

Verificar que el servicio este prendido en status->services.

Verifican que esten sus folders para cache listos:

ls -l /var/squid/cache/
total 320
drwxr-x–- 258 proxy proxy 3584 Mar 28 03:53 00
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 01
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 02
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 03
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 04
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 05
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 06
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 07
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 08
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 09
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 0A
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 0B
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 0C
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 0D
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 0E
drwxr-x--- 258 proxy proxy 3584 Mar 28 03:53 0F
-rw-r----- 1 proxy proxy 232056 Mar 28 17:47 swap.state

Listo, creados, ahora verifican que este abierto el puerto 3128 antes de.

telnet 192.168.2.29 3128
Trying 192.168.2.29…
Connected to pfsense.localdomain.
Escape character is '^]'.

Puerto abierto.

Agregan la regla temporal, estos pasos son solo temporales para cerciorarnos que squid este funcionando y sobre todo que use el cache.

lan subnet any to lan interface tcp 3128

Abren el navegador de su pc y le apuntan el IP del pfsense para que use el proxy.

Empiezan a navegar y si todo bien, verifican que este operando el cache, para ello configuran minimo 3 navegadores, 1-2 PC's mejor, firefox, iexplore, chrome, entran a las mismas paginas, y las repiten, la cosa es empezar a generar cache, ejecutan el siguiente comando para saber si esta operando squid.

tail -n 50 /var/squid/logs/access.log
1396054028.460 845 192.168.2.36 TCP_MISS/301 2196 GET https://www.paypal.com/mx/cgi-bin/webscr? - HIER_DIRECT/69.192.130.234 text/html
1396054028.920 325 192.168.2.36 TCP_MISS/200 8403 GET https://www.paypal.com/mx/webapps/mpp/home - HIER_DIRECT/69.192.130.234 text/html
1396054030.233 196 192.168.2.36 TCP_MISS/200 860 GET https://t.paypal.com/ts? - HIER_DIRECT/23.213.63.181 image/gif
1396054030.702 164 192.168.2.36 TCP_MISS/200 764 GET https://paypal.d1.sc.omtrdc.net/b/ss/paypalglobal/1/H.25.3/s41322951432034? - HIER_DIRECT/66.235.138.198 image/gif
1396054032.432 677 192.168.2.36 TCP_MISS/200 31577 GET http://www.ebay.com/ - HIER_DIRECT/66.211.181.161 text/html
1396054033.142 167 192.168.2.36 TCP_MISS/200 456 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.194 196 192.168.2.36 TCP_MISS/200 456 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.226 241 192.168.2.36 TCP_MISS/200 459 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.249 265 192.168.2.36 TCP_MISS/200 456 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.295 285 192.168.2.36 TCP_MISS/200 460 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.304 224 192.168.2.36 TCP_HIT/200 40471 GET http://ir.ebaystatic.com/f/9aa5f89e4616910a1c2d6f2881f38.woff - HIER_NONE/- application/x-font-woff
1396054033.304 225 192.168.2.36 TCP_HIT/200 43479 GET http://ir.ebaystatic.com/f/2791a485113c2a3fae760b3485a7b7.woff - HIER_NONE/- application/x-font-woff
1396054033.304 220 192.168.2.36 TCP_HIT/200 42071 GET http://ir.ebaystatic.com/f/c5e579499d6d58c9cbf2c81d96f5092.woff - HIER_NONE/- application/x-font-woff
1396054033.323 309 192.168.2.36 TCP_MISS/200 456 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.366 193 192.168.2.36 TCP_MISS/200 458 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.401 202 192.168.2.36 TCP_MISS/200 456 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.438 206 192.168.2.36 TCP_MISS/200 456 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054033.506 463 192.168.2.36 TCP_MISS/200 2595 GET http://ad.doubleclick.net/N6245/adi/ebay.ebayus.homepage.cchp/cchp;cat=0;items=;seg=btyp;seg=advglitbuy;seg=mktef;seg=AdvGLP;seg=AdvGLPt;sz=300x250;u=i_5815519203955749916|m_172563;;dcopt=ist;tile=1;ot=1;um=0;us=13;eb_trk=172563;pr=20;xp=20;np=20;fbi=;sbi=;fbo=;sbo=;fse=;sse=;fvi=;svi=;cg=0b2302801450a2af63736483fe96be70;ord=1396054031991; - HIER_DIRECT/74.125.224.60 text/html
1396054033.609 85 192.168.2.36 TCP_MISS/200 458 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 image/gif
1396054034.086 6 192.168.2.36 TCP_HIT/200 82130 GET http://ir.ebaystatic.com/f/3ddf1d8ce6c7d6ae214d976de2477e.ttf - HIER_NONE/- application/x-font-ttf
1396054034.086 5 192.168.2.36 TCP_HIT/200 80878 GET http://ir.ebaystatic.com/f/51d759d56d63b0e5dc40476b1cededb9.ttf - HIER_NONE/- application/x-font-ttf
1396054034.086 6 192.168.2.36 TCP_HIT/200 87162 GET http://ir.ebaystatic.com/f/cfee4e6da1f5d68d5c4b8d960116890.ttf - HIER_NONE/- application/x-font-ttf
1396054034.292 188 192.168.2.36 TCP_MISS/200 11460 GET http://i.ebayimg.com/00/s/MTYwMFg4OTk=/z/CUYAAOxyyq5TLfpW/$_24.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.344 267 192.168.2.36 TCP_MISS/200 20188 GET http://i.ebayimg.com/00/s/MTU5NVgxNjAw/z/GTgAAOxy039TLGPf/$_1.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.359 277 192.168.2.36 TCP_MISS/200 25136 GET http://pagead2.googlesyndication.com/simgad/4901881161730689490 - HIER_DIRECT/74.125.224.57 image/jpeg
1396054034.393 260 192.168.2.36 TCP_MISS/200 4495 GET http://i.ebayimg.com/00/s/OTAwWDkwMA==/$T2eC16F,!)sE9swm(uVnBQl)vH4pEQ60_24.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.491 359 192.168.2.36 TCP_MISS/200 19850 GET http://i.ebayimg.com/00/s/MTYwMFgxNjAw/z/XdEAAOxyYSdTBm7z/$_1.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.583 235 192.168.2.36 TCP_MISS/200 19709 GET http://i.ebayimg.com/00/s/ODkzWDY0Nw==/z/Q98AAMXQVT9S2rkr/$_24.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.607 504 192.168.2.36 TCP_MISS/200 18733 GET http://i.ebayimg.com/00/s/ODY4WDg5Mw==/z/02MAAOxyyq5TKfB4/$_1.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.646 351 192.168.2.36 TCP_MISS/200 32484 GET http://i.ebayimg.com/00/s/MTAyNFg3Njg=/z/3RUAAMXQ1d1THJ9A/$_12.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.649 514 192.168.2.36 TCP_MISS/200 5962 GET http://i.ebayimg.com/00/s/MTAyNFgxMDI0/z/1YcAAMXQUmFSe-7V/$(KGrHqR,!lgFJjL!KQu0BSe-7VnlZQ60_24.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.805 311 192.168.2.36 TCP_MISS/200 27638 GET http://i.ebayimg.com/00/s/MTYwMFgxMTQ3/z/a1AAAMXQVERStzjc/$_24.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.825 235 192.168.2.36 TCP_MISS/200 17148 GET http://i.ebayimg.com/00/s/MTYwMFgxMDQ4/z/hdsAAOxyOMdS4bRM/$_12.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054034.869 364 192.168.2.36 TCP_MISS/200 23316 GET http://i.ebayimg.com/00/s/MTYwMFgxMDQ4/z/CyoAAMXQC-tTFYCK/$_12.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054035.017 1491 192.168.2.36 TCP_MISS/200 5842 GET http://srx.main.ebayrtm.com/rtm? - HIER_DIRECT/66.211.181.31 application/x-javascript
1396054035.078 469 192.168.2.36 TCP_MISS/200 15325 GET http://i.ebayimg.com/00/s/MTYwMFgxMDQ4/z/8coAAOxyOMdS54AR/$_12.JPG? - HIER_DIRECT/165.254.146.163 image/jpeg
1396054035.078 1 192.168.2.36 TCP_IMS_HIT/304 243 GET http://www.ebay.com/blogs/stories/sites/default/files/dark-futurama-330.jpg - HIER_NONE/- image/jpeg
1396054035.096 33 192.168.2.36 TCP_HIT/200 25647 GET http://rtm.ebaystatic.com/0/RTMS/Image/MERC_DD-5DayDealFrenzy-0324-4item-NoClock_Q114_866x250.jpg - HIER_NONE/- image/jpeg
1396054035.102 27 192.168.2.36 TCP_HIT/200 64495 GET http://rtm.ebaystatic.com/0/RTMS/Image/MERC_Motors_GarageSweepstakesV2_0310_Q114_866x250.jpg - HIER_NONE/-

Ahi lo tienen, squid esta logeando, ahora sigue revisar el cache, buscando la palabra clave: HIT.

tail -n 500 /var/squid/logs/access.log | grep HIT
1396051837.973 85 192.168.2.36 TCP_HIT/200 13129 GET http://www.squid-cache.org/Artwork/SN.png - HIER_NONE/- image/png
1396052016.443 38 192.168.2.36 TCP_HIT/200 36933 GET http://l1.yimg.com/nn/fp/rsz/032814/images/smush/0328_MinistrasItaliana_ml_635x250_1396026036.jpg - HIER_NONE/- image/jpeg
1396052046.943 3 192.168.2.36 TCP_HIT/200 3741 GET http://l2.yimg.com/nn/fp/rsz/032514/images/smush/Miley-Cyrus-mezclilla-ml_120x48_1395770498.jpg - HIER_NONE/- image/jpeg
1396052046.943 3 192.168.2.36 TCP_HIT/200 4536 GET http://l3.yimg.com/nn/fp/rsz/032614/images/smush/0326_arnes_ml_120x48_1395862199.jpg - HIER_NONE/- image/jpeg
1396052046.971 2 192.168.2.36 TCP_HIT/200 4965 GET http://l1.yimg.com/nn/fp/rsz/032814/images/smush/penainforme_120x48_1396024539.jpg - HIER_NONE/- image/jpeg
1396052046.971 1 192.168.2.36 TCP_HIT/200 3545 GET http://l3.yimg.com/nn/fp/rsz/032714/images/smush/0326_bb1_120x48_1395953155.jpg - HIER_NONE/- image/jpeg
1396052047.040 4 192.168.2.36 TCP_HIT/200 3831 GET http://l4.yimg.com/nn/fp/rsz/032614/images/smush/0326bombero_120x48_1395856436.jpg - HIER_NONE/- image/jpeg
1396052047.041 4 192.168.2.36 TCP_HIT/200 4915 GET http://l1.yimg.com/nn/fp/rsz/032714/images/smush/0327_funcionaria_120x48_1395939240.jpg - HIER_NONE/- image/jpeg
1396052047.041 3 192.168.2.36 TCP_HIT/200 5264 GET http://l2.yimg.com/nn/fp/rsz/032614/images/smush/chicos_120x48_1395841886.jpg - HIER_NONE/- image/jpeg
1396052047.041 0 192.168.2.36 TCP_HIT/200 4478 GET http://l3.yimg.com/nn/fp/rsz/032614/images/smush/0326_canas_tp_120x48_1395866933.jpg - HIER_NONE/- image/jpeg
1396052047.060 2 192.168.2.36 TCP_HIT/200 4467 GET http://l4.yimg.com/nn/fp/rsz/032714/images/smush/Pepino-y-abdomen-ml_120x48_1395906627.jpg - HIER_NONE/- image/jpeg
1396052047.065 0 192.168.2.36 TCP_HIT/200 3678 GET http://l4.yimg.com/nn/fp/rsz/032814/images/smush/berlusconi_120x48_1396026687.jpg - HIER_NONE/- image/jpeg
1396052047.074 2 192.168.2.36 TCP_HIT/200 5490 GET http://l3.yimg.com/nn/fp/rsz/032614/images/smush/0327_nombresilegales_tp_ml_120x48_1395855802.jpg - HIER_NONE/- image/jpeg
1396052047.077 1 192.168.2.36 TCP_HIT/200 4331 GET http://l4.yimg.com/nn/fp/rsz/032614/images/smush/presa_ml_120x48_1395846201.jpg - HIER_NONE/- image/jpeg
1396052047.091 1 192.168.2.36 TCP_HIT/200 3963 GET http://l1.yimg.com/nn/fp/rsz/032614/images/smush/panic_120x48_1395856341.jpg - HIER_NONE/- image/jpeg
1396052047.100 1 192.168.2.36 TCP_HIT/200 4768 GET http://l2.yimg.com/nn/fp/rsz/032814/images/smush/cuzco_120x48_1395966537.jpg - HIER_NONE/- image/jpeg
1396052047.104 0 192.168.2.36 TCP_HIT/200 4815 GET http://l2.yimg.com/nn/fp/rsz/032614/images/smush/combo_ozil_novia_120x48_1395850469.jpg - HIER_NONE/- image/jpeg
1396052047.109 0 192.168.2.36 TCP_HIT/200 3779 GET http://l2.yimg.com/nn/fp/rsz/032714/images/smush/0326_BielGrosby_120x48_1395964079.jpg - HIER_NONE/- image/jpeg
1396052047.115 2 192.168.2.36 TCP_HIT/200 4463 GET http://l2.yimg.com/nn/fp/rsz/032714/images/smush/0327_surf1_1024x400_120x48_1395935434.jpg - HIER_NONE/- image/jpeg
1396052047.121 2 192.168.2.36 TCP_HIT/200 4676 GET http://l4.yimg.com/nn/fp/rsz/032514/images/smush/arizonateenEDIT_120x48_1395787314.jpg - HIER_NONE/- image/jpeg
1396052047.125 2 192.168.2.36 TCP_HIT/200 4446 GET http://l4.yimg.com/nn/fp/rsz/032814/images/smush/cropquincena_120x48_1396033882.jpg - HIER_NONE/- image/jpeg
1396052047.128 1 192.168.2.36 TCP_HIT/200 4882 GET http://l4.yimg.com/nn/fp/rsz/032614/images/smush/0326_finlandia_ml_120x48_1395872108.jpg - HIER_NONE/- image/jpeg
1396052047.157 2 192.168.2.36 TCP_HIT/200 4239 GET http://l4.yimg.com/nn/fp/rsz/032614/images/smush/0326_tiraspuntosnegros_120x48_1395859967.jpg - HIER_NONE/- image/jpeg
1396052047.172 2 192.168.2.36 TCP_HIT/200 5420 GET http://l4.yimg.com/nn/fp/rsz/032714/images/smush/0327_cumpleladygaga_ml_120x48_1395961218.jpg - HIER_NONE/- image/jpeg
1396052047.210 1 192.168.2.36 TCP_HIT/200 5275 GET http://l2.yimg.com/nn/fp/rsz/032714/images/smush/0327_asalto-starbucks_120x48_1395947192.jpg - HIER_NONE/- image/jpeg
1396052047.281 2 192.168.2.36 TCP_HIT/200 5087 GET http://l3.yimg.com/nn/fp/rsz/032814/images/smush/0327_MientrasObama_120x48_1395970938.jpg - HIER_NONE/- image/jpeg
1396054011.054 38 192.168.2.36 TCP_HIT/200 19435 GET http://ads.yldmgrimg.net/apex/mediastore/69343af5-24b7-41bc-82e4-22c2ceaedfc0 - HIER_NONE/- image/gif
1396054033.304 224 192.168.2.36 TCP_HIT/200 40471 GET http://ir.ebaystatic.com/f/9aa5f89e4616910a1c2d6f2881f38.woff - HIER_NONE/- application/x-font-woff
1396054033.304 225 192.168.2.36 TCP_HIT/200 43479 GET http://ir.ebaystatic.com/f/2791a485113c2a3fae760b3485a7b7.woff - HIER_NONE/- application/x-font-woff
1396054033.304 220 192.168.2.36 TCP_HIT/200 42071 GET http://ir.ebaystatic.com/f/c5e579499d6d58c9cbf2c81d96f5092.woff - HIER_NONE/- application/x-font-woff
1396054034.086 6 192.168.2.36 TCP_HIT/200 82130 GET http://ir.ebaystatic.com/f/3ddf1d8ce6c7d6ae214d976de2477e.ttf - HIER_NONE/- application/x-font-ttf
1396054034.086 5 192.168.2.36 TCP_HIT/200 80878 GET http://ir.ebaystatic.com/f/51d759d56d63b0e5dc40476b1cededb9.ttf - HIER_NONE/- application/x-font-ttf
1396054034.086 6 192.168.2.36 TCP_HIT/200 87162 GET http://ir.ebaystatic.com/f/cfee4e6da1f5d68d5c4b8d960116890.ttf - HIER_NONE/- application/x-font-ttf
1396054035.078 1 192.168.2.36 TCP_IMS_HIT/304 243 GET http://www.ebay.com/blogs/stories/sites/default/files/dark-futurama-330.jpg - HIER_NONE/- image/jpeg
1396054035.096 33 192.168.2.36 TCP_HIT/200 25647 GET http://rtm.ebaystatic.com/0/RTMS/Image/MERC_DD-5DayDealFrenzy-0324-4item-NoClock_Q114_866x250.jpg - HIER_NONE/- image/jpeg
1396054035.102 27 192.168.2.36 TCP_HIT/200 64495 GET http://rtm.ebaystatic.com/0/RTMS/Image/MERC_Motors_GarageSweepstakesV2_0310_Q114_866x250.jpg - HIER_NONE/- image/jpeg

Excelente, el cache esta operando.

Ya comprobamos que squid estan operando en modo no transparente, ahora viene el modo deseado, TRANSPARENTE.

Para esto necesitamos crear un CA que por ahi bellera en sus notas lo menciona.

10; Configurar squid "HTTPS/SSL interception".

Se van a la configuracion de squid "HTTPS/SSL interception":

Interface LAN
Puerto 3129
CA el que creamos, debe estar en su menu, en mi caso le llame squid-ca.

NOTA: Como nos han dicho, no usar loooback en ninguna de las configuraciones de squid, todo hacia la interface LAN.

Salvan. Recordar que cuando presionan "SAVE" squid se reinicia, asi que esperen +/- 1 minuto para probar, no se vayan rapido a probar.

Si vuelven a navegar no debe haber problemas, ya que solo prendimos unos de los modulos.

De nuevo prueban squid como arriba, siempre cerciorarnos que este operando, de lo contrario regresar y revisar los pasos y revisar los logs.

11; Modo Transparente.

Bien aqui ya es el paso final y el mas sencillo, ya que es abrir la config de squid, irse a "Transparent Proxy Settings", lo habilitan, seleccionan la interface "LAN", salvan.

De nuevo esperan unso 30 segundos, y revisan que el servicio este en ejecucion.

Si todo bien, revisen su config, les aparecen estas 3 lineas en la parte de arriba:

This file is automatically generated by pfSense

Do not edit manually !

http_port 192.168.2.29:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=10MB cert=/usr/pbi/squid-amd64/etc/squid/serverkey.pem capath=/usr/pbi/squid-amd64/share/certs/
http_port 127.0.0.1:3128 intercept ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=10MB cert=/usr/pbi/squid-amd64/etc/squid/serverkey.pem capath=/usr/pbi/squid-amd64/share/certs/
https_port 127.0.0.1:3129 intercept ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=10MB cert=/usr/pbi/squid-amd64/etc/squid/serverkey.pem capath=/usr/pbi/squid-amd64/share/certs/

Vean el log que nos genera cache.log, algo asi mas o menos veran:

cat /var/squid/logs/cache.log
2014/03/28 18:02:48 kid1| Reconfiguring Squid Cache (version 3.3.10)…
2014/03/28 18:02:48 kid1| Closing HTTP port 192.168.2.29:3128
2014/03/28 18:02:48 kid1| Closing HTTP port 127.0.0.1:3128
2014/03/28 18:02:48 kid1| Closing HTTPS port 127.0.0.1:3129
2014/03/28 18:02:48 kid1| Stop receiving ICP on [::]:7
2014/03/28 18:02:48 kid1| Closing Pinger socket on FD 37
2014/03/28 18:02:48 kid1| Stop sending ICP from [::]:7
2014/03/28 18:02:48 kid1| Logfile: closing log stdio:/var/squid/logs/access.log
2014/03/28 18:02:48 kid1| Startup: Initializing Authentication Schemes …
2014/03/28 18:02:48 kid1| Startup: Initialized Authentication Scheme 'basic'
2014/03/28 18:02:48 kid1| Startup: Initialized Authentication Scheme 'digest'
2014/03/28 18:02:48 kid1| Startup: Initialized Authentication Scheme 'negotiate'
2014/03/28 18:02:48 kid1| Startup: Initialized Authentication Scheme 'ntlm'
2014/03/28 18:02:48 kid1| Startup: Initialized Authentication.
2014/03/28 18:02:48 kid1| Processing Configuration File: /usr/pbi/squid-amd64/etc/squid/squid.conf (depth 0)
2014/03/28 18:02:48 kid1| Starting Authentication on port 127.0.0.1:3128
2014/03/28 18:02:48 kid1| Disabling Authentication on port 127.0.0.1:3128 (interception enabled)
2014/03/28 18:02:48 kid1| Disabling IPv6 on port 127.0.0.1:3128 (interception enabled)
2014/03/28 18:02:48 kid1| Starting Authentication on port 127.0.0.1:3129
2014/03/28 18:02:48 kid1| Disabling Authentication on port 127.0.0.1:3129 (interception enabled)
2014/03/28 18:02:48 kid1| Disabling IPv6 on port 127.0.0.1:3129 (interception enabled)
2014/03/28 18:02:48 kid1| WARNING: HTTP requires the use of Via
2014/03/28 18:02:48 kid1| Initializing https proxy context
2014/03/28 18:02:48 kid1| Initializing http_port 192.168.2.29:3128 SSL context
2014/03/28 18:02:48 kid1| Using certificate in /usr/pbi/squid-amd64/etc/squid/serverkey.pem
2014/03/28 18:02:48 kid1| Initializing http_port 127.0.0.1:3128 SSL context
2014/03/28 18:02:48 kid1| Using certificate in /usr/pbi/squid-amd64/etc/squid/serverkey.pem
2014/03/28 18:02:48 kid1| Initializing https_port 127.0.0.1:3129 SSL context
2014/03/28 18:02:48 kid1| Using certificate in /usr/pbi/squid-amd64/etc/squid/serverkey.pem
2014/03/28 18:02:48 kid1| WARNING! invalid error detail name: X509_V_ERR_DIFFERENT_CRL_SCOPE
2014/03/28 18:02:48 kid1| parse error while reading template file: /usr/pbi/squid-amd64/etc/squid/errors/en/error-details.txt
2014/03/28 18:02:48 kid1| Unable to load default error language files. Reset to backups.
2014/03/28 18:02:48 kid1| WARNING! invalid error detail name: X509_V_ERR_DIFFERENT_CRL_SCOPE
2014/03/28 18:02:48 kid1| parse error while reading template file: /usr/pbi/squid-amd64/etc/squid/errors/templates/error-details.txt
2014/03/28 18:02:48 kid1| WARNING: failed to find or read error text file error-details.txt
2014/03/28 18:02:48 kid1| WARNING! invalid error detail name: X509_V_ERR_DIFFERENT_CRL_SCOPE
2014/03/28 18:02:48 kid1| WARNING! invalid error detail name: X509_V_ERR_DIFFERENT_CRL_SCOPE
2014/03/28 18:02:48 kid1| Logfile: opening log /var/squid/logs/access.log
2014/03/28 18:02:48 kid1| WARNING: log parameters now start with a module name. Use 'stdio:/var/squid/logs/access.log'
2014/03/28 18:02:48 kid1| Squid plugin modules loaded: 0
2014/03/28 18:02:48 kid1| Adaptation support is off.
2014/03/28 18:02:48 kid1| Store logging disabled
2014/03/28 18:02:48 kid1| DNS Socket created at [::], FD 16
2014/03/28 18:02:48 kid1| DNS Socket created at 0.0.0.0, FD 17
2014/03/28 18:02:48 kid1| Adding domain localdomain from /etc/resolv.conf
2014/03/28 18:02:48 kid1| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2014/03/28 18:02:48 kid1| Adding nameserver 192.168.2.4 from /etc/resolv.conf
2014/03/28 18:02:48 kid1| helperOpenServers: Starting 5/5 'ssl_crtd' processes
2014/03/28 18:02:48 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:48 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:48 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:48 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:48 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:48 kid1| HTCP Disabled.
2014/03/28 18:02:48 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:48| pinger: Initialising ICMP pinger …
2014/03/28 18:02:48| pinger: ICMP socket opened.
2014/03/28 18:02:48| pinger: ICMPv6 socket opened
2014/03/28 18:02:48 kid1| Pinger socket opened on FD 38
2014/03/28 18:02:48 kid1| Loaded Icons.
2014/03/28 18:02:48 kid1| Accepting SSL bumped HTTP Socket connections at local=192.168.2.29:3128 remote=[::] FD 33 flags=9
2014/03/28 18:02:48 kid1| Accepting NAT intercepted SSL bumped HTTP Socket connections at local=127.0.0.1:3128 remote=[::] FD 34 flags=41
2014/03/28 18:02:48 kid1| Accepting NAT intercepted SSL bumped HTTPS Socket connections at local=127.0.0.1:3129 remote=[::] FD 35 flags=41
2014/03/28 18:02:48 kid1| Accepting ICP messages on [::]:7
2014/03/28 18:02:48 kid1| Sending ICP messages from [::]:7
2014/03/28 18:02:49 kid1| Reconfiguring Squid Cache (version 3.3.10)…
2014/03/28 18:02:49 kid1| Closing HTTP port 192.168.2.29:3128
2014/03/28 18:02:49 kid1| Closing HTTP port 127.0.0.1:3128
2014/03/28 18:02:49 kid1| Closing HTTPS port 127.0.0.1:3129
2014/03/28 18:02:49 kid1| Stop receiving ICP on [::]:7
2014/03/28 18:02:49 kid1| Closing Pinger socket on FD 38
2014/03/28 18:02:49 kid1| Stop sending ICP from [::]:7
2014/03/28 18:02:49 kid1| Logfile: closing log stdio:/var/squid/logs/access.log
2014/03/28 18:02:49 kid1| Startup: Initializing Authentication Schemes …
2014/03/28 18:02:49 kid1| Startup: Initialized Authentication Scheme 'basic'
2014/03/28 18:02:49 kid1| Startup: Initialized Authentication Scheme 'digest'
2014/03/28 18:02:49 kid1| Startup: Initialized Authentication Scheme 'negotiate'
2014/03/28 18:02:49 kid1| Startup: Initialized Authentication Scheme 'ntlm'
2014/03/28 18:02:49 kid1| Startup: Initialized Authentication.
2014/03/28 18:02:49 kid1| Processing Configuration File: /usr/pbi/squid-amd64/etc/squid/squid.conf (depth 0)
2014/03/28 18:02:49 kid1| Starting Authentication on port 127.0.0.1:3128
2014/03/28 18:02:49 kid1| Disabling Authentication on port 127.0.0.1:3128 (interception enabled)
2014/03/28 18:02:49 kid1| Disabling IPv6 on port 127.0.0.1:3128 (interception enabled)
2014/03/28 18:02:49 kid1| Starting Authentication on port 127.0.0.1:3129
2014/03/28 18:02:49 kid1| Disabling Authentication on port 127.0.0.1:3129 (interception enabled)
2014/03/28 18:02:49 kid1| Disabling IPv6 on port 127.0.0.1:3129 (interception enabled)
2014/03/28 18:02:49 kid1| WARNING: HTTP requires the use of Via
2014/03/28 18:02:49 kid1| Initializing https proxy context
2014/03/28 18:02:49 kid1| Initializing http_port 192.168.2.29:3128 SSL context
2014/03/28 18:02:49 kid1| Using certificate in /usr/pbi/squid-amd64/etc/squid/serverkey.pem
2014/03/28 18:02:49 kid1| Initializing http_port 127.0.0.1:3128 SSL context
2014/03/28 18:02:49 kid1| Using certificate in /usr/pbi/squid-amd64/etc/squid/serverkey.pem
2014/03/28 18:02:49 kid1| Initializing https_port 127.0.0.1:3129 SSL context
2014/03/28 18:02:49 kid1| Using certificate in /usr/pbi/squid-amd64/etc/squid/serverkey.pem
2014/03/28 18:02:49 kid1| WARNING! invalid error detail name: X509_V_ERR_DIFFERENT_CRL_SCOPE
2014/03/28 18:02:49 kid1| parse error while reading template file: /usr/pbi/squid-amd64/etc/squid/errors/en/error-details.txt
2014/03/28 18:02:49 kid1| Unable to load default error language files. Reset to backups.
2014/03/28 18:02:49 kid1| WARNING! invalid error detail name: X509_V_ERR_DIFFERENT_CRL_SCOPE
2014/03/28 18:02:49 kid1| parse error while reading template file: /usr/pbi/squid-amd64/etc/squid/errors/templates/error-details.txt
2014/03/28 18:02:49 kid1| WARNING: failed to find or read error text file error-details.txt
2014/03/28 18:02:49 kid1| WARNING! invalid error detail name: X509_V_ERR_DIFFERENT_CRL_SCOPE
2014/03/28 18:02:49 kid1| WARNING! invalid error detail name: X509_V_ERR_DIFFERENT_CRL_SCOPE
2014/03/28 18:02:49 kid1| Logfile: opening log /var/squid/logs/access.log
2014/03/28 18:02:49 kid1| WARNING: log parameters now start with a module name. Use 'stdio:/var/squid/logs/access.log'
2014/03/28 18:02:49 kid1| Squid plugin modules loaded: 0
2014/03/28 18:02:49 kid1| Adaptation support is off.
2014/03/28 18:02:49 kid1| Store logging disabled
2014/03/28 18:02:49 kid1| DNS Socket created at [::], FD 18
2014/03/28 18:02:49 kid1| DNS Socket created at 0.0.0.0, FD 19
2014/03/28 18:02:49 kid1| Adding domain localdomain from /etc/resolv.conf
2014/03/28 18:02:49 kid1| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2014/03/28 18:02:49 kid1| Adding nameserver 192.168.2.4 from /etc/resolv.conf
2014/03/28 18:02:49 kid1| helperOpenServers: Starting 5/5 'ssl_crtd' processes
2014/03/28 18:02:49 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:49 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:49 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:49 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:49 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:49 kid1| HTCP Disabled.
2014/03/28 18:02:49 kid1| WARNING: no_suid: setuid(0): (1) Operation not permitted
2014/03/28 18:02:49 kid1| Pinger socket opened on FD 40
2014/03/28 18:02:49| pinger: Initialising ICMP pinger …
2014/03/28 18:02:49| pinger: ICMP socket opened.
2014/03/28 18:02:49| pinger: ICMPv6 socket opened
2014/03/28 18:02:49 kid1| Loaded Icons.
2014/03/28 18:02:49 kid1| Accepting SSL bumped HTTP Socket connections at local=192.168.2.29:3128 remote=[::] FD 35 flags=9
2014/03/28 18:02:49 kid1| Accepting NAT intercepted SSL bumped HTTP Socket connections at local=127.0.0.1:3128 remote=[::] FD 36 flags=41
2014/03/28 18:02:49 kid1| Accepting NAT intercepted SSL bumped HTTPS Socket connections at local=127.0.0.1:3129 remote=[::] FD 37 flags=41
2014/03/28 18:02:49 kid1| Accepting ICP messages on [::]:7
2014/03/28 18:02:49 kid1| Sending ICP messages from [::]:7

Dice que esta lista para recibir chamba.

12; Bajen sus certificados y se los dan a sus navegadores(importar), que confie en ellos.

13; Prueba de fuego, elimen sus reglas de la LAN y solo dejen la que permite a sus clientes consultar su DNS es todo, todo lo demas borren en la LAN, se supone que ya existen las reglas para el modo
transparente.

Si le damos una revisada a el archivo de configuracion del firewall, tenemos algo asi en todo su chorizo:

Setup Squid proxy redirect

rdr on em1 proto tcp from any to !(em1) port 80 -> 127.0.0.1 port 3128
rdr on em1 proto tcp from any to !(em1) port 443 -> 127.0.0.1 port 3129

Abran su navegador y a probar, entren a paginas https, como facebook, gmail, paypal, http, https, navegen.

NOTA: Ya empezaron a aparecer los detalles, en ebay x ejemplo no me dejo pagar un articulo, sale este error en el log del cache:

2014/03/29 18:28:24 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 51: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:28:24 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 52: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:28:27 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 52: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:28:27 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 66: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:29:47 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 26: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:29:47 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 38: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:31:24 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 90: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:31:24 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 92: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:31:24 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 108: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:32:10 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 35: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0)
2014/03/29 18:32:13 kid1| fwdNegotiateSSL: Error negotiating SSL connection on FD 35: error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed (1/-1/0

Suerte…!!!

bellera

@ periko,

¡Felicidades por tan detallada explicación!

Meto esto en Documentación y en Últimas aportaciones a Documentación.

Aprovecho para recordar dónde se puede encontrar todo de este tema tan debatido últimamente:

squid3-devel (paquete para filtrado https en modo transparente)
http://forum.pfsense.org/index.php?topic=73007.msg402349#msg402349

Antivirus Clamav en squid3-devel
_http://egoncalves.com.br/pfsense/pfsense-squid3-dev-clamav-i386/ (32 bit, en inglés)

Para 64 bit (amd64), parece que no funciona, http://forum.pfsense.org/index.php?topic=72872.msg400869#msg400869 (en inglés)_
Para 64 bit (amd64), según @periko, http://forum.pfsense.org/index.php?topic=74278 ESTÁS AQUÍ

squidGuard con squid3
http://forum.pfsense.org/index.php?topic=73740.0
http://forum.pfsense.org/index.php?topic=73989.0

squid3-devel con filtro Diladele Web Safety
http://forum.pfsense.org/index.php?topic=74284.0 (en inglés)

Ir a Documentación –--> http://forum.pfsense.org/index.php?topic=23409.0

bellera

@periko:

Como les mencione, solo uno de mis bancos tuvo problemas de autentificacion, pero ya con calma revisare este caso aislado.

MITM (http://es.wikipedia.org/wiki/Ataque_Man-in-the-middle) puede ser detectado. Igual es uno de esos casos.

Sin embargo, he probado bastantes sitios y los que me han dado error de certificado es porque ellos lo tienen mal. O no coincide con el nombre de su servidor o está caducado.

Para comprobarlo úsese navegación directa, asegurándose de que no se aceptó el certificado erróneo anteriormente. Verificar pues que el navegador no tiene almacenado el certificado erróneo como excepción.

zokra82

Buenas… a día de hoy estuve haciendo pruebas y en el access.log ahora muestra

1397326298.911 804 192.168.x.xxx TCP_MISS/200 3123 CONNECT 208.123.73.68:443 - HIER_DIRECT/208.123.73.68 -
1397326298.912 805 192.168.x.xxx TCP_MISS/200 3123 CONNECT 208.123.73.68:443 - HIER_DIRECT/208.123.73.68 -
1397326298.912 800 192.168.x.xxx TCP_MISS/200 3123 CONNECT 208.123.73.68:443 - HIER_DIRECT/208.123.73.68 -
1397326298.912 800 192.168.x.xxx TCP_MISS/200 3123 CONNECT 208.123.73.68:443 - HIER_DIRECT/208.123.73.68 -

y no la estructura:

1396054028.460 845 192.168.2.36 TCP_MISS/301 2196 GET https://www.paypal.com/mx/cgi-bin/webscr? - HIER_DIRECT/69.192.130.234 text/html
1396054028.920 325 192.168.2.36 TCP_MISS/200 8403 GET https://www.paypal.com/mx/webapps/mpp/home - HIER_DIRECT/69.192.130.234 text/html
1396054030.233 196 192.168.2.36 TCP_MISS/200 860 GET https://t.paypal.com/ts? - HIER_DIRECT/23.213.63.181 image/gif

Por lo que la intercepción ahora como se comportará? Ya que ahora se usa CONNECT <ip publico="">y no GET <https: ...="">.
Al parecer todo lo que tenía en mi maquina de pruebas con este cambio ya no se esta respetando y páginas como facebook y youtube si son accesibles.

Es algo que he observado, a alguien más le sucede?</https:></ip>

bellera

El método COONECT significa conexión SSL, http://wiki.squid-cache.org/Features/HTTPS

Si lo que quieres es SSL Bump (intercepción/inspección de tráfico SSL, https transparente) entonces tienes algo mal.

Revisa bien los pasos descritos en http://forum.pfsense.org/index.php?topic=73007.msg402349#msg402349

Especialmente el bug descrito al final, para la versión 2.2.2 de paquete squid3-dev.

zokra82

Curiosamente esto paso con la actualización del pfsense 2.1.1 y del squid al 2.2.2; porque previamente en mi maquina de pruebas funcionaba bien; efectivamente, como menciona el Sr. Bellera es por el bug de la versión 2.2.2 del Squid3-dev.
Se solucionó escribiendo en la sección de custom options
always_direct allow all
ssl_bump server-first all

Curiosamente, lo había leído pero desconocía como afectaba, con esto ya vi que si es MUY importante. ;D

bellera

@bellera:

Especialmente el bug descrito al final, para la versión 2.2.2 de paquete squid3-dev.