Problemas com Cache do Squid

marcelloc · May 30, 2017, 9:27 PM

10.0.0.250 é um ip virtual, carp ou seu ip da lan?

dbastos · May 30, 2017, 9:28 PM

10.0.0.250 é um ip virtual, carp ou seu ip da lan?

é o IP da LAN.

marcelloc · May 30, 2017, 9:39 PM

http_port 10.0.0.250:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=200MB cert=/usr/local/etc/squid/serverkey.pem capath=/usr/local/share/certs/ cipher=EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE

Quando seleciono só a lan , sem transparente nem ssl, meu squid conf fica assim:

http_port 192.168.1.3:3128

quando seleciono lan e modo transparente, o squid.conf fica assim

http_port 192.168.1.3:3128
http_port 127.0.0.1:3128 intercept

essa sua configuração com uma linha só eu não consegui repoduzir aqui.

qualquer combinação diferente, recebo erro de configuração.

dbastos · May 30, 2017, 9:49 PM

@marcelloc:

@dbastos:

http_port 10.0.0.250:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=200MB cert=/usr/local/etc/squid/serverkey.pem capath=/usr/local/share/certs/ cipher=EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE

Quando seleciono só a lan , sem transparente nem ssl, meu squid conf fica assim:

http_port 192.168.1.3:3128

quando seleciono lan e modo transparente, o squid.conf fica assim

http_port 192.168.1.3:3128
http_port 127.0.0.1:3128 intercept

essa sua configuração com uma linha só eu não consegui repoduzir aqui.

qualquer combinação diferente, recebo erro de configuração.

Eu to usando em modo não transparente e com interceptação SSL.

Tentei restaurar para um backup anterior, mas não funcionou.

O que me sugere? Tento reinstalar o squid e squidguard do 0? Tem uma atualização disponivel para o SQUID, acha que vale a pena tentar atualizar?

marcelloc · May 30, 2017, 10:03 PM

@dbastos:

Eu to usando em modo não transparente e com interceptação SSL.

Acabei de selecionar essa combinação e consegui a mesma linha do http_port mas meu squid não caiu e também não tenho nenhum alerta no fw.

http_port 192.168.1.3:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=10MB cert=/usr/local/etc/squid/serverkey.pem capath=/usr/local/share/certs/ cipher=EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,NO_TLSv1,SINGLE_DH_USE,SINGLE_ECDH_USE

roda na console um squid -k parse para ver ele detalha melhor o erro ou em que linha dá o erro.

dbastos · May 30, 2017, 10:51 PM

roda na console um squid -k parse para ver ele detalha melhor o erro ou em que linha dá o erro.

Marcelo, apenas reforçando, até o momento não tive indícios de problemas no funcionamento do SQUID ou SQUIDGUARD, parece que tivemos lentidão num único site (mas que já havia apresentado em outros momentos), portanto, não sei se posso atribuir essa lentidão a essa situação.

Aparentemente eles estão funcionando corretamente, visualizei o erro apenas fazendo uma inspeção no LOG.

Segue o resultado:

[2.3.2-RELEASE][admin@SRVFRW2.freiregerbasi.local]/root: squid -k parse
2017/05/30 19:11:15| Startup: Initializing Authentication Schemes ...
2017/05/30 19:11:15| Startup: Initialized Authentication Scheme 'basic'
2017/05/30 19:11:15| Startup: Initialized Authentication Scheme 'digest'
2017/05/30 19:11:15| Startup: Initialized Authentication Scheme 'negotiate'
2017/05/30 19:11:15| Startup: Initialized Authentication Scheme 'ntlm'
2017/05/30 19:11:15| Startup: Initialized Authentication.
2017/05/30 19:11:15| Processing Configuration File: /usr/local/etc/squid/squid.conf (depth 0)
2017/05/30 19:11:15| Processing: http_port 10.0.0.250:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=100MB cert=/usr/local/etc/squid/serverkey.EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE
2017/05/30 19:11:15| Processing: icp_port 0
2017/05/30 19:11:15| Processing: digest_generation off
2017/05/30 19:11:15| Processing: dns_v4_first on
2017/05/30 19:11:15| Processing: pid_filename /var/run/squid/squid.pid
2017/05/30 19:11:15| Processing: cache_effective_user squid
2017/05/30 19:11:15| Processing: cache_effective_group proxy
2017/05/30 19:11:15| Processing: error_default_language pt-br
2017/05/30 19:11:15| Processing: icon_directory /usr/local/etc/squid/icons
2017/05/30 19:11:15| Processing: visible_hostname Proxy FGBM
2017/05/30 19:11:15| Processing: cache_mgr david.bastos@freiregerbasi.adv.br
2017/05/30 19:11:15| Processing: access_log /var/squid/logs/access.log
2017/05/30 19:11:15| Processing: cache_log /var/squid/logs/cache.log
2017/05/30 19:11:15| Processing: cache_store_log none
2017/05/30 19:11:15| Processing: netdb_filename /var/squid/logs/netdb.state
2017/05/30 19:11:15| Processing: pinger_enable on
2017/05/30 19:11:15| Processing: pinger_program /usr/local/libexec/squid/pinger
2017/05/30 19:11:15| Processing: sslcrtd_program /usr/local/libexec/squid/ssl_crtd -s /var/squid/lib/ssl_db -M 4MB -b 2048
2017/05/30 19:11:15| Processing: sslcrtd_children 50
2017/05/30 19:11:15| Processing: sslproxy_capath /usr/local/share/certs/
2017/05/30 19:11:15| Processing: sslproxy_options NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE
2017/05/30 19:11:15| Processing: sslproxy_cipher EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS
2017/05/30 19:11:15| Processing: sslproxy_cert_error allow all
2017/05/30 19:11:15| Processing: sslproxy_cert_adapt setValidAfter all
2017/05/30 19:11:15| Processing: sslproxy_cert_adapt setValidBefore all
2017/05/30 19:11:15| Processing: logfile_rotate 0
2017/05/30 19:11:15| Processing: debug_options rotate=0
2017/05/30 19:11:15| Processing: shutdown_lifetime 3 seconds
2017/05/30 19:11:15| Processing: acl localnet src  10.0.0.0/24
2017/05/30 19:11:15| Processing: forwarded_for on
2017/05/30 19:11:15| Processing: httpd_suppress_version_string on
2017/05/30 19:11:15| Processing: uri_whitespace strip
2017/05/30 19:11:15| Processing: acl dynamic urlpath_regex cgi-bin \?
2017/05/30 19:11:15| Processing: cache deny dynamic
2017/05/30 19:11:15| Processing: cache_mem 1024 MB
2017/05/30 19:11:15| Processing: maximum_object_size_in_memory 256 KB
2017/05/30 19:11:15| Processing: memory_replacement_policy heap GDSF
2017/05/30 19:11:15| Processing: cache_replacement_policy heap LFUDA
2017/05/30 19:11:15| Processing: minimum_object_size 0 KB
2017/05/30 19:11:15| Processing: maximum_object_size 4 MB
2017/05/30 19:11:15| Processing: cache_dir ufs /var/squid/cache 1000 16 256
2017/05/30 19:11:15| Processing: offline_mode off
2017/05/30 19:11:15| Processing: cache_swap_low 90
2017/05/30 19:11:15| Processing: cache_swap_high 95
2017/05/30 19:11:15| Processing: acl donotcache dstdomain "/var/squid/acl/donotcache.acl"
2017/05/30 19:11:15| Processing: cache deny donotcache
2017/05/30 19:11:15| Processing: cache allow all
2017/05/30 19:11:15| Processing: refresh_pattern ^ftp:    1440  20%  10080
2017/05/30 19:11:15| Processing: refresh_pattern ^gopher:  1440  0%  1440
2017/05/30 19:11:15| Processing: refresh_pattern -i (/cgi-bin/|\?) 0  0%  0
2017/05/30 19:11:15| Processing: refresh_pattern .    0  20%  4320
2017/05/30 19:11:15| Processing: acl allsrc src all
2017/05/30 19:11:15| Processing: acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901  3128 3129 1025-65535 81 82 100
2017/05/30 19:11:15| Processing: acl sslports port 443 563
2017/05/30 19:11:15| Processing: acl purge method PURGE
2017/05/30 19:11:15| Processing: acl connect method CONNECT
2017/05/30 19:11:15| Processing: acl HTTP proto HTTP
2017/05/30 19:11:15| Processing: acl HTTPS proto HTTPS
2017/05/30 19:11:15| Processing: acl step1 at_step SslBump1
2017/05/30 19:11:15| Processing: acl step2 at_step SslBump2
2017/05/30 19:11:15| Processing: acl step3 at_step SslBump3
2017/05/30 19:11:15| Processing: acl unrestricted_hosts src "/var/squid/acl/unrestricted_hosts.acl"
2017/05/30 19:11:15| Processing: acl whitelist dstdom_regex -i "/var/squid/acl/whitelist.acl"
2017/05/30 19:11:15| Processing: acl blacklist dstdom_regex -i "/var/squid/acl/blacklist.acl"
2017/05/30 19:11:15| Processing: http_access allow manager localhost
2017/05/30 19:11:15| Processing: http_access deny manager
2017/05/30 19:11:15| Processing: http_access allow purge localhost
2017/05/30 19:11:15| Processing: http_access deny purge
2017/05/30 19:11:15| Processing: http_access deny !safeports
2017/05/30 19:11:15| Processing: http_access deny CONNECT !sslports
2017/05/30 19:11:15| Processing: http_access allow localhost
2017/05/30 19:11:15| Processing: request_body_max_size 0 KB
2017/05/30 19:11:15| Processing: delay_pools 1
2017/05/30 19:11:15| Processing: delay_class 1 2
2017/05/30 19:11:15| Processing: delay_parameters 1 -1/-1 -1/-1
2017/05/30 19:11:15| Processing: delay_initial_bucket_level 100
2017/05/30 19:11:15| Processing: delay_access 1 deny unrestricted_hosts
2017/05/30 19:11:15| Processing: delay_access 1 allow allsrc
2017/05/30 19:11:15| Processing: url_rewrite_program /usr/local/bin/squidGuard -c /usr/local/etc/squidGuard/squidGuard.conf
2017/05/30 19:11:15| Processing: url_rewrite_bypass off
2017/05/30 19:11:15| Processing: url_rewrite_children 16 startup=8 idle=4 concurrency=0
2017/05/30 19:11:15| Processing: http_access allow unrestricted_hosts
2017/05/30 19:11:15| Processing: http_access allow whitelist
2017/05/30 19:11:15| Processing: http_access deny blacklist
2017/05/30 19:11:15| Processing: ssl_bump peek step1
2017/05/30 19:11:15| Processing: ssl_bump splice whitelist
2017/05/30 19:11:15| Processing: ssl_bump bump all
2017/05/30 19:11:15| Processing: http_access allow localnet
2017/05/30 19:11:15| Processing: http_access deny allsrc
2017/05/30 19:11:15| Initializing https proxy context
2017/05/30 19:11:15| Initializing http_port 10.0.0.250:3128 SSL context
2017/05/30 19:11:15| Using certificate in /usr/local/etc/squid/serverkey.pem

(não sei diminuir o tamanho do QUOTE :-X)

marcelloc · May 30, 2017, 10:50 PM

@dbastos:

(não sei diminuir o tamanho do QUOTE :-X)

usa o code no lugar de quote

seu parse não gera nenhum erro.

dbastos · May 30, 2017, 10:59 PM

@marcelloc:

@dbastos:

(não sei diminuir o tamanho do QUOTE :-X)

usa o code no lugar de quote

seu parse não gera nenhum erro.

Então não devo me preocupar com os resultados que tive com os LOGS do CACHE?

marcelloc · May 31, 2017, 1:28 AM

Se o Daemon está morrendo então tem problema. Tente rodar o squid em foreground para ver tudo o que ele loga na tela.

dbastos · May 31, 2017, 8:46 PM

@marcelloc:

Se o Daemon está morrendo então tem problema. Tente rodar o squid em foreground para ver tudo o que ele loga na tela.

Continuando a saga… antes de colocar o squid pra rodar na operação, eu tinha configurado 2 NATs de saída usando um pool de endereços IPs (IPs virtual). Hoje observei que um dos NATs não estava funcionando, o outro funcionava corretamente.

Quando desativei o proxy de minha máquina, o NAT que estava dando erro voltou a funcionar corretamente (apenas para a minha máquina), se eu habilitasse o proxy na máquina, não fazia o NAT. Ou seja, com o proxy ativado na máquina o NAT não funcionava.

Desculpe a minha ignorância, mas era pra ser assim mesmo? :o

Montei um ambiente virtual com 2 máquinas (cliente e servidor ad) e 1 pfsense. Configurei o pfsense do zero, na verdade não fiz muitas configurações além das básicas. Configurei apenas os VIPs, NAT de saída usando um pool de endereços. Navegação OK, NATs de saída usando o pool, também OK

Instalei e configurei o squid e squidguard. Primeira coisa que fiz foi verificar os LOGs do cache, e de cara visualizei a informação do No forward-proxy ports configured

Além disso, observei que ocorreu a mesma situação anterior, o NAT não funcionava quando o proxy é habilitado na máquina.

Certamente a informação do no forward já devia estar ocorrendo desde o inicio da implantação do proxy, porém, eu que nunca observei. Resta saber o que posso estar fazendo de errado.

Só confirmando, rodar o SQUID em foreground é com o comando Squid -NsXY ?

Marcelo, desde já eu agradeço a força! vlw