Problemas com Cache do Squid

[dbastos]

@Tomas:

http://wiki.squid-cache.org/KnowledgeBase/NoForwardProxyPorts

Como posso fazer essa alteração no PFSENSE?

E o que pode ter causado isso, já que funcionava corretamente?

[dbastos]

Atualizando o tópico, reparei novos erros:

WARNING: Consider increasing the number of ssl_crtd processes in your config file.
30.05.2017 16:26:09 WARNING: 5 pending requests queued
30.05.2017 16:26:09 WARNING: All 5/5 ssl_crtd processes are busy.

Fiz a seguinte alteração:  No campo Advance Features > Integrations incluí o seguinte: sslcrtd_children 100 Ficou da seguinte forma:

url_rewrite_program /usr/local/bin/squidGuard -c /usr/local/etc/squidGuard/squidGuard.conf;url_rewrite_bypass off;url_rewrite_children 16 startup=8 idle=4 concurrency=0;sslcrtd_children 100

Agora nos logs do CACHE tenho o seguinte:

2017/05/30 17:59:59 kid1| Starting new ssl_crtd helpers…
.

Não sai disso. Tenho alguns arquivos de backup, acho que vou tentar restaurar.

[marcelloc]

@dbastos:

E o que pode ter causado isso, já que funcionava corretamente?

Aparentemente não tem nenhuma interace selecionada para o squid "ouvir"

Consegue postar o seu squid.conf ?

[dbastos]

@marcelloc:

@dbastos:

E o que pode ter causado isso, já que funcionava corretamente?

Aparentemente não tem nenhuma interace selecionada para o squid "ouvir"

Consegue postar o seu squid.conf ?

Marcelo, segue o conteúdo do squid.conf:

# This file is automatically generated by pfSense
# Do not edit manually !

http_port 10.0.0.250:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=200MB cert=/usr/local/etc/squid/serverkey.pem capath=/usr/local/share/certs/ cipher=EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE

icp_port 0
digest_generation off
dns_v4_first on
pid_filename /var/run/squid/squid.pid
cache_effective_user squid
cache_effective_group proxy
error_default_language pt-br
icon_directory /usr/local/etc/squid/icons
visible_hostname Proxy FGBM
cache_mgr meuemail@meudominio.com.br
access_log /var/squid/logs/access.log
cache_log /var/squid/logs/cache.log
cache_store_log none
netdb_filename /var/squid/logs/netdb.state
pinger_enable on
pinger_program /usr/local/libexec/squid/pinger
sslcrtd_program /usr/local/libexec/squid/ssl_crtd -s /var/squid/lib/ssl_db -M 4MB -b 2048
sslcrtd_children 100
sslproxy_capath /usr/local/share/certs/
sslproxy_options NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE
sslproxy_cipher EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS
sslproxy_cert_error allow all
sslproxy_cert_adapt setValidAfter all
sslproxy_cert_adapt setValidBefore all

logfile_rotate 0
debug_options rotate=0
shutdown_lifetime 3 seconds
# Allow local network(s) on interface(s)
acl localnet src  10.0.0.0/24
forwarded_for on
httpd_suppress_version_string on
uri_whitespace strip

acl dynamic urlpath_regex cgi-bin \?
cache deny dynamic

cache_mem 1024 MB
maximum_object_size_in_memory 256 KB
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
minimum_object_size 0 KB
maximum_object_size 4 MB
cache_dir ufs /var/squid/cache 1000 16 256
offline_mode off
cache_swap_low 90
cache_swap_high 95
acl donotcache dstdomain "/var/squid/acl/donotcache.acl"
cache deny donotcache
cache allow all
# Add any of your own refresh_pattern entries above these.
refresh_pattern ^ftp:    1440  20%  10080
refresh_pattern ^gopher:  1440  0%  1440
refresh_pattern -i (/cgi-bin/|\?) 0  0%  0
refresh_pattern .    0  20%  4320

#Remote proxies

# Setup some default acls
# ACLs all, manager, localhost, and to_localhost are predefined.
acl allsrc src all
acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901  3128 3129 1025-65535 81 82 100
acl sslports port 443 563  

acl purge method PURGE
acl connect method CONNECT

# Define protocols used for redirects
acl HTTP proto HTTP
acl HTTPS proto HTTPS

# SslBump Peek and Splice
# http://wiki.squid-cache.org/Features/SslPeekAndSplice
# http://wiki.squid-cache.org/ConfigExamples/Intercept/SslBumpExplicit
# Match against the current step during ssl_bump evaluation [fast]
# Never matches and should not be used outside the ssl_bump context.
#
# At each SslBump step, Squid evaluates ssl_bump directives to find
# the next bumping action (e.g., peek or splice). Valid SslBump step
# values and the corresponding ssl_bump evaluation moments are:
#   SslBump1: After getting TCP-level and HTTP CONNECT info.
#   SslBump2: After getting TLS Client Hello info.
#   SslBump3: After getting TLS Server Hello info.
# These ACLs exist even when 'SSL/MITM Mode' is set to 'Custom' so that
# they can be used there for custom configuration.
acl step1 at_step SslBump1
acl step2 at_step SslBump2
acl step3 at_step SslBump3
acl unrestricted_hosts src "/var/squid/acl/unrestricted_hosts.acl"
acl whitelist dstdom_regex -i "/var/squid/acl/whitelist.acl"
acl blacklist dstdom_regex -i "/var/squid/acl/blacklist.acl"
http_access allow manager localhost

http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !safeports
http_access deny CONNECT !sslports

# Always allow localhost connections
http_access allow localhost

request_body_max_size 0 KB
delay_pools 1
delay_class 1 2
delay_parameters 1 -1/-1 -1/-1
delay_initial_bucket_level 100
# Do not throttle unrestricted hosts
delay_access 1 deny unrestricted_hosts
delay_access 1 allow allsrc

# Reverse Proxy settings

# Package Integration
url_rewrite_program /usr/local/bin/squidGuard -c /usr/local/etc/squidGuard/squidGuard.conf
url_rewrite_bypass off
url_rewrite_children 16 startup=8 idle=4 concurrency=0
sslcrtd_children 100

# Custom options before auth

# These hosts do not have any restrictions
http_access allow unrestricted_hosts
# Always allow access to whitelist domains
http_access allow whitelist
# Block access to blacklist domains
http_access deny blacklist
ssl_bump peek step1
ssl_bump splice whitelist
ssl_bump bump all
# Setup allowed ACLs
# Allow local network(s) on interface(s)
http_access allow localnet
# Default block all to be sure
http_access deny allsrc

[marcelloc]

10.0.0.250 é um ip virtual, carp ou seu ip da lan?

[dbastos]

@marcelloc:

10.0.0.250 é um ip virtual, carp ou seu ip da lan?

é o IP da LAN.

[marcelloc]

@dbastos:

http_port 10.0.0.250:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=200MB cert=/usr/local/etc/squid/serverkey.pem capath=/usr/local/share/certs/ cipher=EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE

Quando seleciono só a lan , sem transparente nem ssl, meu squid conf fica assim:

http_port 192.168.1.3:3128

quando seleciono lan e modo transparente, o squid.conf fica assim

http_port 192.168.1.3:3128
http_port 127.0.0.1:3128 intercept

essa sua configuração com uma linha só eu não consegui repoduzir aqui.

qualquer combinação diferente, recebo erro de configuração.

[dbastos]

@marcelloc:

@dbastos:

http_port 10.0.0.250:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=200MB cert=/usr/local/etc/squid/serverkey.pem capath=/usr/local/share/certs/ cipher=EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE

Quando seleciono só a lan , sem transparente nem ssl, meu squid conf fica assim:

http_port 192.168.1.3:3128

quando seleciono lan e modo transparente, o squid.conf fica assim

http_port 192.168.1.3:3128
http_port 127.0.0.1:3128 intercept

essa sua configuração com uma linha só eu não consegui repoduzir aqui.

qualquer combinação diferente, recebo erro de configuração.

Eu to usando em modo não transparente e com interceptação SSL.

Tentei restaurar para um backup anterior, mas não funcionou.

O que me sugere? Tento reinstalar o squid e squidguard do 0? Tem uma atualização disponivel para o SQUID, acha que vale a pena tentar atualizar?

[marcelloc]

@dbastos:

Eu to usando em modo não transparente e com interceptação SSL.

Acabei de selecionar essa combinação e consegui a mesma linha do http_port mas meu squid não caiu e também não tenho nenhum alerta no fw.

http_port 192.168.1.3:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=10MB cert=/usr/local/etc/squid/serverkey.pem capath=/usr/local/share/certs/ cipher=EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,NO_TLSv1,SINGLE_DH_USE,SINGLE_ECDH_USE

roda na console um squid -k parse para ver ele detalha melhor o erro ou em que linha dá o erro.

[dbastos]

roda na console um squid -k parse para ver ele detalha melhor o erro ou em que linha dá o erro.

Marcelo, apenas reforçando, até o momento não tive indícios de problemas no funcionamento do SQUID ou SQUIDGUARD, parece que tivemos lentidão num único site (mas que já havia apresentado em outros momentos), portanto, não sei se posso atribuir essa lentidão a essa situação.

Aparentemente eles estão funcionando corretamente, visualizei o erro apenas fazendo uma inspeção no LOG.

Segue o resultado:

[2.3.2-RELEASE][admin@SRVFRW2.freiregerbasi.local]/root: squid -k parse
2017/05/30 19:11:15| Startup: Initializing Authentication Schemes ...
2017/05/30 19:11:15| Startup: Initialized Authentication Scheme 'basic'
2017/05/30 19:11:15| Startup: Initialized Authentication Scheme 'digest'
2017/05/30 19:11:15| Startup: Initialized Authentication Scheme 'negotiate'
2017/05/30 19:11:15| Startup: Initialized Authentication Scheme 'ntlm'
2017/05/30 19:11:15| Startup: Initialized Authentication.
2017/05/30 19:11:15| Processing Configuration File: /usr/local/etc/squid/squid.conf (depth 0)
2017/05/30 19:11:15| Processing: http_port 10.0.0.250:3128 ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=100MB cert=/usr/local/etc/squid/serverkey.EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS tls-dh=prime256v1:/etc/dh-parameters.2048 options=NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE
2017/05/30 19:11:15| Processing: icp_port 0
2017/05/30 19:11:15| Processing: digest_generation off
2017/05/30 19:11:15| Processing: dns_v4_first on
2017/05/30 19:11:15| Processing: pid_filename /var/run/squid/squid.pid
2017/05/30 19:11:15| Processing: cache_effective_user squid
2017/05/30 19:11:15| Processing: cache_effective_group proxy
2017/05/30 19:11:15| Processing: error_default_language pt-br
2017/05/30 19:11:15| Processing: icon_directory /usr/local/etc/squid/icons
2017/05/30 19:11:15| Processing: visible_hostname Proxy FGBM
2017/05/30 19:11:15| Processing: cache_mgr david.bastos@freiregerbasi.adv.br
2017/05/30 19:11:15| Processing: access_log /var/squid/logs/access.log
2017/05/30 19:11:15| Processing: cache_log /var/squid/logs/cache.log
2017/05/30 19:11:15| Processing: cache_store_log none
2017/05/30 19:11:15| Processing: netdb_filename /var/squid/logs/netdb.state
2017/05/30 19:11:15| Processing: pinger_enable on
2017/05/30 19:11:15| Processing: pinger_program /usr/local/libexec/squid/pinger
2017/05/30 19:11:15| Processing: sslcrtd_program /usr/local/libexec/squid/ssl_crtd -s /var/squid/lib/ssl_db -M 4MB -b 2048
2017/05/30 19:11:15| Processing: sslcrtd_children 50
2017/05/30 19:11:15| Processing: sslproxy_capath /usr/local/share/certs/
2017/05/30 19:11:15| Processing: sslproxy_options NO_SSLv2,NO_SSLv3,SINGLE_DH_USE,SINGLE_ECDH_USE
2017/05/30 19:11:15| Processing: sslproxy_cipher EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC4:!aNULL:!eNULL:!LOW:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS
2017/05/30 19:11:15| Processing: sslproxy_cert_error allow all
2017/05/30 19:11:15| Processing: sslproxy_cert_adapt setValidAfter all
2017/05/30 19:11:15| Processing: sslproxy_cert_adapt setValidBefore all
2017/05/30 19:11:15| Processing: logfile_rotate 0
2017/05/30 19:11:15| Processing: debug_options rotate=0
2017/05/30 19:11:15| Processing: shutdown_lifetime 3 seconds
2017/05/30 19:11:15| Processing: acl localnet src  10.0.0.0/24
2017/05/30 19:11:15| Processing: forwarded_for on
2017/05/30 19:11:15| Processing: httpd_suppress_version_string on
2017/05/30 19:11:15| Processing: uri_whitespace strip
2017/05/30 19:11:15| Processing: acl dynamic urlpath_regex cgi-bin \?
2017/05/30 19:11:15| Processing: cache deny dynamic
2017/05/30 19:11:15| Processing: cache_mem 1024 MB
2017/05/30 19:11:15| Processing: maximum_object_size_in_memory 256 KB
2017/05/30 19:11:15| Processing: memory_replacement_policy heap GDSF
2017/05/30 19:11:15| Processing: cache_replacement_policy heap LFUDA
2017/05/30 19:11:15| Processing: minimum_object_size 0 KB
2017/05/30 19:11:15| Processing: maximum_object_size 4 MB
2017/05/30 19:11:15| Processing: cache_dir ufs /var/squid/cache 1000 16 256
2017/05/30 19:11:15| Processing: offline_mode off
2017/05/30 19:11:15| Processing: cache_swap_low 90
2017/05/30 19:11:15| Processing: cache_swap_high 95
2017/05/30 19:11:15| Processing: acl donotcache dstdomain "/var/squid/acl/donotcache.acl"
2017/05/30 19:11:15| Processing: cache deny donotcache
2017/05/30 19:11:15| Processing: cache allow all
2017/05/30 19:11:15| Processing: refresh_pattern ^ftp:    1440  20%  10080
2017/05/30 19:11:15| Processing: refresh_pattern ^gopher:  1440  0%  1440
2017/05/30 19:11:15| Processing: refresh_pattern -i (/cgi-bin/|\?) 0  0%  0
2017/05/30 19:11:15| Processing: refresh_pattern .    0  20%  4320
2017/05/30 19:11:15| Processing: acl allsrc src all
2017/05/30 19:11:15| Processing: acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901  3128 3129 1025-65535 81 82 100
2017/05/30 19:11:15| Processing: acl sslports port 443 563
2017/05/30 19:11:15| Processing: acl purge method PURGE
2017/05/30 19:11:15| Processing: acl connect method CONNECT
2017/05/30 19:11:15| Processing: acl HTTP proto HTTP
2017/05/30 19:11:15| Processing: acl HTTPS proto HTTPS
2017/05/30 19:11:15| Processing: acl step1 at_step SslBump1
2017/05/30 19:11:15| Processing: acl step2 at_step SslBump2
2017/05/30 19:11:15| Processing: acl step3 at_step SslBump3
2017/05/30 19:11:15| Processing: acl unrestricted_hosts src "/var/squid/acl/unrestricted_hosts.acl"
2017/05/30 19:11:15| Processing: acl whitelist dstdom_regex -i "/var/squid/acl/whitelist.acl"
2017/05/30 19:11:15| Processing: acl blacklist dstdom_regex -i "/var/squid/acl/blacklist.acl"
2017/05/30 19:11:15| Processing: http_access allow manager localhost
2017/05/30 19:11:15| Processing: http_access deny manager
2017/05/30 19:11:15| Processing: http_access allow purge localhost
2017/05/30 19:11:15| Processing: http_access deny purge
2017/05/30 19:11:15| Processing: http_access deny !safeports
2017/05/30 19:11:15| Processing: http_access deny CONNECT !sslports
2017/05/30 19:11:15| Processing: http_access allow localhost
2017/05/30 19:11:15| Processing: request_body_max_size 0 KB
2017/05/30 19:11:15| Processing: delay_pools 1
2017/05/30 19:11:15| Processing: delay_class 1 2
2017/05/30 19:11:15| Processing: delay_parameters 1 -1/-1 -1/-1
2017/05/30 19:11:15| Processing: delay_initial_bucket_level 100
2017/05/30 19:11:15| Processing: delay_access 1 deny unrestricted_hosts
2017/05/30 19:11:15| Processing: delay_access 1 allow allsrc
2017/05/30 19:11:15| Processing: url_rewrite_program /usr/local/bin/squidGuard -c /usr/local/etc/squidGuard/squidGuard.conf
2017/05/30 19:11:15| Processing: url_rewrite_bypass off
2017/05/30 19:11:15| Processing: url_rewrite_children 16 startup=8 idle=4 concurrency=0
2017/05/30 19:11:15| Processing: http_access allow unrestricted_hosts
2017/05/30 19:11:15| Processing: http_access allow whitelist
2017/05/30 19:11:15| Processing: http_access deny blacklist
2017/05/30 19:11:15| Processing: ssl_bump peek step1
2017/05/30 19:11:15| Processing: ssl_bump splice whitelist
2017/05/30 19:11:15| Processing: ssl_bump bump all
2017/05/30 19:11:15| Processing: http_access allow localnet
2017/05/30 19:11:15| Processing: http_access deny allsrc
2017/05/30 19:11:15| Initializing https proxy context
2017/05/30 19:11:15| Initializing http_port 10.0.0.250:3128 SSL context
2017/05/30 19:11:15| Using certificate in /usr/local/etc/squid/serverkey.pem

(não sei diminuir o tamanho do QUOTE  :-X)

[marcelloc]

@dbastos:

(não sei diminuir o tamanho do QUOTE  :-X)

usa o code no lugar de quote

seu parse não gera nenhum erro.

[dbastos]

@marcelloc:

@dbastos:

(não sei diminuir o tamanho do QUOTE  :-X)

usa o code no lugar de quote

seu parse não gera nenhum erro.

Então não devo me preocupar com os resultados que tive com os LOGS do CACHE?

[marcelloc]

Se o Daemon está morrendo então tem problema. Tente rodar o squid em foreground para ver tudo o que ele loga na tela.

[dbastos]

@marcelloc:

Se o Daemon está morrendo então tem problema. Tente rodar o squid em foreground para ver tudo o que ele loga na tela.

Continuando a saga… antes de colocar o squid pra rodar na operação, eu tinha configurado 2 NATs de saída usando um pool de endereços IPs (IPs virtual). Hoje observei que um dos NATs não estava funcionando, o outro funcionava corretamente.

Quando desativei o proxy de minha máquina, o NAT que estava dando erro voltou a funcionar corretamente (apenas para a minha máquina), se eu habilitasse o proxy na máquina, não fazia o NAT. Ou seja, com o proxy ativado na máquina o NAT não funcionava.

Desculpe a minha ignorância, mas era pra ser assim mesmo?  :o

Montei um ambiente virtual com 2 máquinas (cliente e servidor ad) e 1 pfsense. Configurei o pfsense do zero, na verdade não fiz muitas configurações além das básicas. Configurei apenas os VIPs, NAT de saída usando um pool de endereços. Navegação OK, NATs de saída usando o pool, também OK

Instalei e configurei o squid e squidguard. Primeira coisa que fiz foi verificar os LOGs do cache, e de cara visualizei a informação do No forward-proxy ports configured

Além disso, observei que ocorreu a mesma situação anterior, o NAT não funcionava quando o proxy é habilitado na máquina.

Certamente a informação do no forward já devia estar ocorrendo desde o inicio da implantação do proxy, porém, eu que nunca observei. Resta saber o que posso estar fazendo de errado.

Só confirmando, rodar o SQUID em foreground é com o comando Squid -NsXY ?

Marcelo, desde já eu agradeço a força! vlw