SSL FILTRELEME (SQUID3-DEV // SQUIDGUARD-SQUID3)

hoscakal

Bu yöntem işe yarıyor uzun zamandır kullandığım yöntem
ama bazı problemleri var. sahte sertifikayı bazen devlet kurumları ve bazı google app leri kabul etmiyor squid den bypass etmek gerekiyor.
android cihazların bazılarında sertifika yüklenemiyor ve google chrome sorunu çıkabiliyor. skype,whatsapp,windows update için ayar yapmak gerekebiliyor. kullanıcı sayısı fazla ise biraz ram i yüksek tutmanız da fayda var.
zaman zaman tüm trafiğin kesilmesi gibi durumlar yaşanabilir. ilk başta marcello nun derlediği versiyon vardı shell komutları olmadan devreye alınamıyordu ama artık shell komutuna gerek kalmadan bu talimattaki yöntem çalışıyor.
ama en büyük artısı zenmate i tamamen blocklamış oluyorsunuz.
piyasada zenmate i blocklayabilen çok az cihaz var.

paylaşım için tebrikler.

Not: mikrotiğin 50$ lık en ucuz cihazı ile bile facebook youtube https layer7 block çalışmakta.
pfsense te çalışmaması hala tuhaf!!

Evet bahsettiğin sıkıntıları bende okudum ancak bunlar aşılabilecek şeyler olduğunu düşünüyorum.
Sahte sertifika yerine yıllık verisign comodo rapidssl den sertifika alıp bunu pfsense'ye import edip squid'in bu sertifikayı kullanmasını sağlarsak bu sorunların kalkacağını düşünüyorum

Squid de ssl filtrelemesinin hangi iç network'lere bakmasını istediğini seçebiliyorsunuz. ben mobil cihazların ve misafir cihazları farklı bir networkte toplayıp onlara layer 7 ve dns ile engeller koymayı düşünüyorum. bunlara çözüm üreterek ilerleyebiliriz bence

mikrotik'in $50 dolarlık cihazı layer 7 ssl filtrelemesi yapıyor dedin

mikrotik'in kullandığı sertifikayı clientlara import etmiyor musun? ya da nasıl çalışıyor… çalışıyorsa da sahte sertifika bahsettiğin yerlerde aynı sorunu çıkarmıyor mu ? merak ettim bunu.

traffic shaper'daki layer 7 pfsense'nin kendi protokolü ama squid ise ek bir paket biz ek paket ile ssl filtrelemesi yaptığımız için layer 7 https ye bakmıyor ama dediğin gibi pfsense'nin kendi başına başka paketlere ihtiyaç duymadan ssl filtrelemesi yapamaması çok kötü

susamlicubuk

Evet bahsettiğin sıkıntıları bende okudum ancak bunlar aşılabilecek şeyler olduğunu düşünüyorum.
Sahte sertifika yerine yıllık verisign comodo rapidssl den sertifika alıp bunu pfsense'ye import edip squid'in bu sertifikayı kullanmasını sağlarsak bu sorunların kalkacağını düşünüyorum
bende aynısını düşünüp denemeye kalkmıştım sonuç hüsran :) keşke bu yöntem işe yarasa
clientlara domain varsa sertifika yüklemek basit ama workgroup çalışan yerler ve cep teller için tam başağrısı.

Squid de ssl filtrelemesinin hangi iç network'lere bakmasını istediğini seçebiliyorsunuz. ben mobil cihazların ve misafir cihazları farklı bir networkte toplayıp onlara layer 7 ve dns ile engeller koymayı düşünüyorum. bunlara çözüm üreterek ilerleyebiliriz bence

misafir networkunu squid dışında bırakabiliriz ama bu seferde loglardan misafirlerin hangi sitelere girdiğini vs. göremeyiz ve squidguard ile engelleme yapamayız. ama yinede geçici çözüm.

mikrotik'in $50 dolarlık cihazı layer 7 ssl filtrelemesi yapıyor dedin

mikrotik'in kullandığı sertifikayı clientlara import etmiyor musun? ya da nasıl çalışıyor… çalışıyorsa da sahte sertifika bahsettiğin yerlerde aynı sorunu çıkarmıyor mu ? merak ettim bunu.

mikrotik dinamik yada statik sertifika araya sokmuyor direk layer 7 ile engelliyor.
http://rbgeek.wordpress.com/2012/05/29/how-to-block-facebook-in-mikrotik-using-l7-protocols-layer-7/

traffic shaper'daki layer 7 pfsense'nin kendi protokolü ama squid ise ek bir paket biz ek paket ile ssl filtrelemesi yaptığımız için layer 7 https ye bakmıyor ama dediğin gibi pfsense'nin kendi başına başka paketlere ihtiyaç duymadan ssl filtrelemesi yapamaması çok kötü.

doğru mikrotikte ve bazı linux iptables kullanan firewalllar layer7 ile https trafiğini engelleyebiliyor ve sadece shell komutları ile ayar yapılabiliyor.

**çoğu utm app blocker paketi oluşturup engellemeleri oradan yapıyor pfsense te direk buna benzer sadece openid snort için geldi yeni versiyonda sid kuralları ile facebook engellenebiliyor ama oturup diğer uygulamalar içinde snort trafiğini dinleyip uygun kuralı oluşturmak lazım.

not:
Squid Custom settings

Custom ACLS (Before_Auth)

http_access allow localnet
always_direct allow all
ssl_bump server-first all

Custom ACLS (After_Auth)

always_direct allow all
ssl_bump server-first all

bu şekilde olursa daha stabil.**

ondokuz

Ellerin dert görmesin çok güzel bir yazı . Allah razı olsun.

hoscakal

@susamlicubuk:

Evet bahsettiğin sıkıntıları bende okudum ancak bunlar aşılabilecek şeyler olduğunu düşünüyorum.
Sahte sertifika yerine yıllık verisign comodo rapidssl den sertifika alıp bunu pfsense'ye import edip squid'in bu sertifikayı kullanmasını sağlarsak bu sorunların kalkacağını düşünüyorum
bende aynısını düşünüp denemeye kalkmıştım sonuç hüsran :) keşke bu yöntem işe yarasa
clientlara domain varsa sertifika yüklemek basit ama workgroup çalışan yerler ve cep teller için tam başağrısı.

Squid de ssl filtrelemesinin hangi iç network'lere bakmasını istediğini seçebiliyorsunuz. ben mobil cihazların ve misafir cihazları farklı bir networkte toplayıp onlara layer 7 ve dns ile engeller koymayı düşünüyorum. bunlara çözüm üreterek ilerleyebiliriz bence

misafir networkunu squid dışında bırakabiliriz ama bu seferde loglardan misafirlerin hangi sitelere girdiğini vs. göremeyiz ve squidguard ile engelleme yapamayız. ama yinede geçici çözüm.

mikrotik'in $50 dolarlık cihazı layer 7 ssl filtrelemesi yapıyor dedin

mikrotik'in kullandığı sertifikayı clientlara import etmiyor musun? ya da nasıl çalışıyor… çalışıyorsa da sahte sertifika bahsettiğin yerlerde aynı sorunu çıkarmıyor mu ? merak ettim bunu.

mikrotik dinamik yada statik sertifika araya sokmuyor direk layer 7 ile engelliyor.
http://rbgeek.wordpress.com/2012/05/29/how-to-block-facebook-in-mikrotik-using-l7-protocols-layer-7/

traffic shaper'daki layer 7 pfsense'nin kendi protokolü ama squid ise ek bir paket biz ek paket ile ssl filtrelemesi yaptığımız için layer 7 https ye bakmıyor ama dediğin gibi pfsense'nin kendi başına başka paketlere ihtiyaç duymadan ssl filtrelemesi yapamaması çok kötü.

doğru mikrotikte ve bazı linux iptables kullanan firewalllar layer7 ile https trafiğini engelleyebiliyor ve sadece shell komutları ile ayar yapılabiliyor.

**çoğu utm app blocker paketi oluşturup engellemeleri oradan yapıyor pfsense te direk buna benzer sadece openid snort için geldi yeni versiyonda sid kuralları ile facebook engellenebiliyor ama oturup diğer uygulamalar içinde snort trafiğini dinleyip uygun kuralı oluşturmak lazım.

not:
Squid Custom settings

Custom ACLS (Before_Auth)

http_access allow localnet
always_direct allow all
ssl_bump server-first all

Custom ACLS (After_Auth)

always_direct allow all
ssl_bump server-first all

bu şekilde olursa daha stabil.**

orjinal ssl'in çalışmayacağını aynı sorunların çıkacağını hiç tahmin etmemiştim. bir de kendim deneyeyim :)
evet kalabalık workgroup'larda bunu yapmak biraz zorlu kendimden örnek vereyim bende domain yok ama 50 tane pc belki bir o kadarda mobil cihaz var
tek yapacağım bunları ayırmak olacak 2 lan'a 1 kere de sertifikayı import ettiğim an tüm kontrol bende
bilgi işlemciler saçma sapan şeyler için bile tek tek bilgisayarları gezmiştir bu sefer de yararlı birşey için gezelim :)

misafir network ü ile söylediklerine katılmıyorum çünkü squid'i 2 lan'ı taraması için seçip ssl için sadece 1 lan seçebiliyorsun bu sayede misafir tarafındaki trafiği squid üzerinden izleyebilirsin.
lightsquid'den de nerelere girdiğini kayıtlı halde görebilirsin

microtic için verdiğin linke yapılan örneklerin hiçbirinde ssl yok yani http://www.facebook.com a bağlanmış
bağlandığı yerde görebilirsin ssl için gerekli olan sertifika adresin yanında gözükmüyor.
sadece layer7 için regex yazıp http://www.facebook.com u engellemiş bunu pfsense'de layer7 için regex yazıp bende engelleyebilirim.

yazımda da bahsetmiştim http bağlantıları için konuşuyorum her protokol için regex yazıp layer 7 ile engelleyebiliriz sadece header ya da request istekleri lazım bu kadar.

zaten mantıksız ssl paketi şifrelidir bunu açıp içindeki veriyi görmeden nasıl filtre yapacaksın ki ?

not: kısmını dikkate alacağım teşekkürler..

susamlicubuk

misafir network ü ile söylediklerine katılmıyorum çünkü squid'i 2 lan'ı taraması için seçip ssl için sadece 1 lan seçebiliyorsun bu sayede misafir tarafındaki trafiği squid üzerinden izleyebilirsin.
lightsquid'den de nerelere girdiğini kayıtlı halde görebilirsin
o seçeneği denememiştim ama haklısın çalışır muhtemelen.

microtic için verdiğin linke yapılan örneklerin hiçbirinde ssl yok yani http://www.facebook.com a bağlanmış
bağlandığı yerde görebilirsin ssl için gerekli olan sertifika adresin yanında gözükmüyor.
sadece layer7 için regex yazıp http://www.facebook.com u engellemiş bunu pfsense'de layer7 için regex yazıp bende engelleyebilirim.
gui den değil shellden yaptığımda birebir aynı kurallar geldi ve https://www.facebook.com ve youtube kesinlikle engelleniyor.
bırak block koymayı https/http sitelere direk hız limiti uyguladım
örneğin youtube download 512k facebook download 256k ve çok stabil çalışıyor.

direk stream yapan sitelere dizi izleme online film vs. stream için layer7 ile hız limiti uyguladım çok stabil.

ama bu kurallar işlemci ram e yükleniyor yani 128ramli 60$ lık cihazla defaultta 60-70 kullanıcı stabil çalışırken
sen hotspotu açıp bu kurallarla uğraşıp bide üstüne multiwan yaptıgın anda en fazla 25-30 kullanıcı destekler sonra sorun cıkartabiliyor.
kullanıcı sayısı ve kullanacağın paketlere göre üst seviye cihaz seçmen gerekiyor ama her halükarda daha ucuz çözüm.

aslında https leri url table ilede engellenebiliyor ama url table ile de çok uğraşmak gerekli.

bu arada system pacthes olmadan denediğinde sorun yaşıyor musun?

hoscakal

gui den değil shellden yaptığımda birebir aynı kurallar geldi ve https://www.facebook.com ve youtube kesinlikle engelleniyor.
bırak block koymayı https/http sitelere direk hız limiti uyguladım
örneğin youtube download 512k facebook download 256k ve çok stabil çalışıyor.

bunu yaptığında sanırım sayfanın hiç açılmamasını sağlıyorsun. doğrumu anlıyorum ? yaptığın bu ise zaten sorun yok bunu pfsense'de facebook dnslerini yazıp 443'ü 80 i yasakladığında da yapıyor.
ama benim dediğimde https://www.youtube.com a giriyor sadece videoyu açmıyor. ama hız limiti de güzel tam işkence olmuş :)

direk stream yapan sitelere dizi izleme online film vs. stream için layer7 ile hız limiti uyguladım çok stabil.

bunu ben 1,5 yıldır kullanıyorum nerdeyse pfsense'nin layer 7 si yetiyor bana

ama bu kurallar işlemci ram e yükleniyor yani 128ramli 60$ lık cihazla defaultta 60-70 kullanıcı stabil çalışırken
sen hotspotu açıp bu kurallarla uğraşıp bide üstüne multiwan yaptıgın anda en fazla 25-30 kullanıcı destekler sonra sorun cıkartabiliyor.
kullanıcı sayısı ve kullanacağın paketlere göre üst seviye cihaz seçmen gerekiyor ama her halükarda daha ucuz çözüm.

**pfsense sonuçta ücretsiz bir çok hizmeti sağlayabiliyor bu kadar komplex yapı varsa o zaman ücretini verip düzgün cihaz alırsın yani

ssl filtreleme multiwan loadbalance bilmem ne o bu hepsini kullanacaksan git başka cihaz al bu ucretsiz çözüm senin işine yaramıyor demek ki çokta abartmaya gerek yok :)**

bu arada system pacthes olmadan denediğinde sorun yaşıyor musun?

evet squid guard paketini ilk kurduğumda stopped halde geliyor bu patch 'i bir kere uygulayınca çalışması için yetiyor. ama bu 2.1.5'de geçerli önceki versiyonlarda sorun çıkmadan çalıştıranlarda var

technical

Bende bugün itibarı ile SSL i aktif ettim şu an tüm clientlere sertifikayı da yükledim sorun olup olmayacağına bakacam gelişmeleri başlık altından bildiririm.

Çalışma için çok teşekkürler.

technical

Geribildirim

Windows update servisi çakılıyor ayrıca windows etkinleştirme sistemleri de çakılıyor Sorun SSL den kaynaklı…

https://forum.pfsense.org/index.php?topic=68388.msg454915#msg454915
Çözüm updateler için var gibi test ediyorum ama etkinleştirmeler halen çakılıyor.

hoscakal

white list'e yazılan domainler sslden geçmiyor diye biliyorum acl yazmak yerine direk microsoft sitelerini whitelist'e alabiliriz. şimdi update olayını bende deneyeceğim

technical

Updateler için fix çalışıyor

Custom ACLS (Before_Auth) Kısmına aşağıdaki kodları girin

acl broken_sites dstdomain .update.microsoft.com
acl broken_sites dstdomain .ds.download.windowsupdate.com
acl broken_sites dstdomain .swupdl.adobe.com
acl broken_sites dstdomain .ccmdl.adobe.com
ssl_bump none broken_sites
http_access allow localnet
always_direct allow all
ssl_bump server-first all

Custom ACLS (After_Auth) Kısmına da aşağıdakileri girin

always_direct allow all
ssl_bump server-first all

tuzsuzdeli

@TechnicaL:

Updateler için fix çalışıyor

Custom ACLS (Before_Auth) Kısmına aşağıdaki kodları girin
acl broken_sites dstdomain .update.microsoft.com
acl broken_sites dstdomain .ds.download.windowsupdate.com
acl broken_sites dstdomain .swupdl.adobe.com
acl broken_sites dstdomain .ccmdl.adobe.com
ssl_bump none broken_sites
http_access allow localnet
always_direct allow all
ssl_bump server-first all
Custom ACLS (After_Auth) Kısmına da aşağıdakileri girin
always_direct allow all
ssl_bump server-first all

Peki, buralarda problem çıkmasının mantığı ne ?
Başka nerelerde sıkıntı yaşanabilir onu öngörmek için soruyorum.

hoscakal

microsoft'un nasıl bir server'ı varsa oda bizim içeriğine filtre koyduğumuz paketi okuyup bunun erişildiğini fark edip
update servisini vermiyor çünkü sayfasındaki hata kodunu araştırdığımda ssl sertifika hatası olarak gözüküyor belki rapid comodo ssl'li filtre'de sıkıntı çıkmayabilir ama belli de olmaz.. ayrıca bu sistemi kullanan yapan kaç yer olur bilemeyiz ama sorun yaşadığımız yerlerde update adresini acl olarak yazarak TechnicaL test etmiş updateler sorun çıkartmıyor bu da iyi haber geri kalanı sadece ihtiyacımız olan update adreslerini bulmak.

bu arada squid'in yaptığı ssl filtreleme sadece url'ler üzerinden

yani mplayer.swf(http://www,auauaua.com/stream) falan şekilde embed kodlarla çalışan yerleri yakalayamıyor çünkü erişimi tarayıcı değil flash dosyası yapıyor ve squid bunları okuyamıyor layer 7'de buna göre regex yazılması lazım ama layer 7 de https ye bakmıyor çok karmaşık durum hot spot shield zenmate vb gibi programların bağlantıları kontrol edilemiyor squid üzerinden

bununla ilgili olarak snort kurdum kurallarını inceliyorum programların erişimlerini tespit edebiliyor mu bunlara bakacağım team viewer için hem indirirken hem server'a ping atarken hem bağlantı kurulurken yakalamak için kuralları var ama yakalayıp ne yapıyor ya da bizim ne yapmamız lazım bunları inceleyip geri dönüş yapacağım

technical

@tuzsuzdeli:

Peki, buralarda problem çıkmasının mantığı ne ?
Başka nerelerde sıkıntı yaşanabilir onu öngörmek için soruyorum.

Burda sorun çıkmıyor sorun Aktivasyon web sitelerini eklediğinde çıkıyor squid servisi çakılıyor.

susamlicubuk

Windows Update lerle ilgili sorun yaşayanlar için squidden bypass yapabilirsiniz.
technet update server ip konusu
https://social.technet.microsoft.com/Forums/windowsserver/en-US/b596aa81-2775-496c-b159-dcfc5c5bf22d/windows-update-ip-addresses-range-and-subnet-mask-for-windows-server-2008?forum=winserversecurity

ipler
65.0.0.1/8;70.0.0.1/8;94.0.0.1/8;111.0.0.1/8;132.0.0.1/8;157.0.0.1/8;207.0.0.1/8;213.0.0.1/8

mucip

Merhabalar,
PfSense 2.2 x64 üzerinde squid3-dev paketi görünmüyor. SSL filtrelemeyi nasıl yapacağız? Deneyen arkadaşımız var mı?…

Kolay gelsin,
Mucip:)

aykutadar

Merhabalar,

ilk önce anlatım için teşekkürler. pfsense 2.1.5 x64 üzerinde squid3-dev ve squidGuard-squid3 sistemime kurulu burada verilen tüm ayarları gerçekleştirdim gayet başarılı bir şekilde çalışıyor kısıtlamalarda yaptım ssl filtrelemeyide gerçkeliştirdim https siteleri başarılı bir şekilde çalışıyor. kısıtlı ve kısıtsız olarak kullanıcı grupları oluşturdum. kısıtsız grupdan olan kullanıcalara herşeyi eriyor ama torrent indirme işlemi yapmıyor. bunun neden kaynaklandığını çözemedim. bu konuda yardımcı olabilirmisiniz. bazı sitelerde sertifika hatasıda alınıyor mesela 100 site içerisinde 10 tanesinde bu uyarı veriyor. geçerli problemsiz bir sertifika nasıl oluşturulabilir. :(

kolay gelsin

gazili84

Arkadaşlar System> Proxy Filter'a giremiyorum.

Parse error: syntax error, unexpected '}' in /usr/local/pkg/squidguard_configurator.inc on line 102 hatası alıyorum.
Yardım edermisiniz?

Edit:custom settings : integrations aşağıdaki kodu yazınca sorun Çözüldü```
url_rewrite_program /usr/pbi/squidguard-squid3-amd64/bin/squidGuard -c /usr/pbi/squidguard-squid3-amd64/etc/squidGuard/squidGuard.conf;url_rewrite_bypass off;url_rewrite_children 16 startup=8 idle=4 concurrency=0


Edit 2: Sorun devam ediyor düzelmedi

gazili84

pf 2.1.5 32 ve 64 de de denedim makineye resatart atınca squidgurad tekrar hata veriyor.

pach işlemi uygulayınca syntax error vermesinin nedeni nedir.
/usr/local/pkg/squidguard_configurator.inc dosyasını eskisi ile değiştirince error vermiyor.Zaten patch işlemi bu dosyayı etkiliyor.

ing. bölümünde pach işleminden sonra paketi tekrar kurun demiş ama dosya değişince paket de yüklenemiyor.

gazili84

Sorunu çözdüm sonunda.

Burada verilen patch bende omadı.

/usr/local/pkg/squidguard_configurator.inc dosyasını editledim.

dosyanın 102-113 satırları aşağıdaki gibi olacak(siz de değişebilir)

# squid config options
# ------------------------------------------------------------------------------
define('REDIRECTOR_OPTIONS_REM',   '# squidGuard options');
define('REDIRECTOR_PROGRAM_OPT',   'url_rewrite_program');
define('REDIRECT_BYPASS_OPT',      'url_rewrite_bypass');
define('REDIRECT_CHILDREN_OPT',    'url_rewrite_children');
define('REDIRECTOR_OPTIONS_REM',   '# squidGuard options');
define('REDIRECTOR_PROCESS_COUNT', '16 startup=8 idle=4 concurrency=0'); # redirector processes count will started
if ($pf_version >= 2.1) { 
   define('REDIRECTOR_PROGRAM_OPT',   'url_rewrite_program');
   define('REDIRECT_BYPASS_OPT',      'url_rewrite_bypass');
   define('REDIRECT_CHILDREN_OPT',    'url_rewrite_children');
   define('REDIRECTOR_PROCESS_COUNT', '16 startup=8 idle=4 concurrency=0');
} else {
   define('REDIRECTOR_PROGRAM_OPT',   'redirect_program');
   define('REDIRECT_BYPASS_OPT',      'redirector_bypass');
   define('REDIRECT_CHILDREN_OPT',    'redirector_children');
   define('REDIRECTOR_PROCESS_COUNT', '5');
}
# ------------------------------------------------------------------------------
# squidguard config options

Şuanda sorunsuz bie şekilde çalışıyor.

Edit : Yazım hatası

thetnt

Arkadaşlar merhaba sistemi kurdum orjinal rapidssl sertifikası ile gayet düzgün çalışıyor ancak Whatsapp da resim gönderilmiyor ssl aktif olunca resim gönderermiyor alamıyor, bu sorun ile kaynak da bulamadım yardımcı olacak arkadaşlara şimdiden teşekkür ederim