Squid 3.5 ile HTTPS siteleri domain adiyla yasaklamak



  • Merhaba pfsense sürümüm 2.4.2, squid versiyonum 3.5.27
    herhangi bir siteyi yasaklamadan https site açıyım dedim youtube bazen açıldı bazen açılmadı, hata verdi
    metin içerikli https web sitesi açmaya kalktığımda ise açıldı. bu sorunu nasıl çözebilirim?



  • Squid ayarlarınızı yollayın, ordan bakalım
    Squid'in "General" ekranı yeterli olacaktır.



  • https sitelere erişim sağlayabiliyorum. ekşi, dünya halleri, pfsense forum örnek gösterebilirim ama google servislerinde sıkıntım var. youtube.com'a da erişmiyor, google.com'a da. ekran görüntülerini aşağıya ekliyorum şimdiden teşekkür ederim
    bu karşılaştığım hata: https://hizliresim.com/m2JQbP

    services>squid>
    http://hizliresim.com/XPEa8D
    http://hizliresim.com/YgOY8E
    http://hizliresim.com/rOJAXP
    https://hizliresim.com/9mDnzr

    system>cert. manager 1
    http://hizliresim.com/bBLnvm

    system>cert.manager 2
    http://hizliresim.com/rOJANa

    dns olarak yandex dns kullanıyorum. tt dnsleri twitterdaki görselleri yüklemiyordu. bu dnslerle sertifika oluşturmadan önce her yere girebiliyordum.
    77.88.8.7
    77.88.8.3

    not: 8.8.8.8 8.8.4.4 denedim onda da hata alıyorum



  • Sizin mevcut konfigürasyon oldukça farklı.

    • Resolve DNS IPv4 First, seçili olsun
    • SSL/MITM mode'u Splice all yapın (her cihaz için sertifika oluşturmanıza gerek kalmaz)
    • Remote Cert Checks 'de Accept remote server certifiacet with errors' seçili olsun
    • Certificate Adapt kısmında "Not Before" seçin

    bu şekilde olması lazım.



  • teşekkür ederim ilginiz için



  • Ellerinize emeğinize sağlık herkesin ancak ;

    Bütün SSL Sertifikalı sitelerini engellemesine rağmen bir türlü https://play.google.com/store adresini engellemiyor buda android telefonların uygulama indirmesini sağlıyor ?

    Bu adresi domain liste de girdim ancak erişimi bir türlü engelleyemiyorum ?

    Yardımınız için teşekkür ederim.



  • https://play.google.com/store ip adreslerini çözerek, firewall loglardan takip etmeyi dener misiniz?
    belki 443 te araya giremiyor yada başka port ile bağlantı sağlanıyor olabilir mi?



  • ben bu işlemleri yaptığımda gün içinde makinanın ram kullanımı tavan yapıyor ve clear disk cache NOW tılayınca normale dönüyor cache ayarlarını bir çok değişik yöntemi denedim ancak hiç bir çözüm olmadı konu hakkında yardımcı olabilirmisiniz



  • Makinanızdaki ram miktarınız, gün içerisindeki aktif kullanıcı sayınız ve proxy olarak ayırdığınız disk-ram boyutunuz nedir?



  • Makinam 10 GB Ram
    gün içinde aktif 150 User
    Proxy için ayırdığım disk 20000 Hdd 4096 ram



  • formu baştan sona tekrar okuduğumda RAM sorunu ile ilgili olarak anladığım kadarı ile bir çok arkadaş sorun yaşıyor.
    açıkçası belirli aralıklarla squid'i restart etmek bana doğru bir çözüm gibi gelmedi.

    bu konuda problemi kalıcı çözen arkadaşımız varmı acaba



  • Proxy disk boyutunu 10Gb, ram miktarını da 8Gb olarak ayarlarsanız kullanım yüzdeniz yarı yarıya düşecektir. Tabi burada squidguard kullanıyorsanız, etkin filtreleriniz de önem arzediyor. Ne kadar çok filtreleme yapıyorsanız, o kadar çok trafik yoğunluğuna sebep olacağınızı unutmayın. Ayrıca proxy'nin barındıracağı nesne boyutlarını da limitleyebilsiniz. (Max.-Min. Object Size) Çünkü standartta 0-4Mb arasıdır. Bu da 20Gb'lık bir disk boyutunca yüzbinlerce nesne yığılmasına, dolayısıyla da ram yoğunluğuna sebep olur. Hızlı bir internet altyapısında küçük nesnelerin depolanmasına çok da ihtiyaç yoktur mesela, zaten çok hızlı bir şekilde netten tekrar tekrar çekilebilirler.

    Sonuç olarak; Disk boyutu-Ram-Nesne Boyutu üçgeninde testlerle en stabil dengeyi bulabilirsiniz. Raminizin yoğun trafik saatlerinde %80-90 bandında kullanılması, boş vakitlerde ise %10-30 bandına dönmesi gerekir.

    Ayrıca versiyon değişim testleri de yapmanızı tavsiye ederim. Pfsense, makinaya-donanıma göre versiyon seçiyor desem yalan olmaz. Bir makinamda 2.3.5 ile en stabil dengeyi yakalarken, bir başka makinamda 2.4.3 ile yakalayabiliyorum mesela. :)



  • yorumunuz ve desteğiniz için teşekkür ederim

    biraz daha denemeler yapacağım ram disk boyutlarında
    bu esnada bir cron yazdım internetten örnekler bularak RAM %90 bandına gelince squid otomatik reboot ediyor.

    % kısmını belirleyebiliyoruz cron 5 dk bir RAM durumunu kontrol ediyor belirlenen seviyenin üstüne çıktığında squid reboot ediyor.



  • Bu doğru bir çözüm değil ama. O zaman proxy kullanmanızın bir anlamı yok ki... Aracınızın motoru ısındığında stop ederek soğumasını bekledikten sonra tekrar "ısınasıya dek" yola koyulmaktan farkı yok. Vakitten bir kazancınız olmadığı gibi aracı yıprattığınız da yanınıza kâr kalıyor. Proxy kullanamadığınız gibi, diskinizi sil-yazlarla yıpratıyorsunuz yani.

    Mesele güçlü bir proxy değilse, sadece filtreleme benzeri işlemlerse squid yerine sadece e2guardian kurun ve bakın keyfinize bence. Çünkü e2guardian filtreleme görevini fazlasıyla yerine getirebilecek kabiliyette ve özellikle ssl tabanlı adreslerde squid+squidguard çözümünden çok daha stabil.



  • samet hocanın dediklerini aynen uyguladım sorun yok filtreleme şıkır şıkır çalışıyor fakat şöyle bir sorunum var. 3 tane wan portum var ve içeride ki ip leri rule oluşturup ilk 50 ip şu netten çıksın sonra kiler bundan çıksın gibi kural yazmıştım bu filtreleme işlemini çalıştırınca tüm kullanacılar aynı ip üzerinden nete çıkıyor



  • Squid tek kanal üzerinde çalışıyor. Default gateway hangisiyse, herşey oradan akıyor. Tek pfsense ile bu konuda yapabileceğiniz birşey yok maalesef.

    Failover çalışır ama. O da iyi bir wan altyapısında çok işe yaramaz. Mesela bir lokasyonda 3 wan çalıştırıyorum failover olarak. 10 günde default wan 640GB iken, 2. wan 9GB, 3. wan ise neredeyse hiç çalışmamış.



  • Selamlar ,

    2 tane pfsense çalıştırın 1. pfsense de filtrelemeyi yapın onun gw i 2. pfsense lan ip adresi olsun 2. pfsense üzerinde de wan load balance yapın



  • @cumhuraltan said in Squid 3.5 ile HTTPS siteleri domain adiyla yasaklamak:

    Selamlar ,

    2 tane pfsense çalıştırın 1. pfsense de filtrelemeyi yapın onun gw i 2. pfsense lan ip adresi olsun 2. pfsense üzerinde de wan load balance yapın

    peki böyle bir yapıda, NAT'lar için pratik bir yol var mıdır ?
    yoksa her NAT kuralını birinci olarak load balance yapan makineye ikinci olarak da proxy makineye tek tek yazmak mı gerekir ?

    transparan bir köprü olarak yapılandırsak diye düşünüyorum ama nasıl olacak ?
    proxy makineyi bu şekilde yapılandırsak e2guardian çalışır mı ?
    load balance yapan makineyi çalıştırsak orada 3 tane wan'ı bir tane lan interface ile bridge yapmak mümkün olmaz sanırım ?

    Transparan bridge ile ilgili şöyle bir link var :
    https://community.adamnet.works/hc/en-us/articles/115002725594-Running-on-a-Transparent-pfSense-Bridge



  • Selamlar @tuzsuzdeli ,

    Internete bakan pfsense'in bütün portları squid çalışan pfsense'e yönlendirilebilir veya her seferinde 2 defa port açmak gerekir.
    İnternete bakan pfsense üzerinde load balance hedef ip adresine göre yapabilirse tüm gelen sourcelar aynı olsa da ( squid çalışan pfsense ip adresi ) 2 hattı da kullanabilir.
    Transparan ı yıllar önce bir müşterimde bazı sunucuların ethernetlerınde public ip adresi kullanmak istediği için kurmuştum bu konuyla ilgili bir kullanım aklıma gelmiyor.

    • Son olarak böyle bir senaryo ben de uygulamadım arkadaşın sorusunu görünce aklıma böyle bir yöntem geldiği için yazdım sadece boş bir zamanımda demo yapmaya çalışırım. Pfsense'i web filtrleme için kullanmıyorum Vpn sonlandırma ihtiyacım olursa yükleyip openvpn yapılandırıyorum piyasadaki ücretli cihazların hepsinden daha stabil çalışıyor hatta en son bir müşterimde 2FA uyguladım kullanıcıadını yazıyor şifre kısmına o kullanıcıya verdiğimiz 4 haneli pini ve Google Authenticator uygulamasındaki 6 haneli kodu yazdıktan sonra bağlanıyor ve ücretsiz.


  • @cumhuraltan
    Hali hazırda zaten dediğiniz gibi bir yapı var.
    iç tarafta üzerinde proxy çalışan bir pfsense, dış tarafta da 3 hattı load balance yapan başka bir pfsense.
    Hiç bir problemimiz yok aslında, sadece NAT yaparken 2 makineye de kural yazmak uğraştırıyor.