PfSense 2 Rc1 Load-Balance ve Squid aynı makine üzerinde nasıl ayarlanır?



  • Uzun süredir beklediğimiz aynı makine üzerinden Sqid kullanabilme ümidini nihayet
    görebilmiş olmaktan ve bunu müjdelemekten mutluluk duyuyorum. :)
    Sistemin mantığını ve fikrini ortaya atan ve ana foruma yazan "Rubic" nickli bir Rus.
    (Saolsun Tuzsuzdeli Ruslar bu konularda birşeyler tartışıyorlar ama fırsat bulup da
    derleyip yazamıyorum dediğinde yine bir ışık göstermişti ;) )  
    Ondan okuduğum ve test ettiğim kadarıyla Proxy ile Load-Balance gayet güzel çalışıyor artık çok şükür.

    Nasıl oluyor da oluyor diyen arkadaşlar için ilk ip ucu şöyle;
    Uzun süredir bu işle uğraşan bizlerin tahmin ettiği üzere sistemin mantığını Squid'i ethernetin loop-back adresi olan 127.0.0.1 adresine oturtmak suretiyle çözmüşler.
    Dikkatli arkadaşlarımız farketmiştir PfSense 2 üzerindeki Squid üzerinde General Settings kısmında seçilebilen bacaklar da bu 127.0.0.1 adresi çıkıyordu.
    Burdan pirelenmiştik muhtemelen bu yolla yapılabileceğini. Neyseki daha doğru dürüst dökümanlar bile yayınlanmadan çalışkan Rus it cileri bu bacağı seçerek değil ama
    Lan bacağını seçip sadece aşağıdaki Custom bölümüne "tcp_outgoing_address 127.0.0.1" ini ekleyerek çalıştırmışlar bile.

    ikinci ip ucu ise;
    PfSense üzerinde firewall/rules bölümündeki Floating sekmesi tam da bu gibi çoklu ethernet işleri için düşünülmüş.
    Bu bölümün de yardımı ile 80 portuna gelen istekleri bacaklara Load-Balance ya da kendi yapınıza göre Fail-Over ettiriyoruz.
    Detaylı resimlerini aşağıda sıralayacağım.
    (Şimdiden kusura bakmayın ama rusçayı google translate sayesinde çevire çevire
    yazdıklarını kendim de düzelterek faydalı olabilmesini sağlamaya çalışacağım.)

    Sistem yapılandırma ip leri şöyle;
    WAN1: 192.168.0.240/24 GW: 192.168.0.1
    WAN2: 10.0.0.3 / 8 GW: 10.0.0.1
    LAN: 192.168.10.1/24

    • Multi-Wan Yapılandırma.

    Daha önce Tuzsuzdeli arkadaşın da şu link de anlattığı gibi http://forum.pfsense.org/index.php/topic,29822.0.html
    PfSense2 deki Load-Balance ve Fail-Over yapılandırmasının nasıl olması gerektiği aşşağıdaki resimde de açıkça görülmektedir.
    Detaylı anlatmaya gerek bile kalmamış resimler gayet açık, Tuzsuzdeli arkadaşın anlattıklarına rağmen
    yine de sıkıntı çekerseniz sorun anlatırız çekinmeyin lütfen..

    Rubic in sanal makinede hazırladığı sistemin resimleri şöyle;

    • Suid Yapılandırması

    Özel Seçenekler'e şu satırı ekleyin; "tcp_outgoing_address 127.0.0.1"
    (Başka satırlarınız varsa da bunu en başa yazın)
    Squid yapılandırması "Custom" bölümüne eklediğimiz bu satır ile sistemin LoopBack adresine yönlendirme yapıyoruz,
    bu sayede squid sadece oraya yönlendiği için (Eskiden balans edilen PfSense arkasındaki 2. kurulan Squid PfSense yapısındaki gibi)
    sistem içinde ortada bir yerde kalıyor hangi bacaktan çıkacağı ile ilgilenmediği için de tek başına
    balans sisteminin arkasında sağlıklı bir şekilde çalışabiliyor.
    Resimde de anlaşılacağı üzere seçilmesi gereken önemli kısımların resimleri yeterli, diğer kısımlar size kalmış.

    • Giden NAT'ı Yapılandırmak?

    Normalde burada çoğu kişi için otomatik kalmasında bir sakınca yok ama sistemine göre durumlar değişebileceğinden yapılması gerekeni gayet güzel anlatmış Rubic.
    Örneğin kendi test ettiğim bir yerdeki sistemimde bu ayar otomatikte ama yakında aktaracağım başka bir yerdeki sistemime benim de yapmam gerekecek.

    Geldik zurnanın zırt! dediği yere :)

    • Firewall'ı Yapılandırmak;

    "Floating" Sekmesine şu kuralı ekleyin:

    Ayrıntıları;

    Yine gayet açık, bütün önemli noktalar kırmızı numaralar ile işaretlenmiş.
    Burda kendi yapınıza göre seçim yapabilirsiniz resimde fail-over seçilmiş ama
    isterseniz kırmızı 8'i gateway olarak balansınızı seçebilirsiniz. (ben wireless network'ümde öyle seçtim)

    • Neden?


    Rubic PfSense çıkışında paket trafiğini bu basitleştirilmiş diyagram ile açıklamaya çalışmış.
    (pfSense OpenBSD Packet Filter kullanılır)
    Squid normalde varsayılan WAN ağ geçidi üzerinden gönderir yani kaynak IP = varsayılan WAN IP üzerinden paketleri gönderir.
    Squid deki Özel Seçeneklere yazdığımız "tcp_outgoing_address 127.0.0.1" kayıtlı olduğu outgoing adresi artık onun baktığı dış bacağıdır.
    WAN1 arayüzü kopsa bile Firewall/Floating bölümünde eklediğimiz kural ile PfSense Wan2 üzerinden yollamaya devam edecektir.
    Squid paketlerini 127.0.0.1 ip si üzerinden yollamaya devam ederken blok paketler NAT ile kaynak IP yi WAN1 ip sine dönüştürür.
    o yoksa WAN2 ye dönüştürerek çıkışa gitmesini sağlanır, firewall/floatindeki çalışan filtremiz sayesinde her seferinde bir ağ geçiti atanır
    bu döngü böylece devam eder.

    Kaynak; http://forum.pfsense.org/index.php/topic,34810.0.html
    Anladığım kadarı ile metni dönüştürmeye çalıştım. Umarım faydalı olur..
    Saygılarımla.



  • Eline sağlık Cemx
    Ruslar'ın forumunda bu ekran görüntülerine baktığımda bir tek en sonda neden loadbalance değil de failover olan gateway'i seçtiklerini anlayamamıştım.
    Denemeden de bişey söyleyemeyeceğim şimdilik.
    Umarım kısa sürede bunu devreye alıp, püf noktalarını buraya akataran arkadaşlar olur.



  • İyi kasmışlar :)



  • ellerine saglik kardesim. teşekkürler



  • emeklerine sağlık gerçekten güzel ve faydalı bir anlatım olmuş.

    Tebrik ederim hocam.



  • Ben de yukarıdaki yönergeleri takip ederek sistemi devreye aldım.
    Gayet güzel çalışıyor.
    Ancak traffic shaper ile beraber kullanınca, web trafiği biraz yavaşladı. Belki ben TS konfigürasyonunda bir hata yapıyor olabilirim.
    Ayrıca şu an available packages'a baktığımda, paketleri bazen göstermiyor. Gösterdiği zamanlarda da sağlıklı bir şekilde install etmiyor. Bununla ilgili fikri olan var mı?

    Bir de floating rules'a eklediğimiz kuralda source olarak Wan1address yazmanın mantığını tam anlayamıyorum. Squidin default olarak Wan'dan çıkması sebebi ile mi bunu yapıyoruz ? Sadece bu mudur sebebi ?

    Bu bahsi geçen satırda queue kısmında da ilgili queue'yi seçip traffic shape edebilir miyiz ? (şu an kısa süre içersinde deneme imkanım yok o yüzden buraya soruyorum)



  • Bu arada
    pfsense'in günlük çıkan updatelerini kurarken dikkatli olun.
    Dün bütün gün bir sorunla uğraştık.
    En sonunda anladık ki, bir önceki gün çıkan update'i kurmamız yüzünden squid+loadbalance birarada çalışmamaya başlamış. 10 gün önceki snapshot'a geri dönerek sorunu çözdük.
    Bir daha da düzgün çalışan sistemi update edersem ne olayım :)



  • Günlük Updateleri ben tamamen kapattım :)

    Sadece offical Updatelerde güncelleme yapıyorum…

    Aynı zamanda yukardaki gibi değilde halen resmi olarak desteklenmedikce 2 makina üzerinde çalıştırılmasından yanayım...



  • Merhabalar… :) Herşey çok güzel gitti. Herşeyi ve sizin anlattığınız tüm ayarları yaptım. Şuanda load balance aktif görünüyor. Ama Squid'i kurmadan önceki hızıma, bu ayarları da yapmama rağmen ulaşamıyorum. Herşey doğru mu? şuanda... Yani olması gereken sistem bu mu?

    Squid kurulunca loadbalance sanki iptal olmuş gibi geldi bana?
    Rica etsem yardım edebilir misiniz? Sormak istediğim soruyu belkide tam soramadım, ilginiz için teşekkürler...


    Bunun üzerine yine gece duramadım ve :D denemeye devam ettim. Şuanda gördüğüm kadarı ile torrent harici hiç bir sisteme yansımıyor bu hız. Yine de tatmin edici değil. Squid'i kurmadan önce download hızınde 2500 kb'ı görmüştüm. Ama şuanda aşağıda ki resimde de göreceğiniz üzere 1200 kb'ı geçmiyor. Bunun nedeni nedir anlayamadım. Bu konu ile ilgili bana söyleyeceğiniz ayarlar, püf noktaları varmı?

    Bir de load balanca aktif olmasına rağmen diğer ip adresini aldığını hiç görmedim. Bu network'e daha çok yük bindikçe mi olur acaba?

    –---------------------------------------------

    Belki bir çok kişi diyecek ne yapıyor bu adam diye. Ama sorun felan yokmuş ortada. Ne kadar çok istek gönderirsem o kadar çok cevap veriyor pfsense. Şuanda aşağıdaki resimlerde tüm hat hızlarımı yakaladım. Herşey problemsiz ve süpper. Bana burada yardımcı olan herkese tek tek teşekkürü bir borç bilirim :)


    Sistemim şuanda devrede. Yarın bakalım gündüz ağ yükü çoğalınca neler yapabilecek… Nerede sıkıntı verecek veya vermeyecek...



  • dış bacakları brich olarak ayarlamamak mı gerekiyor. bende çalışmadı
    cevap bekliyorum. teşekkür ederim



  • bridge olmadan da çalışıyor.



  • Günaydın arkadaşlar,

    pfsense 1.2.3 load balance yaptım hatlarımda çok güzel çalıştı fakat web filtreleme çalışmadığı için pfsense 2.0 realese versiyonu kurudm burada tarif ettiğiniz gibi load balance yapmaya çalıştım getway leri oluşturdum 2 hattı bağladım 2 hattımda online ama  diger hat hiç bir veri alıp göndermiyor bomboş bekliyor hız testlerindede tek hat hızı görüyorum yukarıdaki resmlere bakaraktan ben sadece load balance bölümünü oluşturamadım oranın içerisindeki ayarları nasıl yapmam lazım elimde 2 adet adsl hat var multi gatway yaptım bana load balance bölümünü yapılandırılmasını tarif edecek arkadaş var mı yardımcı olursa çok memnun olurum.

    Teşekkürler.
    iyi forumlar.
    Burak.



  • Merhabalar,
    bir durumla karşılaştım  zamanında karşılaşan oldu mu ?

    2.0 RC1  sürüne 5 tane interface  bağladım ve load balance ayarlarımı yaptım  squid kurdum  aktif ettim  transparent proxy  seçtim  HTTP  trafiği sadece burada anlatılan ince ayarı daha yapmadım  default  WAN interface den çıkıyor doğrudur  default interface i  pfsensen den sökünce hayliyle  LAN dan internet trafiği kesiliyor ama şunu fark ettim sadece HTTP  trafiği kesiliyor  LAN dan WAN  ping, tracert, RDP  türevi  istekler  yaptığımda load balance daki 2. hattımdan istekleri karşıladığımı gördüm  bunu fark eden oldu mu ?

    bu durumun mantığını çözemedim  ???



  • @tuzsuzdeli:

    Ben de yukarıdaki yönergeleri takip ederek sistemi devreye aldım.
    Gayet güzel çalışıyor.
    Ancak traffic shaper ile beraber kullanınca, web trafiği biraz yavaşladı. Belki ben TS konfigürasyonunda bir hata yapıyor olabilirim.
    Ayrıca şu an available packages'a baktığımda, paketleri bazen göstermiyor. Gösterdiği zamanlarda da sağlıklı bir şekilde install etmiyor. Bununla ilgili fikri olan var mı?

    Bir de floating rules'a eklediğimiz kuralda source olarak Wan1address yazmanın mantığını tam anlayamıyorum. Squidin default olarak Wan'dan çıkması sebebi ile mi bunu yapıyoruz ? Sadece bu mudur sebebi ?

    Bu bahsi geçen satırda queue kısmında da ilgili queue'yi seçip traffic shape edebilir miyiz ? (şu an kısa süre içersinde deneme imkanım yok o yüzden buraya soruyorum)

    Merhabalar,
    sanırım bende sizin bahsettiğiniz sorunları yaşıyorum  şuan  squid ve load balancer için gerekli ayarları  yaptım gayet güzel bir şekilde  squid ve  loadbalancer çalışıyor. squid üzerinde  sadece traffic mgmt da  overall bandwidth throttling ve per host throttling  kısıtlamak için değer atadım fakat pek bir farkını göremedim  etki etmedi açıkcası. sonra traffic shaper yapayım dedim oda dışarı çıkışları aşırı derece yavaşlattı, sadece  layer7 de p2p yi bloklamak için  rule yazdım fakat oda çalışmadı  p2p trafiğini geçiriyor oysaki bu işlemi  squid i kurmadan önce yapmıştım çalışıyordu güzel bir şekilde bu sorunları aşmam için ne yapmam gerekli ?



  • mrb,

    Lightsquid squid squidGuard paketlerinin kurulu olduğu 2.0.1-RELEASE (i386) pfsense sistemimiz var.

    üzerine 2 ethernet var  WAN      (DHCP) 192.168.0.97  lan  10.0.0.2

    load balance yapmak için 3. ethernet kartını taktığım zaman kullanıcılar ip alamıyor. kablo takmasam bile aynı şekilde.  neyden kaynaklanıor olabilir acaba?



  • Merhabalar,
    Ethernet karti ayarlarinizi ve de kablolarinizi kontrol etmenizi tavsiye ederim.

    SGTR



  • 3. ve 4. etherneti takinca wan ve lan backları yerin değişmişti tekrar tanımlaynca duzeldi.

    fakat loadbalance olayını yapamadım anlatılan herşeyi uyguladım acaba nerde yanlış yaptım








  • Selam,

    Firewall > rules > LAN sekmesindeki kuralları bir gözden geçirin. Ya da resmini paylaşın ona göre bir yerde eksiklik olup olmadıgına bakalım. Birde squid custom options kısmına "tcp_outgoing_address 127.0.0.1" yazdınız mı?

    Sevgilerle,
    SGTR



  • diyer ayarlarda şu şekilde







  • birde system loglarında şöyle bi hata vermee başladı
    10.0.0.1 opt2 wan.



  • Selamlar,

    Büyük bir ihtimalle ethernet kartı sorunlu gibi görünüyor. Eğer mümkünse o ethernet kartını değiştirip tekrar deneyebilir misiniz.

    Sevgilerle,
    SGTR



  • teşekkurler modem de sorun varmış değiştirdim düzeldi. ip  sorgulattığımda her f5 yaptığımda farklı ip aldığını gordum 3 wan da aktif. fakat şöyle bir sorun var. wan 1 mbit op1 6 mbit op2 2 mbit  bi siteye girince veya download yaparken hangi dış bacaktan bağlandıysa o hızda indiriyor hız testi yaptıgımda mesela wan ile bağlıysa 1mbit gösteriyor bu sistemle 9 mbit olması gerekmiyormu*



  • @tosman61:

    teşekkurler modem de sorun varmış değiştirdim düzeldi. ip  sorgulattığımda her f5 yaptığımda farklı ip aldığını gordum 3 wan da aktif. fakat şöyle bir sorun var. wan 1 mbit op1 6 mbit p2 2 mbit  bi siteye girince veya download yaparken hangi dış bacaktan bağlandıysa o hızda indiriyor bu sistemde 9 mbit olması gerekmiyormu*

    http://forum.pfsense.org/index.php/topic,32025.msg167697.html#msg167697



  • bazı arkadaşların hız testinde bağlantıların toplam hızını gördğünü soylyorlar. hız testi yaptığımda bağlı olduğu hattın hızını gösteriyor. bazı sayfaları hızlı açıyor bazı sayfaları aşırı yavaş.  ayrıca her f5 yağtığımda ip değişmese sadece wan1 deki ip yi kullanmasını sağlayabilirmiyim? kontrol panellerine girildiğinde farklı ip gördüğünde atıyor sistem



  • merhaba,
    sadece belirlediğiniz gw üzerinden internet çıkışı için gw failover bakabilirsiniz. Kurumsal otomasyonlar ve özellikle internet bankacılığı siteleri için. / 443
    http://forum.pfsense.org/index.php/topic,36607.0.html

    site açılışlarındaki fark için
    http://forum.pfsense.org/index.php/topic,32025.0.html

    bağlantılarınızdan verim alamamanızın noktasında, outbound nat yapılandırmanızı kontrol etmenizi tavsiye edebilirim.
    opt1 ve opt2 için local ağa bakan kurallarınız eksik ve localhost'a bakan kurallarınızda sanki fazla :)
    post'un en başını incelemenizi tavsiye ederim.
    keyifli çalışmalar



  • @tosman61
    Load balance için  gateways rule için  örnek olabilir sanırım, 2. fotoda yaptığım ayar load balance için birazdaha hızlı tepki veriyor gibi bunu her WAN interface ime uyguladım. yeni kurduğum  pfsense imde şuan bunlar geçerli daha yük altında test şansım olmadı  ::)

    Not: 1. role um  benim hat yapıma göre yaptım 2 ana 20 mb lik hattım mevcut diyer 2 si 8 mb lik adsl diyeride 3G turkcel her ihtimale karşı oda backup ın backup ı

    ![gateways rules.jpg](/public/imported_attachments/1/gateways rules.jpg)
    ![gateways rules.jpg_thumb](/public/imported_attachments/1/gateways rules.jpg_thumb)
    ![gateway add.jpg](/public/imported_attachments/1/gateway add.jpg)
    ![gateway add.jpg_thumb](/public/imported_attachments/1/gateway add.jpg_thumb)



  • Neden bu kadar çok gateway oluşturdunuz ?

    Bir de şu anda yaptığınız multiwan gateway'ine göre, her iki 20mb hattınız aynı anda bağlanyıdan düşene kadar adsl'leri hiç bir zaman kullanamıyor olacaksınız. Boş boş yatacak öyle :)
    Aslında genel bağlantı için, "wanfailsto3g" diye yapmış olduğunuz gateway'i kullanıyor olmanız lazım.



  • @tuzsuzdeli:

    Neden bu kadar çok gateway oluşturdunuz ?

    Bir de şu anda yaptığınız multiwan gateway'ine göre, her iki 20mb hattınız aynı anda bağlanyıdan düşene kadar adsl'leri hiç bir zaman kullanamıyor olacaksınız. Boş boş yatacak öyle :)
    Aslında genel bağlantı için, "wanfailsto3g" diye yapmış olduğunuz gateway'i kullanıyor olmanız lazım.

    Merhabalar,

    ilk dediğiniz gibi yapmıştım  ama  hatları fail edip test ettiğimde sonuç alamamıştım bende bu rule ları oluşturdum sıkıntısız çalışıyor mantık dışı geldi bana yaparken de  ama LB çalışıyor

    adsl hatlarım zaten backup için duruyorlar  ofisimizin bulunduğu yer istanbulun göbeği olmasına rağmen  ne doğru düzgün telefon hatları çalışıyor nede elektirik :/



  • Bir kaç saattir load balancing işlemi için uğraşıyorum fakat tam bir sonuç almış değilim. Hem bu konudaki hemde tuzsuzdeli nin yazmış olduğu makaleyi okudum. wan1 ve wan2 tanımlıyorum. gatewaygroups tan loadbalancing için grup oluşturuyorum. Daha sonra firewall ruls kısmana gelip lan sekmesine gelip gateway olarak oluşturduğum grubu seçiyorum. Fakat sonuç alamıyorım.yapımda squid ve squidgard paketleri kurulu. squid ve squidguard ı stop edip denedğimde loadbalancing çalışıyor. Bu konuda anlatılanları denedim ve squid üzerinde verilen eklemeyi yaptım. Firewall rules bölümünden floating kısmından wan1 için yazılan kuralı yaptım. Fakat yine olmuyor.

    Forumdaki arkadaşlardan ricam. squid-squidguard paketleri kurulu şekilde load balancing işlemini başarılı şekilde çalıştıran arkadaşlar var ise bütün gerekli ayarların resimlerini çekerek koyarlarsa gerçekten güzel olacak. Paylaşan olmazsa :( mecburen iki pfsense kurup öndekini load balancing için diğerini proxy ve filtreleme için kullanacağım.



  • merhaba,
    nat outbound yapılandırmanızı ve floting rules tanımlanızı kontrol ederseniz muhtemel sorun buradadır.
    yada bu kısımların ekran görüntülerini paylaşırsanız yardımcı olunabilir.
    Keyifli çalışmalar



  • deneyecegim



  • ikinci bir pfsense kurdum şu an ikisi gayet güzel çalışıyor :)



  • bankalara girerken sorun çıkarıyor. Bununla ilgili konular vardı. Araştırayım. ???



  • hocam ben adım adım herşeyi yaptım ve bana bu hatayı veriyor…

    HATA
    İstenilen URL'e ulaşılamadı
    http://www.ip-numaram.com/
    adresine ulaşırken aşağıdaki hata oluştu:
        Bağlantı kurulamadı. 
    Sistemden gelen mesaj:
    (49) Can't assign requested address
    Hedef WWW sunucu ile bağlantı kurulamadı. Lütfen tekrar deneyin.
    Generated Thu, 17 May 2012 13:56:30 GMT by localhost (squid/2.7.STABLE9) 
    

    ama Proxy server: General settings sayfasından Transparent proxy tikikaldırdığımda düzeliyor.. bunun sebebi nedir?



  • resimdeki ayarları aynen uyguluyorum ama wan2den hiç trafik geçmiyor.wan1i kapattığımda ise net kesiliyor.diğer bağlantı aktif hale gelmiyor.2.0 rc3 kullanıyorum.sistemde squid+squidguard+lightsquid+cp çalışıyor.

    wan1 ppoe
    wan2 dhcp 192.168.2.2 gateway 192.168.2.1
    lan 192.168.3.1

    yardımcı olursanız sevinirim.



  • makalede anlatıldığı gibi herşeyi yaptım 4 hattımı birleştirerek internete çıkış sağlıyorum ve filtrelemelerdede sorun yok. ancak http://luca.com.tr adresine girdiğim zaman şifremi yazdıgımda fazla ip ile bağlandığım için loggof oluyor. ip bazlı yada genel olarak bu adrese örneğin wan3 den çıkış nasıl sağlayabilirim. dahada açıklamak gerekirse firewall -> rules -> Lan kısmından gerekli kuralı oluşturdum üst sırayada taşıdım ancak sorun devam ediyor. diğer bir seçenek ise floating kısmından da gerekli kuralı yazıp en üste alıyorum ancak birleştirme hala aktif oluyor ama yine lucaya giriş yaptıgımda user pass giriyorum ve logoff oluyor. nasıl bir yol izlemeliyim. acil cevaplarsanız sevinirim.



  • EKRAN GÖRÜNTÜLERİM










  • floating rules'daki en üstteki kuralı, LAN kurallarının en üstüne alın.
    Ayrıca source adres kısmını kontrol edin 10.0.0.10/1 yanlış olabilir. Bunu Lan yapıp port numarsı 80'i de any yaparak denemenizi öneririm.



  • Sonuç aynı her hangi bir değişiklik yok



  • Selam,

    Birde floating rule satırına eklediğiniz kuralın detay görüntüsünü de ekleyebilir misiniz? Kuralı eklerken traffic direction olarak ne verdiniz? Any/Out/In kısmında.

    Sevgilerle,
    SGTR


Log in to reply