Optimalisasi Setting pfSense 1.2.x Traffic Shaping dgn Squid Transparent Proxy

CobakCobak

om kambeeng, saya dah ganti di squid inc semua 127….. menjadi 192 dan portnya gag di ganti, dan itu lancar2 ja setelah di restart, truss saya pernah baca tulisan nya om grage lpa topicnya yg mana ;D ttng mengganti port squid 3128 menjadi 80 spaya trapik seping nya "kena", tpi stlah diganti jdi gag bsa konek ( msuk ke squid error ), truss ini ada pengaruhnya gag ke error itu
php: : SQUID is installed but not started. Not installing redirect rules. ( log dari system logs )

maaf klo kurang jelas.

thanks ;)

dedieko

Hanya ingin memberitahu jika saya sudah mengapplied "MOD" seperti ini sejak jaman pfsense 1.2REL dengan SQUID 2.6, dan dari dulu sehat sehat saja :)

Bagi yang masih belum paham mana yang diganti, berikut line2-nya yang harus diMOD

}
if (($settings['transparent_proxy'] == 'on')) {
$conf .= "http_port 127.0.0.1:80 transparent\n";
}

acl localhost src 127.0.0.1/255.255.255.255

}
foreach ($ifaces as $iface) {
$rules .= "rdr on $iface proto tcp from any to !($iface) port 80 -> 127.0.0.1 port 80\n";
}

Ganti semua 127.0.0.1 dengan IP LAN pfsense Anda. Tapi mohon diingat kalo mod ini membuat SQUIDnya listen di IP LAN tadi, jadi kalau ganti IP LAN, jangan lupa, line2 di atas disesuaikan ya….
Jangan lupa merestart SQUIDnya

initial_d

tolonglah nubi ini >.<
sya pake pfsense 1.2.3 + squid…

proxynya bekerja waktu mem-blacklist domain, tapi kok waktu gak ngaruh waktu di setting max. download size sma bw throttlenya.

max download size = 5120 tapi kok download file di atas 5 mb masih bisa?

overall bandwidth throttling = 16 kb/s tapi speed downloadnya masih bisa nyampe 20 - 25 kb/s

gmn tuh....? apakah ada yang kurang dengan settingan proxynya....?
mohon pencerahannya?

jurais

mu ikut nanya nih,.. ::)
aku pake pfsense 1.2.3 >> proxy squid + traffic shaping, tapi ko respon squidnya rada lemot ya, apa squidnya juga kena traffic shaping? trus gmana caranya supaya akses squid tidak kena limit, jadi klo client ngambil cache dari squid bisa maksimal,. mohon bantuanya,… thank's

xaviero

main queue buat download besarin ajah, jadi in ajah 100mb , tapi upload kudu sesuai dengan WAN ente…

xaviero

@initial
itu karena bursting… dan hal ini dah umum...

5mb= 5 x 1024KB loh...
coba ajah tes dengan 10mb...

anto_DIGIT

@xaviero:

@initial
itu karena bursting… dan hal ini dah umum...

5mb= 5 x 1024KB loh...
coba ajah tes dengan 10mb...

Kalau digedein jadi 10 .. 100mb, apa tdk merusak algoritma manajemen BW-nya di sisi download?

Harusnya ada queue baru di LAN yg khusus utk squid hit .. tapi masalahnya belum bisa memisahkan paket yg ditandai oleh squid ..

xaviero

ane bingung, ente ng-quote, tapi ng-jawabnya ga nyambung…..

kalo maksud ente, main queue, yah tidak ngerusak lah, kan ada delay pool untuk kunci dari web, tapi kalo download dari proxy yah selimit nya traffic shaper.

anto_DIGIT

@xaviero:

ane bingung, ente ng-quote, tapi ng-jawabnya ga nyambung…..

kalo maksud ente, main queue, yah tidak ngerusak lah, kan ada delay pool untuk kunci dari web, tapi kalo download dari proxy yah selimit nya traffic shaper.

Traffic yg di atur kan ga cuma http, tapi ada P2P, VoIP, POP, IMAP, DNS, game, dll .. Kalau main queue diperbesar 10 - 100 x, pengaturan yg berdasar % akan membuat alokasi BW tdk sesuai dgn kenyataan yg ada …
delay pools pada squid juga msaih gampang ditembus dengan program downloader spt IDM DAP, downloadthemall dsb ... bagaimana juga jika client menggunakan torrent yg tidak dapat diatur melalui DP squid.
Alokasi BW dari main queue dimungkinkan dipakai oleh queue turunannya selama main queue masih tersedia BW kosong ...
kan jadi rebutan BW ...
Begitulah cerita sebab-akibat dari pernyataan di atas .. Kalau masih dianggap tdk berhubungan ya tidak ada masalah ..

xaviero

btw, kalo ente nyebut DAP, IDM dan temen2 nembus delay pool, koq di PFsense ane, sedoter kek gituh koq ga jalan di tempat ane ?? ? :)

apa ente juga udah ngetes kek ane bilang , naikin bandwidth main queue download di traffic shaper, ato cumin berteori ???
ane udah implemen cara ini di 5 warnet, rata2 20 pc dengan 1 line speedy 1Mbps, dan puji Tuhan bisa berjalan sesuai harapan….

ane menggunakan cara kek gini,
-traffic shaper sebagai alokasi jatah real bandwidth WAN kepada masing2 group LAN
-traffic shaper men-losskan bandwidth yang ada di proxy ke LAN
-manajemen prioritas bandwidth

proxy
-cache
-kunci/cekek download
-tapi tidak mengunci browsing (selama ada di cache, ente bisa cek ini di thread om grage)

anto_DIGIT

Memang bisa tidak tembus dng cara mendefinisikan extension secara lengkap,
tetapi mungkin ini kelemahannya :
1 user yg download beberapa file sekaligus dng extension berbeda, speednya tdk berkurang, tetapi dng 2 download yg speednya sama sehingga menghasiskan BW 2x dari yg telah diatur dlm delay pools.
Bagaimana jika 2 atau lebih client download file dng extension yg sama?

BW yg hanya mengandalkan delay pools kurang cocok untuk hotspot, terutama yg usernya pecinta torrent.
HFSC di pfsense 2.0 beta, sudah dicoba sangat ampuh untuk membatasi download melalui P2P seperti utorent, emule, dsb ..
Pengaturan prioritas BW utuk game dan VoIP OK juga.

Tapi terus terang trimakasih juga :) , karena selama ini pakai delay pools ternyata extension file-nya masih banyak yg harus ditambah.

xaviero

]]Tapi terus terang trimakasih juga Smiley , karena selama ini pakai delay pools ternyata extension file-nya masih banyak yg harus ditambah.

hhhmm, berdasarkan keterangan diatas, berarti ente memanfaatkan ekstensi sebagai kondisi delay pool, nah lebih bagus kalo ente tambahin satu rule lagi, di traffis shaping, bagian untuk p2p, kasi ajah jatah download/upload sekian Kbps

1 user yg download beberapa file sekaligus dng extension berbeda, speednya tdk berkurang, tetapi dng 2 download yg speednya sama sehingga menghasiskan BW 2x dari yg telah diatur dlm delay pools.
Bagaimana jika 2 atau lebih client download file dng extension yg sama?

so far, yang telah ane implementasikan untuk kelas sedoter, jika menggunakan port 80 maka dikunci di delay pool, begitu juga dengan p2p.
nah ke dua rule tersebut ane kunci di queue traffic shaper di 256kbps, dengan burst 10mbps selama 5 detik… (untuk tujuan ngambil di proxy)
delay pool ane kunci di angka 10KBps untuk per host throttle

intinya, ane make delay pool dan shaper untuk optimalisasi b/w cache proxy dan b/w WAN, biar adil sesuai penggunaan. btw berikut prio ane

1. Game online
2. Browsing
3. Chatter/email
4. Sedoter

anto_DIGIT

@xaviero:

]]Tapi terus terang trimakasih juga Smiley , karena selama ini pakai delay pools ternyata extension file-nya masih banyak yg harus ditambah.

hhhmm, berdasarkan keterangan diatas, berarti ente memanfaatkan ekstensi sebagai kondisi delay pool, nah lebih bagus kalo ente tambahin satu rule lagi, di traffis shaping, bagian untuk p2p, kasi ajah jatah download/upload sekian Kbps

1 user yg download beberapa file sekaligus dng extension berbeda, speednya tdk berkurang, tetapi dng 2 download yg speednya sama sehingga menghasiskan BW 2x dari yg telah diatur dlm delay pools.
Bagaimana jika 2 atau lebih client download file dng extension yg sama?

so far, yang telah ane implementasikan untuk kelas sedoter, jika menggunakan port 80 maka dikunci di delay pool, begitu juga dengan p2p.
nah ke dua rule tersebut ane kunci di queue traffic shaper di 256kbps, dengan burst 10mbps selama 5 detik… (untuk tujuan ngambil di proxy)
delay pool ane kunci di angka 10KBps untuk per host throttle

intinya, ane make delay pool dan shaper untuk optimalisasi b/w cache proxy dan b/w WAN, biar adil sesuai penggunaan. btw berikut prio ane

1. Game online
2. Browsing
3. Chatter/email
4. Sedoter

Bung, utk pengaturan BW melalui delay pools, sudah diaplikasikan dan memang terlimit dng baik tapi masalahnya kalau di lilihat melalui RRD graph di bagian traffic WAN dan LAN, sepertinya justru traffic WAN lebih tinggi.
Apa ini mungkin pengaruh dari :

Sebenarnya squid tetap mendownload dng kecepatan penuh file yg diminta oleh client, tetapi squid membatasi kecepatan ke client dengan menunda pengiriman segment2 file tsb ke client. Apa betul seperti ini ?

xaviero

traffic WAN ente, upload pa download yang lebih tinggi ???
kalo upload, emang begitu adanya… (normal)
kalo download, cek dulu, apa ada jalanin service auto-update pfsense nya.... (entah system, entah module)

anto_DIGIT

@xaviero:

traffic WAN ente, upload pa download yang lebih tinggi ???
kalo upload, emang begitu adanya… (normal)
kalo download, cek dulu, apa ada jalanin service auto-update pfsense nya.... (entah system, entah module)

ini kutipan dari bung Faisal di forum KIOSS http://opensource.telkomspeedy.com/forum/viewtopic.php?pid=51922:

squid delaypoll membatasi bandwidth di application layer, prinsipnya proxy server squid mendownload file dengan kecepatan penuh, kemudian mengirimkannya ke client dengan termin-termin waktu yang di delay
berbeda dengan queing discipline yang dilakukan oleh kernel, (htb, cbq, pfifo, bfifo, sfq, esfq, red dan lainnya).
klasifikasi, antrian dan keluar masuknya paket, di handle oleh network interface card (hardware) yang tentunya diatur oleh kernel, mengtatur jumlah bits in/out, mengatur ingress/engress secara langsung, sehingga lebih presisi.
untuk performansi pengaturan bandwith yang lebih baik, disarankan untuk menerapkan metode limiter dengan pengaturan qdisc

sistem PFS 2.0 beta (11 Juni 2010)
Paket Game 1Mbps

paket yg terinstall :

squid / lusca head
Lightsquid
phpSysInfo
Sepertinya tdk ada update apa2.

Work Period: Jun 2010
Date Group Users Oversize Bytes Average Hit %
15 Jun 2010 grp 10 7 294.5 M 29.5 M 58.27%
14 Jun 2010 grp 21 14 1.6 G 75.9 M 47.23%
13 Jun 2010 grp 30 21 1.9 G 64.0 M 32.64%
12 Jun 2010 grp 20 15 2.9 G 146.6 M 27.02%
11 Jun 2010 grp 18 15 2.6 G 150.7 M 23.01%
10 Jun 2010 grp 18 12 2.4 G 137.4 M 32.00%
09 Jun 2010 grp 21 14 2.0 G 97.8 M 25.57%
08 Jun 2010 grp 20 11 943.5 M 47.2 M 17.82%
07 Jun 2010 grp 22 16 1.8 G 83.4 M 19.80%
06 Jun 2010 grp 23 19 2.5 G 109.4 M 19.72%
05 Jun 2010 grp 23 15 3.6 G 161.0 M 5.49%
04 Jun 2010 grp 15 6 219.2 M 14.6 M 6.26%
Total/Average: 20 13 22.7 G 93.1 M 26.24%

ini
quick_abort_min 0 KB
quick_abort_max 0 KB
request_body_max_size 72000 KB
reply_body_max_size 737280000 allow all
delay_pools 1
delay_class 1 2
delay_parameters 1 61440/61440 25600/25600
delay_initial_bucket_level 100

Throttle extensions matched in the url

acl throttle_exts urlpath_regex -i "/var/squid/acl/throttle_exts.acl"
delay_access 1 allow throttle_exts
delay_access 1 deny all

BW control cativeportal UP : 90Kbit/s Down : 256Kbit/s

anto_DIGIT

setelah delay pool dimatikan, ternyata grafik LAN dan WAN jadi normal
Sebelumnya bahkan jumlah traffic WAN > LAN, padahal tdk ada update / auto update.
Kemungkinan besar :

Dengan delay pool Squid mendownload semua permintaan client dengan kecepatan penuh dan mengirimkan ke client dng dibatasi alirannya .. padahal banyak kemungkinan client membatalkan permintaan tadi sebelum semua data sampai ke client (padahal mungkin squid sudah selesai atau hampir selesai download).
Ini ternyata membuat aliran tidak efisien karena banyak yg sia-sia ..

Atau rekan-rekan punya pendapat lain ?

xaviero

reply_body_max_size 737280000 allow all

gede amir….

kalo limitnya 737GB yah semuanya kedonlod lah brow...

ganti ama 5x1024KB=5120 ajah aliad 5MB

coba bayangin, reply_body_max nya di setel 737GB yang berarti kalo ada file lebih besar dari 737GB baru dilimit ? ? ? ::) ::) ::)

Tag Name reply_body_max_size
Usage reply_body_max_size (KB)

Description
This option specifies the maximum size of a reply body. It can be used to prevent users from downloading very large files, such as MP3's and movies. The reply size is checked twice. First when we get the reply headers, we check the content-length value. If the content length value exists and is larger than this parameter, the request is denied and the user receives an error message that says "the request or reply is too large." If there is no content-length, and the reply size exceeds this limit, the client's connection is just closed and they will receive a partial reply.

begitu juga dengan request_body nya, kecilin di 1MB

anto_DIGIT

@xaviero:

reply_body_max_size 737280000 allow all

gede amir….

kalo limitnya 737GB yah semuanya kedonlod lah brow...

ganti ama 5x1024KB=5120 ajah aliad 5MB

coba bayangin, reply_body_max nya di setel 737GB yang berarti kalo ada file lebih besar dari 737GB baru dilimit ? ? ? ::) ::) ::)

Tag Name reply_body_max_size
Usage reply_body_max_size (KB)

Description
This option specifies the maximum size of a reply body. It can be used to prevent users from downloading very large files, such as MP3's and movies. The reply size is checked twice. First when we get the reply headers, we check the content-length value. If the content length value exists and is larger than this parameter, the request is denied and the user receives an error message that says "the request or reply is too large." If there is no content-length, and the reply size exceeds this limit, the client's connection is just closed and they will receive a partial reply.

begitu juga dengan request_body nya, kecilin di 1MB

wah itu generated otomatis dari GUI-nya … tapi skrg udah ga dipakai lagi ... udah bisa pakai squid ZPH .. ;D
Kalau mau salahin .. salahin developer paket squid-nya ...
tapi terus terang itu sudah terlimit, walaupun download hanya 1MB, 10MB, atau 200MB .. tdk usah nunggu 737GB ...

Sesuai dng kata master Faisal :
squid delaypoll membatasi bandwidth di application layer, prinsipnya proxy server squid mendownload file dengan kecepatan penuh, kemudian mengirimkannya ke client dengan termin-termin waktu yang di delay.

Setelah menggunakan ZPH, benar2 terasa performance dan efisiensi BW-nya ..

WAN
In/out packets 6622666/6576202 (5.56 GB/724.75 MB)
In/out packets (pass) 6574163/6885722 (5.56 GB/724.66 MB)
In/out packets (block) 48503/2039 (4.87 MB/93 KB)

LAN
In/out packets 7544126/7465165 (895.24 MB/9.16 GB)
In/out packets (pass) 7463028/10597412 (887.36 MB/9.16 GB)
In/out packets (block) 81098/2137 (7.88 MB/246 KB)

Ini baru bener ... paket keluar di LAN hampir 2x WAN ..

poscom

@kambeeng:

Buka kan port dari LAN di firewall Rule nya

waduh pak dah 8x lebih sy instal ulang pfsensenya gara2 yg diatas, tolong pak permintaan 1 kali saja, tolong jelaskan/perlihatkan (gambar/video) buat di firewall rules contohnya ip saya 192.168.101.x, tolong pak agar kami bisa mengerti

ini yah ?:

![firewall rules.JPG](/public/imported_attachments/1/firewall rules.JPG)
![firewall rules.JPG_thumb](/public/imported_attachments/1/firewall rules.JPG_thumb)

cheenix

@dedieko:

Hanya ingin memberitahu jika saya sudah mengapplied "MOD" seperti ini sejak jaman pfsense 1.2REL dengan SQUID 2.6, dan dari dulu sehat sehat saja :)

Bagi yang masih belum paham mana yang diganti, berikut line2-nya yang harus diMOD

}
if (($settings['transparent_proxy'] == 'on')) {
$conf .= "http_port 127.0.0.1:80 transparent\n";
}

acl localhost src 127.0.0.1/255.255.255.255

}
foreach ($ifaces as $iface) {
$rules .= "rdr on $iface proto tcp from any to !($iface) port 80 -> 127.0.0.1 port 80\n";
}

Ganti semua 127.0.0.1 dengan IP LAN pfsense Anda. Tapi mohon diingat kalo mod ini membuat SQUIDnya listen di IP LAN tadi, jadi kalau ganti IP LAN, jangan lupa, line2 di atas disesuaikan ya….
Jangan lupa merestart SQUIDnya

semua seperti perintah si atasdah saya jalankan… dan berhasil.. cuman saya gak bisa lagi akses ke cache manager... gimana mas pemecahannya.. mohon pencerahannya...