Squid

grage95 · Nov 11, 2009, 9:14 AM

untuk kondisi cache_dir ditempat anda, jika partisi cache tersendiri
tambahkan option cache1-cache3 di /etc/fstab dengan option noatime (ex:/dev/ad0s1g /cache ufs rw,noatime 2 2)
warning: kalau hardisk cuman satu, gunakan 1 cache_dir saja, kecuali anda menggunakan 3 hardisk fisik, kerja hardisk akan menjadi lemot jika 1 hardisk di gunakan lebih dari 1 cache_dir

utk tunning option ganti option ini :

di config squid
di web config :
cache_mem 256 MB menjadi cache_mem 32 MB

di squid.inc
hierarchy_stoplist cgi-bin ? .js .jsp menjadi hierarchy_stoplist cgi-bin ?

di tunning.conf
range_offset_limit -1 menjadi range_offset_limit 0
download_fastest_client_speed off menjadi download_fastest_client_speed on
n_aiops_threads -1 menjadi n_aiops_threads 16

Rasio hit byte dihitung sedikit berbeda daripada rasio hit request. Squid menghitung jumlah byte yang dibaca dari jaringan di sisi server, dan jumlah byte yang ditulis ke sisi klien. Rasio hit byte dihitung dari :

Byte Hit Ratios = (client_bytes - server_bytes) / client_bytes

Jika server_bytes lebih besar daripada client_bytes, Nilai byte hit berakhir dengan nilai negatif.

Nilai server_bytes mungkin lebih besar daripada client_bytes untuk bebrapa alasan:

1. Cache Digests dan request lainnya yang dihasilkan secara internal. Pesan Digest cache cukup besar dan dihitung dalam server_bytes, tapi karena mereka dikonsumsi secara internal di sisi server, mereka tidak menghitung dalam client_bytes.
2. User-membatalkan permintaan request. atur nilai quick_abort*
3. Beberapa permintaan dapat mengkonsumsi lebih banyak bandwidth pada sisi server daripada di sisi klien. Dalam berbagai permintaan, klien meminta hanya mengambil beberapa bagian dari objek. Squid dapat memutuskan untuk mengambil seluruh objek sehingga dapat digunakan di kemudian hari. Ini berarti men-download lebih dari server daripada pengiriman ke klien. Anda dapat mempengaruhi perilaku ini dengan opsi range_offset_limit menjadi 0

grage95 · Nov 11, 2009, 9:20 AM

@ipoelnet:

Ini OM tolong di koreksi, saya tidak mengerti hasilnya bagus atau nggak?
Gimana tanda2nya bisa dikatakan bagus tidaknya squid pada info tersebut,.,.?

$ squidclient -p 80 cache_object://localhost/ mgr:info
HTTP/1.0 200 OK
Server: squid/2.6.STABLE21
Date: Wed, 11 Nov 2009 03:13:53 GMT
Content-Type: text/plain
Expires: Wed, 11 Nov 2009 03:13:53 GMT
Last-Modified: Wed, 11 Nov 2009 03:13:53 GMT
X-Cache: MISS from hotspot.daruttaqwa
Proxy-Connection: close

Squid Object Cache: Version 2.6.STABLE21
Start Time: Tue, 10 Nov 2009 15:39:27 GMT
Current Time: Wed, 11 Nov 2009 03:13:53 GMT
Connection information for squid:
Number of clients accessing cache: 0
Number of HTTP requests received: 47979
Number of ICP messages received: 37672
Number of ICP messages sent: 37678
Number of queued ICP replies: 0
Number of HTCP messages received: 0
Number of HTCP messages sent: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 69.1
Average ICP messages per minute since start: 108.5
Select loop called: 754215 times, 55.243 ms avg
Cache information for squid:
Request Hit Ratios: 5min: 29.1%, 60min: 28.0%
Byte Hit Ratios: 5min: 20.7%, 60min: 21.0%
Request Memory Hit Ratios: 5min: 11.7%, 60min: 32.1%
Request Disk Hit Ratios: 5min: 50.0%, 60min: 50.8%
Storage Swap size: 663102 KB
Storage Mem size: 119204 KB
Mean Object Size: 9.92 KB
Requests given to unlinkd: 0

ini squid sudah jalan berapa hari? cachenya masih kecil cuma 600Mb, sedang cache_mem nya sudah 100Mb, turunkan cache_mem nya, biarkan hardisk yang bekerja keras,

ipoelnet · Nov 11, 2009, 1:04 PM

3 Hari Om he he,.,., soalnya, kemarin Ke Lusca 1.4 terus –enable-arp-acl g' bisa cara configurasi ulang, cache lama delete semua, trs awal lagi... pengguna hotspot pada rame tuh... Om lihat aja di http://daruttaqwa.org/hotspot2 atau http://hotspot.daruttaqwa.org pada perang tuh anak2. soalnya saya matikan terus... he he

grage95 · Nov 11, 2009, 1:48 PM

@ipoelnet:

3 Hari Om he he,.,., soalnya, kemarin Ke Lusca 1.4 terus –enable-arp-acl g' bisa cara configurasi ulang, cache lama delete semua, trs awal lagi... pengguna hotspot pada rame tuh... Om lihat aja di http://daruttaqwa.org/hotspot2 atau http://hotspot.daruttaqwa.org pada perang tuh anak2. soalnya saya matikan terus... he he

kenapa musti di delete, kalau migrasi squid filesystemnya sama (aufs ke aufs / diskd ke diskd) gak usah di delet cache, cukup di squid -z aja, untuk support acl arp, bukan lewat config, tapi harus di build ulang.

silahkan sedot disini lusca vanila yang sudah support arp-acl

fetch http://shakau.googlepages.com/vanila-arp-lusca-1.4.tbz

ipoelnet · Nov 11, 2009, 2:34 PM

Wah,,, makasih OM,.,. waduh,.,., ada aja Om grage95 in.,.,
tadi Q udah turunkan cache_mem menjadi 64 terus maxfile mem 64 kb jadinya,.,. setelah 15 menit…
ternyata........

Cache information for squid:
Request Hit Ratios: 5min: 25.2%, 60min: 28.2%
Byte Hit Ratios: 5min: 21.7%, 60min: 22.4%
Request Memory Hit Ratios: 5min: 1.8%, 60min: 1.7%
Request Disk Hit Ratios: 5min: 77.2%, 60min: 57.8%
Storage Swap size: 800112 KB
Storage Mem size: 6820 KB
Mean Object Size: 9.84 KB
Requests given to unlinkd: 0

lumyana,.,. thank buaaaaaaaaaaaanyak,.,.,
tenyata squid memang "iso cak asal sesuai aturan"(nada projeckpo) ha ha
Oke,.,. mau testing yg support arp ,.,., panjang umur Om grage95.

111ichael · Nov 11, 2009, 11:16 PM

@grage95:

untuk kondisi cache_dir ditempat anda, jika partisi cache tersendiri
tambahkan option cache1-cache3 di /etc/fstab dengan option noatime (ex:/dev/ad0s1g /cache ufs rw,noatime 2 2)
warning: kalau hardisk cuman satu, gunakan 1 cache_dir saja, kecuali anda menggunakan 3 hardisk fisik, kerja hardisk akan menjadi lemot jika 1 hardisk di gunakan lebih dari 1 cache_dir

utk tunning option ganti option ini :

di config squid
di web config :
cache_mem 256 MB menjadi cache_mem 32 MB

di squid.inc
hierarchy_stoplist cgi-bin ? .js .jsp menjadi hierarchy_stoplist cgi-bin ?

di tunning.conf
range_offset_limit -1 menjadi range_offset_limit 0
download_fastest_client_speed off menjadi download_fastest_client_speed on
n_aiops_threads -1 menjadi n_aiops_threads 16

Rasio hit byte dihitung sedikit berbeda daripada rasio hit request. Squid menghitung jumlah byte yang dibaca dari jaringan di sisi server, dan jumlah byte yang ditulis ke sisi klien. Rasio hit byte dihitung dari :

Byte Hit Ratios = (client_bytes - server_bytes) / client_bytes

Jika server_bytes lebih besar daripada client_bytes, Nilai byte hit berakhir dengan nilai negatif.

Nilai server_bytes mungkin lebih besar daripada client_bytes untuk bebrapa alasan:

1. Cache Digests dan request lainnya yang dihasilkan secara internal. Pesan Digest cache cukup besar dan dihitung dalam server_bytes, tapi karena mereka dikonsumsi secara internal di sisi server, mereka tidak menghitung dalam client_bytes.
2. User-membatalkan permintaan request. atur nilai quick_abort*
3. Beberapa permintaan dapat mengkonsumsi lebih banyak bandwidth pada sisi server daripada di sisi klien. Dalam berbagai permintaan, klien meminta hanya mengambil beberapa bagian dari objek. Squid dapat memutuskan untuk mengambil seluruh objek sehingga dapat digunakan di kemudian hari. Ini berarti men-download lebih dari server daripada pengiriman ke klien. Anda dapat mempengaruhi perilaku ini dengan opsi range_offset_limit menjadi 0

Ok. Aku akan mencobanya….
Trima kasih ya atas pencerahannya....
Salam....

btw... hdd aku cuman 1, bisa ngak aku naikkan cache dirnya menjadi 20GB ato lebih? apa ad pengaruh di kinerjanya?

grage95 · Nov 12, 2009, 12:07 AM

Ok. Aku akan mencobanya….
Trima kasih ya atas pencerahannya....
Salam....

btw... hdd aku cuman 1, bisa ngak aku naikkan cache dirnya menjadi 20GB ato lebih? apa ad pengaruh di kinerjanya?

bisa, dengan RAM 1 Gb perkirakan saja kebutuhannya, naikin saja cache_dir 40 Gb, dan sebaiknya cache_dir digunakan tdk lebih dari 50% partisi fisik contoh partisi fisik 80Gb maka utk cache_dir maximum 40Gb, jika menggunakan cache_dir diatas 50% dari partisi fisik, maka paralel thread spindel hardisk akan berubah dari optimasi time ke optimasi space (akan keluar pesan messages dr syslog). rekomendasi yang lainnya katanya 80%, namun dalam praktek jika request rata2 diatas 100 hit/s dan kondisi cache_dir sudah penuh, kerja hardisk jadi loyo untuk read/write/delete, saran dari addrian chad (developer squid) gunakan cache_dir tidak lebih dari 50% partisi fisik.

ipoelnet · Nov 13, 2009, 5:30 PM

Om… setelah Q pakai http://shakau.googlepages.com/vanila-arp-lusca-1.4.tbz download file sering putus2 delaypool g' jalan, max download tembus, terus max upload file size jika di kasih 256 kb g' bisa submit data... jika request homepage maknyus.. cuman post data error... peringatannya data terlalu besar gitu… Maaf nanya terus he he he,.,., jadi ngrepotin.

grage95 · Nov 13, 2009, 7:18 PM

delay pool tidak jalan maksudnya bagaimana ? ada error ?

post data eroro yang diupload apakah melebihi 256kb ( pembatasan max upload size)

coba di paste ke sini hasil

$ squidclient -p 80 cache_object://localhost/ mgr:config >/tmp/config

ipoelnet · Nov 16, 2009, 9:35 AM

Oh… g' OM grage95, Setelah Q restart ternyata normal,
Terus untuk membagi tempat penyimpanan file-file cache yang sesuai ukuran gmn OM?

Q ada 2 buah Hardisk 80GB rencananya
HD 1 = System
/cache1 = yang file cache ukuran 5-10 MB keatas

HD 2 = /cache2 = ukuran 512-1 MB
/cache3 = ukuran 0-512 MB

Tolong kanda2.... ???

grage95 · Nov 16, 2009, 10:04 AM

@ipoelnet:

Oh… g' OM grage95, Setelah Q restart ternyata normal,
Terus untuk membagi tempat penyimpanan file-file cache yang sesuai ukuran gmn OM?

Q ada 2 buah Hardisk 80GB rencananya
HD 1 = System
/cache1 = yang file cache ukuran 5-10 MB keatas

HD 2 = /cache2 = ukuran 512-1 MB
/cache3 = ukuran 0-512 MB

Tolong kanda2.... ???

memory ram-nya berapa ?

ipoelnet · Nov 16, 2009, 10:48 AM

3 GB OM,.. Proc DualCore 2.2

grage95 · Nov 16, 2009, 11:27 AM

@ipoelnet:

3 GB OM,.. Proc DualCore 2.2

partisi fisik cache1 = 70 GB
partisi fisik cache12 = 80 GB
tambahkan option rw,noatime di fstab

cache_dir aufs /cache1 32768 64 256 min-size=65535
cache_dir aufs /cache2 40960 64 256 max-size=65535
store_dir_select_algorithm round-robin

atau bisa menggunakan coss utk file2 kecil, cuman rada ribet sedikit membuatnya :D

ipoelnet · Nov 16, 2009, 12:19 PM

Setelah Q tambah

rw,noatime – > partisinya yg di tambah param itu kok g' bisa muncul OM?
Maksudnya untuk option ini

32768 64 256 min-size/max-size=65535 –> huruf tebal apa OM

kan biasanya :

32768 16 256

Mau donk kalau bisa yang pakai Coss….biar tambah wussssssss he he

grage95 · Nov 17, 2009, 1:22 AM

@ipoelnet:

Setelah Q tambah

rw,noatime – > partisinya yg di tambah param itu kok g' bisa muncul OM?
Maksudnya untuk option ini

32768 64 256 min-size/max-size=65535 –> huruf tebal apa OM

kan biasanya :

32768 16 256

Mau donk kalau bisa yang pakai Coss….biar tambah wussssssss he he

edit /etc/fstab

contoh :


proxy# cat /etc/fstab
# Device                Mountpoint      FStype  Options         Dump    Pass#
/dev/ad0s1g             /cache            ufs     rw,noatime      2       2

supaya berefek bisa di reboot, atau di umount /cache baru di mount /cache

cara ngeceknya, ketik
mount
hasilnya salah satunya ada :
/dev/ad0s1g on /cache (ufs, local, noatime, soft-updates)

max-size=ukuran maksimum yang di izinkan di cache (dalam byte)
min-size=ukuran minum yang di izinkan di cache (dalam byte)

cache_dir aufs Directory-Name Mbytes L1 L2 [options]

L2 di rekomendaiskan 256
LI di sesuaikan dengan besaran partisi

dari om Henrik
_simplified formula:

L2 = 256
L1 = cache_dir size / 500, rounded upwards on small numbers..

If L2 is changed or you have a singnificantly different object size
distribution then use the equation above. This simplified formula is
only valid for L2 = 256 and average object size of about 13KB.

Regards
Henrik_

referensi complit filesystem coss
http://wiki.squid-cache.org/Features/CyclicObjectStorageSystem

ipoelnet · Nov 17, 2009, 1:41 AM

Wah…wah...wah...terims penalarannya OM grage95, wah butuh oprek2 pc baru untuk percobaan dulu nich... test dulu ach, ntr kalu berhasil baru langsung update ke server yg ad. ;D

ipoelnet · Nov 20, 2009, 10:40 AM

Kenapa ini ?

2009/11/20 17:12:15| WARNING: All dnsserver processes are busy.
2009/11/20 17:12:15| WARNING: up to 10 pending requests queued
2009/11/20 17:13:09| httpReadReply: Request not yet fully sent "POST http://89.248.172.86/update.php"
2009/11/20 17:13:09| httpReadReply: Request not yet fully sent "POST http://83.170.102.41/update.php"
2009/11/20 17:13:09| httpReadReply: Request not yet fully sent "POST http://83.170.102.41/update.php"
2009/11/20 17:14:48| httpReadReply: Request not yet fully sent "POST http://83.170.102.41/update.php"
2009/11/20 17:14:48| httpReadReply: Request not yet fully sent "POST http://89.248.172.86/update.php"
2009/11/20 17:14:50| httpReadReply: Request not yet fully sent "POST http://89.248.172.90/update.php"
2009/11/20 17:15:13| httpReadReply: Request not yet fully sent "POST http://83.170.102.41/update.php"
2009/11/20 17:15:20| httpReadReply: Request not yet fully sent "POST http://89.248.172.90/update.php"
2009/11/20 17:15:23| httpReadReply: Request not yet fully sent "POST http://89.248.172.86/update.php"
2009/11/20 17:15:40| httpReadReply: Request not yet fully sent "POST http://apps.facebook.com/fbml/fbjs_ajax_proxy.php"
2009/11/20 17:15:55| httpReadReply: Request not yet fully sent "POST http://89.248.172.86/update.php"
2009/11/20 17:16:17| httpReadReply: Request not yet fully sent "POST http://89.248.172.90/update.php"
2009/11/20 17:17:01| httpReadReply: Request not yet fully sent "POST http://apps.facebook.com/fbml/fbjs_ajax_proxy.php"
2009/11/20 17:17:13| parseHttpRequest: Unsupported method 'NICK'
2009/11/20 17:17:13| clientReadRequest: FD 74 (192.168.254.222:2550) Invalid Request
2009/11/20 17:17:43| parseHttpRequest: Unsupported method 'NICK'
2009/11/20 17:17:43| clientReadRequest: FD 51 (192.168.254.222:2560) Invalid Request
2009/11/20 17:17:49| httpReadReply: Request not yet fully sent "POST http://89.248.172.86/update.php"
2009/11/20 17:17:50| httpReadReply: Request not yet fully sent "POST http://89.248.172.90/update.php"
2009/11/20 17:18:16| parseHttpRequest: Unsupported method 'NICK'
2009/11/20 17:18:16| clientReadRequest: FD 57 (192.168.254.222:2568) Invalid Request
2009/11/20 17:18:49| parseHttpRequest: Unsupported method 'NICK'
2009/11/20 17:18:49| clientReadRequest: FD 66 (192.168.254.222:2577) Invalid Request
2009/11/20 17:18:53| clientProcessHit: Vary object loop!
2009/11/20 17:18:54| clientProcessHit: Vary object loop!
2009/11/20 17:18:54| clientProcessHit: Vary object loop!
2009/11/20 17:18:54| clientProcessHit: Vary object loop!
2009/11/20 17:18:55| clientProcessHit: Vary object loop!

Ada yg salah?

grage95 · Nov 20, 2009, 10:45 AM

All dnsserver processes are busy.

di pager/delete saja di squid.inc

#dns_children 32

trs edit sysctl.conf dan loader.conf

/boot/loader.conf

kern.ipc.maxsockbufs="2097152"
kern.ipc.msgmnb="8192"
kern.ipc.msgssz="64"
kern.ipc.msgtql="2048"
kern.ipc.shmseg="16"
kern.ipc.somaxconn="32768"
kern.ipc.nmbclusters="131072"
kern.ipc.maxsockets="65536"

kern.maxfiles="262144"
kern.maxfilesperproc="65536"
net.inet.tcp.tcbhashsize="4096"

/etc/sysctl.conf

net.inet.ip.fastforwarding=1
net.inet.ip.portrange.last=65535
net.inet.ip.portrange.first=1024
net.inet.icmp.icmplim=0
net.inet.icmp.icmplim_output=0
net.inet.tcp.msl=3000
net.inet.tcp.hostcache.expire=1
net.inet.tcp.inflight.enable=0
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
kern.ipc.maxsockbufs=2097152
kern.ipc.maxsockets=65536
kern.ipc.somaxconn=32768
kern.ipc.nmbclusters=131072
kern.maxfiles=262144
kern.maxfilesperproc=65536
net.inet.tcp.delayed_ack=0
net.inet.udp.recvspace=65535
net.inet.udp.maxdgram=57344
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
kern.dirdelay=6
kern.metadelay=5
kern.filedelay=7

reboot server

ipoelnet · Nov 20, 2009, 11:30 AM

Oke Om,.,., siiiip,.,. thanks. ;D

grage95 · Nov 20, 2009, 12:29 PM

httpReadReply: Request not yet fully sent "POST http://89.248.172.90/update.php"
httpReadReply: Request not yet fully sent "POST http://89.248.172.90/update.php"

salah satu client kena virus tuh hihihi