PfSense update Squid 2.7.7 [official]

yantisna

om setelah di rubah pake squid vanila masih perlukah di install lusca untuk optimasinya ?? thanks

grage95

om setelah di rubah pake squid vanila masih perlukah di install lusca untuk optimasinya ?? thanks

gak perlu, sesuikan dengan selera, pilih salah satu saja, kalau dua2-nya di install nanti conflict,
jika squid sudah di config sesuai keadaan net,memory cahe_dir dlll baru di tunning
untuk tunning :

tambahkan ini di squid.inc
include /usr/local/etc/squid/tunning.conf
setelah baris
acl dynamic urlpath_regex cgi-bin ?

jadinya nanti
_**acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.1/255.255.255.255
acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901 $webgui_port $port 1025-65535
acl sslports port 443 563 $webgui_port
acl manager proto cache_object
acl purge method PURGE
acl connect method CONNECT
acl dynamic urlpath_regex cgi-bin ?

include /usr/local/etc/squid/tunning.conf

EOD;**_

dan masuk ke directory
cd /usr/local/etc/squid/
dan download dua file ini :
fetch http://shakau.googlepages.com/tunning.conf
fetch http://shakau.googlepages.com/storeurl.pl
chmod +x storeurl.pl
chown proxy:proxy storeurl.pl
chown proxy:proxy tunning.conf
dan juga tambahkan parameter tunning kernel : loader.conf dan systcl.conf

pada /boot/loader.conf

kern.ipc.maxsockbufs="2097152"
kern.ipc.msgmnb="8192"
kern.ipc.msgssz="64"
kern.ipc.msgtql="2048"
kern.ipc.shmseg="16"
kern.ipc.somaxconn="32768"
kern.ipc.nmbclusters="131072"
kern.ipc.maxsockets="65536"

kern.maxfiles="262144"
kern.maxfilesperproc="65536"
net.inet.tcp.tcbhashsize="4096"

dan di /etc/sysctl.conf

net.inet.ip.fastforwarding=1
net.inet.ip.portrange.last=65535
net.inet.ip.portrange.first=1024
net.inet.icmp.icmplim=0
net.inet.icmp.icmplim_output=0
net.inet.tcp.msl=3000
net.inet.tcp.hostcache.expire=1
net.inet.tcp.inflight.enable=0
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
kern.ipc.maxsockbufs=2097152
kern.ipc.maxsockets=65536
kern.ipc.somaxconn=32768
kern.ipc.nmbclusters=131072
kern.maxfiles=262144
kern.maxfilesperproc=65536
net.inet.tcp.delayed_ack=0
net.inet.udp.recvspace=65535
net.inet.udp.maxdgram=57344
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
kern.dirdelay=6
kern.metadelay=5
kern.filedelay=7

trus reboot server
tunggu beberapa hari hari sampai cache swap mulai banyak terisi dan amati presentase kinerjanya,
kalau cache belum terisi penuh apa yang musti di amati ???? cache swap yang kosong hehehe

saran: gunakan filesystem aufs lebih mantabb drpd diskd dan agar kinerja spindel hardisk lebih cepat, gunakan partisi cache_dir dan partisi log tersendiri, dan sesuaikan besarnya cache_dir dengan besarnya ram fisik, utk setiap 1 Gb cache membutuhkan minimal 10Mb RAM, dan ingat RAM digunakan juga utk services lainnya, jadi lihat saja sdetalh reboot server dengan command top -n 20 , nah sisanya itu bisa kita alokasikan utk services squid khususnya utk mengolah cache swap

yantisna

makasih, matur nuwun, thanks om.. penjelasannya jelas banget, saya coba dulu ya… makasih

yantisna

2009/11/11 17:22:44| ACL name 'all' not defined!
FATAL: Bungled tunning.conf line 21: storeurl_access deny all
Squid Cache (Version 2.7.STABLE7): Terminated abnormally.

mohon pencerahan om, matur nuwun

grage95

@yantisna:

2009/11/11 17:22:44| ACL name 'all' not defined!
FATAL: Bungled tunning.conf line 21: storeurl_access deny all
Squid Cache (Version 2.7.STABLE7): Terminated abnormally.

mohon pencerahan om, matur nuwun

ACL name 'all' not defined!

maaf salah naro urutannya,
utk tunning harusnya di taruh setelah acl (acl dynamic urlpath_regex cgi-bin ?)
jadinya seperti ini
_acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.1/255.255.255.255
acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901 $webgui_port $port 1025-65535
acl sslports port 443 563 $webgui_port
acl manager proto cache_object
acl purge method PURGE
acl connect method CONNECT
acl dynamic urlpath_regex cgi-bin ?

include /usr/local/etc/squid/tunning.conf

EOD;_

posting penempatan tunning.conf diatas saya sudah saya perbaiki.

kalau squid.inc terbaru silahkan buka di

http://www.pfsense.org/packages/config/squid/squid.inc

yantisna

siap boz terima kasih

yantisna

Mohon bimbingannya om grage95
setelah saya pindah include tuning nya, acl sudah tidak bermasalah tetapi saya menemukan masalah lagi seperti ini :

berikut configurasi squid saya
http_port 10.10.0.252:3128 transparent
http_port 127.0.0.1:80 transparent
icp_port 0

pid_filename /var/run/squid.pid
cache_effective_user proxy
cache_effective_group proxy
error_directory /usr/local/etc/squid/errors/English
icon_directory /usr/local/etc/squid/icons
visible_hostname localhost
cache_mgr admin@arya-gemilang.com
access_log /var/squid/log/access.log
cache_log /var/squid/log/cache.log
cache_store_log none
logfile_rotate 1
shutdown_lifetime 3 seconds

Allow local network(s) on interface(s)

acl localnet src 10.10.0.0/255.255.255.0
uri_whitespace strip

cache_mem 8 MB
maximum_object_size_in_memory 32 KB
memory_replacement_policy heap GDSF
cache_replacement_policy heap LFUDA
cache_dir aufs /var/squid/cache 6000 16 256
minimum_object_size 0 KB
maximum_object_size 128 KB
offline_mode off
cache_swap_low 98
cache_swap_high 99

No redirector configured

Setup some default acls

acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.1/255.255.255.255
acl safeports port 21 70 80 210 280 443 488 563 591 631 777 901 6789 3128 1025-65535
acl sslports port 443 563 6789
acl manager proto cache_object
acl purge method PURGE
acl connect method CONNECT
acl dynamic urlpath_regex cgi-bin ?
include /usr/local/etc/squid/tunning.conf
cache deny dynamic
http_access allow manager localhost

http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !safeports
http_access deny CONNECT !sslports

Always allow localhost connections

http_access allow localhost

quick_abort_min 0 KB
quick_abort_max 0 KB
request_body_max_size 0 KB
reply_body_max_size 0 allow all
delay_pools 1
delay_class 1 2
delay_parameters 1 -1/-1 38912/38912
delay_initial_bucket_level 100

Throttle extensions matched in the url

acl throttle_exts urlpath_regex -i "/var/squid/acl/throttle_exts.acl"
delay_access 1 allow throttle_exts
delay_access 1 deny all

Allow local network(s) on interface(s)

http_access allow localnet

Default block all to be sure

http_access deny all

kalo menurut om ini yg harus saya perbaiki yang dimananya, soalnya terus terang saja saya baru sekali ini pegang pfsense dan squidnya,
maaf kalau merepotkan

grage95

waduh salah upload, squid-2.7 tidak support itu

ignore-must-revalidate
hapus aja

silahlan sedot ulang

cd /usr/local/etc/squid/
fetch http://shakau.googlepages.com/tunning.conf
chown proxy:proxy tunning.conf

atau delet manual menggunakan winscp,

kalau di lusca ganti saja dengan ignore-no-store, squid-2.7 belum support

btw itu maximum_object_size 128 KB, ganti bro masak cuma 128Kb, misal 128MB (satuan di pfsense itu menggunakan KB) edit di squid.inc ganti dengan MB atau kalau enggak 128000 KB

yantisna

SOLVED om …. dah jalan normal
waktu edit /etc/sysctl.conf kurang teliti... akirnya ada parameter yang dobel...
makasih makasih...

4r31

@grage95:

^^^
package diatas hanya bisa running di pfsense versi 1.2.xx (freebsd 7.xx)
versi 2.xx (freebsd 8.xx) tidak akan jalan,

package utk pfsense versi 2.xx (freebsd 8)
http://dl2.foss-id.web.id/freebsd/ports/i386/packages-8-stable/www/squid-2.7.7.tbz

catatan: tidak support delay_pool

===============================================

Mas grage95 …

Pfsense nya saya sudah berhasil saya upgrade
"Welcome to pfSense 1.2.3-RC3-pfSense....

Trus squidnya dah saya upgrade juga :)
squid-2.7.7 HTTP Caching Proxy

kemudian saya mau update squid.inc nya ..opsss..file nya ngga ada ???
"File not found /usr/local/pkg/squid.inc"

cd /usr/local/pkg/

ls

carp.xml openntpd.inc parse_config
carp_settings.xml openntpd.xml pf
miniupnpd.inc openvpn.xml routed
miniupnpd.xml openvpn_cli.xml sasyncd.xml
olsrd.xml openvpn_csc.xml

Trus ....selanjutnya apa ya..om ?

4r31

satu lagi om grage95 …

kalau dah di upgrade memang di web gui ngga nampak untuk squid status + proxy settingnya ya ?

Trima kasih.

grage95

yang di update/install cuma binary files (file exe dlm windows) jadi tidak merubah web gui,
kalau cuma update harusnya tdk meremove squid.inc

silahkan download squid.inc disini :

http://www.pfsense.org/packages/config/squid/squid.inc

dedieko

Bos Grage, this tutorial is very good, sangat jempol, Request Hit Ratios rata2 40-60% - much better than standard squid

Question:

1. Which one is better? Squid 2.7.7 from shakau.google or Lusca 1.4(or newer) by looking at request hit/Byte Hit/ etc?
2. I just realized that Videocache is no longer free, does your tunning.conf enough to replace it? If not, perlu/tweak install apa lagi?
3. I get a lot of "storeClientReadHeader: no URL!" in cache.log - What is this? Safe to ignore?

grage95

@dedieko:

Bos Grage, this tutorial is very good, sangat jempol, Request Hit Ratios rata2 40-60% - much better than standard squid

Question:

1. Which one is better? Squid 2.7.7 from shakau.google or Lusca 1.4(or newer) by looking at request hit/Byte Hit/ etc?
2. I just realized that Videocache is no longer free, does your tunning.conf enough to replace it? If not, perlu/tweak install apa lagi?
3. I get a lot of "storeClientReadHeader: no URL!" in cache.log - What is this? Safe to ignore?

1.Lusca, with 2000 client,Hit Ratios average 50-60% , thx to facebook ::)
2.heheh jangan di bandingkan dengan videocache yg powerfull utk mengcache file2 streaming video, use old videocache-1. 9.2 its free ::), http://ftp2.za.freebsd.org/pub/FreeBSD/ports/distfiles/videocache-1.9.2.tar.gz
cuman kelemahannya karena menggunakan lang phyton,jika cache full, resource CPU usage full juga, si CPU bisa stuck dan si lusca jadi bengong ;D, katanya musti upgrade ke quad core duo :(
3. abaikan saja, selama masih nyaman browsing

anto_DIGIT

Kok waktu itu coba videocache di pfsense, hasilnya waktu buka youtube, malah tdk ada gambar … setelah cache selesai download baru muncul gambar ... Jadi ga nyaman liatnya .. user juga keburu kabur ...

grage95

aneh, dulu saya setting di freebsd nyontoh dari sebuah forum normal2 sahaja, utk yang pertama buka file langsung dr youtube memang agak lambat,tapi masih bisa streaming. yang kedua baru cepet karena masuk dalam rules ZPH HITS, menggunaan lighttpd / apache sama sahaja jalan normal. kalau di pfsense menggunakan lighttpd dan sama2 normal.
sudah lama tak bermain2 dengan aplikasi buatan india ini semenjak websitenya down dan sekarang sudah aktif lagi di videocache.com
coba utak atik saja di videocache.py nya

utk pfsense contek disini http://doc.pfsense.org/index.php/Setup_VideoCache_with_Squid

ipoelnet

Perasaan Q g' penah nemuin hal spt ini?

2009/11/30 00:47:08| 0 Objects expired.
2009/11/30 00:47:08| 65800 Objects cancelled.
2009/11/30 00:47:08| 5846 Duplicate URLs purged.

kok tiba-tiba muncul ini OM, pengaruh yach jika keluar itu?? apa ada yang perlu di tambahkan.

grage95

@ipoelnet:

Perasaan Q g' penah nemuin hal spt ini?

2009/11/30 00:47:08| 0 Objects expired.
2009/11/30 00:47:08|
2009/11/30 00:47:08| 5846 Duplicate URLs purged.

kok tiba-tiba muncul ini OM, pengaruh yach jika keluar itu?? apa ada yang perlu di tambahkan.

65800 Objects cancelled.
ada duakemungkinana
1. client mengabort/cancle browsing karena emang pengen di abbort
2. client mengabort karena terjadi bottleneck, bisa jadi dari perfomance squidnya / performance jaringan
3. solusi : cek configurasi squidnya, bottlnecknya di config squid (cache_dir, spindel hardisk, ram, dns dll) / kualitas jaringan yang penuh dengan broadcast virus

5846 Duplicate URLs purged.

proses ini akan mengclearkan cache swap dari duplikasi url yang sudah di cache, tapi kok banyak banget ya, kalo saya amati punya saya sendiri paling banyak cuma 20