Install storeid ke squid 3.4
-
@91X:
pertama cari storeid di internet
setelah itu rubah hak akses file
chmod 777 /usr/pbi/squid-i386/local/etc/squid/store-id
chown proxy:proxy /usr/pbi/squid-i386/local/etc/squid/store-idsetelah itu masukkan kalimat berikut
store_id_program /usr/pbi/squid-i386/local/bin/perl /usr/pbi/squid-i386/local/etc/squid/store-idthx bro, ane coba dulu ;D
tolong bantuannya bro, ane cari di internet tidak ada yg cocok, mohon detailnya ;D
-
pada sibuk semua nih, padahal ilmu kagak dibawa mati aka mampus ;D
-
squid 3.4 ane ga keutak atik store ide nya, pakai default saja.
hit msh lancar2 saja. -
kalau cara buatnya yg selama ini saya lakukan begini bro:
pertama kita buat dulu file storeid.pl di /usr/pbi/squid-amd64/local/etc/squid (saya menggunakan amd64, silakan ganti i386 kalau menggunakan versi itu), lalu copykan isi storeid sebagai berikut yg saya ambil dari blog mas fazar, http://www.fazar.net/storeid-support-caching-youtube-dan-facebook-https/ :#!/usr/pbi/squid-amd64/local/bin/perl
storeid.pl with debug opt - based on storeurl.pl
@ http://www2.fh-lausitz.de/launic/comp/misc/squid/projekt_youtube/
mods by cespun and fajar @ ipfire.id
use IO::File;
$|=1;
STDOUT->autoflush(1);
$debug=0; ## recommended:0
$bypassallrules=0; ## recommended:0
$sucks=""; ## unused
$sucks="sucks" if ($debug>=1);
$timenow="";
$printtimenow=1; ## print timenow: 0|1
my $logfile = '/tmp/storeid.log';open my $logfh, '>>', $logfile
or die "Couldn't open $logfile for appending: $!\n" if $debug;
$logfh->autoflush(1) if $debug;while (<>) {
$timenow=time()." " if ($printtimenow);
print $logfh "$timenow"."in : $" if ($debug>=1);
chop;
my $myURL = $;
@X = split(" ",$myURL);
$a = $X[0]; ## channel id
$b = $X[1]; ## url
$c = $X[2]; ## ip address
$u = $b; ## urlif ($bypassallrules){
$out="$u"; ## map 1:1} elsif ($u=~ m/http..(fbcdn|akamaihd).net/h(profile|photos).[\d\w]./([\w]\d+x\d+/..[\d\w]{3}).*/) {
$out="OK store-id=http://fbcdn.net.squid.internal/" . $2 . "/" . $3 ;} elsif ($u=~ m/^http(.)static(.)(akamaihd|fbcdn).net/rsrc.php/(././(.).(js|css|png|gif))(?(.)|$)/) {
$out="OK store-id=http://fbcdn.net.squid.internal/static/" . $5 . "." . $6 ;} elsif ($u=~ m/^https?://.utm.gif./) {
$out="OK store-id=http://google-analytics.squid.internal/__utm.gif";} elsif ($u=~ m/^https?://./speedtest/(..(jpg|txt)).*/) {
$out="OK store-id=http://speedtest.squid.internal/" . $1;} elsif ($u=~ m/^https?://./(...(mp4|3gp|flv))?./) {
$out="OK store-id=http://video-file.squid.internal/" . $1;} elsif ($u=~ m/^https?://c2lo.reverbnation.com/audio_player/ec_stream_song/(.)?./) {
$out="OK store-id=http://reverbnation.squid.internal/" . $1;} elsif ($u=~ m/^https?://..c.android.clients.google.com/market/GetBinary/GetBinary/(./.)?./) {
$out="OK store-id=http://playstore-android.squid.internal/" . $1;} elsif ($u=~ m/^https?://.youtube.ptracking./){
@video_id = m/[&?]video_id=([^&\s])/;
@cpn = m/[&?]cpn=([^&\s]*)/;
unless (-e "/tmp/@cpn"){
open FILE, ">/tmp/@cpn";
print FILE "@video_id";
close FILE;
}
$out="ERR";} elsif ($u=~ m/^https?://.youtube.stream_204./){
@docid = m/[&?]docid=([^&\s])/;
@cpn = m/[&?]cpn=([^&\s]*)/;
unless (-e "/tmp/@cpn"){
open FILE, ">/tmp/@cpn";
print FILE "@docid";
close FILE;
}
$out="ERR";} elsif ($u=~ m/^https?://.youtube.player_204./){
@v = m/[&?]v=([^&\s])/;
@cpn = m/[&?]cpn=([^&\s]*)/;
unless (-e "/tmp/@cpn"){
open FILE, ">/tmp/@cpn";
print FILE "@v";
close FILE;
}
$out="ERR";} elsif ($u=~ m/^https?://.(youtube|googlevideo).videoplayback./){
@itag = m/&?/;
@range = m/&?/;
@cpn = m/[&?]cpn=([^&\s])/;
@mime = m/&?/;
@id = m/[&?]id=([^&\s]*)/;if (defined(@cpn[0])){
if (-e "/tmp/@cpn"){
open FILE, "/tmp/@cpn";
@id = <file>;
close FILE;}
}
$out="OK store-id=http://video-srv.squid.internal/id=@id@mime@range";} else {
$out="ERR";
}
print $logfh "$timenow"."out: $a $out\n" if ($debug>=1);
print "$a $out\n";
}
close $logfh if ($debug);lalu save.
melalui putty ketik chmod 777 /usr/pbi/squid-amd64/local/etc/squid/storeid.pl
juga chown proxy:proxy /usr/pbi/squid-amd64/local/etc/squid/storeid.pl
buat file /tmp/storeid.log untuk log storeid
jalankan chown proxy:proxy /tmp/storeid.log lalu chmod 777 /tmp/storeid.log
kita masuk ke webgui services -> squid proxy -> tab general dan di Custom ACLS (Before Auth) copas isi konfigurasi berikut ini :acl urlrewrite dstdomain .fbcdn.net .akamaihd.net
acl speedtest url_regex -i speedtest/..(jpg|txt)?.
acl reverbnation url_regex -i reverbnation.audio_player.ec_stream_song.$
acl utmgif url_regex -i utm.gif.
acl playstoreandroid url_regex -i c.android.clients.google.com.market.GetBinary.GetBinary.*
acl idyoutube url_regex -i youtube.(ptracking|stream_204|player_204).(v=|docid=|video_id=).*$
acl videoyoutube url_regex -i (youtube|googlevideo).*videoplayback?
acl videoyoutube url_regex -i (youtube|googlevideo).*videoplayback?
acl getmethod method GET
store_id_program /usr/pbi/squid-amd64/local/bin/perl /usr/pbi/squid-amd64/local/etc/squid/storeid.pl
store_id_children 1 startup=1 idle=1 concurrency=5
store_id_access deny !getmethod
store_id_access allow urlrewrite
store_id_access allow speedtest
store_id_access allow reverbnation
store_id_access allow utmgif
store_id_access allow playstoreandroid
store_id_access allow idyoutube
store_id_access allow videoyoutube
store_id_access deny allsave, lalu restart squid.
coba squid -k reconfigure lihat kalau masih ada errorrefresh_pattern yg saya gunakan hanya satu baris bro tapi cukup efektif :D
refresh_pattern -i .* 100 99% 525600 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-staledan untuk menambah regex di storeid silakan googling bro, banyak bertebaran.
Ok, semoga bermanfaat :D</file>untuk
refresh_pattern -i .* 100 99% 525600 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
ini ditaruh dimana ? -
kalau refresh_pattern itu saya taruhnya di services -> squid proxy -> local cache di kolom custom refresh_patterns :)
oh iya, regex di atas itu sudah ada beberapa yg tidak berfungsi lagi om, ganti saja. itu cuma sekedar cara pembuatannya saja :) selanjutnya tinggal dikembangkan.
ini ada blog cara membuat regex yg mudah dimengerti ;) : https://mikrotiksquid.wordpress.com/2014/08/27/mudahnya-membuat-regex-untuk-helper-storeurl-atau-storeid-di-squid-web-proxy-untuk-pemula/
juga jangan lupa aktifkan https-nya biar game facebook jadi ngacir :Dini berarti Cache Dynamic Content harus enable, untuk mengaktifkan refresh pattern
-
kenapa storeid.log terhapus dari folder /tmp/soreid.log ,setelah reboot pfnya
-
ini newbi mau berbagi kepada newbi yg lain tentang storeid.pl yg masih bisa cache youtube hingga saat ini :) yah siapatau ada di antara newbi yg mau menghemat bandwidth, karena sekarang ini FUP sudah diterapkan di indihome.. mau tidak mau kita harus berjuang untuk menyelamatkan bandwidth2 kita yg masih bisa diselamatkan :)
pfsense yg saya gunakan di sini adalah pfsense versi 2.3, squid 3.5.16. ok, saya asumsikan squid sudah berjalan sempurna dengan https yg sudah diaktifkan (kalau belum tahu caranya lihat di sini: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Squid-Proxy-in-pfSense).
pertama, ambil file storeid.pl di: https://drive.google.com/open?id=0B-Fyc93b4_C-TkdrUF85S19WNkU kemudian letakkan file-nya di /usr/local/etc/squid.
ubah propertinya dengan bantuan putty: chown squid:proxy /usr/local/etc/squid/storeid.pl lalu chmod 777 /usr/local/etc/squid/storeid.pl
setelah itu ambil satu file lagi dari https://drive.google.com/open?id=0B-Fyc93b4_C-amw3d05PNUVoYmc copy seluruh isinya lalu letakkan di web GUI services > Squid Proxy Server > di kotak Custom ACLS (Before Auth), save! oh iya, sebaiknya semua ini dilakukan dengan mendisable squid terlebih dahulu dari awal :)
sekarang coba enable-kan lagi squid proxy (centang Enable Squid Proxy), save, restart squid dan ketik di putty squid -k reconfigure, lihat kalau masih ada error.
ok sudah :) kalau berhasil selamat ya! kalau gagal, ya apa boleh buat ;)
untuk cek log storeid ketik: tail -f /tmp/storeid.log|ccze disitu akan kelihatan kalau https sudah diubah ke http kalau ada youtube yg lagi diputar :)
lalu untuk refresh pattern coba sebaris ini saja:
refresh_pattern -i .* 30 100% 525600 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
max_stale 6 days
kalau tidak mau pakai ya sudah, cari yg lain saja :) karena kalau refresh pattern yg cuma sebaris ini, menurut perasaan, lebih responsif dibanding kalau menggunakan refresh patter yg bejibun… coba deh
ok gan, makasih
oh iya gan, kalau sekiranya ada ralat di sana sini untuk mengembangkan, atau siapa tahu ada yg luput karena kehilafan, silakan gan diralat ;)Thanks bro sudah berbagi, salam ilmu padi. ;D
-
ini newbi mau berbagi kepada newbi yg lain tentang storeid.pl yg masih bisa cache youtube hingga saat ini :) yah siapatau ada di antara newbi yg mau menghemat bandwidth, karena sekarang ini FUP sudah diterapkan di indihome.. mau tidak mau kita harus berjuang untuk menyelamatkan bandwidth2 kita yg masih bisa diselamatkan :)
pfsense yg saya gunakan di sini adalah pfsense versi 2.3, squid 3.5.16. ok, saya asumsikan squid sudah berjalan sempurna dengan https yg sudah diaktifkan (kalau belum tahu caranya lihat di sini: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Squid-Proxy-in-pfSense).
pertama, ambil file storeid.pl di: https://drive.google.com/open?id=0B-Fyc93b4_C-TkdrUF85S19WNkU kemudian letakkan file-nya di /usr/local/etc/squid.
ubah propertinya dengan bantuan putty: chown squid:proxy /usr/local/etc/squid/storeid.pl lalu chmod 777 /usr/local/etc/squid/storeid.pl
setelah itu ambil satu file lagi dari https://drive.google.com/open?id=0B-Fyc93b4_C-amw3d05PNUVoYmc copy seluruh isinya lalu letakkan di web GUI services > Squid Proxy Server > di kotak Custom ACLS (Before Auth), save! oh iya, sebaiknya semua ini dilakukan dengan mendisable squid terlebih dahulu dari awal :)
sekarang coba enable-kan lagi squid proxy (centang Enable Squid Proxy), save, restart squid dan ketik di putty squid -k reconfigure, lihat kalau masih ada error.
ok sudah :) kalau berhasil selamat ya! kalau gagal, ya apa boleh buat ;)
untuk cek log storeid ketik: tail -f /tmp/storeid.log|ccze disitu akan kelihatan kalau https sudah diubah ke http kalau ada youtube yg lagi diputar :)
lalu untuk refresh pattern coba sebaris ini saja:
refresh_pattern -i . 0 90% 432000 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
max_stale 6 days
kalau tidak mau pakai ya sudah, cari yg lain saja :) karena kalau refresh pattern yg cuma sebaris ini, menurut perasaan, lebih responsif dibanding kalau menggunakan refresh pattern yg bejibun… coba deh
ok gan, makasih
oh iya gan, kalau sekiranya ada ralat di sana sini untuk mengembangkan, atau siapa tahu ada yg luput karena kehilafan, silakan gan diralat ;)ijin pke gan. thks
-
ini newbi mau berbagi kepada newbi yg lain tentang storeid.pl yg masih bisa cache youtube hingga saat ini :) yah siapatau ada di antara newbi yg mau menghemat bandwidth, karena sekarang ini FUP sudah diterapkan di indihome.. mau tidak mau kita harus berjuang untuk menyelamatkan bandwidth2 kita yg masih bisa diselamatkan :)
pfsense yg saya gunakan di sini adalah pfsense versi 2.3, squid 3.5.16. ok, saya asumsikan squid sudah berjalan sempurna dengan https yg sudah diaktifkan (kalau belum tahu caranya lihat di sini: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Squid-Proxy-in-pfSense).
pertama, ambil file storeid.pl di: https://drive.google.com/open?id=0B-Fyc93b4_C-TkdrUF85S19WNkU kemudian letakkan file-nya di /usr/local/etc/squid.
ubah propertinya dengan bantuan putty: chown squid:proxy /usr/local/etc/squid/storeid.pl lalu chmod 777 /usr/local/etc/squid/storeid.pl
setelah itu ambil satu file lagi dari https://drive.google.com/open?id=0B-Fyc93b4_C-amw3d05PNUVoYmc copy seluruh isinya lalu letakkan di web GUI services > Squid Proxy Server > di kotak Custom ACLS (Before Auth), save! oh iya, sebaiknya semua ini dilakukan dengan mendisable squid terlebih dahulu dari awal :)
sekarang coba enable-kan lagi squid proxy (centang Enable Squid Proxy), save, restart squid dan ketik di putty squid -k reconfigure, lihat kalau masih ada error.
ok sudah :) kalau berhasil selamat ya! kalau gagal, ya apa boleh buat :P
untuk cek log storeid ketik: tail -f /tmp/storeid.log|ccze disitu akan kelihatan kalau https sudah diubah ke http kalau ada youtube yg lagi diputar :)
lalu untuk refresh pattern coba sebaris ini saja:
refresh_pattern -i . 0 90% 432000 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
max_stale 6 days
kalau tidak mau pakai ya sudah, cari yg lain saja :) karena kalau refresh pattern yg cuma sebaris ini, menurut perasaan, lebih responsif dibanding kalau menggunakan refresh pattern yg bejibun… coba deh
ok gan, makasih
oh iya gan, kalau sekiranya ada ralat di sana sini untuk mengembangkan, atau siapa tahu ada yg luput karena kehilafan, silakan gan diralat ;)
contoh hasil racikannya https://www.youtube.com/watch?v=xeD3M9RLjfMini support squid 3.5.3 bang landylandy ? saya sdah coba 2.2.6 squid 3.5.3.
-
ini newbi mau berbagi kepada newbi yg lain tentang storeid.pl yg masih bisa cache youtube hingga saat ini :) yah siapatau ada di antara newbi yg mau menghemat bandwidth, karena sekarang ini FUP sudah diterapkan di indihome.. mau tidak mau kita harus berjuang untuk menyelamatkan bandwidth2 kita yg masih bisa diselamatkan :)
pfsense yg saya gunakan di sini adalah pfsense versi 2.3, squid 3.5.16. ok, saya asumsikan squid sudah berjalan sempurna dengan https yg sudah diaktifkan (kalau belum tahu caranya lihat di sini: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Squid-Proxy-in-pfSense).
pertama, ambil file storeid.pl di: https://drive.google.com/open?id=0B-Fyc93b4_C-TkdrUF85S19WNkU kemudian letakkan file-nya di /usr/local/etc/squid.
ubah propertinya dengan bantuan putty: chown squid:proxy /usr/local/etc/squid/storeid.pl lalu chmod 777 /usr/local/etc/squid/storeid.pl
setelah itu ambil satu file lagi dari https://drive.google.com/open?id=0B-Fyc93b4_C-amw3d05PNUVoYmc copy seluruh isinya lalu letakkan di web GUI services > Squid Proxy Server > di kotak Custom ACLS (Before Auth), save! oh iya, sebaiknya semua ini dilakukan dengan mendisable squid terlebih dahulu dari awal :)
sekarang coba enable-kan lagi squid proxy (centang Enable Squid Proxy), save, restart squid dan ketik di putty squid -k reconfigure, lihat kalau masih ada error.
ok sudah :) kalau berhasil selamat ya! kalau gagal, ya apa boleh buat :P
untuk cek log storeid ketik: tail -f /tmp/storeid.log|ccze disitu akan kelihatan kalau https sudah diubah ke http kalau ada youtube yg lagi diputar :)
lalu untuk refresh pattern coba sebaris ini saja:
refresh_pattern -i . 0 90% 432000 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
max_stale 6 days
kalau tidak mau pakai ya sudah, cari yg lain saja :) karena kalau refresh pattern yg cuma sebaris ini, menurut perasaan, lebih responsif dibanding kalau menggunakan refresh pattern yg bejibun… coba deh
ok gan, makasih
oh iya gan, kalau sekiranya ada ralat di sana sini untuk mengembangkan, atau siapa tahu ada yg luput karena kehilafan, silakan gan diralat ;)
contoh hasil racikannya https://www.youtube.com/watch?v=xeD3M9RLjfMini support squid 3.5.3 bang landylandy ? saya sdah coba 2.2.6 squid 3.5.3.
hmm… saya kurang tahu gan.. saya sudah malas oprek downgrade lagi. lagipula versi di atas versi 2.2 entah kenapa kalau saya install itu tidak pernah support dengan facebook kalau https-nya diaktifkan. jadi dulu pfsense saya mentok di versi 2.2 saja kalau mau aktifkan https dan facebook lancar :). Kenapa tidak pakai versi sekarang saja gan? lebih lancar, support semuanya, bisa cache youtube dll, hit lebih banyak.
oh iya gan, kalau mau digabung mikrotik tambahkan qos_flows local-hit=0x30 di kolom Custom ACLS Before Auth dan kalau mau hit youtube-nya tidak putus tambahkan addons Magic Action for YouTube di browsersudah pke 2.3.1, tpi bawaannya squid 3.5.1, saya coba install squid 3.5.3 tapi gagal, belum menemukan caranya. soalnya perintahnya berbeda dari versi sebelumnya.
-
squid bawaan dari pfsense versi 2.3.1 kan 3.5.19 om, kenapa dikatakan 3.5.1 ?? kalau install squid dari pfsense versi 2.3.1 pasti dapatnya squid 3.5.19.
ini saya juga baru coba install ulang lagi pake versi 2.3.1. .. :) saya coba langkah2 di atas ternyata youtube masih bisa cache dengan squid versi yg lebih tinggi. saya ndak ngerti bingungnya om di mana…saya inginnya pf 2.3.1 dengan squid terbaru 3.5.3, klo bawaannya 3.5.19. maaf yg kemarin kurang angka 9 jadi 3.5.1
-
squid bawaan dari pfsense versi 2.3.1 kan 3.5.19 om, kenapa dikatakan 3.5.1 ?? kalau install squid dari pfsense versi 2.3.1 pasti dapatnya squid 3.5.19.
ini saya juga baru coba install ulang lagi pake versi 2.3.1. .. :) saya coba langkah2 di atas ternyata youtube masih bisa cache dengan squid versi yg lebih tinggi. saya ndak ngerti bingungnya om di mana…saya inginnya pf 2.3.1 dengan squid terbaru 3.5.3, klo bawaannya 3.5.19. maaf yg kemarin kurang angka 9 jadi 3.5.1
tapi kalau lihat di sini http://www.squid-cache.org/Versions/v3/3.5/ squid versi 3.5.19 adalah yg terbaru dan paling stabil keluaran tanggal 8 mei 2016 om
saya kira semakin tinggi versinya semakin baru, makasih atas toturnya bang landy
-
kenapa di log cache ada
defined(@array) is deprecated at /usr/local/etc/squid/storeid.pl line 48.
(Maybe you should just omit the defined()?) -
storeid ini pembetulan, sehingga dilog tidak muncul array
-
kenapa banyak TCP_MISS yah, dari pada TCP_HIT?
-
kenapa perintah pkg_add tidak bisa digunakan yah?
-
thanks to agan @shr_kaza sudah saya coba dan berhasil TCP_HIT youtube nya ajib, mesti siapin kapasitas yang lebih besar lagi nih kayanya ;D ;D ;D
-
thanks to agan @shr_kaza sudah saya coba dan berhasil TCP_HIT youtube nya ajib, mesti siapin kapasitas yang lebih besar lagi nih kayanya ;D ;D ;D
kalau mau saya sarankan gan, tambahkan saja paling tidak 2 hardisk lagi khusus buat cache dan buatkan minimal 2 partisi untuk masing2 hardisk, tidak perlu install ulang lagi ;) larinya bakal lebih joss :D
siap gan landylandy tq buat storeid-nya dan saran nya.
oh iya ini saya ada kendala dengan internal CA nya, knp bbrp website https jadi untrusted certificate (insecure) ya?? padahal sudah saya import certificate nya ke dalam browser (mozilla). misalkan buka https://gmail.com keluar SSL_ERROR_BAD_CERT_DOMAIN