Install storeid ke squid 3.4

[agixdota]

Tolong sharing ilmunya rekan semua, bagaimana mengintergasikan storied ke squid 3.4 pfsense?

[shr_kaza]

harus pke perl, kalau langsung malah erroor

[agixdota]

@shr_kaza:

harus pke perl, kalau langsung malah erroor

gimna cara bro, bisa perjelas?

[shr_kaza]

pertama cari storeid di internet
setelah itu rubah hak akses file
chmod 777 /usr/pbi/squid-i386/local/etc/squid/store-id
chown proxy:proxy /usr/pbi/squid-i386/local/etc/squid/store-id

setelah itu masukkan kalimat berikut
store_id_program /usr/pbi/squid-i386/local/bin/perl /usr/pbi/squid-i386/local/etc/squid/store-id

[agixdota]

@shr_kaza:

pertama cari storeid di internet
setelah itu rubah hak akses file
chmod 777 /usr/pbi/squid-i386/local/etc/squid/store-id
chown proxy:proxy /usr/pbi/squid-i386/local/etc/squid/store-id

setelah itu masukkan kalimat berikut
store_id_program /usr/pbi/squid-i386/local/bin/perl /usr/pbi/squid-i386/local/etc/squid/store-id

thx bro, ane coba dulu  ;D

[kentuss]

@91X:

@shr_kaza:

pertama cari storeid di internet
setelah itu rubah hak akses file
chmod 777 /usr/pbi/squid-i386/local/etc/squid/store-id
chown proxy:proxy /usr/pbi/squid-i386/local/etc/squid/store-id

setelah itu masukkan kalimat berikut
store_id_program /usr/pbi/squid-i386/local/bin/perl /usr/pbi/squid-i386/local/etc/squid/store-id

thx bro, ane coba dulu  ;D

prasaan bbrp bulan ini, yg diskusi diforum hanya kalian ber2 aja deh….hahaha

sepi bingiiitt......

[agixdota]

@kentuss:

@91X:

@shr_kaza:

pertama cari storeid di internet
setelah itu rubah hak akses file
chmod 777 /usr/pbi/squid-i386/local/etc/squid/store-id
chown proxy:proxy /usr/pbi/squid-i386/local/etc/squid/store-id

setelah itu masukkan kalimat berikut
store_id_program /usr/pbi/squid-i386/local/bin/perl /usr/pbi/squid-i386/local/etc/squid/store-id

thx bro, ane coba dulu  ;D

prasaan bbrp bulan ini, yg diskusi diforum hanya kalian ber2 aja deh….hahaha

sepi bingiiitt......

Serasa forum ini milik kita berdua wkkwakakak…

[shr_kaza]

karena g ada yang mau sharing

[agixdota]

@shr_kaza:

karena g ada yang mau sharing

bisa jadi bisa jadi  :D

[agixdota]

@91X:

@shr_kaza:

pertama cari storeid di internet
setelah itu rubah hak akses file
chmod 777 /usr/pbi/squid-i386/local/etc/squid/store-id
chown proxy:proxy /usr/pbi/squid-i386/local/etc/squid/store-id

setelah itu masukkan kalimat berikut
store_id_program /usr/pbi/squid-i386/local/bin/perl /usr/pbi/squid-i386/local/etc/squid/store-id

thx bro, ane coba dulu  ;D

tolong bantuannya bro, ane cari di internet tidak ada yg cocok, mohon detailnya  ;D

[agixdota]

pada sibuk semua nih, padahal ilmu kagak dibawa mati aka mampus ;D

[kentuss]

squid 3.4 ane ga keutak atik store ide nya, pakai default saja.
hit msh lancar2 saja.

[shr_kaza]

@landylandy:

kalau cara buatnya yg selama ini saya lakukan begini bro:
pertama kita buat dulu file storeid.pl di /usr/pbi/squid-amd64/local/etc/squid (saya menggunakan amd64, silakan ganti i386 kalau menggunakan versi itu), lalu copykan isi storeid sebagai berikut yg saya ambil dari blog mas fazar, http://www.fazar.net/storeid-support-caching-youtube-dan-facebook-https/ :

#!/usr/pbi/squid-amd64/local/bin/perl

storeid.pl with debug opt - based on storeurl.pl

@ http://www2.fh-lausitz.de/launic/comp/misc/squid/projekt_youtube/

mods by cespun and fajar @ ipfire.id

use IO::File;
$|=1;
STDOUT->autoflush(1);
$debug=0; ## recommended:0
$bypassallrules=0; ## recommended:0
$sucks=""; ## unused
$sucks="sucks" if ($debug>=1);
$timenow="";
$printtimenow=1;  ## print timenow: 0|1
my $logfile = '/tmp/storeid.log';

open my $logfh, '>>', $logfile
    or die "Couldn't open $logfile for appending: $!\n" if $debug;
$logfh->autoflush(1) if $debug;

while (<>) {
$timenow=time()." " if ($printtimenow);
print $logfh "$timenow"."in : $" if ($debug>=1);
chop;
my $myURL = $;
@X = split(" ",$myURL);
$a = $X[0]; ## channel id
$b = $X[1]; ## url
$c = $X[2]; ## ip address
$u = $b; ## url

if ($bypassallrules){
$out="$u"; ## map 1:1

} elsif ($u=~ m/http..(fbcdn|akamaihd).net/h(profile|photos).[\d\w]./([\w]\d+x\d+/..[\d\w]{3}).*/) {
$out="OK store-id=http://fbcdn.net.squid.internal/" . $2 . "/" . $3 ;

} elsif ($u=~ m/^http(.)static(.)(akamaihd|fbcdn).net/rsrc.php/(././(.).(js|css|png|gif))(?(.)|$)/) {
$out="OK store-id=http://fbcdn.net.squid.internal/static/" . $5 . "." . $6 ;

} elsif ($u=~ m/^https?://.utm.gif./) {
$out="OK store-id=http://google-analytics.squid.internal/__utm.gif";

} elsif ($u=~ m/^https?://./speedtest/(..(jpg|txt)).*/) {
$out="OK store-id=http://speedtest.squid.internal/" . $1;

} elsif ($u=~ m/^https?://./(...(mp4|3gp|flv))?./) {
$out="OK store-id=http://video-file.squid.internal/" . $1;

} elsif ($u=~ m/^https?://c2lo.reverbnation.com/audio_player/ec_stream_song/(.)?./) {
$out="OK store-id=http://reverbnation.squid.internal/" . $1;

} elsif ($u=~ m/^https?://..c.android.clients.google.com/market/GetBinary/GetBinary/(./.)?./) {
$out="OK store-id=http://playstore-android.squid.internal/" . $1;

} elsif ($u=~ m/^https?://.youtube.ptracking./){
@video_id = m/[&?]video_id=([^&\s])/;
@cpn = m/[&?]cpn=([^&\s]*)/;
unless (-e "/tmp/@cpn"){
open FILE, ">/tmp/@cpn";
print FILE "@video_id";
close FILE;
}
$out="ERR";

} elsif ($u=~ m/^https?://.youtube.stream_204./){
@docid = m/[&?]docid=([^&\s])/;
@cpn = m/[&?]cpn=([^&\s]*)/;
unless (-e "/tmp/@cpn"){
open FILE, ">/tmp/@cpn";
print FILE "@docid";
close FILE;
}
$out="ERR";

} elsif ($u=~ m/^https?://.youtube.player_204./){
@v = m/[&?]v=([^&\s])/;
@cpn = m/[&?]cpn=([^&\s]*)/;
unless (-e "/tmp/@cpn"){
open FILE, ">/tmp/@cpn";
print FILE "@v";
close FILE;
}
$out="ERR";

} elsif ($u=~ m/^https?://.(youtube|googlevideo).videoplayback./){
@itag = m/&?/;
@range = m/&?/;
@cpn = m/[&?]cpn=([^&\s])/;
@mime = m/&?/;
@id = m/[&?]id=([^&\s]*)/;

if (defined(@cpn[0])){
if (-e "/tmp/@cpn"){
open FILE, "/tmp/@cpn";
@id = <file>;
close FILE;}
}
$out="OK store-id=http://video-srv.squid.internal/id=@id@mime@range";

} else {
$out="ERR";
}
print $logfh "$timenow"."out: $a $out\n" if ($debug>=1);
print "$a $out\n";
}
close $logfh if ($debug);

lalu save.
melalui putty ketik chmod 777 /usr/pbi/squid-amd64/local/etc/squid/storeid.pl
juga chown proxy:proxy /usr/pbi/squid-amd64/local/etc/squid/storeid.pl
buat file /tmp/storeid.log untuk log storeid
jalankan chown proxy:proxy /tmp/storeid.log lalu chmod 777 /tmp/storeid.log
kita masuk ke webgui services -> squid proxy -> tab general dan di Custom ACLS (Before Auth) copas isi konfigurasi berikut ini :

acl urlrewrite dstdomain .fbcdn.net .akamaihd.net
acl speedtest url_regex -i speedtest/..(jpg|txt)?.
acl reverbnation url_regex -i reverbnation.audio_player.ec_stream_song.$
acl utmgif url_regex -i utm.gif.
acl playstoreandroid url_regex -i c.android.clients.google.com.market.GetBinary.GetBinary.*
acl idyoutube url_regex -i youtube.(ptracking|stream_204|player_204).(v=|docid=|video_id=).*$
acl videoyoutube url_regex -i (youtube|googlevideo).*videoplayback?
acl videoyoutube url_regex -i (youtube|googlevideo).*videoplayback?
acl getmethod method GET
store_id_program /usr/pbi/squid-amd64/local/bin/perl /usr/pbi/squid-amd64/local/etc/squid/storeid.pl
store_id_children 1 startup=1 idle=1 concurrency=5
store_id_access deny !getmethod
store_id_access allow urlrewrite
store_id_access allow speedtest
store_id_access allow reverbnation
store_id_access allow utmgif
store_id_access allow playstoreandroid
store_id_access allow idyoutube
store_id_access allow videoyoutube
store_id_access deny all

save, lalu restart squid.
coba squid -k reconfigure lihat kalau masih ada error

refresh_pattern yg saya gunakan hanya satu baris bro tapi cukup efektif  :D
refresh_pattern -i .* 100 99% 525600  override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale

dan untuk menambah regex di storeid silakan googling bro, banyak bertebaran.
Ok, semoga bermanfaat :D</file>

untuk
refresh_pattern -i .* 100 99% 525600  override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
ini ditaruh dimana ?

[shr_kaza]

@landylandy:

kalau refresh_pattern itu saya taruhnya di services -> squid proxy -> local cache di kolom custom refresh_patterns :)
oh iya, regex di atas itu sudah ada beberapa yg tidak berfungsi lagi om, ganti saja. itu cuma sekedar cara pembuatannya saja :) selanjutnya tinggal dikembangkan.
ini ada blog cara membuat regex yg mudah dimengerti ;) : https://mikrotiksquid.wordpress.com/2014/08/27/mudahnya-membuat-regex-untuk-helper-storeurl-atau-storeid-di-squid-web-proxy-untuk-pemula/
juga jangan lupa aktifkan https-nya biar game facebook jadi ngacir :D

ini berarti Cache Dynamic Content harus enable, untuk mengaktifkan refresh pattern

[herymulyo]

kenapa storeid.log terhapus dari folder /tmp/soreid.log ,setelah reboot pfnya

[agixdota]

@landylandy:

ini newbi mau berbagi kepada newbi yg lain tentang storeid.pl yg masih bisa cache youtube hingga saat ini :) yah siapatau ada di antara newbi yg mau menghemat bandwidth, karena sekarang ini FUP sudah diterapkan di indihome.. mau tidak mau kita harus berjuang untuk menyelamatkan bandwidth2 kita yg masih bisa diselamatkan :)
pfsense yg saya gunakan di sini adalah pfsense versi 2.3, squid 3.5.16. ok, saya asumsikan squid sudah berjalan sempurna dengan https yg sudah diaktifkan (kalau belum tahu caranya lihat di sini: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Squid-Proxy-in-pfSense).
pertama, ambil file storeid.pl di: https://drive.google.com/open?id=0B-Fyc93b4_C-TkdrUF85S19WNkU kemudian letakkan file-nya di /usr/local/etc/squid.
ubah propertinya dengan bantuan putty: chown squid:proxy /usr/local/etc/squid/storeid.pl lalu chmod 777 /usr/local/etc/squid/storeid.pl
setelah itu ambil satu file lagi dari https://drive.google.com/open?id=0B-Fyc93b4_C-amw3d05PNUVoYmc copy seluruh isinya lalu letakkan di web GUI services > Squid Proxy Server > di kotak Custom ACLS (Before Auth), save! oh iya, sebaiknya semua ini dilakukan dengan mendisable squid terlebih dahulu dari awal :)
sekarang coba enable-kan lagi squid proxy (centang Enable Squid Proxy), save, restart squid dan ketik di putty squid -k reconfigure, lihat kalau masih ada error.
ok sudah :) kalau berhasil selamat ya! kalau gagal, ya apa boleh buat ;)
untuk cek log storeid ketik: tail -f /tmp/storeid.log|ccze disitu akan kelihatan kalau https sudah diubah ke http kalau ada youtube yg lagi diputar :)
lalu untuk refresh pattern coba sebaris ini saja:
refresh_pattern -i .* 30 100% 525600  override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
max_stale 6 days
kalau tidak mau pakai ya sudah, cari yg lain saja :) karena kalau refresh pattern yg cuma sebaris ini, menurut perasaan, lebih responsif dibanding kalau menggunakan refresh patter yg bejibun… coba deh
ok gan, makasih
oh iya gan, kalau sekiranya ada ralat di sana sini untuk mengembangkan, atau siapa tahu ada yg luput karena kehilafan, silakan gan diralat ;)

Thanks bro sudah berbagi, salam ilmu padi.  ;D

[shr_kaza]

@landylandy:

ini newbi mau berbagi kepada newbi yg lain tentang storeid.pl yg masih bisa cache youtube hingga saat ini :) yah siapatau ada di antara newbi yg mau menghemat bandwidth, karena sekarang ini FUP sudah diterapkan di indihome.. mau tidak mau kita harus berjuang untuk menyelamatkan bandwidth2 kita yg masih bisa diselamatkan :)
pfsense yg saya gunakan di sini adalah pfsense versi 2.3, squid 3.5.16. ok, saya asumsikan squid sudah berjalan sempurna dengan https yg sudah diaktifkan (kalau belum tahu caranya lihat di sini: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Squid-Proxy-in-pfSense).
pertama, ambil file storeid.pl di: https://drive.google.com/open?id=0B-Fyc93b4_C-TkdrUF85S19WNkU kemudian letakkan file-nya di /usr/local/etc/squid.
ubah propertinya dengan bantuan putty: chown squid:proxy /usr/local/etc/squid/storeid.pl lalu chmod 777 /usr/local/etc/squid/storeid.pl
setelah itu ambil satu file lagi dari https://drive.google.com/open?id=0B-Fyc93b4_C-amw3d05PNUVoYmc copy seluruh isinya lalu letakkan di web GUI services > Squid Proxy Server > di kotak Custom ACLS (Before Auth), save! oh iya, sebaiknya semua ini dilakukan dengan mendisable squid terlebih dahulu dari awal :)
sekarang coba enable-kan lagi squid proxy (centang Enable Squid Proxy), save, restart squid dan ketik di putty squid -k reconfigure, lihat kalau masih ada error.
ok sudah :) kalau berhasil selamat ya! kalau gagal, ya apa boleh buat ;)
untuk cek log storeid ketik: tail -f /tmp/storeid.log|ccze disitu akan kelihatan kalau https sudah diubah ke http kalau ada youtube yg lagi diputar :)
lalu untuk refresh pattern coba sebaris ini saja:
refresh_pattern -i . 0 90% 432000 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
max_stale 6 days
kalau tidak mau pakai ya sudah, cari yg lain saja :) karena kalau refresh pattern yg cuma sebaris ini, menurut perasaan, lebih responsif dibanding kalau menggunakan refresh pattern yg bejibun… coba deh
ok gan, makasih
oh iya gan, kalau sekiranya ada ralat di sana sini untuk mengembangkan, atau siapa tahu ada yg luput karena kehilafan, silakan gan diralat ;)

ijin pke gan. thks

[shr_kaza]

@landylandy:

ini newbi mau berbagi kepada newbi yg lain tentang storeid.pl yg masih bisa cache youtube hingga saat ini :) yah siapatau ada di antara newbi yg mau menghemat bandwidth, karena sekarang ini FUP sudah diterapkan di indihome.. mau tidak mau kita harus berjuang untuk menyelamatkan bandwidth2 kita yg masih bisa diselamatkan :)
pfsense yg saya gunakan di sini adalah pfsense versi 2.3, squid 3.5.16. ok, saya asumsikan squid sudah berjalan sempurna dengan https yg sudah diaktifkan (kalau belum tahu caranya lihat di sini: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Squid-Proxy-in-pfSense).
pertama, ambil file storeid.pl di: https://drive.google.com/open?id=0B-Fyc93b4_C-TkdrUF85S19WNkU kemudian letakkan file-nya di /usr/local/etc/squid.
ubah propertinya dengan bantuan putty: chown squid:proxy /usr/local/etc/squid/storeid.pl lalu chmod 777 /usr/local/etc/squid/storeid.pl
setelah itu ambil satu file lagi dari https://drive.google.com/open?id=0B-Fyc93b4_C-amw3d05PNUVoYmc copy seluruh isinya lalu letakkan di web GUI services > Squid Proxy Server > di kotak Custom ACLS (Before Auth), save! oh iya, sebaiknya semua ini dilakukan dengan mendisable squid terlebih dahulu dari awal :)
sekarang coba enable-kan lagi squid proxy (centang Enable Squid Proxy), save, restart squid dan ketik di putty squid -k reconfigure, lihat kalau masih ada error.
ok sudah :) kalau berhasil selamat ya! kalau gagal, ya apa boleh buat :P
untuk cek log storeid ketik: tail -f /tmp/storeid.log|ccze disitu akan kelihatan kalau https sudah diubah ke http kalau ada youtube yg lagi diputar :)
lalu untuk refresh pattern coba sebaris ini saja:
refresh_pattern -i . 0 90% 432000 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
max_stale 6 days
kalau tidak mau pakai ya sudah, cari yg lain saja :) karena kalau refresh pattern yg cuma sebaris ini, menurut perasaan, lebih responsif dibanding kalau menggunakan refresh pattern yg bejibun… coba deh
ok gan, makasih
oh iya gan, kalau sekiranya ada ralat di sana sini untuk mengembangkan, atau siapa tahu ada yg luput karena kehilafan, silakan gan diralat ;)
contoh hasil racikannya https://www.youtube.com/watch?v=xeD3M9RLjfM

ini support squid 3.5.3 bang landylandy ? saya sdah coba 2.2.6 squid 3.5.3.

[shr_kaza]

@landylandy:

@shr_kaza:

@landylandy:

ini newbi mau berbagi kepada newbi yg lain tentang storeid.pl yg masih bisa cache youtube hingga saat ini :) yah siapatau ada di antara newbi yg mau menghemat bandwidth, karena sekarang ini FUP sudah diterapkan di indihome.. mau tidak mau kita harus berjuang untuk menyelamatkan bandwidth2 kita yg masih bisa diselamatkan :)
pfsense yg saya gunakan di sini adalah pfsense versi 2.3, squid 3.5.16. ok, saya asumsikan squid sudah berjalan sempurna dengan https yg sudah diaktifkan (kalau belum tahu caranya lihat di sini: https://turbofuture.com/internet/Intercepting-HTTPS-Traffic-Using-the-Squid-Proxy-in-pfSense).
pertama, ambil file storeid.pl di: https://drive.google.com/open?id=0B-Fyc93b4_C-TkdrUF85S19WNkU kemudian letakkan file-nya di /usr/local/etc/squid.
ubah propertinya dengan bantuan putty: chown squid:proxy /usr/local/etc/squid/storeid.pl lalu chmod 777 /usr/local/etc/squid/storeid.pl
setelah itu ambil satu file lagi dari https://drive.google.com/open?id=0B-Fyc93b4_C-amw3d05PNUVoYmc copy seluruh isinya lalu letakkan di web GUI services > Squid Proxy Server > di kotak Custom ACLS (Before Auth), save! oh iya, sebaiknya semua ini dilakukan dengan mendisable squid terlebih dahulu dari awal :)
sekarang coba enable-kan lagi squid proxy (centang Enable Squid Proxy), save, restart squid dan ketik di putty squid -k reconfigure, lihat kalau masih ada error.
ok sudah :) kalau berhasil selamat ya! kalau gagal, ya apa boleh buat :P
untuk cek log storeid ketik: tail -f /tmp/storeid.log|ccze disitu akan kelihatan kalau https sudah diubah ke http kalau ada youtube yg lagi diputar :)
lalu untuk refresh pattern coba sebaris ini saja:
refresh_pattern -i . 0 90% 432000 override-expire override-lastmod reload-into-ims ignore-reload ignore-no-store ignore-must-revalidate ignore-private ignore-auth refresh-ims store-stale
max_stale 6 days
kalau tidak mau pakai ya sudah, cari yg lain saja :) karena kalau refresh pattern yg cuma sebaris ini, menurut perasaan, lebih responsif dibanding kalau menggunakan refresh pattern yg bejibun… coba deh
ok gan, makasih
oh iya gan, kalau sekiranya ada ralat di sana sini untuk mengembangkan, atau siapa tahu ada yg luput karena kehilafan, silakan gan diralat ;)
contoh hasil racikannya https://www.youtube.com/watch?v=xeD3M9RLjfM

ini support squid 3.5.3 bang landylandy ? saya sdah coba 2.2.6 squid 3.5.3.

hmm… saya kurang tahu gan.. saya sudah malas oprek downgrade lagi. lagipula versi di atas versi 2.2 entah kenapa kalau saya install itu tidak pernah support dengan facebook kalau https-nya diaktifkan. jadi dulu pfsense saya mentok di versi 2.2 saja kalau mau aktifkan https dan facebook lancar :). Kenapa tidak pakai versi sekarang saja gan? lebih lancar, support semuanya, bisa cache youtube dll, hit lebih banyak.
oh iya gan, kalau mau digabung mikrotik tambahkan qos_flows local-hit=0x30 di kolom Custom ACLS Before Auth dan kalau mau hit youtube-nya tidak putus tambahkan addons Magic Action for YouTube di browser

sudah pke 2.3.1, tpi bawaannya squid 3.5.1, saya coba install squid 3.5.3 tapi gagal, belum menemukan caranya. soalnya perintahnya berbeda dari versi sebelumnya.

[shr_kaza]

@landylandy:

squid bawaan dari pfsense versi 2.3.1 kan 3.5.19 om, kenapa dikatakan 3.5.1 ?? kalau install squid dari pfsense versi 2.3.1 pasti dapatnya squid 3.5.19.
ini saya juga baru coba install ulang lagi pake versi 2.3.1. .. :) saya coba langkah2 di atas ternyata youtube masih bisa cache dengan squid versi yg lebih tinggi. saya ndak ngerti bingungnya om di mana…

saya inginnya pf 2.3.1 dengan squid terbaru 3.5.3, klo bawaannya 3.5.19. maaf yg kemarin kurang angka 9 jadi 3.5.1