(SHARE) MENGATASI ERROR BUKA YOUTUBE

extreemblank

sesuaikan storeurl dengan style squid pfsense.

perubahan di bagian akhir storeurl.pl


ub GetID
{
$id = "";
use File::ReadBackwards;
my $lim = 200 ;
my $ref_log = File::ReadBackwards->new('/var/squid/log/yt.log');
while (defined($line = $ref_log->readline))
{
if ($line =~ m/.*youtube.*\/watch\?.*v=([a-zA-Z0-9\-\_]*).*\s.*id=$IDS[0].*/){
$id = $1;
last;
}
if ($line =~ m/.*youtube.*\/.*cpn=$CPN[0].*[&](video_id|docid|v)=([a-zA-Z0-9\-\_]*).*/){
$id = $2;
last;
}
if ($line =~ m/.*youtube.*\/.*[&?](video_id|docid|v)=([a-zA-Z0-9\-\_]*).*cpn=$CPN[0].*/){
$id = $2;
last;
}
last if --$lim <= 0;
}
if ($id eq ""){
$id = $IDS[0];
}
$ref_log->close();
return $id;
}

original storeurl.pl ada di http://tempat-sampah.googlecode.com/svn/storeurl.pl

dan edit /usr/local/etc/squid/include.conf karena kita gak boleh edit squid.conf langsung.

tambahkan kode ini paling atasnya sesuai petunjuk ucok karnady


strip_query_terms off
acl yutub url_regex -i .*youtube\.com\/.*$
acl yutub url_regex -i .*youtu\.be\/.*$

logformat squid1 %{Referer}>h %ru

access_log /var/squid/log/yt.log squid1 yutub
acl redirec urlpath_regex -i .*&redirect_counter=1&cms_redirect=yes
acl redirec urlpath_regex -i .*&ir=1&rr=12
cache deny redirec 
acl reddeny url_regex -i c\.youtube\.com\/videoplayback.*redirect_counter=1.*$
acl reddeny url_regex -i c\.youtube\.com\/videoplayback.*cms_redirect=yes.*$
storeurl_access deny reddeny

udah silakan dicoba dan share hasilnya … :P :D

olop99

hasilnya bagaimana nih para mastah….

inyouxnow

maaf saya mau tanya, untuk lusca berarti ga diperlukan enable-referrer-log nya ya ?

emencavalera

udah kelar mas, coba jalan-jalan keforum sebelah…tapi buat lusca sich...tinggal nunggu gelaran kang ucok untuk squid3+SSL Bump buat nangkep Https...hehehehehe

dpa

Hello guys,

I am lost on how to do this: install package dependencies "apt-get install libfile-readbackwards-perl"

Please help. thanks!

Regards

queues

@extreemblank:

sesuaikan storeurl dengan style squid pfsense.

perubahan di bagian akhir storeurl.pl


ub GetID
{
$id = "";
use File::ReadBackwards;
my $lim = 200 ;
my $ref_log = File::ReadBackwards->new('/var/squid/log/yt.log');
while (defined($line = $ref_log->readline))
{
if ($line =~ m/.*youtube.*\/watch\?.*v=([a-zA-Z0-9\-\_]*).*\s.*id=$IDS[0].*/){
$id = $1;
last;
}
if ($line =~ m/.*youtube.*\/.*cpn=$CPN[0].*[&](video_id|docid|v)=([a-zA-Z0-9\-\_]*).*/){
$id = $2;
last;
}
if ($line =~ m/.*youtube.*\/.*[&?](video_id|docid|v)=([a-zA-Z0-9\-\_]*).*cpn=$CPN[0].*/){
$id = $2;
last;
}
last if --$lim <= 0;
}
if ($id eq ""){
$id = $IDS[0];
}
$ref_log->close();
return $id;
}

original storeurl.pl ada di http://tempat-sampah.googlecode.com/svn/storeurl.pl

dan edit /usr/local/etc/squid/include.conf karena kita gak boleh edit squid.conf langsung.

tambahkan kode ini paling atasnya sesuai petunjuk ucok karnady


strip_query_terms off
acl yutub url_regex -i .*youtube\.com\/.*$
acl yutub url_regex -i .*youtu\.be\/.*$

logformat squid1 %{Referer}>h %ru

access_log /var/squid/log/yt.log squid1 yutub
acl redirec urlpath_regex -i .*&redirect_counter=1&cms_redirect=yes
acl redirec urlpath_regex -i .*&ir=1&rr=12
cache deny redirec 
acl reddeny url_regex -i c\.youtube\.com\/videoplayback.*redirect_counter=1.*$
acl reddeny url_regex -i c\.youtube\.com\/videoplayback.*cms_redirect=yes.*$
storeurl_access deny reddeny

udah silakan dicoba dan share hasilnya … :P :D

Sudah saya coba, Lusca tidak mau berjalan. jika bagian didalam file include.conf :

storeurl_rewrite_program /usr/local/etc/squid/storeurl.pl

diganti menjadi

#storeurl_rewrite_program /usr/local/etc/squid/storeurl.pl

lusca mau berjalan, tetapi yutub dan lain-lainnya tidak ngecache.

di system log juga ada pesan klo lusca tidak berjalan, seperti ini :
"squid[51782]: The store_rewriter helpers are crashing too rapidly, need help!"

sama tulisan log seperti TCP_Miss atau TCP_hit dsb. di tail -f /var/squid/logs/access.log tidak muncul.
tapi tulisan link nya muncul dan bergerak.

Mohon pencerahannya

queues

@dpa:

Hello guys,

I am lost on how to do this: install package dependencies "apt-get install libfile-readbackwards-perl"

Please help. thanks!

Regards

what ur pfsense version? amd or intel?

herymulyo

FATAL: Cannot open '/var/squid/log/yt.log' because
the parent directory does not exist.
Please create the directory.

ternyata ada sedikit kesalahan squid dalam membaca directory :
'/var/squid/log/yt.log'
yang seharusnya di pfsense :
/var/squid/logs/yt.log

(yang menjadikan squid dan lusca gak mau running)

#include.conf
strip_query_terms off
acl yutub url_regex -i .youtube.com/.$
acl yutub url_regex -i .youtu.be/.$

logformat squid1 %{Referer}>h %ru

access_log /var/squid/logs/yt.log squid1 yutub
acl redirec urlpath_regex -i .&redirect_counter=1&cms_redirect=yes
acl redirec urlpath_regex -i .&ir=1&rr=12
cache deny redirec
acl reddeny url_regex -i c.youtube.com/videoplayback.redirect_counter=1.$
acl reddeny url_regex -i c.youtube.com/videoplayback.cms_redirect=yes.$
storeurl_access deny reddeny

#edit storeurl.pl

sub GetID
{
$id = "";
use File::ReadBackwards;
my $lim = 200 ;
my $ref_log = File::ReadBackwards->new('/var/squid/logs/yt.log');
while (defined($line = $ref_log->readline))
{
if ($line =~ m/.youtube./watch?.v=([a-zA-Z0-9-_]).\s.id=$IDS[0]./){
$id = $1;
last;
}
if ($line =~ m/.youtube./.cpn=$CPN[0].&=([a-zA-Z0-9-_])./){
$id = $2;
last;
}
if ($line =~ m/.youtube./.&?=([a-zA-Z0-9-_]*).cpn=$CPN[0]./){
$id = $2;
last;
}
last if –$lim <= 0;
}
if ($id eq ""){
$id = $IDS[0];
}
$ref_log->close();
return $id;
}

queues

@extreemblank:

ngetest readbackward udah terinstall atau belum, bisa pake kode ini:
#!/usr/bin/perl
use File::ReadBackwards;
 
$fh = File::ReadBackwards->new('/var/squid/log/access.log') or
die "can't read file: $!\n";
 
while ( defined($line = $fh->readline) )
{
  print $line ;
}
simpan dengan nama cobaReadBack.pl

lalu jalankan dengan perl cobaReadBack.pl, kalo ReadBackWards udah terinstall dengan baik, maka file squid/log/access.log akan ditampilkan secara terbalik ( dari akhir file ) alias BackWard.. itu sebabnya kang ucok karnadi pake library ini… baca file lognya dari belakang alias baris yang dibaca dulu adalah yang terakhir disimpan / ditambahkan kedalam log. CMIIW

cara menjalankannya bagaimana ?

@herymulyo
mas hery, saya sudah coba mengganti seperti petunjuk mas hery, tetap lusca gak mau berjalan.

extreemblank

saat kita setting proxynya pfsense, yaitu di menu Proxy server: General settings atau kalau di saya di http://192.168.1.1/pkg_edit.php?xml=squid.xml&id=0, tergantung rekan2 set ip interface lan.. kalo saya 19.168.1.1 itu. maka disitu ada pengesetan Log store directory:
maka pastikan apa yang tertulis di sana sama dengan yang kita tuliskan juga directory lognya di configurasi tambahan squid… dalam hal ini file storeurl.pl dan include.conf

oya jika sudah benar maka coba test di ssh alias terminal: perl cobaReadBack.pl kode simple di atas.. ini hanya untuk menguji library readback ini terpasang baik apa gak saja.

jika readback nya belum terinstall maka storeurl pun akan error.

olop99

pengen tanya para mastah

proxy ane waktu masukan IP proxy di web browser dia ke cache dengan sempurna dengan 100% HIT tanpa memakan bandwith

tetapi pas waktu ane NAT di mikrotik dan IP proxy di hilangkan youtube ke HIT tetapi memakan bandwith…

itu kira2 kenapa ya mastah apakah setingan mikrotik ane salah atau kenapa ya...??

apa proxy ane juga yang salah ya

dpa

@QueueS:

@dpa:

Hello guys,

I am lost on how to do this: install package dependencies "apt-get install libfile-readbackwards-perl"

Please help. thanks!

Regards

what ur pfsense version? amd or intel?

I already get it, thanks to you all! ;)

poscom

pkg_info perl…

perl-5.10.1_3
perl-5.12.3

new...perl-5.14.2_2

olop99

mastah pengen tanya nih gans..

gimana sih ACLnya untuk ngeBLOK IDM..??

klo ada tolong kasih tau dong mas

soalnya butuh banget ini…

terima kasih

eyditharen

blom jalan juga kalo pake storeurl tolong di kasi cara nge check perl, ato package yg blom terinstall dengan benar sehingga ngak bisa di jalan kan

eyditharen

mohon di gelar supaya yg laen bisa nyoba n ngereview

onomlakbok

@ucok_karnadi:

gak usah susah susah, pakai storeurl lama dah tercache, karena youtube kembali menjadi static ID

happy caching brotha.

storeurl lama
https://tempat-sampah.googlecode.com/svn-history/r17/storeurl.pl

Thx om dah mampir dan atas pencerahanya
test by me hanya mengganti storeurl.pl dengan storeurl lama youtube langsung HIT monggo d coba temen"

kambeeng

@ucok_karnadi:

gak usah susah susah, pakai storeurl lama dah tercache, karena youtube kembali menjadi static ID

happy caching brotha.

storeurl lama
https://tempat-sampah.googlecode.com/svn-history/r17/storeurl.pl

Tks suhu udah masuk ke forum dan memberikan wejangan

salam

Kambeeng
PFSI

olop99

ane coba ya para master….

ucok_karnadi

bagaimana dah sloved semua ;)