(SHARE) MENGATASI ERROR BUKA YOUTUBE

extreemblank

@serangku:

repot deh kalo maenan dengan youtube2 an …

kembali ke konsep awal lagi saja, sembari ngarepin koneksi broadband di kita terus membaik.
after all ... emang jadi tantangan tersendiri dan kepuasan tersendiri juga ngoprek untuk terus2 an berusaha HIT
pasti akan sampe pada titik boring deh ...

keep explore, happy oprek ...

Om Serangku, ada clue dari Om Syaifuddin JW….
Mudah2an bisa diterapkan di Pfsense....

di U***** server:
build squid dengan opsi "–enable-referer-log"
lalu install paket pendukungnya
apt-get install libfile-readbackwards-perl

squid config
referer_log /var/log/squid/referer.log

storeurl.pl (revisi untuk youtube yg sudah ada)

kode pastebin http://pastebin.com/TGLBtZ5Z

dan bagian akhir file tambahkan ini

sub GetID{
use File::ReadBackwards;
my $ref_log = File::ReadBackwards->new('/var/log/squid/referer.log');
while (defined($line = $ref_log->readline)){
if ($line =~ m/.youtube./watch?.v=([a-zA-Z0-9-_]).*\s.id=$IDS[0]./){
$id = $1;
last;
}
if ($line =~ m/.youtube./ptracking.cpn=$CPN[0].video_id=([a-zA-Z0-9-_])./){
$id = $1;
last;
}
if ($line =~ m/.youtube./ptracking.video_id=([a-zA-Z0-9-_]).cpn=$CPN[0]./){
$id = $1;
last;
}
}
$ref_log->close();
return $id;
}

Menunggu pencerahan dari Om Master2 PFSENSE….berharap mode on

use File::ReadBackwards;

buat baca file per line, masalahnya gak include di standard perl nih, harus di install pake pkg-add

ni masalah PACKAGESITE source ftpnya freebsd di kutak katik sama pfsense kadang nambah package2 std freebsd aja jadi unable to fetch bla..blah gitu..

hmm.. stay tune.

brb.

olop99

jadi gimana solusinya nih gans…??

herymulyo

SEKEDAR share install readbackward.pm di pfsense sesuai yang diajarkan om rb.nababan
install package dari putty

pkg_add -r http://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-8-stable/perl5/p5-File-ReadBackwards-1.05.tbz

extreemblank

ngetest readbackward udah terinstall atau belum, bisa pake kode ini:


#!/usr/bin/perl
use File::ReadBackwards;

$fh = File::ReadBackwards->new('/var/squid/log/access.log') or
die "can't read file: $!\n";

while ( defined($line = $fh->readline) )
{
  print $line ;
}

simpan dengan nama cobaReadBack.pl

lalu jalankan dengan perl cobaReadBack.pl, kalo ReadBackWards udah terinstall dengan baik, maka file squid/log/access.log akan ditampilkan secara terbalik ( dari akhir file ) alias BackWard.. itu sebabnya kang ucok karnadi pake library ini… baca file lognya dari belakang alias baris yang dibaca dulu adalah yang terakhir disimpan / ditambahkan kedalam log. CMIIW

extreemblank

sesuaikan storeurl dengan style squid pfsense.

perubahan di bagian akhir storeurl.pl


ub GetID
{
$id = "";
use File::ReadBackwards;
my $lim = 200 ;
my $ref_log = File::ReadBackwards->new('/var/squid/log/yt.log');
while (defined($line = $ref_log->readline))
{
if ($line =~ m/.*youtube.*\/watch\?.*v=([a-zA-Z0-9\-\_]*).*\s.*id=$IDS[0].*/){
$id = $1;
last;
}
if ($line =~ m/.*youtube.*\/.*cpn=$CPN[0].*[&](video_id|docid|v)=([a-zA-Z0-9\-\_]*).*/){
$id = $2;
last;
}
if ($line =~ m/.*youtube.*\/.*[&?](video_id|docid|v)=([a-zA-Z0-9\-\_]*).*cpn=$CPN[0].*/){
$id = $2;
last;
}
last if --$lim <= 0;
}
if ($id eq ""){
$id = $IDS[0];
}
$ref_log->close();
return $id;
}

original storeurl.pl ada di http://tempat-sampah.googlecode.com/svn/storeurl.pl

dan edit /usr/local/etc/squid/include.conf karena kita gak boleh edit squid.conf langsung.

tambahkan kode ini paling atasnya sesuai petunjuk ucok karnady


strip_query_terms off
acl yutub url_regex -i .*youtube\.com\/.*$
acl yutub url_regex -i .*youtu\.be\/.*$

logformat squid1 %{Referer}>h %ru

access_log /var/squid/log/yt.log squid1 yutub
acl redirec urlpath_regex -i .*&redirect_counter=1&cms_redirect=yes
acl redirec urlpath_regex -i .*&ir=1&rr=12
cache deny redirec 
acl reddeny url_regex -i c\.youtube\.com\/videoplayback.*redirect_counter=1.*$
acl reddeny url_regex -i c\.youtube\.com\/videoplayback.*cms_redirect=yes.*$
storeurl_access deny reddeny

udah silakan dicoba dan share hasilnya … :P :D

olop99

hasilnya bagaimana nih para mastah….

inyouxnow

maaf saya mau tanya, untuk lusca berarti ga diperlukan enable-referrer-log nya ya ?

emencavalera

udah kelar mas, coba jalan-jalan keforum sebelah…tapi buat lusca sich...tinggal nunggu gelaran kang ucok untuk squid3+SSL Bump buat nangkep Https...hehehehehe

dpa

Hello guys,

I am lost on how to do this: install package dependencies "apt-get install libfile-readbackwards-perl"

Please help. thanks!

Regards

queues

@extreemblank:

sesuaikan storeurl dengan style squid pfsense.

perubahan di bagian akhir storeurl.pl


ub GetID
{
$id = "";
use File::ReadBackwards;
my $lim = 200 ;
my $ref_log = File::ReadBackwards->new('/var/squid/log/yt.log');
while (defined($line = $ref_log->readline))
{
if ($line =~ m/.*youtube.*\/watch\?.*v=([a-zA-Z0-9\-\_]*).*\s.*id=$IDS[0].*/){
$id = $1;
last;
}
if ($line =~ m/.*youtube.*\/.*cpn=$CPN[0].*[&](video_id|docid|v)=([a-zA-Z0-9\-\_]*).*/){
$id = $2;
last;
}
if ($line =~ m/.*youtube.*\/.*[&?](video_id|docid|v)=([a-zA-Z0-9\-\_]*).*cpn=$CPN[0].*/){
$id = $2;
last;
}
last if --$lim <= 0;
}
if ($id eq ""){
$id = $IDS[0];
}
$ref_log->close();
return $id;
}

original storeurl.pl ada di http://tempat-sampah.googlecode.com/svn/storeurl.pl

dan edit /usr/local/etc/squid/include.conf karena kita gak boleh edit squid.conf langsung.

tambahkan kode ini paling atasnya sesuai petunjuk ucok karnady


strip_query_terms off
acl yutub url_regex -i .*youtube\.com\/.*$
acl yutub url_regex -i .*youtu\.be\/.*$

logformat squid1 %{Referer}>h %ru

access_log /var/squid/log/yt.log squid1 yutub
acl redirec urlpath_regex -i .*&redirect_counter=1&cms_redirect=yes
acl redirec urlpath_regex -i .*&ir=1&rr=12
cache deny redirec 
acl reddeny url_regex -i c\.youtube\.com\/videoplayback.*redirect_counter=1.*$
acl reddeny url_regex -i c\.youtube\.com\/videoplayback.*cms_redirect=yes.*$
storeurl_access deny reddeny

udah silakan dicoba dan share hasilnya … :P :D

Sudah saya coba, Lusca tidak mau berjalan. jika bagian didalam file include.conf :

storeurl_rewrite_program /usr/local/etc/squid/storeurl.pl

diganti menjadi

#storeurl_rewrite_program /usr/local/etc/squid/storeurl.pl

lusca mau berjalan, tetapi yutub dan lain-lainnya tidak ngecache.

di system log juga ada pesan klo lusca tidak berjalan, seperti ini :
"squid[51782]: The store_rewriter helpers are crashing too rapidly, need help!"

sama tulisan log seperti TCP_Miss atau TCP_hit dsb. di tail -f /var/squid/logs/access.log tidak muncul.
tapi tulisan link nya muncul dan bergerak.

Mohon pencerahannya

queues

@dpa:

Hello guys,

I am lost on how to do this: install package dependencies "apt-get install libfile-readbackwards-perl"

Please help. thanks!

Regards

what ur pfsense version? amd or intel?

herymulyo

FATAL: Cannot open '/var/squid/log/yt.log' because
the parent directory does not exist.
Please create the directory.

ternyata ada sedikit kesalahan squid dalam membaca directory :
'/var/squid/log/yt.log'
yang seharusnya di pfsense :
/var/squid/logs/yt.log

(yang menjadikan squid dan lusca gak mau running)

#include.conf
strip_query_terms off
acl yutub url_regex -i .youtube.com/.$
acl yutub url_regex -i .youtu.be/.$

logformat squid1 %{Referer}>h %ru

access_log /var/squid/logs/yt.log squid1 yutub
acl redirec urlpath_regex -i .&redirect_counter=1&cms_redirect=yes
acl redirec urlpath_regex -i .&ir=1&rr=12
cache deny redirec
acl reddeny url_regex -i c.youtube.com/videoplayback.redirect_counter=1.$
acl reddeny url_regex -i c.youtube.com/videoplayback.cms_redirect=yes.$
storeurl_access deny reddeny

#edit storeurl.pl

sub GetID
{
$id = "";
use File::ReadBackwards;
my $lim = 200 ;
my $ref_log = File::ReadBackwards->new('/var/squid/logs/yt.log');
while (defined($line = $ref_log->readline))
{
if ($line =~ m/.youtube./watch?.v=([a-zA-Z0-9-_]).\s.id=$IDS[0]./){
$id = $1;
last;
}
if ($line =~ m/.youtube./.cpn=$CPN[0].&=([a-zA-Z0-9-_])./){
$id = $2;
last;
}
if ($line =~ m/.youtube./.&?=([a-zA-Z0-9-_]*).cpn=$CPN[0]./){
$id = $2;
last;
}
last if –$lim <= 0;
}
if ($id eq ""){
$id = $IDS[0];
}
$ref_log->close();
return $id;
}

queues

@extreemblank:

ngetest readbackward udah terinstall atau belum, bisa pake kode ini:
#!/usr/bin/perl
use File::ReadBackwards;
 
$fh = File::ReadBackwards->new('/var/squid/log/access.log') or
die "can't read file: $!\n";
 
while ( defined($line = $fh->readline) )
{
  print $line ;
}
simpan dengan nama cobaReadBack.pl

lalu jalankan dengan perl cobaReadBack.pl, kalo ReadBackWards udah terinstall dengan baik, maka file squid/log/access.log akan ditampilkan secara terbalik ( dari akhir file ) alias BackWard.. itu sebabnya kang ucok karnadi pake library ini… baca file lognya dari belakang alias baris yang dibaca dulu adalah yang terakhir disimpan / ditambahkan kedalam log. CMIIW

cara menjalankannya bagaimana ?

@herymulyo
mas hery, saya sudah coba mengganti seperti petunjuk mas hery, tetap lusca gak mau berjalan.

extreemblank

saat kita setting proxynya pfsense, yaitu di menu Proxy server: General settings atau kalau di saya di http://192.168.1.1/pkg_edit.php?xml=squid.xml&id=0, tergantung rekan2 set ip interface lan.. kalo saya 19.168.1.1 itu. maka disitu ada pengesetan Log store directory:
maka pastikan apa yang tertulis di sana sama dengan yang kita tuliskan juga directory lognya di configurasi tambahan squid… dalam hal ini file storeurl.pl dan include.conf

oya jika sudah benar maka coba test di ssh alias terminal: perl cobaReadBack.pl kode simple di atas.. ini hanya untuk menguji library readback ini terpasang baik apa gak saja.

jika readback nya belum terinstall maka storeurl pun akan error.

olop99

pengen tanya para mastah

proxy ane waktu masukan IP proxy di web browser dia ke cache dengan sempurna dengan 100% HIT tanpa memakan bandwith

tetapi pas waktu ane NAT di mikrotik dan IP proxy di hilangkan youtube ke HIT tetapi memakan bandwith…

itu kira2 kenapa ya mastah apakah setingan mikrotik ane salah atau kenapa ya...??

apa proxy ane juga yang salah ya

dpa

@QueueS:

@dpa:

Hello guys,

I am lost on how to do this: install package dependencies "apt-get install libfile-readbackwards-perl"

Please help. thanks!

Regards

what ur pfsense version? amd or intel?

I already get it, thanks to you all! ;)

poscom

pkg_info perl…

perl-5.10.1_3
perl-5.12.3

new...perl-5.14.2_2

olop99

mastah pengen tanya nih gans..

gimana sih ACLnya untuk ngeBLOK IDM..??

klo ada tolong kasih tau dong mas

soalnya butuh banget ini…

terima kasih

eyditharen

blom jalan juga kalo pake storeurl tolong di kasi cara nge check perl, ato package yg blom terinstall dengan benar sehingga ngak bisa di jalan kan

eyditharen

mohon di gelar supaya yg laen bisa nyoba n ngereview