(SHARE) MENGATASI ERROR BUKA YOUTUBE

abnisrea

monggo dicoba storeurl om cuddy :

#!/usr/bin/perl

$Rev$

by chudy_fernandez@yahoo.com

Youtube updates at http://wiki.squid-cache.org/ConfigExamples/DynamicContent/YouTube/Discussion

$|=1;
while (<>) {
@X = split;

$X[1] =~ s/&sig=.*//;

$x = $X[0] . " ";
$_ = $X[1];
$u = $X[1];

#photos-X.ak.fbcdn.net where X a-z
if (m/^http://photos-[a-z]?(.ak.fbcdn.net.*)/) {
print $x . "http://photos" . $1 . "\n";

#maps.google.com
} elsif (m/^http://(khm|mt)[0-9]?(.google.com.*)/) {
print $x . "http://" . $1 . $2 . "\n";

compatibility for old cached get_video?video_id

} elsif (m/^http://([0-9.]{4}|..youtube.com|..googlevideo.com|..video.google.com).?(videoplayback?id=.?|video_id=.?)&(.*?)/) {
$z = $2; $z =~ s/video_id=/get_video?video_id=/;
print $x . "http://video-srv.youtube.com.SQUIDINTERNAL/" . $z . "\n";

youtube 1024p HD itag=37, 720p HD itag=22

} elsif (m/^http://([0-9.]{4}|..youtube.com|..googlevideo.com|..video.google.com).?&(itag=37|itag=22).?&(id=[a-zA-Z0-9])/) {
print $x . "http://video-srv.youtube.com.SQUIDINTERNAL/" . $2 . "&" . $3 . "\n";

youtube 360p itag=34 ,480p itag=35 and others

} elsif (m/^http://([0-9.]{4}|..youtube.com|..googlevideo.com|..video.google.com).?&(itag=[0-9]).?&(id=[a-zA-Z0-9]*)/) {
print $x . "http://video-srv.youtube.com.SQUIDINTERNAL/" . $3 . "\n";

} elsif (m/^http://www.google-analytics.com/__utm.gif?.*/) {
print $x . "http://www.google-analytics.com/__utm.gif\n";

#Cache High Latency Ads
} elsif (m/^http://([a-z0-9.])(.doubleclick.net|.quantserve.com|.googlesyndication.com|yieldmanager|cpxinteractive)(.)/) {
$y = $3;$z = $2;
for ($y) {
s/pixel;./pixel/;
s/activity;./activity/;
s/(imgad[^&])./\1/;
s/;ord=[?0-9]//;
s/;×tamp=[0-9]//;
s/[&?]correlator=[0-9]//;
s/&cookie=[^&]//;
s/&ga_hid=[^&]//;
s/&ga_vid=[^&]//;
s/&ga_sid=[^&]*//;

s/&prev_slotnames=[^&]*//

s/&u_his=[^&]*//;

s/&dt=[^&]//;
s/&dtd=[^&]//;
s/&lmt=[^&]//;
s/(&alternate_ad_url=http%3A%2F%2F[^(%2F)])[^&]/\1/;
s/(&url=http%3A%2F%2F[^(%2F)])[^&]/\1/;
s/(&ref=http%3A%2F%2F[^(%2F)])[^&]/\1/;
s/(&cookie=http%3A%2F%2F[^(%2F)])[^&]/\1/;
s/[;&?]ord=[?0-9]//;
s/[;&]mpvid=[^&;]//;
s/&xpc=[^&]//;

yieldmanager

s/?clickTag=[^&]//;
s/&u=[^&]//;
s/&slotname=[^&]//;
s/&page_slots=[^&]//;
}
print $x . "http://" . $1 . $2 . $y . "\n";

#cache high latency ads
} elsif (m/^http://(.?)/(ads)?(.?)/) {
print $x . "http://" . $1 . "/" . $2 . "\n";

} elsif (m/^http://(www.ziddu.com..[^/]{3,4})/(.?)/) {
print $x . "http://" . $1 . "\n";

#cdn, varialble 1st path
} elsif (($u =~ /filehippo/) && (m/^http://(.?).(.?)/(.?)/(.).([a-z0-9]{3,4})(?.*)?/)) {
@y = ($1,$2,$4,$5);
$y[0] =~ s/[a-z0-9]{2,5}/cdn./;
print $x . "http://" . $y[0] . $y[1] . "/" . $y[2] . "." . $y[3] . "\n";

#rapidshare
} elsif (($u =~ /rapidshare/) && (m/^http://(([A-Za-z]+[0-9-.]+)?)([a-z].[^/]{3}/[a-z]/[0-9])/(.*?)/([^/?&]{4,})$/)) {
print $x . "http://cdn." . $3 . "/SQUIDINTERNAL/" . $5 . "\n";

} elsif (($u =~ /maxporn/) && (m/^http://([^/]?)/(.?)/([^/]?)(?.)?$/)) {
print $x . "http://" . $1 . "/SQUIDINTERNAL/" . $3 . "\n";

#domain/path/./path/filename
} elsif (($u =~ /fucktube/) && (m/^http://(.?)(.[^.-]?[^/]/[^/])/(.)/([^/])/([^/?&]).([^/?&]{3,4})(?.*?)$/)) {
@y = ($1,$2,$4,$5,$6);
$y[0] =~ s/(([a-zA-A]+[0-9]+(-[a-zA-Z])?$)|([^.]cdn[^.])|([^.]cache[^.]))/cdn/;
print $x . "http://" . $y[0] . $y[1] . "/" . $y[2] . "/" . $y[3] . "." . $y[4] . "\n";

#like porn hub variables url and center part of the path, filename etention 3 or 4 with or without ? at the end
} elsif (($u =~ /tube8|pornhub|xvideos/) && (m/^http://(([A-Za-z]+[0-9-.]+)?(.[a-z])?).([a-z][0-9]?.[^/]{3}/[a-z])(.?)((/[a-z])?(/[^/]){4}.[^/?]{3,4})(?.)?$/)) {
print $x . "http://cdn." . $4 . $6 . "\n";

#for yimg.com video
} elsif (m/^http://(.yimg.com)//(.)/([^/?&]/[^/?&].[^/?&]{3,4})(?.*)?$/) {
print $x . "http://cdn.yimg.com//" . $3 . "\n";

#for yimg.com doubled
} elsif (m/^http://(.?).yimg.com/(.?).yimg.com/(.?)?(.)/) {
print $x . "http://cdn.yimg.com/" . $3 . "\n";

#for yimg.com with &sig=
} elsif (m/^http://([^.]).yimg.com/(.)/) {
@y = ($1,$2);
$y[0] =~ s/[a-z]+([0-9]+)?/cdn/;
$y[1] =~ s/&sig=.*//;
print $x . "http://" . $y[0] . ".yimg.com/" . $y[1] . "\n";

#youjizz. We use only domain and filename
} elsif (($u =~ /media[0-9]{1,5}.youjizz/) && (m/^http://(.?)(.[^.-]?.[^/])/(.)/([^/?&]).([^/?&]{3,4})(?.?)$/)) {
@y = ($1,$2,$4,$5);
$y[0] =~ s/(([a-zA-A]+[0-9]+(-[a-zA-Z])?$)|([^.]cdn[^.])|([^.]cache[^.]))/cdn/;
print $x . "http://" . $y[0] . $y[1] . "/" . $y[2] . "." . $y[3] . "\n";

#general purpose for cdn servers. add above your specific servers.
} elsif (m/^http://([0-9.]?)//(.?).(.)?(.?)/) {
print $x . "http://squid-cdn-url//" . $2 . "." . $3 . "\n";

spicific extention

} elsif (m/^http://(.?).(jp(e?g|e|2)|gif|png|tiff?|bmp|ico|flv|wmv|3gp|mp(4|3)|exe|msi|zip|on2|mar|swf).?/) {

@y = ($1,$2);

$y[0] =~ s/((cache|cdn)[-\d])|([a-zA-A]+-?[0-9]+(-[a-zA-Z])?)/cdn/;

print $x . "http://" . $y[0] . "." . $y[1] . "\n";

#generic http://variable.domain.com/path/filename."ex", "ext" or "exte"
#http://cdn1-28.projectplaylist.com
#http://s1sdlod041.bcst.cdn.s1s.yimg.com
} elsif (m/^http://(.?)(.[^.-]?..?)/([^?&=]).([\w\d]{2,4})??.$/) {
@y = ($1,$2,$3,$4);
$y[0] =~ s/([a-z][0-9][a-z]dlod[\d]{3})|((cache|cdn)[-\d])|([a-zA-A]+-?[0-9]+(-[a-zA-Z]*)?)/cdn/;
print $x . "storeurl://" . $y[0] . $y[1] . "/" . $y[2] . "." . $y[3] . "\n";

all that ends with ;

} elsif (m/^http://(.?)/(.?);(.*)/) {
print $x . "http://" . $1 . "/" . $2 . "\n";

} else {
print $x . $_ . "\n";
}
}

pfz

storeurl.pl asli om cuddy diatas, yang di babar oleh om @abnisrea itu kalo untuk yutube2 yg banyak isinya daun2 muda sangat tepat. alias, muantap..
salah satunya ini yang om suka : http://www.youtube.com/watch?v=MZuL4w9Tcd0 soalnya daun muda semua.. ;D ;D

zass

"BAD NEWS:
Some research update (Someone please confirm and post your comments)
YOUTUBE has split its videos into segments of 1.5 Mb each which is the approximation of the 51 seconds. I am sure YOUTUBE have taken this step to prevent people from caching entire videos. If you have a video which is 100 Mb large, it will be split into about 55-60 segments.
As of right now, storeurl.pl wont be able to cache it. Currently VIDEOCACHE plugin is doing full cache of youtube but at higher $$$ cost"

http://aacable.wordpress.com/2012/01/30/youtube-caching-problem-an-error-occured-please-try-again-later-solved/

pfz

Apart from the renewal of the study (due to the test capabilities of the researcher, and test tools are used)

A fact that I experienced and probably a lot of people also experience it, until this moment, I do not experience problems related to the cache youtube. During this youtube cache on my machine was not by any limit, except for a few seconds delay until full cache quotas are met.

In reply link on youtube there is an example file that has an error, then I try to open up and the results are no problems at all, runs smoothly and cache hit can run very well.

Some constraints on the cache limit was that I think it could be due to a problem that is not appropriate rules, and some other settings to be adjusted again, and it depends on the configuration of the network owner.
It would be too early if we are too quick to conclude that the error was caused because youtube cache error storeurl.pl

BAHASA INDONESIANYA GINI:

Terlepas dari pembaharuan penelitian orang (karena perlu di uji kapabilitas si peneliti, dan alat-alat uji yang digunakannya)

Sebuah kenyataan yang saya alami dan mungkin banyak orang juga mengalaminya, sampai detik ini, saya tidak mengalami kendala yang berkaitan dengan cache youtube. Selama ini cache youtube di mesin saya tidak pernah ter limit oleh apapun, kecuali adanya delay beberapa detik saja sampai dengan full quota cache terpenuhi.

Dalam link yg di atas ada sebuah contoh file youtube yang mengalami error, kemudian saya coba membuka dan hasilnya tidak ada kendala sedikitpun, berjalan lancar dan cache hit bisa berjalan sangat baik.

Kendala beberapa orang mengenai cache yang ter limit itu menurut saya bisa juga dikarenakan masalah rules yang tidak tepat, dan beberapa settingan lain yang harus disesuaikan lagi, dan it tergantung dari konfigurasi pemilik jaringan.
Akan sangat terlalu dini kalo kita terlalu cepat mengambil kesimpulan bahwa kesalahan cache youtube itu disebabkan karena kesalahan di storeurl.pl

onomlakbok

tujuan dibuatnya sebuah forum adalah untuk pembelajaran dan saling berbagi
pertama daftar di pfsense mo install az binun tp kalo ada kemauan tentunya pasti ada kemajuan
setiap topologi yg dimiliki seseorang tentunya ada perbedaan ketertarikan apakah utk game,browsing etc
dan tentunya yg lebih spesifik mungkin lebih mudah untuk mengaturnya….........cilakanya yg gado-gado kaya warnet biasa donlot,youtube,browsing etc nahh ini yg susah semua rebutan yaa emang ada pengaturan bandwidth ada proxy tapi semua ada batas kemampuanya punya 1 Mb warnet client 20 semua pengen kenceng yaa???
makanya di tunning lagi untuk sedikit mengatasi kekurangan tersebut
mari saling tukar pikiran......................mudah"an beberaha hari kedepan punya ane layak diperliatkan dan tolong kl ada yg salah dibetulin rame", saat ini rada repot hujan+petir dah 2 radio yg kena jd mesti konekin lagi jaringan (AP utama kena)
seperti biasa.....................colek mie ip ayam rong ;D

poscom

sepertinya firewall di pf201 juga berubah :)

meunara.net

pepatah mengatakan, "sekali berdayung dua tiga pulau terlampaui" masalah error youtube sudah tuntas di perbaiki/di koreksi oleh para sesepuh saya rasa, alangkah baik nya jika masalah hit youtube yang lambat atau dikit" juga kita tuntaskan disini, toh masih dalam kategori youtube juga, maksudnya supaya jgn ada pertanyaan lagi seperti "kenapa hit youtube kok ngak cepat…??" dari para generasi PFSI yang baru masuk, termasuk saya ini yang benar-benar buta akan masalah server dan tidak mengerti dalam bahasa scrip atau alogaritma seperti yg di katakan @detrackmx , apakah ada faktor penyebab seperti hardisk yang dipakai cuma 1 buah (system dan cache bercampur) atau karena LAN card yang di pakai yang harga 65 rebuan makanya jadi lamban hit nya?

bezzkie

Youtube jadi susah di cache sekarang, dah pake seting sana sini, masih eror, malah balik lagi dr awal klu di play, sampai saat ini blum nemu setingan yang bener2 jalan, untuk sementara terpaksa deh youtube di bypass dulu, drpada error terus,

Mungkin senior2 punya jurus ampuh buat caching youtubenya bisa d share di sini

kaptenhook

@bezzkie:

Youtube jadi susah di cache sekarang, dah pake seting sana sini, masih eror, malah balik lagi dr awal klu di play, sampai saat ini blum nemu setingan yang bener2 jalan, untuk sementara terpaksa deh youtube di bypass dulu, drpada error terus,

Mungkin senior2 punya jurus ampuh buat caching youtubenya bisa d share di sini

Sebenarnya cara yang sudah dishare diatas masih cukup ampuh kok untuk meng caching youtube dan mengatasi error serta galatnya, apabila ada beberapa rekan yang trafik lannya ga secepat yang diharapkan (larinya cuman 4-6 mb) sebenarnya tinggal diutak atik dikit tuh setting trafik shapingnya.

serangku

om ikutan sharing yah ..

sampe sekarang ini om masih pake storeurl.pl yg default dr om chuddy
sampe sekarang ini belum ada keluhan yg mengganggu di sisi end user untuk peryoutubean
sampe sekarang ini belum menggunakan shaping/limit yg sptnya menambah oprekan lg utk peryoutubean
sampe sekarang ini hanya bermain di pattern yg diturunkan agresifitasnya gantinya nambah disk yg cepat
sampe sekarang ini belum ngerti dengan syntax perl2 an, jadi om serahkan ke yg berwajib saja :D
sampe sekarang ini sudah cukup puas dengan hasil berikut, pelan2 saja :

TOTALS
ICP : 120239 Queries, 22893 Hits ( 19%)
HTTP: 119566 Requests, 22562 Hits ( 19%)

om pernah coba kreasi anak negeri (dr forum sebelah), om appresiasi dengan oprekannya …
kurang sreg saja, selain dari penyampaiannya
juga ada error yg mengganggu di lognya seprti ini :
2012/05/18 12:38:28| helperHandleRead: unexpected reply on channel -1 from store_rewriter #1 ''
2012/05/18 12:38:43| helperHandleRead: unexpected reply on channel -1 from store_rewriter #1 ''
2012/05/18 12:39:02| helperHandleRead: unexpected reply on channel -1 from store_rewriter #1 ''
2012/05/18 12:39:20| helperHandleRead: unexpected reply on channel -1 from store_rewriter #1 ''
2012/05/18 12:55:20| helperHandleRead: unexpected reply on channel -1 from store_rewriter #1 ''
2012/05/18 12:59:14| helperHandleRead: unexpected reply on channel -1 from store_rewriter #1 ''
2012/05/18 13:02:16| helperHandleRead: unexpected reply on channel -1 from store_rewriter #1 ''

silakan mengambil jalan mana saja
seperti pepatah,
banyak jalan menuju roma
tak ada gading yg tak retak
malu bertanya, sesat di jalan (tp sekarang udah bisa GPS an kok :D)

bezzkie

Spek pf 2.0 release amd64
ram 8gb
Intel(R) Xeon(R) CPU 3065 @ 2.33GHz
hdd : system 80gb sata
cache0 SAS 136gb
cache1 SAS 136gb
storeurl pk default
cuma edit dir.conf buat hdd, squid.inc dari squid.conf menjadi squid.conf.def, yang lain masih bawaan om chudy, ga di oprek2, untuk bw management pake mikrotik, kira2 ada masalah di mana ya si youtube nya ???

poscom

malu bertanya, sesat di jalan (tp sekarang udah bisa GPS an kok :D)
parah dong bapaku … GPS an dosa wakak..

pfz

Sorry Om, Numpang pasang Screenshot, barangkali ada gunanya.
(bisa di lihat kalo sudah login pfsense )

![log squid access.JPG](/public/imported_attachments/1/log squid access.JPG)
![log squid access.JPG_thumb](/public/imported_attachments/1/log squid access.JPG_thumb)
![test dnssec.JPG](/public/imported_attachments/1/test dnssec.JPG)
![test dnssec.JPG_thumb](/public/imported_attachments/1/test dnssec.JPG_thumb)

poscom

ngebut…

ardy_2006

Ane coba internet explorer normal kagak ada error kemudian pake mozilla firefox terkadang nongol error "An Errore Accurred Please try again" klo versi indonesianya ” Galat Gagal Loading, Coba Ulang Lagi”.

kira kira …. ? ? ?
Adakah yang berfikir Permasalah "An Errore Accurred Please try again" bisa dikarenakan terjadi di firefox ( browser ) bukan hanya karena storeurl perl proxy….. ????.

Penasaran, googling dulu, akhirnya sampai nemuin solution seperti ini.
Ane kasih kredit buat http://abyfine.com
Sebelum otak atik storeurl.pl bisa mencoba trik dibawah ini dulu.

1. Buka mozilla firefox di address bar ketikkan : about:config . Kemudian Enter.
2. Cari tulisan network.http.max-persistent-connections-per-proxy rubah nilainya menjadi 0
3. Cari tulisan network.http.proxy.pipelining rubah menjadi false
4. Tutup mozillanya, lalu jalankan kembali, semoga An Errore Accurred Please try again menghilang tak terberbekas

serangku

case closed …

setuju ?
;D

::Joke=ON::

vhantrenk

@ardy_2006:

Ane coba internet explorer normal kagak ada error kemudian pake mozilla firefox terkadang nongol error "An Errore Accurred Please try again" klo versi indonesianya ” Galat Gagal Loading, Coba Ulang Lagi”.

kira kira …. ? ? ?
Adakah yang berfikir Permasalah "An Errore Accurred Please try again" bisa dikarenakan terjadi di firefox ( browser ) bukan hanya karena storeurl perl proxy….. ????.

Penasaran, googling dulu, akhirnya sampai nemuin solution seperti ini.
Ane kasih kredit buat http://abyfine.com
Sebelum otak atik storeurl.pl bisa mencoba trik dibawah ini dulu.

1. Buka mozilla firefox di address bar ketikkan : about:config . Kemudian Enter.
2. Cari tulisan network.http.max-persistent-connections-per-proxy rubah nilainya menjadi 0
3. Cari tulisan network.http.proxy.pipelining rubah menjadi false
4. Tutup mozillanya, lalu jalankan kembali, semoga An Errore Accurred Please try again menghilang tak terberbekas

ane punya masalah yang sama, ane coba cara bro ardy_2006 (maksudnya cara paling simple tuk newbie spt saya yang NOL di sever/script) tapi ga mempan juga. spek ane masih default blom otak-atik storeurl.pl atau squid.conf, pfsense 201 cuma install luscha cudy,lightsquid, dns forwarder bawaan, havp anti virus (mau pke squid guar ribet tuk newbie nanti aj ;D). smua servicer berjalan normal, proxy juga normal, ya itu cuma youtube aj, mau coba cara om kaptenhook neh kayannya makyoss…wkwkwk thanks all
bravo PFSI ;D ;)

oh iya ane pake IE 6.0 sp3 juga firefox 3.6.17 ni video sama eror juga http://www.youtube.com/watch?v=jKOjcqoZRRs

untitled.JPG_thumb

2.JPG_thumb

3.JPG_thumb

agismaniax

lusca-cache gak pernah diupdate lagi… apakah ada gantinya? ???

serangku

Om justru lebih ??? ??? ???

if it aint broke, don't fix it

agismaniax

ada yg sudah pake squid3?
tempo hari lusca-cache saya gak bisa caching youtube lagi, pas mo diupdate, eh salah klik… jebol dah squid dan firewallnya... ;D
skrg lagi direbuilt ulang pake hardware yg lebih mumpuni.