[ASK] Makin hari Disk usage makin berkurang

kaptenhook

promblemnya kok pada aneh aneh ya, karna saya belum pernah ngalami seperti itu, begini saja biar proxy lebih strong mendingan hd buat cache dipisah saja dengan sistem, sukur sukur buat log dikasih hd terpisah juga, dengan opsi seperti yang saya sebutkan diatas saya tidak ada promblem ;D ;D

onomlakbok

Disk Usage pasti berkurang kl proxynya ngecache dan ada batasan kalo sampe level yg ditentukan akan menghapus cache yg tglnya/jarang diakses, punya ane ada di level 90% bahkan sekarang 92% dan nanti kalo level dah sampe ke 98% cache yg lama dihapus secara automatic sama pfsense (squid kali yaa?) untuk capturenya ni disertakan …............. colek mie ip ayam rong ;D

pfsense.jpg_thumb

Change

Saya juga pernah ngalamin itu,, Walaupun hardisk cuma 6% tetapi browsing tetep wuzz,, Kira-kira kenapa ya?

onomlakbok

@Change:

Saya juga pernah ngalamin itu,, Walaupun hardisk cuma 6% tetapi browsing tetep wuzz,, Kira-kira kenapa ya?

cache tidak nambah di 6% aza kemungkinan :
1. Trafik internet ke itu-itu juga (conto warnet game online)
2. Tergantung settingan pfsensenya ==> squid ato Lusca
3. Jarang pake kali yaa
4. dsb

meunara.net

tolongin saya juga donk para master pfsense, baru 2 hari pakai pfsense paket yang sudah di instal squid,squiguard dan lusca, semua service sudah berjalan tapi disk usagenya kok masi tetap nol? apa ada yang salah dengan settingan saya? sehingga semua yang di akses tidak masuk ke proxy?

dashboard.JPG_thumb

meunara.net

@meunara.net:

tolongin saya juga donk para master pfsense, baru 2 hari pakai pfsense paket yang sudah di instal squid,squiguard dan lusca, semua service sudah berjalan tapi disk usagenya kok masi tetap nol? apa ada yang salah dengan settingan saya? sehingga semua yang di akses tidak masuk ke proxy?

solved ternyata cuma Transparent proxy yang lupa saya centang, sekarang cache sudah berjalan dan disk usage sudah bertambah, maaf para master saya yang keliru…..... :D

asepyulisman

@kaptenhook:

itu hd cache di pisah atau masih jadi satu dengan system om? max object size 512??? gede amat ya

maaf baru sempat balas mas, :) hd cache dan system nyatu om

meunara.net

perbesar aja hardisk cache size nya, tapi jgn terlalu besar, semampu hardisk menampung cache, saya juga memakai satu hardisk, sistem dan cache nyatu, mohon para suhu koreksi jika salah… :P :P

untitled.JPG_thumb

cache.JPG_thumb

nu-bie

Iya nich saya juga mengalami hal serupa diatas, pdhal disk usage sdh mencapai 49% klo nggak salah, eh tiba2 skrg turun terus sampai 28% sampai dgn tulisan ini saya buat kenapa yah ?
( koq blm ada komen nih dari para suhu ) ???

askar

Salam kenal,
Gmn solusinya gan,
Pfsense saya sudah mencapai 71% eh malah stagnan, tidak nambah bahkan berkurang usage disknya
Bahkan sampe 11% berhenti dan ga nambah nambah lagi,
Padahal sblmnya bagus bagus aja, nambah terus sblm mncapai persen tersebut.
Saya untuk browsing dan game online.

Mohon Bantuannya suhu !!!!!

asepyulisman

saya juga kayak gitu.. dari 50% berkurang sampai 2% trus ngak lama nambah lagi tuh % dan sekarang 25%, kayaknya pfsense automatis menghapus cache, dalam proses mengahapus cache memang lambat tuh loading browsingnya, hehehe

askar

@asepyulisman:

saya juga kayak gitu.. dari 50% berkurang sampai 2% trus ngak lama nambah lagi tuh % dan sekarang 25%, kayaknya pfsense automatis menghapus cache, dalam proses mengahapus cache memang lambat tuh loading browsingnya, hehehe

Apa emang seperti itu mas,
Saya ada beberapa pfsense yg sy instal,

Proxy sudah mencapai 71% ato 11% ato 40an %, eh malah stagnan dan bahkan turun.
Tp jika kt restart lusca, eh bs ngisi lagi dia, tp untuk hr itu aja, keesokan harinya ga ngisi lagi
apa harus direstart terus lusca ato squidnya ????

Mohn pencerahan,

Setting Cache manajemen saya ini :
Hard disk cache system : aufs
Hard disk cache size : 150000 (dengan hdd mesin 250 GB)
Memory cache size : 16
Max memory object size : 16
Minimum object size : 0
Maximum object size : 256
Heap GDSF
Heap LFUDA
90 %
95 %

$ squidclient -p 80 mgr:info
HTTP/1.1 200 OK
Server: Lusca/LUSCA r14850 patched: chudy r14
Date: Sat, 07 Apr 2012 11:45:20 GMT
Content-Type: text/plain
Expires: Sat, 07 Apr 2012 11:45:20 GMT
X-Cache: MISS from askarnet1_router
Transfer-Encoding: chunked
Connection: close

857
Squid Object Cache: Version LUSCA r14850 patched: chudy r14
Start Time: Sat, 07 Apr 2012 04:12:18 GMT
Current Time: Sat, 07 Apr 2012 11:45:20 GMT
Connection information for squid:
Number of clients accessing cache: 12
Number of HTTP requests received: 38757
Number of ICP messages received: 0
Number of ICP messages sent: 0
Number of queued ICP replies: 0
Request failure ratio: 0.00
Average HTTP requests per minute since start: 85.5
Average ICP messages per minute since start: 0.0
Select loop called: 1195105 times, 22.745 ms avg
Cache information for squid:
Request Hit Ratios: 5min: 9.3%, 60min: 39.5%
Byte Hit Ratios: 5min: 84.4%, 60min: 45.2%
Request Memory Hit Ratios: 5min: 0.0%, 60min: 0.9%
Request Disk Hit Ratios: 5min: 71.4%, 60min: 55.7%
Storage Swap size: 23011650 KB
Storage Mem size: 16380 KB
Mean Object Size: 23.99 KB
Requests given to unlinkd: 0
Median Service Times (seconds) 5 min 60 min:
HTTP Requests (All): 1.71839 0.20843
Cache Misses: 11.37373 0.80651
Cache Hits: 0.00815 0.00379
Near Hits: 0.00000 0.20843
Not-Modified Replies: 0.01469 0.00091
DNS Lookups: 0.00000 0.00000
ICP Queries: 0.00000 0.00000
Resource usage for squid:
UP Time: 27182.803 seconds
CPU Time: 144.561 seconds
CPU Usage: 0.53%
CPU Usage, 5 minute avg: 0.08%
CPU Usage, 60 minute avg: 0.50%
Process Data Segment Size via sbrk(): 0 KB
Maximum Resident Size: 204752 KB
Page faults with physical i/o: 1
Memory accounted for:
Total accounted: 119203 KB
memPoolAlloc calls: 9476651
memPoolFree calls: 7457513
File descriptor usage for squid:
Maximum number of file descriptors: 11095
Largest file desc currently in use: 110
Number of file desc currently in use: 44
Files queued for open: 0
Available number of file descriptors: 11051
Reserved number of file descriptors: 100
Store Disk files open: 0
IO loop method: kqueue
Internal Data Structures:
959459 StoreEntries
3783 StoreEntries with MemObjects
3779 Hot Object Cache Items
959332 on-disk objects

0

sy cak juga pake putty df -h, tetap segitu bahkan ada yang berkurang.
Mohon pencerahan dan terima kasih.

askar

MOHON PENJELASAN MASTER,

APAKAH Memang pfsense menghapus cache kita (Usage disk), tolong penjelasan rinci, punya saya 71 % menjadi turun 50an % usage hddnya

thanks

askar

Salam Pfsie,

Mohon penjelasannya secara rinci,

Apa emang Disk Usage HDD untuk proxy di pfsense tidak pernah 100% ?
Tolonglah gan,
sy ada set beberapa pfsense, awalnya nambah terus usage hdd tuk proxynya, ini malah menurun, sudah mencapai 71 % eh malah nurun,
bahkan ada yang ga nambah nambah proxynya, ga nyimpan mungkin ya. hdd untuk proxy mengalami stagnan/tetap bahkan menurun.

Mohon penjelasan gan,

ini contoh status log pfsense sy yg disk usage hddnya tetap terus
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_tracker/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_updatesites/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_updatesites/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_updatesites/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_updatesites/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_urlshortener/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_urlshortener/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_urlshortener/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_urlshortener/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_violence/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_violence/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_violence/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_violence/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_warez/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_warez/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_warez/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_warez/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_weapons/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_weapons/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_weapons/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_weapons/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_webmail/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_webmail/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_webmail/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_webmail/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_webphone/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_webphone/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_webphone/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_webphone/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_webradio/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_webradio/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_webradio/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_webradio/urls.db
2012-05-10 08:34:35 [59042] init domainlist /var/db/squidGuard/blk_BL_webtv/domains
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_webtv/domains.db
2012-05-10 08:34:35 [59042] init urllist /var/db/squidGuard/blk_BL_webtv/urls
2012-05-10 08:34:35 [59042] loading dbfile /var/db/squidGuard/blk_BL_webtv/urls.db
2012/05/10 08:34:35| Unlinkd pipe opened on FD 20
2012/05/10 08:34:35| Swap maxSize 153600000 + 16384 KB, estimated 11816644 objects
2012/05/10 08:34:35| Target number of buckets: 590832
2012/05/10 08:34:35| Using 1048576 Store buckets
2012/05/10 08:34:35| Max Mem size: 16384 KB
2012/05/10 08:34:35| Max Swap size: 153600000 KB
2012/05/10 08:34:35| Store logging disabled
2012/05/10 08:34:35| AUFS: /var/squid/cache: log '/var/squid/cache/swap.state' opened on FD 21
2012/05/10 08:34:35| AUFS: /var/squid/cache: tmp log /var/squid/cache/swap.state.new opened on FD 21
2012/05/10 08:34:35| Rebuilding storage in /var/squid/cache (CLEAN)
2012/05/10 08:34:35| Using Least Load store dir selection
2012/05/10 08:34:35| Current Directory is /etc
2012/05/10 08:34:35| Loaded Icons.
2012/05/10 08:34:36| Accepting transparently proxied HTTP connections at 192.168.1.254, port 3128, FD 23.
2012/05/10 08:34:36| Accepting transparently proxied HTTP connections at 127.0.0.1, port 80, FD 24.
2012/05/10 08:34:36| Accepting SNMP messages on port 3401, FD 25.
2012/05/10 08:34:36| Ready to serve requests.
2012/05/10 08:34:36| Store rebuilding is 37.2% complete
2012/05/10 08:34:36| /var/squid/cache: completed rebuild
2012/05/10 08:34:36| Done scanning /var/squid/cache (198209 entries)
2012/05/10 08:34:36| AUFS: /var/squid/cache: tmp log closed on FD 21
2012/05/10 08:34:36| AUFS: /var/squid/cache: post-rename; log /var/squid/cache/swap.state, opened on FD 21
2012/05/10 08:34:36| Finished rebuilding storage from disk.
2012/05/10 08:34:36| 198209 Entries scanned
2012/05/10 08:34:36| 0 Invalid entries.
2012/05/10 08:34:36| 0 With invalid flags.
2012/05/10 08:34:36| 176323 Objects loaded.
2012/05/10 08:34:36| 0 Objects expired.
2012/05/10 08:34:36| 0 Objects cancelled.
2012/05/10 08:34:36| 0 Duplicate URLs purged.
2012/05/10 08:34:36| 21886 Swapfile clashes avoided.
2012/05/10 08:34:36| Took 0.7 seconds (251274.4 objects/sec).
2012/05/10 08:34:36| Beginning Validation Procedure
2012/05/10 08:34:36| Completed Validation Procedure
2012/05/10 08:34:36| Validated 176323 Entries
2012/05/10 08:34:36| store_swap_size = 5133246k
2012/05/10 08:34:36| storeLateRelease: released 0 objects
2012/05/10 08:44:18| squidaio_queue_request: WARNING - Queue congestion
2012/05/10 09:21:59| squidaio_queue_request: WARNING - Queue congestion
2012/05/10 09:30:09| squidaio_queue_request: WARNING - Queue congestion
2012/05/10 10:05:16| squidaio_queue_request: WARNING - Queue congestion
2012/05/10 13:47:52| squidaio_queue_request: WARNING - Queue congestion
2012/05/10 15:58:06| Request header is too large (21900 bytes)
2012/05/10 15:58:06| Config 'request_header_max_size'= 20480 bytes.
2012/05/10 18:20:48| squidaio_queue_request: WARNING - Queue congestion
2012/05/10 19:21:21| httpAccept: FD 24: accept failure: (53) Software caused connection abort
2012/05/10 20:35:15| squidaio_queue_request: WARNING - Queue congestion
2012/05/10 22:11:26| httpAccept: FD 24: accept failure: (53) Software caused connection abort

Mohon pencerahan !
Terima kasih.

nu-bie

dimana master2 berada ?
koq blm ada pencerahan ini atau ada yg mengalami kejadian serupa barangkali, monggo dibagi-bagi ilmunya supaya dpt mengatasi masalah yg terjadi. karena sekarang disk usage saya stagnan di 70%. kira2 sdh 2 bulan ini. terus timbul masalah baru ini koneksi menjadi lambat. padahal setelah tes speed hasilnya normal ( sesuai dgn bw yg qt pake/langganan ).
please help us !!!!!! :'(

kaptenhook

sebelumnya maaf apabila penjelasan saya kurang pas, hanya bermaksud memberi pencerahan secara sederhana
pada temen temen saja, apabila ada yang salah mohon dibetulkan.

Prosentase hadisk misalkan tertera 70% pada disk cache itu sama dengan 70% dari
volume labelnya dari hd yang digunakan contohnya begini misalkan anda menggunakan 100 gb hd
diperuntukkan untuk cache, maka nilai yang digunakan untuk menyimpan objek cache di hd
hanya 70% karna tidak mungkin kan anda menggunakan 100gb semua jadi yang digunakan pada umumnya hanya 70% dari
nilai hd tersebut dan 70% apabila sudah terisi penuh maka sebenarnya hd tersebut sudah full maka mulailah pfsense menghapus
objek cache yang sudah lama dan tentunya akan terasa lambat juga karena selain menghapus lusca/squid pfsense tersebut juga akan
mengisi. solusinya adalah lakukan ex: rm -rf /cache1/* biarkan proses berlangsung sampai selesai,ini akan menghapus semua isi dari cache anda
dan squid/lusca akan mengisi dari awal lagi.

untuk lebih jelasnya silahkan baca wiki tentang squid

nb: misalkan hd anda 80 gb dan anda hanya menguunakan 40960 pada Hard disk cache size dan sudah terisi 70% (apabila di cek lewat df -h).
disini sistem membacanya 70% bukan dari 40960 tetapi 70% dari 80gb