Squid+LightSquid+Ipcad=логи съедают место на диске

tjsolomon

@tjsolomon:

Ну так что Есть идеи? Чем можно свернуть логи?

Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

DasTieRR

@tjsolomon:

@DasTieRR:

@tjsolomon:

Ну так что Есть идеи? Чем можно свернуть логи?

Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

Может подключить внешний USB носитель и изменить место сохранения логов на него?

tjsolomon

@DasTieRR:

@tjsolomon:

@DasTieRR:

@tjsolomon:

Ну так что Есть идеи? Чем можно свернуть логи?

Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

Может подключить внешний USB носитель и изменить место сохранения логов на него?

И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
ну ведь я не один такой, как другие это делают%):)

dvserg

@tjsolomon:

И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
ну ведь я не один такой, как другие это делают%):)

А какие варианты Вы уже сами пробовали?
По поводу написания скрипта - попробуйте поискать специалиста на платной основе.

tjsolomon

@dvserg:

@tjsolomon:

И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
ну ведь я не один такой, как другие это делают%):)

А какие варианты Вы уже сами пробовали?
По поводу написания скрипта - попробуйте поискать специалиста на платной основе.

Никаких) кроме удаления логов) раз в 2 недели

dvserg

А в чем сложность в реализации предложения DasTieRR по удалению логов из крона? Они же отрабатываются в статистику ?

tjsolomon

@dvserg:

А в чем сложность в реализации предложения DasTieRR по удалению логов из крона? Они же отрабатываются в статистику ?

Не совсем понял…
Статистика важна (иногда за 3-4 месяца назад), иначе я бы не стал прикручивать IpCad. Прошу прощения кто они?
P.S. свою проблемку решил тем что Сквид просто игнорирует сайты из списка, и пускает их напрямую.

dvserg

Не понятен смысл сохранения логов сквида. Логи отрабатываются в статистику лайтсквида и могут быть периодически удалены. Можно выставить опцию ротации логов в сквиде, и удалять из крона лишние архивы логов.

tjsolomon

@dvserg:

Не понятен смысл сохранения логов сквида. Логи отрабатываются в статистику лайтсквида и могут быть периодически удалены. Можно выставить опцию ротации логов в сквиде, и удалять из крона лишние архивы логов.

я правильно понимаю что файл /var/squid/log/access.log можно переодически удалять?

dr.gopher

@tjsolomon:

я правильно понимаю что файл /var/squid/log/access.log можно переодически удалять?

Вам в самом начале было предложено - Как вариант поставьте сквиду, запускать ротацию логов каждый день.
Log rotate – сколько дней хранить активный лог

Вам уже пояснили, что после запуска скрипта лайт сквида, вся статистика попадает в базу лайт сквида и лог файл сквида можно чистить.

dvserg

(+) Удалять лучше архивные логи типа access.xxx . С выставленной ротацией смысла трогать access.log нет, да и безопаснее в плане стабильности работы сервисов.

tjsolomon

UPну Тему ротация логов не работает, за 3-4 дня 4-5 гигабайт логов, а диск всего 10 гигабайт, ротация выставлена на 1 день.
Какие конфиги показать и что можно сделать?

dvserg

А squid работает ?

schmel

crontab -e

# В 4:55 сбрасывать трафик из коллектора ipcad в логи прокси-сервер
55 04 * * * /usr/local/scripts/ipcad.sh
# В 5:05 снимать статистику LightSquid
05 05 * * * /usr/local/www/lightsquid/lightparser.pl
# В 5:15 запускать скрипт лимита по трафику
15 05 * * * /usr/local/etc/squid/traf_limit/traf_limit.pl
# 5:25 производить ротацию логов
25 05 * * * /usr/local/sbin/squid -k rotate
# Запуск скрипта, удаляющего старые логи
35 05 * * * /usr/local/scripts/rmsquidlogs.sh

Содержимое скрипта /usr/local/scripts/rmsquidlogs.sh:

#!/bin/sh
rm /usr/local/squid/logs/access.log.0
rm /usr/local/squid/logs/cache.log.0
rm /usr/local/squid/logs/store.log.0

tjsolomon

@dvserg:

А squid работает ?

Да работает

tjsolomon

@schmel:

crontab -e

# В 4:55 сбрасывать трафик из коллектора ipcad в логи прокси-сервер
55 04 * * * /usr/local/scripts/ipcad.sh
# В 5:05 снимать статистику LightSquid
05 05 * * * /usr/local/www/lightsquid/lightparser.pl
# В 5:15 запускать скрипт лимита по трафику
15 05 * * * /usr/local/etc/squid/traf_limit/traf_limit.pl
# 5:25 производить ротацию логов
25 05 * * * /usr/local/sbin/squid -k rotate
# Запуск скрипта, удаляющего старые логи
35 05 * * * /usr/local/scripts/rmsquidlogs.sh

Содержимое скрипта /usr/local/scripts/rmsquidlogs.sh:

#!/bin/sh
rm /usr/local/squid/logs/access.log.0
rm /usr/local/squid/logs/cache.log.0
rm /usr/local/squid/logs/store.log.0

Спасибо попробую, если все хорошо, можно в FAQ http://forum.pfsense.org/index.php/topic,21394.0.html и http://forum.pfsense.org/index.php/topic,22839.0.html добавить

tjsolomon

пока полет нормальный, смотрим дальше)
Для тех кому лень ставить vi в файле /cf/conf/config.xml
перед

		 <minute>*/55</minute>
			<hour>*/04</hour>
			<mday>*</mday>
			<month>*</month>
			<wday>*</wday>
			<who>root</who>
			<command></command>/usr/local/scripts/ipcad.sh 
		 <minute>*/05</minute>
			<hour>*/05</hour>
			<mday>*</mday>
			<month>*</month>
			<wday>*</wday>
			<who>root</who>
			<command></command>/usr/local/www/lightsquid/lightparser.pl 
		 <minute>*/15</minute>
			<hour>*/05</hour>
			<mday>*</mday>
			<month>*</month>
			<wday>*</wday>
			<who>root</who>
			<command></command>/usr/local/etc/squid/traf_limit/traf_limit.pl 
		 <minute>*/25</minute>
			<hour>*/05</hour>
			<mday>*</mday>
			<month>*</month>
			<wday>*</wday>
			<who>root</who>
			<command></command>/usr/local/sbin/squid -k rotate 
		 <minute>*/35</minute>
			<hour>*/05</hour>
			<mday>*</mday>
			<month>*</month>
			<wday>*</wday>
			<who>root</who>
			<command></command>/usr/local/scripts/rmsquidlogs.sh