Squid+LightSquid+Ipcad=логи съедают место на диске



  • Собственно тема и проблема в Сабже.
    Лог сквида, спасибо ипкаду, съедает место за 2 дня
    Разбухает до 5 гигов.
    Помогите пожалуйста, или дайте решение.
    Лог выключил, а он все равно растет.
    Желательно оставить всё, т.е. хочется все таки видеть и отчеты и прочее.



  • @tjsolomon:

    Лог сквида, спасибо ипкаду, съедает место за 2 дня
    Разбухает до 5 гигов.

    Как вариант поставьте сквиду, запускать ротацию логов каждый день.
    Log rotate – сколько дней хранить активный лог

    И разбирайтесь с настройками айпикада. Откуда он столько мусора берет.



  • @dr.gopher:

    @tjsolomon:

    Лог сквида, спасибо ипкаду, съедает место за 2 дня
    Разбухает до 5 гигов.

    Как вариант поставьте сквиду, запускать ротацию логов каждый день.
    Log rotate – сколько дней хранить активный лог
    И разбирайтесь с настройками айпикада. Откуда он столько мусора берет.

    Торренты генерируют 99 % трафика



  • Один из вариантов:
    1. Увеличить винт
    2. Зарубить торенты (правильный вариант)
    3. Отключить логи
    4. Пустить торенты по НАТу (крайне не желательно)



  • @SysR:

    Один из вариантов:
    1. Увеличить винт
    2. Зарубить торенты (правильный вариант)
    3. Отключить логи
    4. Пустить торенты по НАТу (крайне не желательно)

    1. Не подходит, установлено на Hyper-V
    2. Собственно говоря зачем? (кроме того что они генерят траффик, они никому не мешают)
    3. Вот тут то и возвращаемся обратно, что хочется что бы была вся связка (собственно просмотр логов и подсчет торрент трафика)
    4. см. п. 3



  • Ну так что Есть идеи? Чем можно свернуть логи?



  • @tjsolomon:

    Ну так что Есть идеи? Чем можно свернуть логи?

    Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.



  • @DasTieRR:

    @tjsolomon:

    Ну так что Есть идеи? Чем можно свернуть логи?

    Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

    Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)



  • @tjsolomon:

    @DasTieRR:

    @tjsolomon:

    Ну так что Есть идеи? Чем можно свернуть логи?

    Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

    Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

    Может подключить внешний USB носитель и изменить место сохранения логов на него?



  • @DasTieRR:

    @tjsolomon:

    @DasTieRR:

    @tjsolomon:

    Ну так что Есть идеи? Чем можно свернуть логи?

    Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

    Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

    Может подключить внешний USB носитель и изменить место сохранения логов на него?

    И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
    В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
    ну ведь я не один такой, как другие это делают%):)



  • @tjsolomon:

    И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
    В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
    ну ведь я не один такой, как другие это делают%):)

    А какие варианты Вы уже сами пробовали?
    По поводу написания скрипта - попробуйте поискать специалиста на платной основе.



  • @dvserg:

    @tjsolomon:

    И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
    В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
    ну ведь я не один такой, как другие это делают%):)

    А какие варианты Вы уже сами пробовали?
    По поводу написания скрипта - попробуйте поискать специалиста на платной основе.

    Никаких) кроме удаления логов) раз в 2 недели



  • А в чем сложность в реализации предложения DasTieRR по удалению логов из крона? Они же отрабатываются в статистику ?



  • @dvserg:

    А в чем сложность в реализации предложения DasTieRR по удалению логов из крона? Они же отрабатываются в статистику ?

    Не совсем понял…
    Статистика важна (иногда за 3-4 месяца назад), иначе я бы не стал прикручивать IpCad. Прошу прощения кто они?
    P.S. свою проблемку решил тем что Сквид просто игнорирует сайты из списка, и пускает их напрямую.



  • Не понятен смысл сохранения логов сквида. Логи отрабатываются в статистику лайтсквида и могут быть периодически удалены. Можно выставить опцию ротации логов в сквиде, и удалять из крона лишние архивы логов.



  • @dvserg:

    Не понятен смысл сохранения логов сквида. Логи отрабатываются в статистику лайтсквида и могут быть периодически удалены. Можно выставить опцию ротации логов в сквиде, и удалять из крона лишние архивы логов.

    я правильно понимаю что файл /var/squid/log/access.log можно переодически удалять?



  • @tjsolomon:

    я правильно понимаю что файл /var/squid/log/access.log можно переодически удалять?

    Вам в самом начале было предложено - Как вариант поставьте сквиду, запускать ротацию логов каждый день.
    Log rotate – сколько дней хранить активный лог

    Вам уже пояснили, что после запуска скрипта лайт сквида, вся статистика попадает в базу лайт сквида и лог файл сквида можно чистить.



  • (+) Удалять лучше архивные логи типа access.xxx . С выставленной ротацией смысла трогать access.log нет, да и безопаснее в плане стабильности работы сервисов.



  • UPну Тему ротация логов не работает, за 3-4 дня 4-5 гигабайт логов, а диск всего 10 гигабайт, ротация выставлена на 1 день.
    Какие конфиги показать и что можно сделать?



  • А squid работает ?



  • crontab -e

    # В 4:55 сбрасывать трафик из коллектора ipcad в логи прокси-сервер
              55 04 * * * /usr/local/scripts/ipcad.sh
              # В 5:05 снимать статистику LightSquid
              05 05 * * * /usr/local/www/lightsquid/lightparser.pl
              # В 5:15 запускать скрипт лимита по трафику
              15 05 * * * /usr/local/etc/squid/traf_limit/traf_limit.pl
              # 5:25 производить ротацию логов
              25 05 * * *  /usr/local/sbin/squid -k rotate
              # Запуск скрипта, удаляющего старые логи
              35 05 * * * /usr/local/scripts/rmsquidlogs.sh

    Содержимое скрипта /usr/local/scripts/rmsquidlogs.sh:

    #!/bin/sh
              rm /usr/local/squid/logs/access.log.0
              rm /usr/local/squid/logs/cache.log.0
              rm /usr/local/squid/logs/store.log.0



  • @dvserg:

    А squid работает ?

    Да работает



  • @schmel:

    crontab -e

    # В 4:55 сбрасывать трафик из коллектора ipcad в логи прокси-сервер
               55 04 * * * /usr/local/scripts/ipcad.sh
               # В 5:05 снимать статистику LightSquid
               05 05 * * * /usr/local/www/lightsquid/lightparser.pl
               # В 5:15 запускать скрипт лимита по трафику
               15 05 * * * /usr/local/etc/squid/traf_limit/traf_limit.pl
               # 5:25 производить ротацию логов
               25 05 * * *  /usr/local/sbin/squid -k rotate
               # Запуск скрипта, удаляющего старые логи
               35 05 * * * /usr/local/scripts/rmsquidlogs.sh

    Содержимое скрипта /usr/local/scripts/rmsquidlogs.sh:

    #!/bin/sh
               rm /usr/local/squid/logs/access.log.0
               rm /usr/local/squid/logs/cache.log.0
               rm /usr/local/squid/logs/store.log.0

    Спасибо попробую, если все хорошо, можно в FAQ http://forum.pfsense.org/index.php/topic,21394.0.html и http://forum.pfsense.org/index.php/topic,22839.0.html добавить



  • пока полет нормальный, смотрим дальше)
    Для тех кому лень ставить vi в файле /cf/conf/config.xml
    перед

    		 <minute>*/55</minute>
    			<hour>*/04</hour>
    			<mday>*</mday>
    			<month>*</month>
    			<wday>*</wday>
    			<who>root</who>
    			<command></command>/usr/local/scripts/ipcad.sh 
    		 <minute>*/05</minute>
    			<hour>*/05</hour>
    			<mday>*</mday>
    			<month>*</month>
    			<wday>*</wday>
    			<who>root</who>
    			<command></command>/usr/local/www/lightsquid/lightparser.pl 
    		 <minute>*/15</minute>
    			<hour>*/05</hour>
    			<mday>*</mday>
    			<month>*</month>
    			<wday>*</wday>
    			<who>root</who>
    			<command></command>/usr/local/etc/squid/traf_limit/traf_limit.pl 
    		 <minute>*/25</minute>
    			<hour>*/05</hour>
    			<mday>*</mday>
    			<month>*</month>
    			<wday>*</wday>
    			<who>root</who>
    			<command></command>/usr/local/sbin/squid -k rotate 
    		 <minute>*/35</minute>
    			<hour>*/05</hour>
    			<mday>*</mday>
    			<month>*</month>
    			<wday>*</wday>
    			<who>root</who>
    			<command></command>/usr/local/scripts/rmsquidlogs.sh 
    
    

Log in to reply