Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Squid+LightSquid+Ipcad=логи съедают место на диске

    Scheduled Pinned Locked Moved Russian
    24 Posts 6 Posters 11.2k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • D
      dr.gopher
      last edited by

      @tjsolomon:

      Лог сквида, спасибо ипкаду, съедает место за 2 дня
      Разбухает до 5 гигов.

      Как вариант поставьте сквиду, запускать ротацию логов каждый день.
      Log rotate – сколько дней хранить активный лог

      И разбирайтесь с настройками айпикада. Откуда он столько мусора берет.

      FAQ PfSense 2.0

      И не забываем про Adblock дабы не видеть баннеров.

      И многое другое на www.thin.kiev.ua

      1 Reply Last reply Reply Quote 0
      • T
        tjsolomon
        last edited by

        @dr.gopher:

        @tjsolomon:

        Лог сквида, спасибо ипкаду, съедает место за 2 дня
        Разбухает до 5 гигов.

        Как вариант поставьте сквиду, запускать ротацию логов каждый день.
        Log rotate – сколько дней хранить активный лог
        И разбирайтесь с настройками айпикада. Откуда он столько мусора берет.

        Торренты генерируют 99 % трафика

        1 Reply Last reply Reply Quote 0
        • S
          SysR
          last edited by

          Один из вариантов:
          1. Увеличить винт
          2. Зарубить торенты (правильный вариант)
          3. Отключить логи
          4. Пустить торенты по НАТу (крайне не желательно)

          1 Reply Last reply Reply Quote 0
          • T
            tjsolomon
            last edited by

            @SysR:

            Один из вариантов:
            1. Увеличить винт
            2. Зарубить торенты (правильный вариант)
            3. Отключить логи
            4. Пустить торенты по НАТу (крайне не желательно)

            1. Не подходит, установлено на Hyper-V
            2. Собственно говоря зачем? (кроме того что они генерят траффик, они никому не мешают)
            3. Вот тут то и возвращаемся обратно, что хочется что бы была вся связка (собственно просмотр логов и подсчет торрент трафика)
            4. см. п. 3

            1 Reply Last reply Reply Quote 0
            • T
              tjsolomon
              last edited by

              Ну так что Есть идеи? Чем можно свернуть логи?

              1 Reply Last reply Reply Quote 0
              • D
                DasTieRR
                last edited by

                @tjsolomon:

                Ну так что Есть идеи? Чем можно свернуть логи?

                Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

                1 Reply Last reply Reply Quote 0
                • T
                  tjsolomon
                  last edited by

                  @DasTieRR:

                  @tjsolomon:

                  Ну так что Есть идеи? Чем можно свернуть логи?

                  Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

                  Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

                  1 Reply Last reply Reply Quote 0
                  • D
                    DasTieRR
                    last edited by

                    @tjsolomon:

                    @DasTieRR:

                    @tjsolomon:

                    Ну так что Есть идеи? Чем можно свернуть логи?

                    Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

                    Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

                    Может подключить внешний USB носитель и изменить место сохранения логов на него?

                    1 Reply Last reply Reply Quote 0
                    • T
                      tjsolomon
                      last edited by

                      @DasTieRR:

                      @tjsolomon:

                      @DasTieRR:

                      @tjsolomon:

                      Ну так что Есть идеи? Чем можно свернуть логи?

                      Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

                      Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

                      Может подключить внешний USB носитель и изменить место сохранения логов на него?

                      И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
                      В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
                      ну ведь я не один такой, как другие это делают%):)

                      1 Reply Last reply Reply Quote 0
                      • D
                        dvserg
                        last edited by

                        @tjsolomon:

                        И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
                        В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
                        ну ведь я не один такой, как другие это делают%):)

                        А какие варианты Вы уже сами пробовали?
                        По поводу написания скрипта - попробуйте поискать специалиста на платной основе.

                        SquidGuardDoc EN  RU Tutorial
                        Localization ru_PFSense

                        1 Reply Last reply Reply Quote 0
                        • T
                          tjsolomon
                          last edited by

                          @dvserg:

                          @tjsolomon:

                          И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
                          В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
                          ну ведь я не один такой, как другие это делают%):)

                          А какие варианты Вы уже сами пробовали?
                          По поводу написания скрипта - попробуйте поискать специалиста на платной основе.

                          Никаких) кроме удаления логов) раз в 2 недели

                          1 Reply Last reply Reply Quote 0
                          • D
                            dvserg
                            last edited by

                            А в чем сложность в реализации предложения DasTieRR по удалению логов из крона? Они же отрабатываются в статистику ?

                            SquidGuardDoc EN  RU Tutorial
                            Localization ru_PFSense

                            1 Reply Last reply Reply Quote 0
                            • T
                              tjsolomon
                              last edited by

                              @dvserg:

                              А в чем сложность в реализации предложения DasTieRR по удалению логов из крона? Они же отрабатываются в статистику ?

                              Не совсем понял…
                              Статистика важна (иногда за 3-4 месяца назад), иначе я бы не стал прикручивать IpCad. Прошу прощения кто они?
                              P.S. свою проблемку решил тем что Сквид просто игнорирует сайты из списка, и пускает их напрямую.

                              1 Reply Last reply Reply Quote 0
                              • D
                                dvserg
                                last edited by

                                Не понятен смысл сохранения логов сквида. Логи отрабатываются в статистику лайтсквида и могут быть периодически удалены. Можно выставить опцию ротации логов в сквиде, и удалять из крона лишние архивы логов.

                                SquidGuardDoc EN  RU Tutorial
                                Localization ru_PFSense

                                1 Reply Last reply Reply Quote 0
                                • T
                                  tjsolomon
                                  last edited by

                                  @dvserg:

                                  Не понятен смысл сохранения логов сквида. Логи отрабатываются в статистику лайтсквида и могут быть периодически удалены. Можно выставить опцию ротации логов в сквиде, и удалять из крона лишние архивы логов.

                                  я правильно понимаю что файл /var/squid/log/access.log можно переодически удалять?

                                  1 Reply Last reply Reply Quote 0
                                  • D
                                    dr.gopher
                                    last edited by

                                    @tjsolomon:

                                    я правильно понимаю что файл /var/squid/log/access.log можно переодически удалять?

                                    Вам в самом начале было предложено - Как вариант поставьте сквиду, запускать ротацию логов каждый день.
                                    Log rotate – сколько дней хранить активный лог

                                    Вам уже пояснили, что после запуска скрипта лайт сквида, вся статистика попадает в базу лайт сквида и лог файл сквида можно чистить.

                                    FAQ PfSense 2.0

                                    И не забываем про Adblock дабы не видеть баннеров.

                                    И многое другое на www.thin.kiev.ua

                                    1 Reply Last reply Reply Quote 0
                                    • D
                                      dvserg
                                      last edited by

                                      (+) Удалять лучше архивные логи типа access.xxx . С выставленной ротацией смысла трогать access.log нет, да и безопаснее в плане стабильности работы сервисов.

                                      SquidGuardDoc EN  RU Tutorial
                                      Localization ru_PFSense

                                      1 Reply Last reply Reply Quote 0
                                      • T
                                        tjsolomon
                                        last edited by

                                        UPну Тему ротация логов не работает, за 3-4 дня 4-5 гигабайт логов, а диск всего 10 гигабайт, ротация выставлена на 1 день.
                                        Какие конфиги показать и что можно сделать?

                                        1 Reply Last reply Reply Quote 0
                                        • D
                                          dvserg
                                          last edited by

                                          А squid работает ?

                                          SquidGuardDoc EN  RU Tutorial
                                          Localization ru_PFSense

                                          1 Reply Last reply Reply Quote 0
                                          • S
                                            schmel
                                            last edited by

                                            crontab -e

                                            # В 4:55 сбрасывать трафик из коллектора ipcad в логи прокси-сервер
                                                      55 04 * * * /usr/local/scripts/ipcad.sh
                                                      # В 5:05 снимать статистику LightSquid
                                                      05 05 * * * /usr/local/www/lightsquid/lightparser.pl
                                                      # В 5:15 запускать скрипт лимита по трафику
                                                      15 05 * * * /usr/local/etc/squid/traf_limit/traf_limit.pl
                                                      # 5:25 производить ротацию логов
                                                      25 05 * * *  /usr/local/sbin/squid -k rotate
                                                      # Запуск скрипта, удаляющего старые логи
                                                      35 05 * * * /usr/local/scripts/rmsquidlogs.sh

                                            Содержимое скрипта /usr/local/scripts/rmsquidlogs.sh:

                                            #!/bin/sh
                                                      rm /usr/local/squid/logs/access.log.0
                                                      rm /usr/local/squid/logs/cache.log.0
                                                      rm /usr/local/squid/logs/store.log.0

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.