Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Squid+LightSquid+Ipcad=логи съедают место на диске

    Scheduled Pinned Locked Moved Russian
    24 Posts 6 Posters 11.2k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • S
      SysR
      last edited by

      Один из вариантов:
      1. Увеличить винт
      2. Зарубить торенты (правильный вариант)
      3. Отключить логи
      4. Пустить торенты по НАТу (крайне не желательно)

      1 Reply Last reply Reply Quote 0
      • T
        tjsolomon
        last edited by

        @SysR:

        Один из вариантов:
        1. Увеличить винт
        2. Зарубить торенты (правильный вариант)
        3. Отключить логи
        4. Пустить торенты по НАТу (крайне не желательно)

        1. Не подходит, установлено на Hyper-V
        2. Собственно говоря зачем? (кроме того что они генерят траффик, они никому не мешают)
        3. Вот тут то и возвращаемся обратно, что хочется что бы была вся связка (собственно просмотр логов и подсчет торрент трафика)
        4. см. п. 3

        1 Reply Last reply Reply Quote 0
        • T
          tjsolomon
          last edited by

          Ну так что Есть идеи? Чем можно свернуть логи?

          1 Reply Last reply Reply Quote 0
          • D
            DasTieRR
            last edited by

            @tjsolomon:

            Ну так что Есть идеи? Чем можно свернуть логи?

            Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

            1 Reply Last reply Reply Quote 0
            • T
              tjsolomon
              last edited by

              @DasTieRR:

              @tjsolomon:

              Ну так что Есть идеи? Чем можно свернуть логи?

              Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

              Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

              1 Reply Last reply Reply Quote 0
              • D
                DasTieRR
                last edited by

                @tjsolomon:

                @DasTieRR:

                @tjsolomon:

                Ну так что Есть идеи? Чем можно свернуть логи?

                Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

                Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

                Может подключить внешний USB носитель и изменить место сохранения логов на него?

                1 Reply Last reply Reply Quote 0
                • T
                  tjsolomon
                  last edited by

                  @DasTieRR:

                  @tjsolomon:

                  @DasTieRR:

                  @tjsolomon:

                  Ну так что Есть идеи? Чем можно свернуть логи?

                  Поставить пакет крон и прописать команду удаления лишних логов, например раз в месяц.

                  Опять таки не вариант, файл лога один, т.е. в один файл все скидывается. (как тогда быть?)

                  Может подключить внешний USB носитель и изменить место сохранения логов на него?

                  И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
                  В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
                  ну ведь я не один такой, как другие это делают%):)

                  1 Reply Last reply Reply Quote 0
                  • D
                    dvserg
                    last edited by

                    @tjsolomon:

                    И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
                    В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
                    ну ведь я не один такой, как другие это делают%):)

                    А какие варианты Вы уже сами пробовали?
                    По поводу написания скрипта - попробуйте поискать специалиста на платной основе.

                    SquidGuardDoc EN  RU Tutorial
                    Localization ru_PFSense

                    1 Reply Last reply Reply Quote 0
                    • T
                      tjsolomon
                      last edited by

                      @dvserg:

                      @tjsolomon:

                      И снова не вариант) Есть конечно идея завести логи в базу SQL но тогда не совсем понятно что же делать со скриптом который скидывает лог в из IPcad в нее.
                      В принципе если найдется человек который знает скрипты и сумеет написать скрипт который бы сворачивал логи по принципу если в поле source присутствует только IP кроме 10.10; 192.168 и т.д. (кто помнит стандарт напомните) тогда свернуть строчку в одну torrents, хотя если совсем будет плохо то попробую все таки держать логи в другом месте.
                      ну ведь я не один такой, как другие это делают%):)

                      А какие варианты Вы уже сами пробовали?
                      По поводу написания скрипта - попробуйте поискать специалиста на платной основе.

                      Никаких) кроме удаления логов) раз в 2 недели

                      1 Reply Last reply Reply Quote 0
                      • D
                        dvserg
                        last edited by

                        А в чем сложность в реализации предложения DasTieRR по удалению логов из крона? Они же отрабатываются в статистику ?

                        SquidGuardDoc EN  RU Tutorial
                        Localization ru_PFSense

                        1 Reply Last reply Reply Quote 0
                        • T
                          tjsolomon
                          last edited by

                          @dvserg:

                          А в чем сложность в реализации предложения DasTieRR по удалению логов из крона? Они же отрабатываются в статистику ?

                          Не совсем понял…
                          Статистика важна (иногда за 3-4 месяца назад), иначе я бы не стал прикручивать IpCad. Прошу прощения кто они?
                          P.S. свою проблемку решил тем что Сквид просто игнорирует сайты из списка, и пускает их напрямую.

                          1 Reply Last reply Reply Quote 0
                          • D
                            dvserg
                            last edited by

                            Не понятен смысл сохранения логов сквида. Логи отрабатываются в статистику лайтсквида и могут быть периодически удалены. Можно выставить опцию ротации логов в сквиде, и удалять из крона лишние архивы логов.

                            SquidGuardDoc EN  RU Tutorial
                            Localization ru_PFSense

                            1 Reply Last reply Reply Quote 0
                            • T
                              tjsolomon
                              last edited by

                              @dvserg:

                              Не понятен смысл сохранения логов сквида. Логи отрабатываются в статистику лайтсквида и могут быть периодически удалены. Можно выставить опцию ротации логов в сквиде, и удалять из крона лишние архивы логов.

                              я правильно понимаю что файл /var/squid/log/access.log можно переодически удалять?

                              1 Reply Last reply Reply Quote 0
                              • D
                                dr.gopher
                                last edited by

                                @tjsolomon:

                                я правильно понимаю что файл /var/squid/log/access.log можно переодически удалять?

                                Вам в самом начале было предложено - Как вариант поставьте сквиду, запускать ротацию логов каждый день.
                                Log rotate – сколько дней хранить активный лог

                                Вам уже пояснили, что после запуска скрипта лайт сквида, вся статистика попадает в базу лайт сквида и лог файл сквида можно чистить.

                                FAQ PfSense 2.0

                                И не забываем про Adblock дабы не видеть баннеров.

                                И многое другое на www.thin.kiev.ua

                                1 Reply Last reply Reply Quote 0
                                • D
                                  dvserg
                                  last edited by

                                  (+) Удалять лучше архивные логи типа access.xxx . С выставленной ротацией смысла трогать access.log нет, да и безопаснее в плане стабильности работы сервисов.

                                  SquidGuardDoc EN  RU Tutorial
                                  Localization ru_PFSense

                                  1 Reply Last reply Reply Quote 0
                                  • T
                                    tjsolomon
                                    last edited by

                                    UPну Тему ротация логов не работает, за 3-4 дня 4-5 гигабайт логов, а диск всего 10 гигабайт, ротация выставлена на 1 день.
                                    Какие конфиги показать и что можно сделать?

                                    1 Reply Last reply Reply Quote 0
                                    • D
                                      dvserg
                                      last edited by

                                      А squid работает ?

                                      SquidGuardDoc EN  RU Tutorial
                                      Localization ru_PFSense

                                      1 Reply Last reply Reply Quote 0
                                      • S
                                        schmel
                                        last edited by

                                        crontab -e

                                        # В 4:55 сбрасывать трафик из коллектора ipcad в логи прокси-сервер
                                                  55 04 * * * /usr/local/scripts/ipcad.sh
                                                  # В 5:05 снимать статистику LightSquid
                                                  05 05 * * * /usr/local/www/lightsquid/lightparser.pl
                                                  # В 5:15 запускать скрипт лимита по трафику
                                                  15 05 * * * /usr/local/etc/squid/traf_limit/traf_limit.pl
                                                  # 5:25 производить ротацию логов
                                                  25 05 * * *  /usr/local/sbin/squid -k rotate
                                                  # Запуск скрипта, удаляющего старые логи
                                                  35 05 * * * /usr/local/scripts/rmsquidlogs.sh

                                        Содержимое скрипта /usr/local/scripts/rmsquidlogs.sh:

                                        #!/bin/sh
                                                  rm /usr/local/squid/logs/access.log.0
                                                  rm /usr/local/squid/logs/cache.log.0
                                                  rm /usr/local/squid/logs/store.log.0

                                        1 Reply Last reply Reply Quote 0
                                        • T
                                          tjsolomon
                                          last edited by

                                          @dvserg:

                                          А squid работает ?

                                          Да работает

                                          1 Reply Last reply Reply Quote 0
                                          • T
                                            tjsolomon
                                            last edited by

                                            @schmel:

                                            crontab -e

                                            # В 4:55 сбрасывать трафик из коллектора ipcad в логи прокси-сервер
                                                       55 04 * * * /usr/local/scripts/ipcad.sh
                                                       # В 5:05 снимать статистику LightSquid
                                                       05 05 * * * /usr/local/www/lightsquid/lightparser.pl
                                                       # В 5:15 запускать скрипт лимита по трафику
                                                       15 05 * * * /usr/local/etc/squid/traf_limit/traf_limit.pl
                                                       # 5:25 производить ротацию логов
                                                       25 05 * * *  /usr/local/sbin/squid -k rotate
                                                       # Запуск скрипта, удаляющего старые логи
                                                       35 05 * * * /usr/local/scripts/rmsquidlogs.sh

                                            Содержимое скрипта /usr/local/scripts/rmsquidlogs.sh:

                                            #!/bin/sh
                                                       rm /usr/local/squid/logs/access.log.0
                                                       rm /usr/local/squid/logs/cache.log.0
                                                       rm /usr/local/squid/logs/store.log.0

                                            Спасибо попробую, если все хорошо, можно в FAQ http://forum.pfsense.org/index.php/topic,21394.0.html и http://forum.pfsense.org/index.php/topic,22839.0.html добавить

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.