Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Блокировка рекламы и https через DNS(dnsmasq)

    Scheduled Pinned Locked Moved Russian
    44 Posts 8 Posters 19.6k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • P
      PbIXTOP
      last edited by

      @Helfer_Panch:

      Есть желание еще прикрутить статистику.
      Предполагаю, что это должно делаться на стороне lighttpd, т.е. переадресуем на страницу, она пишет в лог и далее переадресует на пустой пиксель.
      Только, как реализовать пока нет понимания.
      Если есть мысли, буду рад обсудить.

      Я использую данный способ уже года 3.
      Но выбор как web-сервера выпал на nginx с его плюшками и прочим.
      Он позволяет как отдавать статику, так и кешировать запросы. На его основе кстати долгое время работал кешер WindowsUpdate, adobe, Apple, sf и некоторые другие. От большинства доменов в режиме проксирования пришлось отказаться (где-то включили SSL, где-то просто безразмерные обновления)

      1 Reply Last reply Reply Quote 0
      • BBcan177B
        BBcan177 Moderator
        last edited by

        https://forum.pfsense.org/index.php?topic=102470.0

        "Experience is something you don't get until just after you need it."

        Website: http://pfBlockerNG.com
        Twitter: @BBcan177  #pfBlockerNG
        Reddit: https://www.reddit.com/r/pfBlockerNG/new/

        1 Reply Last reply Reply Quote 0
        • H
          Helfer_Panch
          last edited by

          @smils:

          Еще больше вопросов.
          не силен в конвеерах, но если  $WHITELIST не существует, тогда упс. файл adblock.conf нулевой.

          Да, согласен после того как сделал белый лист не проверял работу скрипта без него.
          Но я крайне рекомендую его создать, т.к. в одном из скачиваемых листов блокируется почта яндекс и домен local(из-за этого не работает retracker.local)

          @smils:

          В pfSense по умолчанию /var/etc/cert.pem - нет.
          Скрипт в части https точно рабочий?

          Работает точно, и не только у меня. Скорее всего не заработал из-за отсутствия сертификата. У меня включен https к вебконфигуратору сразу после установки PF, возможно по этой причине сертификат есть.

          @smils:

          похоже на солянку из рабочего скрипта по http и набросков по https.

          Можно и так сказать, но примером служил оригинальный конфиг вебконфигуратора.

          1 Reply Last reply Reply Quote 0
          • S
            smils
            last edited by

            Helfer_Panch

            Спасибо.

            Посмотрите пакет pfBlockerNG BBcan177.
            DNSBL реализован просто отлично.

            Минусы.
            Доступен для 2.2 и выше, где Unbound вместо dnsmasq.

            Плюсы.
            Логирование, статистика. Списки, в том числе Adblock Easylist.
            Быстрое исключение из Block добавлением в WhiteList одним кликом.

            The best.

            1 Reply Last reply Reply Quote 0
            • K
              kudrik_tt
              last edited by

              Здравствуйте, у меня pfsense 2.2.4, я в общем то не очень специалист, подскажите пожалуйста в чем косяк.
              Последовательность действий как в статье, файл ad_block.sh использовал из прокручивающегося списка, в конечном итоге получил вот такой лог в Resolver:
              Dec 15 16:30:06 unbound: [18868:0] notice: init module 0: validator
              Dec 15 16:30:06 unbound: [18868:0] notice: init module 1: iterator
              Dec 15 16:30:06 unbound: [18868:0] info: start of service (unbound 1.5.4).
              Dec 15 16:30:28 dnsmasq[27622]: dnsmasq configuration exists, adding configuration directory
              Dec 15 16:30:28 dnsmasq[28804]: Starting pixel servers
              Dec 15 16:30:28 dnsmasq[29176]: Start HTTP/HTTPS server configuration
              Dec 15 16:30:28 dnsmasq[30265]: Downloading ad blocking lists:
              Dec 15 16:30:28 dnsmasq[30546]: Fetching yoyo ad list…
              Dec 15 16:30:29 dnsmasq[37789]: Fetching winhelp2002 ad list…
              Dec 15 16:30:32 dnsmasq[42469]: Fetching adaway ad list…
              Dec 15 16:30:33 dnsmasq[46045]: Fetching hosts-file ad list…
              Dec 15 16:31:44 dnsmasq[83827]: Fetching malwaredomainlist ad list…
              Dec 15 16:31:45 dnsmasq[85885]: Fetching adblock.gjtech ad list…
              Dec 15 16:31:47 dnsmasq[88061]: Fetching someone who cares ad list…
              Dec 15 16:31:51 dnsmasq[97938]: Fetching ruadlist+easylist…
              Dec 15 16:31:56 dnsmasq[99016]: Fetching privacy list
              Dec 15 16:31:57 dnsmasq[1387]: Add records from custom block list - /usr/local/etc/ad_custom_list
              Dec 15 16:31:57 dnsmasq[1848]: Removing duplicates and formatting the list of domains…
              Dec 15 16:31:58 dnsmasq[4113]: 140273 ad domains blocked.
              Dec 15 16:31:58 dnsmasq[4115]: Analyzing for changes
              Dec 15 16:31:58 dnsmasq[4545]: Updating /usr/local/etc/dnsmasq.d/adblock.conf with latest entries
              Dec 15 16:31:58 dnsmasq[5215]: Restarting dnsmasq
              Dec 15 16:31:59 dnsmasq[8879]: dnsmasq failed to restart, reverting to previous ad blocking configuration

              Доступ по приведенным для примера ip адресам 10.254.254.254 для http-https присутствует, открывается .gif, но фильтрации рекламы нет. Подскажите пожалуйста, в чем может быть причина?

              1 Reply Last reply Reply Quote 0
              • S
                smils
                last edited by

                kudrik_tt

                Смотрите настройки DNS Forwarder. dnsmasq.
                включен\не включен

                читайте про\ ставьте pfBlockerNG

                1 Reply Last reply Reply Quote 0
                • K
                  kudrik_tt
                  last edited by

                  Интересно pfBlockerNG, если честно первый раз слышу)) А какая-нибудь инструкция вдогонку есть по нему?

                  1 Reply Last reply Reply Quote 0
                  • S
                    smils
                    last edited by

                    pfBlockerNG v2.0 w/DNSBL

                    Там вся суть на первых 3-х страницах.

                    1 Reply Last reply Reply Quote 0
                    • K
                      kudrik_tt
                      last edited by

                      smils Огромное спасибо за статью, особенно за наводку про первые 3 страницы, вроде настроил, но никак не пойму:

                      1. ip адреса в списках DNSBL Feeds блокируются, но если добавишь какой-нибудь в Custom Domain Name Block List - он не блокируется
                      2. реклама по мойму не блокируется, по крайней мере на mail.ru (хотя adblock обычно блокируется) или на чем можно попробывать;
                      3. списки Alexa используются получается как белые списки? Тогда почему, если специально добавлять сайт из DNSBL Feeds (из блокируемых) он не открывается?
                      4. На до же в Alexa TLD Inclusion указывать RU.
                        или после каждого изменения необходимо ребутить pf
                      5. Не будет ли большое количество списков как у пользователя 'tonymorella' https://forum.pfsense.org/index.php?topic=102470.30 тормозить систему. Хотя это можно и проверить))
                      1 Reply Last reply Reply Quote 0
                      • K
                        kudrik_tt
                        last edited by

                        причем интересно, открываю mail.ru в правом верхнем углу реклама перещёлкивает, нажимаю на нее, а открывается страница ad.adriver.ru/…. - но она заблокирована! И на многих сайтах реклама действительно заблокирована, вместо них белое окно.

                        1 Reply Last reply Reply Quote 0
                        • S
                          smils
                          last edited by

                          1)Changes are applied via CRON or 'Force Update'
                          2)Changes are applied via CRON or 'Force Update'
                          3)Самые популярные сайты по рейтингу Alexa, исключаем из Block. Не использую.
                          4)Все верно, указать ru.  Changes are applied via CRON or 'Force Update', ребутить pf не нужно.
                          5)Не тормозит. Совсем.

                          1 Reply Last reply Reply Quote 0
                          • K
                            kudrik_tt
                            last edited by

                            Спасибо, большое. Хорошая штука этот DNSBL полезная и простая.

                            1 Reply Last reply Reply Quote 0
                            • H
                              Helfer_Panch
                              last edited by

                              @smils:

                              Посмотрите пакет pfBlockerNG BBcan177.
                              DNSBL реализован просто отлично.

                              Спасибо, за совет!
                              Обязательно посмотрю.

                              1 Reply Last reply Reply Quote 0
                              • H
                                Helfer_Panch
                                last edited by

                                @kudrik_tt:

                                Здравствуйте, у меня pfsense 2.2.4, я в общем то не очень специалист, подскажите пожалуйста в чем косяк.
                                Последовательность действий как в статье, файл ad_block.sh использовал из прокручивающегося списка, в конечном итоге получил вот такой лог в Resolver:
                                Dec 15 16:30:06 unbound: [18868:0] notice: init module 0: validator
                                Dec 15 16:30:06 unbound: [18868:0] notice: init module 1: iterator
                                Dec 15 16:30:06 unbound: [18868:0] info: start of service (unbound 1.5.4).
                                Dec 15 16:30:28 dnsmasq[27622]: dnsmasq configuration exists, adding configuration directory
                                Dec 15 16:30:28 dnsmasq[28804]: Starting pixel servers
                                Dec 15 16:30:28 dnsmasq[29176]: Start HTTP/HTTPS server configuration
                                Dec 15 16:30:28 dnsmasq[30265]: Downloading ad blocking lists:
                                Dec 15 16:30:28 dnsmasq[30546]: Fetching yoyo ad list…
                                Dec 15 16:30:29 dnsmasq[37789]: Fetching winhelp2002 ad list…
                                Dec 15 16:30:32 dnsmasq[42469]: Fetching adaway ad list…
                                Dec 15 16:30:33 dnsmasq[46045]: Fetching hosts-file ad list…
                                Dec 15 16:31:44 dnsmasq[83827]: Fetching malwaredomainlist ad list…
                                Dec 15 16:31:45 dnsmasq[85885]: Fetching adblock.gjtech ad list…
                                Dec 15 16:31:47 dnsmasq[88061]: Fetching someone who cares ad list…
                                Dec 15 16:31:51 dnsmasq[97938]: Fetching ruadlist+easylist…
                                Dec 15 16:31:56 dnsmasq[99016]: Fetching privacy list
                                Dec 15 16:31:57 dnsmasq[1387]: Add records from custom block list - /usr/local/etc/ad_custom_list
                                Dec 15 16:31:57 dnsmasq[1848]: Removing duplicates and formatting the list of domains…
                                Dec 15 16:31:58 dnsmasq[4113]: 140273 ad domains blocked.
                                Dec 15 16:31:58 dnsmasq[4115]: Analyzing for changes
                                Dec 15 16:31:58 dnsmasq[4545]: Updating /usr/local/etc/dnsmasq.d/adblock.conf with latest entries
                                Dec 15 16:31:58 dnsmasq[5215]: Restarting dnsmasq
                                Dec 15 16:31:59 dnsmasq[8879]: dnsmasq failed to restart, reverting to previous ad blocking configuration

                                Доступ по приведенным для примера ip адресам 10.254.254.254 для http-https присутствует, открывается .gif, но фильтрации рекламы нет. Подскажите пожалуйста, в чем может быть причина?

                                Если еще актуально.

                                Судя по первым трем строчкам лога, скорее всего, у Вас используется unbound вместо dnsmasq.
                                В последней строке он говорит, что перезапустить dnsmasq не удалось. С этим и связано отсутствие фильтрации.

                                1 Reply Last reply Reply Quote 0
                                • K
                                  kudrik_tt
                                  last edited by

                                  Большое спасибо, но уже не актуально. Подскажите пожалуйста два момента,

                                  1. Через прокси сервер pfBlockerNG не работает, все открыто и доступно - можно ли что-нибудь с этим сделать?
                                  2. google.ru не работает, я знаю что в статье написано что с этим сделать, но я что то или не понимаю, или не отрабатывает должным образом. Необходимо добавить google.ru и пр. в DNSBL в Custom List?
                                  1 Reply Last reply Reply Quote 0
                                  • K
                                    kudrik_tt
                                    last edited by

                                    Никто не знает по поводу прокси-сервера?

                                    1 Reply Last reply Reply Quote 0
                                    • P
                                      PbIXTOP
                                      last edited by

                                      @kudrik_tt:

                                      Большое спасибо, но уже не актуально. Подскажите пожалуйста два момента,

                                      1. Через прокси сервер pfBlockerNG не работает, все открыто и доступно - можно ли что-нибудь с этим сделать?

                                      У вас используется выше стоящий прокси?
                                      Тогда выхватывайте пакет и перенаправляйте на нужный вам прокси.

                                      1 Reply Last reply Reply Quote 0
                                      • K
                                        kudrik_tt
                                        last edited by

                                        Здравствуйте, у меня настроен обычный squid с фильтрами и 4 группами пользователей и авторизацией по ldap (хотя это конечно лишняя информация)(192.168.0.8:8080), и при применении dnsbl, пользователи которые идут не через прокси - у них dnsbl отрабатывает, а которые идут через - у них закрыты только те сайты которые заблокированы списком или blackList'ом, но реклама работает.

                                        1 Reply Last reply Reply Quote 0
                                        • P
                                          PbIXTOP
                                          last edited by

                                          @kudrik_tt:

                                          Здравствуйте, у меня настроен обычный squid с фильтрами и 4 группами пользователей и авторизацией по ldap (хотя это конечно лишняя информация)(192.168.0.8:8080), и при применении dnsbl, пользователи которые идут не через прокси - у них dnsbl отрабатывает, а которые идут через - у них закрыты только те сайты которые заблокированы списком или blackList'ом, но реклама работает.

                                          Заставьте Squid использовать тот же самый корпоративный DNS сервер.

                                          1 Reply Last reply Reply Quote 0
                                          • K
                                            kudrik_tt
                                            last edited by

                                            Спасибо за ответ! Указал адрес шлюза в качестве альтернативного dns сервера для клиентов прокси в все стало хорошо. Еще раз спасибо. А не подскажите как исключить из блокировки dnsbl - google.ru.

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.