Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Блокировка рекламы и https через DNS(dnsmasq)

    Russian
    8
    44
    19.5k
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • S
      smils
      last edited by

      Helfer_Panch

      Dec 7 15:19:48 dnsmasq[78769]: 0 ad domains blocked.
      Dec 7 15:19:48 dnsmasq[76278]: Removing duplicates and formatting the list of domains…
      Dec 7 15:19:45 dnsmasq[75116]: Fetching privacy list
      Dec 7 15:19:36 dnsmasq[71678]: Fetching ruadlist+easylist…
      Dec 7 15:19:33 dnsmasq[66729]: Fetching someone who cares ad list…
      Dec 7 15:19:30 dnsmasq[54797]: Fetching adblock.gjtech ad list…
      Dec 7 15:19:00 dnsmasq[40657]: Fetching malwaredomainlist ad list…
      Dec 7 15:18:52 dnsmasq[39278]: Fetching hosts-file ad list…
      Dec 7 15:18:51 dnsmasq[37173]: Fetching adaway ad list…
      Dec 7 15:18:48 dnsmasq[29087]: Fetching winhelp2002 ad list…
      Dec 7 15:18:47 dnsmasq[25119]: Fetching yoyo ad list…
      Dec 7 15:18:47 dnsmasq[24844]: Downloading ad blocking lists:
      Dec 7 15:18:47 dnsmasq[24528]: Pixel server start with pid -
      Dec 7 15:18:46 dnsmasq[22818]: Start HTTP/HTTPS server configuration
      Dec 7 15:18:46 dnsmasq[22336]: Starting pixel servers
      Dec 7 15:18:46 dnsmasq[21303]: Creating configuration for pixel server
      Dec 7 15:18:46 dnsmasq[20400]: Pixel servers configuration not found. Create…
      Dec 7 15:18:28 unbound: [18276:0] info: start of service (unbound 1.5.3).
      Dec 7 15:18:28 unbound: [18276:0] notice: init module 1: iterator
      Dec 7 15:18:28 unbound: [18276:0] notice: init module 0: validator

      1 Reply Last reply Reply Quote 0
      • S
        smils
        last edited by

        Еще больше вопросов.

        cat $ADBLOCK_DFILE | sed $'s/\r$//' | sort | uniq | sed '/^$/d' | grep -v -x -f $WHITELIST | awk -v "IP=$REDIR_TO" '{sub(/\r$/,""); print "address=/"$0"/"IP}' > $CONF_ADBLOCK_TEMP

        не силен в конвеерах, но если  $WHITELIST не существует, тогда упс. файл adblock.conf нулевой.

        В pfSense по умолчанию /var/etc/cert.pem - нет.
        Скрипт в части https точно рабочий?

        похоже на солянку из рабочего скрипта по http и набросков по https.

        1 Reply Last reply Reply Quote 0
        • P
          PbIXTOP
          last edited by

          @Helfer_Panch:

          Есть желание еще прикрутить статистику.
          Предполагаю, что это должно делаться на стороне lighttpd, т.е. переадресуем на страницу, она пишет в лог и далее переадресует на пустой пиксель.
          Только, как реализовать пока нет понимания.
          Если есть мысли, буду рад обсудить.

          Я использую данный способ уже года 3.
          Но выбор как web-сервера выпал на nginx с его плюшками и прочим.
          Он позволяет как отдавать статику, так и кешировать запросы. На его основе кстати долгое время работал кешер WindowsUpdate, adobe, Apple, sf и некоторые другие. От большинства доменов в режиме проксирования пришлось отказаться (где-то включили SSL, где-то просто безразмерные обновления)

          1 Reply Last reply Reply Quote 0
          • BBcan177B
            BBcan177 Moderator
            last edited by

            https://forum.pfsense.org/index.php?topic=102470.0

            "Experience is something you don't get until just after you need it."

            Website: http://pfBlockerNG.com
            Twitter: @BBcan177  #pfBlockerNG
            Reddit: https://www.reddit.com/r/pfBlockerNG/new/

            1 Reply Last reply Reply Quote 0
            • H
              Helfer_Panch
              last edited by

              @smils:

              Еще больше вопросов.
              не силен в конвеерах, но если  $WHITELIST не существует, тогда упс. файл adblock.conf нулевой.

              Да, согласен после того как сделал белый лист не проверял работу скрипта без него.
              Но я крайне рекомендую его создать, т.к. в одном из скачиваемых листов блокируется почта яндекс и домен local(из-за этого не работает retracker.local)

              @smils:

              В pfSense по умолчанию /var/etc/cert.pem - нет.
              Скрипт в части https точно рабочий?

              Работает точно, и не только у меня. Скорее всего не заработал из-за отсутствия сертификата. У меня включен https к вебконфигуратору сразу после установки PF, возможно по этой причине сертификат есть.

              @smils:

              похоже на солянку из рабочего скрипта по http и набросков по https.

              Можно и так сказать, но примером служил оригинальный конфиг вебконфигуратора.

              1 Reply Last reply Reply Quote 0
              • S
                smils
                last edited by

                Helfer_Panch

                Спасибо.

                Посмотрите пакет pfBlockerNG BBcan177.
                DNSBL реализован просто отлично.

                Минусы.
                Доступен для 2.2 и выше, где Unbound вместо dnsmasq.

                Плюсы.
                Логирование, статистика. Списки, в том числе Adblock Easylist.
                Быстрое исключение из Block добавлением в WhiteList одним кликом.

                The best.

                1 Reply Last reply Reply Quote 0
                • K
                  kudrik_tt
                  last edited by

                  Здравствуйте, у меня pfsense 2.2.4, я в общем то не очень специалист, подскажите пожалуйста в чем косяк.
                  Последовательность действий как в статье, файл ad_block.sh использовал из прокручивающегося списка, в конечном итоге получил вот такой лог в Resolver:
                  Dec 15 16:30:06 unbound: [18868:0] notice: init module 0: validator
                  Dec 15 16:30:06 unbound: [18868:0] notice: init module 1: iterator
                  Dec 15 16:30:06 unbound: [18868:0] info: start of service (unbound 1.5.4).
                  Dec 15 16:30:28 dnsmasq[27622]: dnsmasq configuration exists, adding configuration directory
                  Dec 15 16:30:28 dnsmasq[28804]: Starting pixel servers
                  Dec 15 16:30:28 dnsmasq[29176]: Start HTTP/HTTPS server configuration
                  Dec 15 16:30:28 dnsmasq[30265]: Downloading ad blocking lists:
                  Dec 15 16:30:28 dnsmasq[30546]: Fetching yoyo ad list…
                  Dec 15 16:30:29 dnsmasq[37789]: Fetching winhelp2002 ad list…
                  Dec 15 16:30:32 dnsmasq[42469]: Fetching adaway ad list…
                  Dec 15 16:30:33 dnsmasq[46045]: Fetching hosts-file ad list…
                  Dec 15 16:31:44 dnsmasq[83827]: Fetching malwaredomainlist ad list…
                  Dec 15 16:31:45 dnsmasq[85885]: Fetching adblock.gjtech ad list…
                  Dec 15 16:31:47 dnsmasq[88061]: Fetching someone who cares ad list…
                  Dec 15 16:31:51 dnsmasq[97938]: Fetching ruadlist+easylist…
                  Dec 15 16:31:56 dnsmasq[99016]: Fetching privacy list
                  Dec 15 16:31:57 dnsmasq[1387]: Add records from custom block list - /usr/local/etc/ad_custom_list
                  Dec 15 16:31:57 dnsmasq[1848]: Removing duplicates and formatting the list of domains…
                  Dec 15 16:31:58 dnsmasq[4113]: 140273 ad domains blocked.
                  Dec 15 16:31:58 dnsmasq[4115]: Analyzing for changes
                  Dec 15 16:31:58 dnsmasq[4545]: Updating /usr/local/etc/dnsmasq.d/adblock.conf with latest entries
                  Dec 15 16:31:58 dnsmasq[5215]: Restarting dnsmasq
                  Dec 15 16:31:59 dnsmasq[8879]: dnsmasq failed to restart, reverting to previous ad blocking configuration

                  Доступ по приведенным для примера ip адресам 10.254.254.254 для http-https присутствует, открывается .gif, но фильтрации рекламы нет. Подскажите пожалуйста, в чем может быть причина?

                  1 Reply Last reply Reply Quote 0
                  • S
                    smils
                    last edited by

                    kudrik_tt

                    Смотрите настройки DNS Forwarder. dnsmasq.
                    включен\не включен

                    читайте про\ ставьте pfBlockerNG

                    1 Reply Last reply Reply Quote 0
                    • K
                      kudrik_tt
                      last edited by

                      Интересно pfBlockerNG, если честно первый раз слышу)) А какая-нибудь инструкция вдогонку есть по нему?

                      1 Reply Last reply Reply Quote 0
                      • S
                        smils
                        last edited by

                        pfBlockerNG v2.0 w/DNSBL

                        Там вся суть на первых 3-х страницах.

                        1 Reply Last reply Reply Quote 0
                        • K
                          kudrik_tt
                          last edited by

                          smils Огромное спасибо за статью, особенно за наводку про первые 3 страницы, вроде настроил, но никак не пойму:

                          1. ip адреса в списках DNSBL Feeds блокируются, но если добавишь какой-нибудь в Custom Domain Name Block List - он не блокируется
                          2. реклама по мойму не блокируется, по крайней мере на mail.ru (хотя adblock обычно блокируется) или на чем можно попробывать;
                          3. списки Alexa используются получается как белые списки? Тогда почему, если специально добавлять сайт из DNSBL Feeds (из блокируемых) он не открывается?
                          4. На до же в Alexa TLD Inclusion указывать RU.
                            или после каждого изменения необходимо ребутить pf
                          5. Не будет ли большое количество списков как у пользователя 'tonymorella' https://forum.pfsense.org/index.php?topic=102470.30 тормозить систему. Хотя это можно и проверить))
                          1 Reply Last reply Reply Quote 0
                          • K
                            kudrik_tt
                            last edited by

                            причем интересно, открываю mail.ru в правом верхнем углу реклама перещёлкивает, нажимаю на нее, а открывается страница ad.adriver.ru/…. - но она заблокирована! И на многих сайтах реклама действительно заблокирована, вместо них белое окно.

                            1 Reply Last reply Reply Quote 0
                            • S
                              smils
                              last edited by

                              1)Changes are applied via CRON or 'Force Update'
                              2)Changes are applied via CRON or 'Force Update'
                              3)Самые популярные сайты по рейтингу Alexa, исключаем из Block. Не использую.
                              4)Все верно, указать ru.  Changes are applied via CRON or 'Force Update', ребутить pf не нужно.
                              5)Не тормозит. Совсем.

                              1 Reply Last reply Reply Quote 0
                              • K
                                kudrik_tt
                                last edited by

                                Спасибо, большое. Хорошая штука этот DNSBL полезная и простая.

                                1 Reply Last reply Reply Quote 0
                                • H
                                  Helfer_Panch
                                  last edited by

                                  @smils:

                                  Посмотрите пакет pfBlockerNG BBcan177.
                                  DNSBL реализован просто отлично.

                                  Спасибо, за совет!
                                  Обязательно посмотрю.

                                  1 Reply Last reply Reply Quote 0
                                  • H
                                    Helfer_Panch
                                    last edited by

                                    @kudrik_tt:

                                    Здравствуйте, у меня pfsense 2.2.4, я в общем то не очень специалист, подскажите пожалуйста в чем косяк.
                                    Последовательность действий как в статье, файл ad_block.sh использовал из прокручивающегося списка, в конечном итоге получил вот такой лог в Resolver:
                                    Dec 15 16:30:06 unbound: [18868:0] notice: init module 0: validator
                                    Dec 15 16:30:06 unbound: [18868:0] notice: init module 1: iterator
                                    Dec 15 16:30:06 unbound: [18868:0] info: start of service (unbound 1.5.4).
                                    Dec 15 16:30:28 dnsmasq[27622]: dnsmasq configuration exists, adding configuration directory
                                    Dec 15 16:30:28 dnsmasq[28804]: Starting pixel servers
                                    Dec 15 16:30:28 dnsmasq[29176]: Start HTTP/HTTPS server configuration
                                    Dec 15 16:30:28 dnsmasq[30265]: Downloading ad blocking lists:
                                    Dec 15 16:30:28 dnsmasq[30546]: Fetching yoyo ad list…
                                    Dec 15 16:30:29 dnsmasq[37789]: Fetching winhelp2002 ad list…
                                    Dec 15 16:30:32 dnsmasq[42469]: Fetching adaway ad list…
                                    Dec 15 16:30:33 dnsmasq[46045]: Fetching hosts-file ad list…
                                    Dec 15 16:31:44 dnsmasq[83827]: Fetching malwaredomainlist ad list…
                                    Dec 15 16:31:45 dnsmasq[85885]: Fetching adblock.gjtech ad list…
                                    Dec 15 16:31:47 dnsmasq[88061]: Fetching someone who cares ad list…
                                    Dec 15 16:31:51 dnsmasq[97938]: Fetching ruadlist+easylist…
                                    Dec 15 16:31:56 dnsmasq[99016]: Fetching privacy list
                                    Dec 15 16:31:57 dnsmasq[1387]: Add records from custom block list - /usr/local/etc/ad_custom_list
                                    Dec 15 16:31:57 dnsmasq[1848]: Removing duplicates and formatting the list of domains…
                                    Dec 15 16:31:58 dnsmasq[4113]: 140273 ad domains blocked.
                                    Dec 15 16:31:58 dnsmasq[4115]: Analyzing for changes
                                    Dec 15 16:31:58 dnsmasq[4545]: Updating /usr/local/etc/dnsmasq.d/adblock.conf with latest entries
                                    Dec 15 16:31:58 dnsmasq[5215]: Restarting dnsmasq
                                    Dec 15 16:31:59 dnsmasq[8879]: dnsmasq failed to restart, reverting to previous ad blocking configuration

                                    Доступ по приведенным для примера ip адресам 10.254.254.254 для http-https присутствует, открывается .gif, но фильтрации рекламы нет. Подскажите пожалуйста, в чем может быть причина?

                                    Если еще актуально.

                                    Судя по первым трем строчкам лога, скорее всего, у Вас используется unbound вместо dnsmasq.
                                    В последней строке он говорит, что перезапустить dnsmasq не удалось. С этим и связано отсутствие фильтрации.

                                    1 Reply Last reply Reply Quote 0
                                    • K
                                      kudrik_tt
                                      last edited by

                                      Большое спасибо, но уже не актуально. Подскажите пожалуйста два момента,

                                      1. Через прокси сервер pfBlockerNG не работает, все открыто и доступно - можно ли что-нибудь с этим сделать?
                                      2. google.ru не работает, я знаю что в статье написано что с этим сделать, но я что то или не понимаю, или не отрабатывает должным образом. Необходимо добавить google.ru и пр. в DNSBL в Custom List?
                                      1 Reply Last reply Reply Quote 0
                                      • K
                                        kudrik_tt
                                        last edited by

                                        Никто не знает по поводу прокси-сервера?

                                        1 Reply Last reply Reply Quote 0
                                        • P
                                          PbIXTOP
                                          last edited by

                                          @kudrik_tt:

                                          Большое спасибо, но уже не актуально. Подскажите пожалуйста два момента,

                                          1. Через прокси сервер pfBlockerNG не работает, все открыто и доступно - можно ли что-нибудь с этим сделать?

                                          У вас используется выше стоящий прокси?
                                          Тогда выхватывайте пакет и перенаправляйте на нужный вам прокси.

                                          1 Reply Last reply Reply Quote 0
                                          • K
                                            kudrik_tt
                                            last edited by

                                            Здравствуйте, у меня настроен обычный squid с фильтрами и 4 группами пользователей и авторизацией по ldap (хотя это конечно лишняя информация)(192.168.0.8:8080), и при применении dnsbl, пользователи которые идут не через прокси - у них dnsbl отрабатывает, а которые идут через - у них закрыты только те сайты которые заблокированы списком или blackList'ом, но реклама работает.

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.