Netgate Discussion Forum
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search
    • Register
    • Login

    Блокировка рекламы и https через DNS(dnsmasq)

    Scheduled Pinned Locked Moved Russian
    44 Posts 8 Posters 19.6k Views
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • H
      Helfer_Panch
      last edited by

      @smils:

      Посмотрите пакет pfBlockerNG BBcan177.
      DNSBL реализован просто отлично.

      Спасибо, за совет!
      Обязательно посмотрю.

      1 Reply Last reply Reply Quote 0
      • H
        Helfer_Panch
        last edited by

        @kudrik_tt:

        Здравствуйте, у меня pfsense 2.2.4, я в общем то не очень специалист, подскажите пожалуйста в чем косяк.
        Последовательность действий как в статье, файл ad_block.sh использовал из прокручивающегося списка, в конечном итоге получил вот такой лог в Resolver:
        Dec 15 16:30:06 unbound: [18868:0] notice: init module 0: validator
        Dec 15 16:30:06 unbound: [18868:0] notice: init module 1: iterator
        Dec 15 16:30:06 unbound: [18868:0] info: start of service (unbound 1.5.4).
        Dec 15 16:30:28 dnsmasq[27622]: dnsmasq configuration exists, adding configuration directory
        Dec 15 16:30:28 dnsmasq[28804]: Starting pixel servers
        Dec 15 16:30:28 dnsmasq[29176]: Start HTTP/HTTPS server configuration
        Dec 15 16:30:28 dnsmasq[30265]: Downloading ad blocking lists:
        Dec 15 16:30:28 dnsmasq[30546]: Fetching yoyo ad list…
        Dec 15 16:30:29 dnsmasq[37789]: Fetching winhelp2002 ad list…
        Dec 15 16:30:32 dnsmasq[42469]: Fetching adaway ad list…
        Dec 15 16:30:33 dnsmasq[46045]: Fetching hosts-file ad list…
        Dec 15 16:31:44 dnsmasq[83827]: Fetching malwaredomainlist ad list…
        Dec 15 16:31:45 dnsmasq[85885]: Fetching adblock.gjtech ad list…
        Dec 15 16:31:47 dnsmasq[88061]: Fetching someone who cares ad list…
        Dec 15 16:31:51 dnsmasq[97938]: Fetching ruadlist+easylist…
        Dec 15 16:31:56 dnsmasq[99016]: Fetching privacy list
        Dec 15 16:31:57 dnsmasq[1387]: Add records from custom block list - /usr/local/etc/ad_custom_list
        Dec 15 16:31:57 dnsmasq[1848]: Removing duplicates and formatting the list of domains…
        Dec 15 16:31:58 dnsmasq[4113]: 140273 ad domains blocked.
        Dec 15 16:31:58 dnsmasq[4115]: Analyzing for changes
        Dec 15 16:31:58 dnsmasq[4545]: Updating /usr/local/etc/dnsmasq.d/adblock.conf with latest entries
        Dec 15 16:31:58 dnsmasq[5215]: Restarting dnsmasq
        Dec 15 16:31:59 dnsmasq[8879]: dnsmasq failed to restart, reverting to previous ad blocking configuration

        Доступ по приведенным для примера ip адресам 10.254.254.254 для http-https присутствует, открывается .gif, но фильтрации рекламы нет. Подскажите пожалуйста, в чем может быть причина?

        Если еще актуально.

        Судя по первым трем строчкам лога, скорее всего, у Вас используется unbound вместо dnsmasq.
        В последней строке он говорит, что перезапустить dnsmasq не удалось. С этим и связано отсутствие фильтрации.

        1 Reply Last reply Reply Quote 0
        • K
          kudrik_tt
          last edited by

          Большое спасибо, но уже не актуально. Подскажите пожалуйста два момента,

          1. Через прокси сервер pfBlockerNG не работает, все открыто и доступно - можно ли что-нибудь с этим сделать?
          2. google.ru не работает, я знаю что в статье написано что с этим сделать, но я что то или не понимаю, или не отрабатывает должным образом. Необходимо добавить google.ru и пр. в DNSBL в Custom List?
          1 Reply Last reply Reply Quote 0
          • K
            kudrik_tt
            last edited by

            Никто не знает по поводу прокси-сервера?

            1 Reply Last reply Reply Quote 0
            • P
              PbIXTOP
              last edited by

              @kudrik_tt:

              Большое спасибо, но уже не актуально. Подскажите пожалуйста два момента,

              1. Через прокси сервер pfBlockerNG не работает, все открыто и доступно - можно ли что-нибудь с этим сделать?

              У вас используется выше стоящий прокси?
              Тогда выхватывайте пакет и перенаправляйте на нужный вам прокси.

              1 Reply Last reply Reply Quote 0
              • K
                kudrik_tt
                last edited by

                Здравствуйте, у меня настроен обычный squid с фильтрами и 4 группами пользователей и авторизацией по ldap (хотя это конечно лишняя информация)(192.168.0.8:8080), и при применении dnsbl, пользователи которые идут не через прокси - у них dnsbl отрабатывает, а которые идут через - у них закрыты только те сайты которые заблокированы списком или blackList'ом, но реклама работает.

                1 Reply Last reply Reply Quote 0
                • P
                  PbIXTOP
                  last edited by

                  @kudrik_tt:

                  Здравствуйте, у меня настроен обычный squid с фильтрами и 4 группами пользователей и авторизацией по ldap (хотя это конечно лишняя информация)(192.168.0.8:8080), и при применении dnsbl, пользователи которые идут не через прокси - у них dnsbl отрабатывает, а которые идут через - у них закрыты только те сайты которые заблокированы списком или blackList'ом, но реклама работает.

                  Заставьте Squid использовать тот же самый корпоративный DNS сервер.

                  1 Reply Last reply Reply Quote 0
                  • K
                    kudrik_tt
                    last edited by

                    Спасибо за ответ! Указал адрес шлюза в качестве альтернативного dns сервера для клиентов прокси в все стало хорошо. Еще раз спасибо. А не подскажите как исключить из блокировки dnsbl - google.ru.

                    1 Reply Last reply Reply Quote 0
                    • werterW
                      werter
                      last edited by

                      @kudrik_tt:

                      Спасибо за ответ! Указал адрес шлюза в качестве альтернативного dns сервера для клиентов прокси в все стало хорошо. Еще раз спасибо. А не подскажите как исключить из блокировки dnsbl - google.ru.

                      Скорее всего имеется white list

                      1 Reply Last reply Reply Quote 0
                      • K
                        kudrik_tt
                        last edited by

                        @kudrik_tt:

                        Спасибо за ответ! Указал адрес шлюза в качестве альтернативного dns сервера для клиентов прокси в все стало хорошо. Еще раз спасибо. А не подскажите как исключить из блокировки dnsbl - google.ru.

                        Здравствуйте, рано обрадовался (сейчас к этому вернулся), а как можно заставить чтобы клиенты прокси-squid работали так же как и обычные пользователи, то есть блокировался "вредный" контент. Подскажите пожалуйста. А то у тех у кого прокси нет все отлично, сайты, ненужные, не открываются, всплывающая реклама, в большинстве, блокируется. А у проксевых как то ничего не изменилось.

                        1 Reply Last reply Reply Quote 0
                        • werterW
                          werter
                          last edited by

                          @kudrik_tt:

                          @kudrik_tt:

                          Спасибо за ответ! Указал адрес шлюза в качестве альтернативного dns сервера для клиентов прокси в все стало хорошо. Еще раз спасибо. А не подскажите как исключить из блокировки dnsbl - google.ru.

                          Здравствуйте, рано обрадовался (сейчас к этому вернулся), а как можно заставить чтобы клиенты прокси-squid работали так же как и обычные пользователи, то есть блокировался "вредный" контент. Подскажите пожалуйста. А то у тех у кого прокси нет все отлично, сайты, ненужные, не открываются, всплывающая реклама, в большинстве, блокируется. А у проксевых как то ничего не изменилось.

                          Возможно, Squidguard + списки для блокировки. Типа https://www.howtoforge.com/pfsense-squid-squidguard-traffic-shaping-tutorial

                          1 Reply Last reply Reply Quote 0
                          • K
                            kudrik_tt
                            last edited by

                            Вы имеете ввиду списки BlackList? Один у меня стоит, но отсеивание рекламы там к сожалению нет.

                            1 Reply Last reply Reply Quote 0
                            • K
                              kudrik_tt
                              last edited by

                              Здравствуйте, знаете, такая ерунда началась не знаю куда копать. Стоит dnsbl все работает прекрасно, но почему то если заходишь на сайт yahoo.com и нажимаешь клавишу Sign in (чтобы зайти в почту), не работает, жалуется на сертификат, что он некорректен, и дальше нельзя пройти. Если открыть в Chrome то говорит что вы используете протол hsts и дальше он не пойдет. Пробовал отрубать списки dnsbl, все также, как только отрубаешь только весь комплекс dnsbl - все работает хорошо, при этом остальной комплекс PfBlockerNG работает. Вот что может работать плохо, почему не работает переход с http на https, мне кажется что проблема именно в нем.

                              1 Reply Last reply Reply Quote 0
                              • K
                                kudrik_tt
                                last edited by

                                Может можно пустить трафик сайта yahoo.com мимо dnsbl? Использовать альтернативный dns?

                                1 Reply Last reply Reply Quote 0
                                • werterW
                                  werter
                                  last edited by

                                  По Хрому и HSTS. Ему не нравится самоподписанный сертификат.

                                  http://rtfm.co.ua/tlsssl-chrome-you-cannot-visit-site-right-now-because/

                                  1 Reply Last reply Reply Quote 0
                                  • K
                                    kudrik_tt
                                    last edited by

                                    Про Хром спасибо, буду знать. Но у меня получилось решить по другому, и почему то это сработало, я в DNSBL - Custom List добавил
                                    yahoo.com
                                    login.yahoo.com
                                    hsrd.yahoo.com

                                    И заработало.
                                    Но обнаружилась проблема в другом месте:
                                    mail.ru
                                    в почте все работает, но если нажать на выход в меню программы (когда открыты письма (правый верхний угол))
                                    то dnsbl блокирует переход https://r.mail.ru/….
                                    и в логах dnsbl появляется строчка, что переход заблокирован....

                                    Но пока я писал пост это починилось, я добавил в Custom List строки:

                                    r.mail.ru
                                    auth.mail.ru
                                    *auth.mail.ru
                                    *.mail.ru

                                    И заработало.
                                    Самое печальное даже не это, настройки как то не применяются мгновенно, и тут даже влияет больше время чем какие то действия. Я ввел данные значения в лист - ничего не произошло (r.mail.ru блокируется), нажал кнопку Update в PfBlokerNG - все также, остановил dnsbl - подождал 5 минут - запустил - все также, снова нажал Update (от отчаяния) - все также. Открыл форум, проверил настройки про Хром, начал писать ответ на форуме, дошел до mail.ru - решил скопировать ссылку, которая блокируется. А он работает))

                                    1 Reply Last reply Reply Quote 0
                                    • P
                                      PbIXTOP
                                      last edited by

                                      @kudrik_tt:

                                      Самое печальное даже не это, настройки как то не применяются мгновенно, и тут даже влияет больше время чем какие то действия. Я ввел данные значения в лист - ничего не произошло (r.mail.ru блокируется), нажал кнопку Update в PfBlokerNG - все также, остановил dnsbl - подождал 5 минут - запустил - все также, снова нажал Update (от отчаяния) - все также. Открыл форум, проверил настройки про Хром, начал писать ответ на форуме, дошел до mail.ru - решил скопировать ссылку, которая блокируется. А он работает))

                                      Вы просто забыли, что кроме всего прочего существует TTL записей — системы и приложения обычно кешируют ответы от DNS серверов.

                                      1 Reply Last reply Reply Quote 0
                                      • werterW
                                        werter
                                        last edited by

                                        2 kudrik_tt

                                        Если оно так работает, то должно было хватить только этого.

                                        *.mail.ru

                                        Остальное для mail.ru лишнее.

                                        1 Reply Last reply Reply Quote 0
                                        • K
                                          kudrik_tt
                                          last edited by

                                          Да Вы правы, и про TTL, и про *.mail.ru (это была просто перестраховка, когда после первой попытки не сработало). Спасибо.

                                          1 Reply Last reply Reply Quote 0
                                          • D
                                            DeAlex
                                            last edited by

                                            "В качестве web сервера используется уже установленный в системе lighttpd. Для скачки листов встроенная качалка fetch. Ну и dnsmasq. Т.о. ничего устанавливать не придется!"

                                            но этого же нет по умолчанию, и pkg о таких пакетах не знает =(
                                            Может кто знает как добавить эти листы?

                                            Adblock Warning Removal List

                                            https://easylist-downloads.adblockplus.org/antiadblockfilters.txt

                                            RuAdList + EasyList

                                            https://easylist-downloads.adblockplus.org/ruadlist+easylist.txt

                                            EasyPrivacy

                                            https://easylist-downloads.adblockplus.org/easyprivacy.txt

                                            Fanboy's Social Blocking List

                                            https://easylist-downloads.adblockplus.org/fanboy-social.txt

                                            Malware Domains

                                            https://easylist-downloads.adblockplus.org/malwaredomains_full.txt

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post
                                            Copyright 2025 Rubicon Communications LLC (Netgate). All rights reserved.