Блокировка рекламы и https через DNS(dnsmasq)

[Helfer_Panch]

@werter:

Ув. Helfer_Panch
Спасибо за столь подробную инструкцию.

Пожалуйста, рад, что эта тема интересна не только мне!
Если есть вопросы обращайтесь.

Есть желание еще прикрутить статистику.
Предполагаю, что это должно делаться на стороне lighttpd, т.е. переадресуем на страницу, она пишет в лог и далее переадресует на пустой пиксель.
Только, как реализовать пока нет понимания.
Если есть мысли, буду рад обсудить.

[Helfer_Panch]

Обновил скрипт:
-Добавил настройки для лога блокировок.
-Переделал конфиг lighttpd теперь запускается один процесс и слушает на двух портах.
-Добавил переменную пути файла "whitelist", туда заносятся домены которые требуется исключить из формируемого блок листа.

Для включения лога нужно раскомментировать строки:

echo 'server.modules = ( "mod_accesslog" )'>> $LIGHTHTTPSCONF

echo 'accesslog.filename = "'$LIGHTLOG'"' >> $LIGHTHTTPSCONF

echo 'accesslog.format = "%h %V "%r" "%{Referer}i" %t"' >> $LIGHTHTTPSCONF

Путь лога задается переменной LIGHTLOG='/var/log/pixelserv.log'

Для того, чтобы изменения заработали требуется удалить папку /usr/local/etc/lighthttpd и убить процессы lighttpd связанные с ней.

После этого запустить новый скрипт.
Скрипт прикреплен к первому сообщению.

[smils]

Helfer_Panch

Dec 7 15:19:48 dnsmasq[78769]: 0 ad domains blocked.
Dec 7 15:19:48 dnsmasq[76278]: Removing duplicates and formatting the list of domains…
Dec 7 15:19:45 dnsmasq[75116]: Fetching privacy list
Dec 7 15:19:36 dnsmasq[71678]: Fetching ruadlist+easylist…
Dec 7 15:19:33 dnsmasq[66729]: Fetching someone who cares ad list…
Dec 7 15:19:30 dnsmasq[54797]: Fetching adblock.gjtech ad list…
Dec 7 15:19:00 dnsmasq[40657]: Fetching malwaredomainlist ad list…
Dec 7 15:18:52 dnsmasq[39278]: Fetching hosts-file ad list…
Dec 7 15:18:51 dnsmasq[37173]: Fetching adaway ad list…
Dec 7 15:18:48 dnsmasq[29087]: Fetching winhelp2002 ad list…
Dec 7 15:18:47 dnsmasq[25119]: Fetching yoyo ad list…
Dec 7 15:18:47 dnsmasq[24844]: Downloading ad blocking lists:
Dec 7 15:18:47 dnsmasq[24528]: Pixel server start with pid -
Dec 7 15:18:46 dnsmasq[22818]: Start HTTP/HTTPS server configuration
Dec 7 15:18:46 dnsmasq[22336]: Starting pixel servers
Dec 7 15:18:46 dnsmasq[21303]: Creating configuration for pixel server
Dec 7 15:18:46 dnsmasq[20400]: Pixel servers configuration not found. Create…
Dec 7 15:18:28 unbound: [18276:0] info: start of service (unbound 1.5.3).
Dec 7 15:18:28 unbound: [18276:0] notice: init module 1: iterator
Dec 7 15:18:28 unbound: [18276:0] notice: init module 0: validator

[smils]

Еще больше вопросов.

cat $ADBLOCK_DFILE | sed $'s/\r$//' | sort | uniq | sed '/^$/d' | grep -v -x -f $WHITELIST | awk -v "IP=$REDIR_TO" '{sub(/\r$/,""); print "address=/"$0"/"IP}' > $CONF_ADBLOCK_TEMP

не силен в конвеерах, но если  $WHITELIST не существует, тогда упс. файл adblock.conf нулевой.

В pfSense по умолчанию /var/etc/cert.pem - нет.
Скрипт в части https точно рабочий?

похоже на солянку из рабочего скрипта по http и набросков по https.

[PbIXTOP]

@Helfer_Panch:

Есть желание еще прикрутить статистику.
Предполагаю, что это должно делаться на стороне lighttpd, т.е. переадресуем на страницу, она пишет в лог и далее переадресует на пустой пиксель.
Только, как реализовать пока нет понимания.
Если есть мысли, буду рад обсудить.

Я использую данный способ уже года 3.
Но выбор как web-сервера выпал на nginx с его плюшками и прочим.
Он позволяет как отдавать статику, так и кешировать запросы. На его основе кстати долгое время работал кешер WindowsUpdate, adobe, Apple, sf и некоторые другие. От большинства доменов в режиме проксирования пришлось отказаться (где-то включили SSL, где-то просто безразмерные обновления)

[BBcan177]

https://forum.pfsense.org/index.php?topic=102470.0

[Helfer_Panch]

@smils:

Еще больше вопросов.
не силен в конвеерах, но если  $WHITELIST не существует, тогда упс. файл adblock.conf нулевой.

Да, согласен после того как сделал белый лист не проверял работу скрипта без него.
Но я крайне рекомендую его создать, т.к. в одном из скачиваемых листов блокируется почта яндекс и домен local(из-за этого не работает retracker.local)

@smils:

В pfSense по умолчанию /var/etc/cert.pem - нет.
Скрипт в части https точно рабочий?

Работает точно, и не только у меня. Скорее всего не заработал из-за отсутствия сертификата. У меня включен https к вебконфигуратору сразу после установки PF, возможно по этой причине сертификат есть.

@smils:

похоже на солянку из рабочего скрипта по http и набросков по https.

Можно и так сказать, но примером служил оригинальный конфиг вебконфигуратора.

[smils]

Helfer_Panch

Спасибо.

Посмотрите пакет pfBlockerNG BBcan177.
DNSBL реализован просто отлично.

Минусы.
Доступен для 2.2 и выше, где Unbound вместо dnsmasq.

Плюсы.
Логирование, статистика. Списки, в том числе Adblock Easylist.
Быстрое исключение из Block добавлением в WhiteList одним кликом.

The best.

[kudrik_tt]

Здравствуйте, у меня pfsense 2.2.4, я в общем то не очень специалист, подскажите пожалуйста в чем косяк.
Последовательность действий как в статье, файл ad_block.sh использовал из прокручивающегося списка, в конечном итоге получил вот такой лог в Resolver:
Dec 15 16:30:06 unbound: [18868:0] notice: init module 0: validator
Dec 15 16:30:06 unbound: [18868:0] notice: init module 1: iterator
Dec 15 16:30:06 unbound: [18868:0] info: start of service (unbound 1.5.4).
Dec 15 16:30:28 dnsmasq[27622]: dnsmasq configuration exists, adding configuration directory
Dec 15 16:30:28 dnsmasq[28804]: Starting pixel servers
Dec 15 16:30:28 dnsmasq[29176]: Start HTTP/HTTPS server configuration
Dec 15 16:30:28 dnsmasq[30265]: Downloading ad blocking lists:
Dec 15 16:30:28 dnsmasq[30546]: Fetching yoyo ad list…
Dec 15 16:30:29 dnsmasq[37789]: Fetching winhelp2002 ad list…
Dec 15 16:30:32 dnsmasq[42469]: Fetching adaway ad list…
Dec 15 16:30:33 dnsmasq[46045]: Fetching hosts-file ad list…
Dec 15 16:31:44 dnsmasq[83827]: Fetching malwaredomainlist ad list…
Dec 15 16:31:45 dnsmasq[85885]: Fetching adblock.gjtech ad list…
Dec 15 16:31:47 dnsmasq[88061]: Fetching someone who cares ad list…
Dec 15 16:31:51 dnsmasq[97938]: Fetching ruadlist+easylist…
Dec 15 16:31:56 dnsmasq[99016]: Fetching privacy list
Dec 15 16:31:57 dnsmasq[1387]: Add records from custom block list - /usr/local/etc/ad_custom_list
Dec 15 16:31:57 dnsmasq[1848]: Removing duplicates and formatting the list of domains…
Dec 15 16:31:58 dnsmasq[4113]: 140273 ad domains blocked.
Dec 15 16:31:58 dnsmasq[4115]: Analyzing for changes
Dec 15 16:31:58 dnsmasq[4545]: Updating /usr/local/etc/dnsmasq.d/adblock.conf with latest entries
Dec 15 16:31:58 dnsmasq[5215]: Restarting dnsmasq
Dec 15 16:31:59 dnsmasq[8879]: dnsmasq failed to restart, reverting to previous ad blocking configuration

Доступ по приведенным для примера ip адресам 10.254.254.254 для http-https присутствует, открывается .gif, но фильтрации рекламы нет. Подскажите пожалуйста, в чем может быть причина?

[smils]

kudrik_tt

Смотрите настройки DNS Forwarder. dnsmasq.
включен\не включен

читайте про\ ставьте pfBlockerNG

[kudrik_tt]

Интересно pfBlockerNG, если честно первый раз слышу)) А какая-нибудь инструкция вдогонку есть по нему?

[smils]

pfBlockerNG v2.0 w/DNSBL

Там вся суть на первых 3-х страницах.

[kudrik_tt]

smils Огромное спасибо за статью, особенно за наводку про первые 3 страницы, вроде настроил, но никак не пойму:

1. ip адреса в списках DNSBL Feeds блокируются, но если добавишь какой-нибудь в Custom Domain Name Block List - он не блокируется
2. реклама по мойму не блокируется, по крайней мере на mail.ru (хотя adblock обычно блокируется) или на чем можно попробывать;
3. списки Alexa используются получается как белые списки? Тогда почему, если специально добавлять сайт из DNSBL Feeds (из блокируемых) он не открывается?
4. На до же в Alexa TLD Inclusion указывать RU.
   или после каждого изменения необходимо ребутить pf
5. Не будет ли большое количество списков как у пользователя 'tonymorella' https://forum.pfsense.org/index.php?topic=102470.30 тормозить систему. Хотя это можно и проверить))

[kudrik_tt]

причем интересно, открываю mail.ru в правом верхнем углу реклама перещёлкивает, нажимаю на нее, а открывается страница ad.adriver.ru/…. - но она заблокирована! И на многих сайтах реклама действительно заблокирована, вместо них белое окно.

[smils]

1)Changes are applied via CRON or 'Force Update'
2)Changes are applied via CRON or 'Force Update'
3)Самые популярные сайты по рейтингу Alexa, исключаем из Block. Не использую.
4)Все верно, указать ru.  Changes are applied via CRON or 'Force Update', ребутить pf не нужно.
5)Не тормозит. Совсем.

[kudrik_tt]

Спасибо, большое. Хорошая штука этот DNSBL полезная и простая.

[Helfer_Panch]

@smils:

Посмотрите пакет pfBlockerNG BBcan177.
DNSBL реализован просто отлично.

Спасибо, за совет!
Обязательно посмотрю.

[Helfer_Panch]

@kudrik_tt:

Здравствуйте, у меня pfsense 2.2.4, я в общем то не очень специалист, подскажите пожалуйста в чем косяк.
Последовательность действий как в статье, файл ad_block.sh использовал из прокручивающегося списка, в конечном итоге получил вот такой лог в Resolver:
Dec 15 16:30:06 unbound: [18868:0] notice: init module 0: validator
Dec 15 16:30:06 unbound: [18868:0] notice: init module 1: iterator
Dec 15 16:30:06 unbound: [18868:0] info: start of service (unbound 1.5.4).
Dec 15 16:30:28 dnsmasq[27622]: dnsmasq configuration exists, adding configuration directory
Dec 15 16:30:28 dnsmasq[28804]: Starting pixel servers
Dec 15 16:30:28 dnsmasq[29176]: Start HTTP/HTTPS server configuration
Dec 15 16:30:28 dnsmasq[30265]: Downloading ad blocking lists:
Dec 15 16:30:28 dnsmasq[30546]: Fetching yoyo ad list…
Dec 15 16:30:29 dnsmasq[37789]: Fetching winhelp2002 ad list…
Dec 15 16:30:32 dnsmasq[42469]: Fetching adaway ad list…
Dec 15 16:30:33 dnsmasq[46045]: Fetching hosts-file ad list…
Dec 15 16:31:44 dnsmasq[83827]: Fetching malwaredomainlist ad list…
Dec 15 16:31:45 dnsmasq[85885]: Fetching adblock.gjtech ad list…
Dec 15 16:31:47 dnsmasq[88061]: Fetching someone who cares ad list…
Dec 15 16:31:51 dnsmasq[97938]: Fetching ruadlist+easylist…
Dec 15 16:31:56 dnsmasq[99016]: Fetching privacy list
Dec 15 16:31:57 dnsmasq[1387]: Add records from custom block list - /usr/local/etc/ad_custom_list
Dec 15 16:31:57 dnsmasq[1848]: Removing duplicates and formatting the list of domains…
Dec 15 16:31:58 dnsmasq[4113]: 140273 ad domains blocked.
Dec 15 16:31:58 dnsmasq[4115]: Analyzing for changes
Dec 15 16:31:58 dnsmasq[4545]: Updating /usr/local/etc/dnsmasq.d/adblock.conf with latest entries
Dec 15 16:31:58 dnsmasq[5215]: Restarting dnsmasq
Dec 15 16:31:59 dnsmasq[8879]: dnsmasq failed to restart, reverting to previous ad blocking configuration

Доступ по приведенным для примера ip адресам 10.254.254.254 для http-https присутствует, открывается .gif, но фильтрации рекламы нет. Подскажите пожалуйста, в чем может быть причина?

Если еще актуально.

Судя по первым трем строчкам лога, скорее всего, у Вас используется unbound вместо dnsmasq.
В последней строке он говорит, что перезапустить dnsmasq не удалось. С этим и связано отсутствие фильтрации.

[kudrik_tt]

Большое спасибо, но уже не актуально. Подскажите пожалуйста два момента,

1. Через прокси сервер pfBlockerNG не работает, все открыто и доступно - можно ли что-нибудь с этим сделать?
2. google.ru не работает, я знаю что в статье написано что с этим сделать, но я что то или не понимаю, или не отрабатывает должным образом. Необходимо добавить google.ru и пр. в DNSBL в Custom List?

[kudrik_tt]

Никто не знает по поводу прокси-сервера?