Diladele Web Safety - фильтруем HTTPS-трафик

werter

Доброе время суток, ув. коллеги.

Один хороший человек подсказал (и как я сам ее пропустил ?!) такую интересную вещь , как Diladele Web Safety - http://www.quintolabs.com/solution.php.
В кратце это - фильтрация защищенного трафика 8) ~~К чем это я ?~~ Самое главное - "прикручивается" и к pfsense (помимо *NIX) !

Мануал по "прикручиванию" - http://sichent.wordpress.com/2014/02/22/filtering-https-traffic-with-squid-on-pfsense-2-1/ (https://forum.pfsense.org/index.php?topic=72528.0)

Имеется так же готовая ВМ - http://www.quintolabs.com/virtual.php на базе Linux.

P.s. Ложка дегтя :

Each release of Diladele Web Safety comes preconfigured with free trial period of approximately 6 months.

Но кто мешает "переподнять"\перенастроить ВМ\pfsense ::)?

Lexus34

Машет неверная дата в системе, это сказывается на динамической генерации сертификатов в режиме ssl-bump, а с реальной датой diladele не стартует, лицензия жестко привязана к определенной дате.
Если кто подскажет бесплатный аналог этой штуки для фильтрации https трафика буду очень признателен.

flagman

Уважаемый werter! Со всем уважением к Вам, но проясните для меня на скорую руку, какие плюсы у Diladele Web Safety по сравнению со связкой squid и squidguard?

dvserg

@flagman:

Уважаемый werter! Со всем уважением к Вам, но проясните для меня на скорую руку, какие плюсы у Diladele Web Safety по сравнению со связкой squid и squidguard?

SquidGuard = Web filtering
Diladele Web Safety = content + web filtering ( типа DansGuardian )
Diladele Web Safety интегрируется со squid через ICAP

flagman

Спасибо dvserg! получается те же яйца только в профиль, смотрел фичи Diladele на сайте, есть полезная вещи.. Но сквид со сквидгуард и дансгуардом тоже могут это сделать…

dvserg

@flagman:

Спасибо dvserg! получается те же яйца только в профиль, смотрел фичи Diladele на сайте, есть полезная вещи.. Но сквид со сквидгуард и дансгуардом тоже могут это сделать…

Ключевые слова SSL/контент-фильтрация, если вам нужна только веб фильтрация SSL - squid+SG вполне справятся.
Про SSL У Данса не слышал.

Lexus34

Денег не дали, убедить начальство не получилось, решил вопрос следующим образом, думаю многим пригодится.

В /usr/local/etc/rc.d/ кладем под названием aresetdate.sh

#!/bin/sh

Reset Date <lexus qlproxy="" hack="">W="1"

while [ "$W" = "1" ]; do
cat /home/qlproxy/setdate | while read line
do
if [ "$line" = "1" ];
then
date 1501010000
fi
if [ "$line" = "0" ];
then
ntpdate -u pool.ntp.org
rm /home/qlproxy/setdate
fi
done
sleep 1
done;

#######################################################

Туда же только с названием arestarter.sh

#!/bin/sh

Restarter <lexus qlproxy="" hack="">W="1"

sleep 10
#echo "RUN"
while [ "$W" = "1" ]; do
if [ "pidof qlproxyd" ]
then
# echo "PID-OK"
sleep 10
else
# echo "SART-QLPROXY"
/usr/local/etc/rc.d/qlproxyd.sh start
fi
done
# echo "RETURN"
sleep 1
done;

#########################################################

/opt/qlprxy/bin/reload.sh добавляем в начало

echo > 1 setdate

sleep 3

в конец после #dump sucess

echo 0 > setade

###################################

Аналогично для restart.sh

###################################

Удаляем /opt/qlproxy/var/console/diladele/license.pyo

В /opt/qlproxy/var/console/diladele/license.py правим строки

exe = os.path.join(DILADELE_BIN_DIR, "cat" + ("",".exe")[platform.system() == "Windows"])

construct the path

path = os.path.join(DILADELE_ETC_DIR, "flicense.key")

при этом cat надо скопировать в /opt/qlproxy/bin

###################################

В /opt/qlproxy/etc создаем файл flicense.key вида

[
{
"expiry_day" : "10",
"expiry_month" : "10",
"expiry_year" : "2300",
"key" : "00-00-00000000-10-10-9999-9999-00000000",
"user_count" : "99999",
"valid" : "1"
}
]

#############################################

Меня интересовала только база adblock
поправил файл /opt/qlproxy/bin/update.sh

#!/bin/sh

ruadlist+easylist update

cd /opt/qlproxy/var/spool/adblock
fetch https://easylist-downloads.adblockplus.org/ruadlist+easylist.txt
rm /opt/qlproxy/var/spool/adblock/custom.txt
mv /opt/qlproxy/var/spool/adblock/ruadlist+easylist.txt /opt/qlproxy/var/spool/adblock/custom.txt

######################################

Перезагружаем машину, должно работать, вроде все.

######################################

P.S хотя я против всего этого, продукт действительно хороший и стоит своих денег, инструкция исключительно для нищих.</lexus></lexus>

Mentalist

Приветствую, Lexus34. Для какой версии pfsense и diladele эта инструкция подходит?
У меня установлен pfsense 2.2.6 и Diladele 4.3, твой метод расходится с данной связкой…

Lexus34

Это уже не актуально, ключ высчитывается на калькуляторе, если в лом разбираться вот готовый 03-04-000493E0-01-0A-0834-FFFF-00059C25 до Monday, 01. November 2100 65535 пользователей / девайсов.
Работать будет в плоть до версии 4.2.0.CBF4. потом они видимо это дело просекли и в 4.3 поменяли механизм активации, я не стал доламывать ни чего принципиально нового там нет, так рюшки всякие да прочая лабуда которой я не пользуюсь.
Перед тем как установить ключ не забудьте поменять /opt/qlproxy/bin/update.sh иначе демон ломится на сервер обновлений и блокируется путем удаления license.key с сообщением ваша лицензия реворкед, ну оно и понятно, обновления от Diladele Web Safety могут получать только те пользователи ключи которых будут найдены на сервере обновлений.

===================================================
#!/bin/sh

QLPROXY UPDATE SCRIPT

Русский рекламный фильтр

rm /opt/qlproxy/var/spool/adblock/russian.txt
wget http://adguard.com/ru/filter-rules.html?id=1 -O /opt/qlproxy/var/spool/adblock/russian.txt

Английский рекламный фильтр

rm /opt/qlproxy/var/spool/adblock/english.txt
wget http://adguard.com/ru/filter-rules.html?id=2 -O /opt/qlproxy/var/spool/adblock/english.txt

Фильтр полезной рекламы

rm /opt/qlproxy/var/spool/adblock/custom.txt
wget http://adguard.com/ru/filter-rules.html?id=10 -O /opt/qlproxy/var/spool/adblock/custom.txt

Фильтр счетчиков и системы аналитики

rm /opt/qlproxy/var/spool/privacy/tracking.txt
wget http://adguard.com/ru/filter-rules.html?id=3 -O /opt/qlproxy/var/spool/privacy/tracking.txt

Фильтр виджетов социальных сетей

rm /opt/qlproxy/var/spool/privacy/social.txt
wget http://adguard.com/ru/filter-rules.html?id=4 -O /opt/qlproxy/var/spool/privacy/social.txt

Обход реестра запрещенных сайтов

rm /opt/antiban/antiban.action
#wget http://api.antizapret.info/group.php?data=domain -O /opt/antiban/antiban.action
wget –no-check-certificate -4q -O - https://raw.githubusercontent.com/zapret-info/z-i/master/dump.csv | sed 1d | cut -d ';' -f 2| uniq >> /opt/antiban/antiban.action

change user

chown -R qlproxy:qlproxy /opt/qlproxy/var/spool

clock sync

ntpdate -s ntp.ubuntu.com

reload qlproxy daemon

/opt/qlproxy/bin/reload.sh

Продукт рекомендуется честно купить !

sk8erBender

Друг! Нигде старые версии не скачать на их сайте только 4.3…
Ты не мог бы залить куда нибудь старую версию которая с твоим активатором и ключем пашет ?
Дома хочу потестить.. 20 баксов платить за то что не подойдет не хочется( :-X

Mentalist

@sk8erBender:

Друг! Нигде старые версии не скачать на их сайте только 4.3…
Ты не мог бы залить куда нибудь старую версию которая с твоим активатором и ключем пашет ?
Дома хочу потестить.. 20 баксов платить за то что не подойдет не хочется( :-X

Вот, успел в своё время скачать qlproxy-4.2.0.CBF4_amd64.deb
https://onedrive.live.com/redir?resid=D524133A61FCD72!2035&authkey=!AALmyp1CsBIxeso&ithint=file%2cdeb

sk8erBender

@Mentalist:

@sk8erBender:

Друг! Нигде старые версии не скачать на их сайте только 4.3…
Ты не мог бы залить куда нибудь старую версию которая с твоим активатором и ключем пашет ?
Дома хочу потестить.. 20 баксов платить за то что не подойдет не хочется( :-X

Вот, успел в своё время скачать qlproxy-4.2.0.CBF4_amd64.deb
https://onedrive.live.com/redir?resid=D524133A61FCD72!2035&authkey=!AALmyp1CsBIxeso&ithint=file%2cdeb

мерси благодарю тебя спасибо что ты есть))))

mateusrico

Lexus34 может сказать нам, как это делается расчет лицензии?