Очередной вопрос по фильтрации HTTPS в squid

der_violette_igel · Feb 19, 2018, 10:45 AM

Здравствуйте. Вероятно это далеко не первый и явно не последний вопрос по фильтрации HTTPS ( пока не будет полноценного мануала от сильного знатока).

Настраивал по вот такому руководству: http://forum.it-monkey.net/index.php?topic=23.0

Достаточно красочному и подробному. Сделал один в один. Не летает.
Создал внутренний сертификат, настроил WPAD (согласно мануалу).
Если в настройках браузера указывать адрес прокси-сервера жёстко- криво, но блокирует. Если не указывать вылетает ошибка DNS_PROBE_FINISHED_BAD_CONFIG…
Подскажите, пожалуйста, в какую сторону хоть смотреть, как правильно этот диавольский wpad настраивается?
Заранее большое спасибо.
Версия pfsense 2.4.2-RELEASE (amd64)

Jetberry · Feb 19, 2018, 11:11 AM

Данный мануал устарел, SSL-фильтрацию нужно убрать и будет вам счастье (теперь squid сам всё знает и умеет) и никакие подмены сертификатов не нужны. Тоже наступал на "эти грабли" с эти мануалом.

der_violette_igel · Feb 19, 2018, 11:57 AM

@Jetberry:

Данный мануал устарел, SSL-фильтрацию нужно убрать и будет вам счастье (теперь squid сам всё знает и умеет) и никакие подмены сертификатов не нужны. Тоже наступал на "эти грабли" с эти мануалом.

Так-так, а скажите, пожалуйста, я немного не понимаю где именно нужно что убрать и в какой режим перевести. Я во многих моментах чайничек с двумя носиками. Пожалуйста, поподробнее. Прозрачное проксирование нужно/можно включать при этом или нет?

Jetberry · Feb 19, 2018, 12:20 PM

Services\Squid Proxy Server там ищем "SSL Man In the Middle Filtering", сразу под ней "HTTPS/SSL Interception" "[] Enable SSL filtering." Вот в этом поле флаг (галка) нужно убрать.
Если настраиваете wpad, то прозрачный режим не нужен
У меня (в удаленном офисе) работает в непрозрачном режиме, правда без wpad. В головном офисе - wpad, но squid отдельно на centos с апачем, который отдает wpad.dat
Прозрачный режим скорее всего не будет слушать 443 порт

werter · Feb 19, 2018, 12:11 PM

Добрый.

Прозрачное проксирование нужно/можно включать при этом или нет?

+1

der_violette_igel · Feb 19, 2018, 12:22 PM

@Jetberry:

Services\Squid Proxy Server там ищем "SSL Man In the Middle Filtering", сразу под ней "HTTPS/SSL Interception" "[] Enable SSL filtering." Вот в этом поле флаг (галка) нужно убрать.
Если настраиваете wpad, то прозрачный режим не нужен
У меня (в удаленном офисе) работает в непрозрачном режиме, правда без wpad. В головном офисе - wpad, но squid отдельно на centos с апачем, который отдает wpad.dat
Прозрачный режим скорее всего не будет слушать 443 порт

А какие правила при этом должны быть в фаерволле? Поясните, пожалуйста, хотя бы относительно моих настроек, что там убрать-добавить? И можно ли без wpada, то как? У меня подозрения, что впад я неправильно настроил(

Jetberry · Feb 19, 2018, 12:35 PM

Чтобы проверить правильность настройки wpad в браузере введите "http://wpad/wpad.dat", где wpad - имя вашего http-сервера отдающего wpad. На моем (филиальном) pfsense squid порт не добавлен в LAN-правилах, однако сканирование портов показывает, что 3128 - активен и на нем крутиться сервис squid. На клиентах http/https работает через этот прокси, прописано вручную

der_violette_igel · Feb 19, 2018, 12:45 PM

@Jetberry:

Чтобы проверить правильность настройки wpad в браузере введите "http://wpad/wpad.dat", где wpad - имя вашего http-сервера отдающего wpad. На моем (филиальном) pfsense squid порт не добавлен в LAN-правилах, однако сканирование портов показывает, что 3128 - активен и на нем крутиться сервис squid. На клиентах http/https работает через этот прокси, прописано вручную

У меня при обращении у подобному адресу ничего не происходит, ERR_CONNECTION_TIMED_OUT => работает не правильно. Подскажите пожалуйста, в каком виде должны быть эти впадовские файлики? Я делал по вышеуказанному мануалу, там надо было сотворить три файла, wpad.dat, wpad.da и proxy.pac с одинаковым содержимым

function FindProxyForURL(url,host)
{
return "PROXY 172.168.10.254:3128";
}

Где адрес, разумеется, мой адрес проксика. И поместить всё это дело в /usr/local/www, что я, собственно и сделал.
Как должно быть?

Jetberry · Feb 19, 2018, 1:44 PM

Вы изменили Web-Gui pfSense порт с 80 на 8080, а на 80 оставили wpad?
Проверьте права на папку www и файл wpad.dat.
У меня только wpad.dat. Содержимое у вас правильное. Это содержимое и должно выводится при обращении через браузер.
Вот мой:

function FindProxyForURL(url, host)
{
if (isPlainHostName(host) ||
shExpMatch(host, "*.mydomen.ru") ||
isInNet(host, "127.0.0.0", "255.255.255.0") ||
isInNet(host, "192.168.0.0",  "255.255.0.0") ||
isInNet(host, "172.16.0.0",  "255.240.0.0") ||
isInNet(host, "10.0.0.0", "255.0.0.0"))
{ return "DIRECT"; }
else if (shExpMatch(url, "*zakupki.gov.ru") ||
shExpMatch(url, "*zakupki.gov.ru/*") ||
shExpMatch(url, "*sberbank.ru") ||
shExpMatch(url, "*sberbank.ru/*"))
{ return "DIRECT"; }
else {
return "PROXY proxy.mydomen.ru:3128"; }
}

P.S. dns должен резолвить имя wpad, иначе не будет работать

der_violette_igel · Feb 19, 2018, 1:49 PM

@Jetberry:

Вы изменили Web-Gui pfSense порт с 80 на 8080, а на 80 оставили wpad?
Проверьте права на папку www и файл wpad.dat.
У меня только wpad.dat. Содержимое у вас правильное. Это содержимое и должно выводится при обращении через браузер.
Вот мой:
function FindProxyForURL(url, host)
{
if (isPlainHostName(host) ||
shExpMatch(host, "*.mydomen.ru") ||
isInNet(host, "127.0.0.0", "255.255.255.0") ||
isInNet(host, "192.168.0.0",  "255.255.0.0") ||
isInNet(host, "172.16.0.0",  "255.240.0.0") ||
isInNet(host, "10.0.0.0", "255.0.0.0"))
{ return "DIRECT"; }
else if (shExpMatch(url, "*zakupki.gov.ru") ||
shExpMatch(url, "*zakupki.gov.ru/*") ||
shExpMatch(url, "*sberbank.ru") ||
shExpMatch(url, "*sberbank.ru/*"))
{ return "DIRECT"; }
else {
return "PROXY proxy.mydomen.ru:3128"; }
}
P.S. dns должен резолвить имя wpad, иначе не будет работать

А какие права должны стоять у www и wpad.dat? у меня на www стоит 0755, а на wpad.dat 0644.
И как правильно настроить днс резолвер, чтобы wpad имя читалось? Помогите, пожалуйста новичку, я научусь)

Jetberry · Feb 19, 2018, 1:51 PM

На wpad.dat поставьте также как и на www
"nslookup wpad" что выдает?

der_violette_igel · Feb 19, 2018, 2:02 PM

@Jetberry:

На wpad.dat поставьте также как и на www
"nslookup wpad" что выдает?

nslookup с самого pfsense выдает п1

а с компа, с которого я на вебморду пфу лазаю п2

![????? ???????? ???????.jpg](/public/imported_attachments/1/????? ???????? ???????.jpg)
![????? ???????? ???????.jpg_thumb](/public/imported_attachments/1/????? ???????? ???????.jpg_thumb)

der_violette_igel · Feb 19, 2018, 2:55 PM

@Jetberry:

На wpad.dat поставьте также как и на www
"nslookup wpad" что выдает?

вот так показывает с клиентской машины

C:\Documents and Settings\Admin>nslookup wpad.pfsense.lan
Server: pfsensetest.pfsense.lan
Address: 172.16.10.254

Name: wpad.pfsense.lan
Address: 172.16.10.254

Хоть я и перенес webgui pfsensa c 80 порта на 8080 файл wpad.dat пытается скачаться по адресу http://172.16.10.254:8080/wpad.dat. Содержимое он не показывает, просто качает файл. По http://172.16.10.254/wpad.dat всё глухо. У меня подозрения, что что-то не так в фаерволле. А что- не могу понять…

der_violette_igel · Feb 19, 2018, 4:30 PM

Пробежался по форумам, везде пишут, что с 2.4 версии всё изменилось. Подскажите пожалуйста, где всё-таки прочитать актуальные настройки??

Jetberry · Feb 19, 2018, 5:17 PM

У меня 2.3.5 (x32), squid: Version 3.5.27.
Кстати выше я не правду написал, т.к. у меня еще транзитное устройство между сетью pfSense и LAN, 3128 порт не открыт, зато открыто "все" с транзитного маршрутизатора. В вашем случае нужно открыть на LAN порты TCP-3128(squid), UDP-53(dns) и остальное по вкусу(pop3, smtp и т.д.), все остальное закрыть.
Если все, что касается DNS, сделали так же как и в том мануале, то должно работать. Попробуйте restart web-gui сделать и\или в настройки nginx залезть и открыть там 80 порт если закрыт. Сканер портов что "говорит", слушает pfsense 80 порт или нет? nmap(zenmap) скачайте и просканируйте pfsense
P.S. Чего там читать? (про актуальные настройки) Вы почти все настроили, осталось только одну гайку подкрутить, вот только разобраться какую

der_violette_igel · Feb 19, 2018, 5:19 PM

@Jetberry:

У меня 2.3.5 (x32), squid: Version 3.5.27.
Кстати выше я не правду написал, т.к. у меня еще транзитное устройство между сетью pfSense и LAN, 3128 порт не открыт, зато открыто "все" с транзитного маршрутизатора. В вашем случае нужно открыть на LAN порты TCP-3128(squid), UDP-53(dns) и остальное по вкусу(pop3, smtp и т.д.), все остальное закрыть.
Если все, что касается DNS, сделали так же как и в том мануале, то должно работать. Попробуйте restart web-gui сделать и\или в настройки nginx залезть и открыть там 80 порт если закрыт. Сканер портов что "говорит", слушает pfsense 80 порт или нет? nmap(zenmap) скачайте и просканируйте pfsense

Да если вручную прописать в настройках браузера ипи и порт прокси- всё работает, чётко, https валятся согласно правил в гуарде, а стоит перевести в "автоматическое получение настроек" ничего не работает, при попытке зайти на http://wpad.pfsense.lan/wpad.dat редиректует на httpS://wpad.pfsense.lan:8080/wpad.dat о ошибкой SSL. Уже блин всё перековырял.
Starting Nmap 6.47 ( http://nmap.org ) at 2018-02-19 20:19 Московское время (зима)

Nmap scan report for 172.16.10.254

Host is up (0.00s latency).

Not shown: 96 filtered ports

PORT STATE SERVICE

22/tcp open ssh

53/tcp open domain

3128/tcp open squid-http

8080/tcp open http-proxy

MAC Address: 08:00:27:10:51:45 (Cadmus Computer Systems)

Nmap done: 1 IP address (1 host up) scanned in 15.07 seconds

походу 80й закрывается. А как его открыть?

Jetberry · Feb 19, 2018, 5:40 PM

System\Advanced
WebGUI redirect [] Disable webConfigurator redirect rule - установка флага может поможет?
В правилах фаервола на LAN tcp-80 открыт?
https://doc.pfsense.org/index.php/WPAD_Autoconfigure_for_Squid

NOTE: If the firewall is used to serve WPAD and the WebGUI anti-lockout rule has been disabled, web traffic must also be allowed to the pfSense firewall GUI port. If this is not acceptable, point wpad. <domain>to another internal web server which can answer requests for the wpad.dat and associated files.</domain>

Jetberry · Feb 19, 2018, 5:45 PM

Вот тут пишут по-другому
https://nguvu.org/pfsense/pfSense-2.3-WPAD-PAC-proxy-configuration-guide/

Create the other two file variations by generating links. This is preferable as it helps keep all versions synced if you make any changes in future.

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.dat

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.da

Verify your folder looks something like this when done,

$ ls -l
-rw-r–r-- 1 root wheel 537 Jul 19 12:07 50x.html
-rw-r--r-- 1 root wheel 612 Jul 19 12:07 index.html
-rw-r--r-- 1 root wheel 212 Aug 6 11:43 proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.da -> proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.dat -> proxy.pac

Возможно так будет работать. Я 3 года назад выбрал проще путь - прокси и wpad поднял отдельно от pfsense, но это мой выбор и я за него не агитирую.

der_violette_igel · Feb 19, 2018, 5:50 PM

@Jetberry:

Вот тут пишут по-другому
https://nguvu.org/pfsense/pfSense-2.3-WPAD-PAC-proxy-configuration-guide/

Create the other two file variations by generating links. This is preferable as it helps keep all versions synced if you make any changes in future.

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.dat

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.da

Verify your folder looks something like this when done,

$ ls -l
-rw-r–r-- 1 root wheel 537 Jul 19 12:07 50x.html
-rw-r--r-- 1 root wheel 612 Jul 19 12:07 index.html
-rw-r--r-- 1 root wheel 212 Aug 6 11:43 proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.da -> proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.dat -> proxy.pac

Возможно так будет работать. Я 3 года назад выбрал проще путь - прокси и wpad поднял отдельно от pfsense, но это мой выбор и я за него не агитирую.

Я тоже видал эту статью, но там сверху пометка, мол эта статья устарела и для 2.4 не канает.
Я же 2.4 мучаю.
Всё открыл, всё повыключал согласно вашим советам- нифига. будто ничего и не происходило. Почему-то этот wpad файл не хочет приниматься браузером, что ли… уже башка закипела, думаю завтра продолжить мучения.

Jetberry · Feb 19, 2018, 5:52 PM

Отпишитесь, если не затруднит, что получилось и какой из мануалов подошел (там еще на ссылка на 2.1 мануал в начале статьи).