Очередной вопрос по фильтрации HTTPS в squid

Jetberry

Чтобы проверить правильность настройки wpad в браузере введите "http://wpad/wpad.dat", где wpad - имя вашего http-сервера отдающего wpad. На моем (филиальном) pfsense squid порт не добавлен в LAN-правилах, однако сканирование портов показывает, что 3128 - активен и на нем крутиться сервис squid. На клиентах http/https работает через этот прокси, прописано вручную

der_violette_igel

@Jetberry:

Чтобы проверить правильность настройки wpad в браузере введите "http://wpad/wpad.dat", где wpad - имя вашего http-сервера отдающего wpad. На моем (филиальном) pfsense squid порт не добавлен в LAN-правилах, однако сканирование портов показывает, что 3128 - активен и на нем крутиться сервис squid. На клиентах http/https работает через этот прокси, прописано вручную

У меня при обращении у подобному адресу ничего не происходит, ERR_CONNECTION_TIMED_OUT => работает не правильно. Подскажите пожалуйста, в каком виде должны быть эти впадовские файлики? Я делал по вышеуказанному мануалу, там надо было сотворить три файла, wpad.dat, wpad.da и proxy.pac с одинаковым содержимым

function FindProxyForURL(url,host)
{
return "PROXY 172.168.10.254:3128";
}

Где адрес, разумеется, мой адрес проксика. И поместить всё это дело в /usr/local/www, что я, собственно и сделал.
Как должно быть?

Jetberry

Вы изменили Web-Gui pfSense порт с 80 на 8080, а на 80 оставили wpad?
Проверьте права на папку www и файл wpad.dat.
У меня только wpad.dat. Содержимое у вас правильное. Это содержимое и должно выводится при обращении через браузер.
Вот мой:

function FindProxyForURL(url, host)
{
if (isPlainHostName(host) ||
shExpMatch(host, "*.mydomen.ru") ||
isInNet(host, "127.0.0.0", "255.255.255.0") ||
isInNet(host, "192.168.0.0",  "255.255.0.0") ||
isInNet(host, "172.16.0.0",  "255.240.0.0") ||
isInNet(host, "10.0.0.0", "255.0.0.0"))
{ return "DIRECT"; }
else if (shExpMatch(url, "*zakupki.gov.ru") ||
shExpMatch(url, "*zakupki.gov.ru/*") ||
shExpMatch(url, "*sberbank.ru") ||
shExpMatch(url, "*sberbank.ru/*"))
{ return "DIRECT"; }
else {
return "PROXY proxy.mydomen.ru:3128"; }
}

P.S. dns должен резолвить имя wpad, иначе не будет работать

der_violette_igel

@Jetberry:

Вы изменили Web-Gui pfSense порт с 80 на 8080, а на 80 оставили wpad?
Проверьте права на папку www и файл wpad.dat.
У меня только wpad.dat. Содержимое у вас правильное. Это содержимое и должно выводится при обращении через браузер.
Вот мой:
function FindProxyForURL(url, host)
{
if (isPlainHostName(host) ||
shExpMatch(host, "*.mydomen.ru") ||
isInNet(host, "127.0.0.0", "255.255.255.0") ||
isInNet(host, "192.168.0.0",  "255.255.0.0") ||
isInNet(host, "172.16.0.0",  "255.240.0.0") ||
isInNet(host, "10.0.0.0", "255.0.0.0"))
{ return "DIRECT"; }
else if (shExpMatch(url, "*zakupki.gov.ru") ||
shExpMatch(url, "*zakupki.gov.ru/*") ||
shExpMatch(url, "*sberbank.ru") ||
shExpMatch(url, "*sberbank.ru/*"))
{ return "DIRECT"; }
else {
return "PROXY proxy.mydomen.ru:3128"; }
}
P.S. dns должен резолвить имя wpad, иначе не будет работать

А какие права должны стоять у www и wpad.dat? у меня на www стоит 0755, а на wpad.dat 0644.
И как правильно настроить днс резолвер, чтобы wpad имя читалось? Помогите, пожалуйста новичку, я научусь)

Jetberry

На wpad.dat поставьте также как и на www
"nslookup wpad" что выдает?

der_violette_igel

@Jetberry:

На wpad.dat поставьте также как и на www
"nslookup wpad" что выдает?

nslookup с самого pfsense выдает п1

а с компа, с которого я на вебморду пфу лазаю п2

![????? ???????? ???????.jpg](/public/imported_attachments/1/????? ???????? ???????.jpg)
![????? ???????? ???????.jpg_thumb](/public/imported_attachments/1/????? ???????? ???????.jpg_thumb)

8.jpg_thumb

der_violette_igel

@Jetberry:

На wpad.dat поставьте также как и на www
"nslookup wpad" что выдает?

вот так показывает с клиентской машины

C:\Documents and Settings\Admin>nslookup wpad.pfsense.lan
Server: pfsensetest.pfsense.lan
Address: 172.16.10.254

Name: wpad.pfsense.lan
Address: 172.16.10.254

Хоть я и перенес webgui pfsensa c 80 порта на 8080 файл wpad.dat пытается скачаться по адресу http://172.16.10.254:8080/wpad.dat. Содержимое он не показывает, просто качает файл. По http://172.16.10.254/wpad.dat всё глухо. У меня подозрения, что что-то не так в фаерволле. А что- не могу понять…

der_violette_igel

Пробежался по форумам, везде пишут, что с 2.4 версии всё изменилось. Подскажите пожалуйста, где всё-таки прочитать актуальные настройки??

Jetberry

У меня 2.3.5 (x32), squid: Version 3.5.27.
Кстати выше я не правду написал, т.к. у меня еще транзитное устройство между сетью pfSense и LAN, 3128 порт не открыт, зато открыто "все" с транзитного маршрутизатора. В вашем случае нужно открыть на LAN порты TCP-3128(squid), UDP-53(dns) и остальное по вкусу(pop3, smtp и т.д.), все остальное закрыть.
Если все, что касается DNS, сделали так же как и в том мануале, то должно работать. Попробуйте restart web-gui сделать и\или в настройки nginx залезть и открыть там 80 порт если закрыт. Сканер портов что "говорит", слушает pfsense 80 порт или нет? nmap(zenmap) скачайте и просканируйте pfsense
P.S. Чего там читать? (про актуальные настройки) Вы почти все настроили, осталось только одну гайку подкрутить, вот только разобраться какую

der_violette_igel

@Jetberry:

У меня 2.3.5 (x32), squid: Version 3.5.27.
Кстати выше я не правду написал, т.к. у меня еще транзитное устройство между сетью pfSense и LAN, 3128 порт не открыт, зато открыто "все" с транзитного маршрутизатора. В вашем случае нужно открыть на LAN порты TCP-3128(squid), UDP-53(dns) и остальное по вкусу(pop3, smtp и т.д.), все остальное закрыть.
Если все, что касается DNS, сделали так же как и в том мануале, то должно работать. Попробуйте restart web-gui сделать и\или в настройки nginx залезть и открыть там 80 порт если закрыт. Сканер портов что "говорит", слушает pfsense 80 порт или нет? nmap(zenmap) скачайте и просканируйте pfsense

Да если вручную прописать в настройках браузера ипи и порт прокси- всё работает, чётко, https валятся согласно правил в гуарде, а стоит перевести в "автоматическое получение настроек" ничего не работает, при попытке зайти на http://wpad.pfsense.lan/wpad.dat редиректует на httpS://wpad.pfsense.lan:8080/wpad.dat о ошибкой SSL. Уже блин всё перековырял.
Starting Nmap 6.47 ( http://nmap.org ) at 2018-02-19 20:19 Московское время (зима)

Nmap scan report for 172.16.10.254

Host is up (0.00s latency).

Not shown: 96 filtered ports

PORT STATE SERVICE

22/tcp open ssh

53/tcp open domain

3128/tcp open squid-http

8080/tcp open http-proxy

MAC Address: 08:00:27:10:51:45 (Cadmus Computer Systems)

Nmap done: 1 IP address (1 host up) scanned in 15.07 seconds

походу 80й закрывается. А как его открыть?

Jetberry

System\Advanced
WebGUI redirect [] Disable webConfigurator redirect rule - установка флага может поможет?
В правилах фаервола на LAN tcp-80 открыт?
https://doc.pfsense.org/index.php/WPAD_Autoconfigure_for_Squid

NOTE: If the firewall is used to serve WPAD and the WebGUI anti-lockout rule has been disabled, web traffic must also be allowed to the pfSense firewall GUI port. If this is not acceptable, point wpad. <domain>to another internal web server which can answer requests for the wpad.dat and associated files.</domain>

Jetberry

Вот тут пишут по-другому
https://nguvu.org/pfsense/pfSense-2.3-WPAD-PAC-proxy-configuration-guide/

Create the other two file variations by generating links. This is preferable as it helps keep all versions synced if you make any changes in future.

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.dat

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.da

Verify your folder looks something like this when done,

$ ls -l
-rw-r–r-- 1 root wheel 537 Jul 19 12:07 50x.html
-rw-r--r-- 1 root wheel 612 Jul 19 12:07 index.html
-rw-r--r-- 1 root wheel 212 Aug 6 11:43 proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.da -> proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.dat -> proxy.pac

Возможно так будет работать. Я 3 года назад выбрал проще путь - прокси и wpad поднял отдельно от pfsense, но это мой выбор и я за него не агитирую.

der_violette_igel

@Jetberry:

Вот тут пишут по-другому
https://nguvu.org/pfsense/pfSense-2.3-WPAD-PAC-proxy-configuration-guide/

Create the other two file variations by generating links. This is preferable as it helps keep all versions synced if you make any changes in future.

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.dat

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.da

Verify your folder looks something like this when done,

$ ls -l
-rw-r–r-- 1 root wheel 537 Jul 19 12:07 50x.html
-rw-r--r-- 1 root wheel 612 Jul 19 12:07 index.html
-rw-r--r-- 1 root wheel 212 Aug 6 11:43 proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.da -> proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.dat -> proxy.pac

Возможно так будет работать. Я 3 года назад выбрал проще путь - прокси и wpad поднял отдельно от pfsense, но это мой выбор и я за него не агитирую.

Я тоже видал эту статью, но там сверху пометка, мол эта статья устарела и для 2.4 не канает.
Я же 2.4 мучаю.
Всё открыл, всё повыключал согласно вашим советам- нифига. будто ничего и не происходило. Почему-то этот wpad файл не хочет приниматься браузером, что ли… уже башка закипела, думаю завтра продолжить мучения.

Jetberry

Отпишитесь, если не затруднит, что получилось и какой из мануалов подошел (там еще на ссылка на 2.1 мануал в начале статьи).

der_violette_igel

И еще у меня острое ощущение, что я что-то напорол в настройках днс резолвера. Может подсказать, где какие галки стоять должны.
Меня там одна галка смущает, которая

DNS Query Forwarding Enable Forwarding Mode
If this option is set, DNS queries will be forwarded to the upstream DNS servers defined under System > General Setup or those obtained via DHCP/PPP on WAN (if DNS Server Override is enabled there).

Должна ли она стоять, и что должно быть в System->General Setup в настройках ДНС в таком случае?

9.jpg_thumb

Jetberry

Если имя wpad превращается в IP, то все правильно. Там может стоять 8.8.8.8 и 8.8.4.4, в конце концов "яндекс" должен же где-то резолвится?
Служба автоматического обнаружения веб-прокси включена? Хромом проверяете http://wpad/wpad.dat? В настройках IE стоит флаг автоматическое определение настроек прокси сервера?

der_violette_igel

@Jetberry:

Если имя wpad превращается в IP, то все правильно. Там может стоять 8.8.8.8 и 8.8.4.4, в конце концов "яндекс" должен же где-то резолвится?
Служба автоматического обнаружения веб-прокси включена? Хромом проверяете http://wpad/wpad.dat? В настройках IE стоит флаг автоматическое определение настроек прокси сервера?

Потушил стенд свой, завтра продолжу. Хромом проверял http://wpad/wpad.dat редирект на httpS://wpad:8080/wpad.dat и не открывается. У ишака флаг стоит. Завтра буду копать. Если у кого какие предположения еще будут- пожалуйста пишите. Как заработает- напишу что делал в картинках.

А не как вот тут: https://forum.pfsense.org/index.php?topic=62244.15 Сделал и пропал(((

Jetberry

Вот статья про редактирование web-gui https://awesomediocrity.wordpress.com/2017/06/05/confine-webinterface-to-ssh-only-on-pfsense-2-4/, а тут как конфигурировать nginx https://nginx.ru/ru/docs/beginners_guide.html. Вам нужно найти в /var/etc/nginx-webConfigurator.conf в блоке server 80 порт вам нужно указать статическое содержимое (место обитания dat-файла). Я так думаю ;)

der_violette_igel

@Jetberry:

Вот статья про редактирование web-gui https://awesomediocrity.wordpress.com/2017/06/05/confine-webinterface-to-ssh-only-on-pfsense-2-4/, а тут как конфигурировать nginx https://nginx.ru/ru/docs/beginners_guide.html. Вам нужно найти в /var/etc/nginx-webConfigurator.conf в блоке server 80 порт вам нужно указать статическое содержимое (место обитания dat-файла). Я так думаю ;)

Спасибо большое, попробую завтра чисто из спортивного уже даже интереса. Я на пробу глянул- боюсь запороть конфигу, тем более я не знаю в каком виде что там должно присутствовать. Как-то это неприятно, что приходится "коробочный фаерволл" допиливать изнутри. Походу проще эту раздачу wpad вынести на другой сервер, тут какая-то некромантия, боюсь, получится. Кстати, http://wpad/wpad.dat у меня не открывался и не открывается ни при каких условиях, открывается только с доменом если на http://wpad.pfsense.lan/wpad.dat. Мне в принципе, плевать, какую версию ставить, можно к мануалу прировняться.- но опять же дичь. Захочешь обновить- всё накроется)) Тут походу в шапке ЛЮБОГО мануала к pfsensу надо пейсать Огромными буквами версию. И не менее огромными буквами предупреждать, что с вероятностью в 80% в следующей версии это ничего работать не будет))

Jetberry

Вы хотите добавить функционал, не доступный из коробки, вот и приходится извращаться.
Вот неплохие статьи про wpad для общего развития
https://interface31.ru/tech_it/2016/05/wpad-ili-avtomaticheskaya-nastroyka-parametrov-proksi.html
https://m.habrahabr.ru/post/314918/