Очередной вопрос по фильтрации HTTPS в squid

der_violette_igel

На wpad.dat поставьте также как и на www
"nslookup wpad" что выдает?

вот так показывает с клиентской машины

C:\Documents and Settings\Admin>nslookup wpad.pfsense.lan
Server: pfsensetest.pfsense.lan
Address: 172.16.10.254

Name: wpad.pfsense.lan
Address: 172.16.10.254

Хоть я и перенес webgui pfsensa c 80 порта на 8080 файл wpad.dat пытается скачаться по адресу http://172.16.10.254:8080/wpad.dat. Содержимое он не показывает, просто качает файл. По http://172.16.10.254/wpad.dat всё глухо. У меня подозрения, что что-то не так в фаерволле. А что- не могу понять…

der_violette_igel

Пробежался по форумам, везде пишут, что с 2.4 версии всё изменилось. Подскажите пожалуйста, где всё-таки прочитать актуальные настройки??

Jetberry

У меня 2.3.5 (x32), squid: Version 3.5.27.
Кстати выше я не правду написал, т.к. у меня еще транзитное устройство между сетью pfSense и LAN, 3128 порт не открыт, зато открыто "все" с транзитного маршрутизатора. В вашем случае нужно открыть на LAN порты TCP-3128(squid), UDP-53(dns) и остальное по вкусу(pop3, smtp и т.д.), все остальное закрыть.
Если все, что касается DNS, сделали так же как и в том мануале, то должно работать. Попробуйте restart web-gui сделать и\или в настройки nginx залезть и открыть там 80 порт если закрыт. Сканер портов что "говорит", слушает pfsense 80 порт или нет? nmap(zenmap) скачайте и просканируйте pfsense
P.S. Чего там читать? (про актуальные настройки) Вы почти все настроили, осталось только одну гайку подкрутить, вот только разобраться какую

der_violette_igel

@Jetberry:

У меня 2.3.5 (x32), squid: Version 3.5.27.
Кстати выше я не правду написал, т.к. у меня еще транзитное устройство между сетью pfSense и LAN, 3128 порт не открыт, зато открыто "все" с транзитного маршрутизатора. В вашем случае нужно открыть на LAN порты TCP-3128(squid), UDP-53(dns) и остальное по вкусу(pop3, smtp и т.д.), все остальное закрыть.
Если все, что касается DNS, сделали так же как и в том мануале, то должно работать. Попробуйте restart web-gui сделать и\или в настройки nginx залезть и открыть там 80 порт если закрыт. Сканер портов что "говорит", слушает pfsense 80 порт или нет? nmap(zenmap) скачайте и просканируйте pfsense

Да если вручную прописать в настройках браузера ипи и порт прокси- всё работает, чётко, https валятся согласно правил в гуарде, а стоит перевести в "автоматическое получение настроек" ничего не работает, при попытке зайти на http://wpad.pfsense.lan/wpad.dat редиректует на httpS://wpad.pfsense.lan:8080/wpad.dat о ошибкой SSL. Уже блин всё перековырял.
Starting Nmap 6.47 ( http://nmap.org ) at 2018-02-19 20:19 Московское время (зима)

Nmap scan report for 172.16.10.254

Host is up (0.00s latency).

Not shown: 96 filtered ports

PORT STATE SERVICE

22/tcp open ssh

53/tcp open domain

3128/tcp open squid-http

8080/tcp open http-proxy

MAC Address: 08:00:27:10:51:45 (Cadmus Computer Systems)

Nmap done: 1 IP address (1 host up) scanned in 15.07 seconds

походу 80й закрывается. А как его открыть?

Jetberry

System\Advanced
WebGUI redirect [] Disable webConfigurator redirect rule - установка флага может поможет?
В правилах фаервола на LAN tcp-80 открыт?
https://doc.pfsense.org/index.php/WPAD_Autoconfigure_for_Squid

NOTE: If the firewall is used to serve WPAD and the WebGUI anti-lockout rule has been disabled, web traffic must also be allowed to the pfSense firewall GUI port. If this is not acceptable, point wpad. <domain>to another internal web server which can answer requests for the wpad.dat and associated files.</domain>

Jetberry

Вот тут пишут по-другому
https://nguvu.org/pfsense/pfSense-2.3-WPAD-PAC-proxy-configuration-guide/

Create the other two file variations by generating links. This is preferable as it helps keep all versions synced if you make any changes in future.

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.dat

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.da

Verify your folder looks something like this when done,

$ ls -l
-rw-r–r-- 1 root wheel 537 Jul 19 12:07 50x.html
-rw-r--r-- 1 root wheel 612 Jul 19 12:07 index.html
-rw-r--r-- 1 root wheel 212 Aug 6 11:43 proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.da -> proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.dat -> proxy.pac

Возможно так будет работать. Я 3 года назад выбрал проще путь - прокси и wpad поднял отдельно от pfsense, но это мой выбор и я за него не агитирую.

der_violette_igel

@Jetberry:

Вот тут пишут по-другому
https://nguvu.org/pfsense/pfSense-2.3-WPAD-PAC-proxy-configuration-guide/

Create the other two file variations by generating links. This is preferable as it helps keep all versions synced if you make any changes in future.

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.dat

ln -s /usr/local/www/nginx/proxy.pac /usr/local/www/nginx/wpad.da

Verify your folder looks something like this when done,

$ ls -l
-rw-r–r-- 1 root wheel 537 Jul 19 12:07 50x.html
-rw-r--r-- 1 root wheel 612 Jul 19 12:07 index.html
-rw-r--r-- 1 root wheel 212 Aug 6 11:43 proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.da -> proxy.pac
lrwxr-xr-x 1 root wheel 9 Aug 6 11:45 wpad.dat -> proxy.pac

Возможно так будет работать. Я 3 года назад выбрал проще путь - прокси и wpad поднял отдельно от pfsense, но это мой выбор и я за него не агитирую.

Я тоже видал эту статью, но там сверху пометка, мол эта статья устарела и для 2.4 не канает.
Я же 2.4 мучаю.
Всё открыл, всё повыключал согласно вашим советам- нифига. будто ничего и не происходило. Почему-то этот wpad файл не хочет приниматься браузером, что ли… уже башка закипела, думаю завтра продолжить мучения.

Jetberry

Отпишитесь, если не затруднит, что получилось и какой из мануалов подошел (там еще на ссылка на 2.1 мануал в начале статьи).

der_violette_igel

И еще у меня острое ощущение, что я что-то напорол в настройках днс резолвера. Может подсказать, где какие галки стоять должны.
Меня там одна галка смущает, которая

DNS Query Forwarding Enable Forwarding Mode
If this option is set, DNS queries will be forwarded to the upstream DNS servers defined under System > General Setup or those obtained via DHCP/PPP on WAN (if DNS Server Override is enabled there).

Должна ли она стоять, и что должно быть в System->General Setup в настройках ДНС в таком случае?

9.jpg_thumb

Jetberry

Если имя wpad превращается в IP, то все правильно. Там может стоять 8.8.8.8 и 8.8.4.4, в конце концов "яндекс" должен же где-то резолвится?
Служба автоматического обнаружения веб-прокси включена? Хромом проверяете http://wpad/wpad.dat? В настройках IE стоит флаг автоматическое определение настроек прокси сервера?

der_violette_igel

@Jetberry:

Если имя wpad превращается в IP, то все правильно. Там может стоять 8.8.8.8 и 8.8.4.4, в конце концов "яндекс" должен же где-то резолвится?
Служба автоматического обнаружения веб-прокси включена? Хромом проверяете http://wpad/wpad.dat? В настройках IE стоит флаг автоматическое определение настроек прокси сервера?

Потушил стенд свой, завтра продолжу. Хромом проверял http://wpad/wpad.dat редирект на httpS://wpad:8080/wpad.dat и не открывается. У ишака флаг стоит. Завтра буду копать. Если у кого какие предположения еще будут- пожалуйста пишите. Как заработает- напишу что делал в картинках.

А не как вот тут: https://forum.pfsense.org/index.php?topic=62244.15 Сделал и пропал(((

Jetberry

Вот статья про редактирование web-gui https://awesomediocrity.wordpress.com/2017/06/05/confine-webinterface-to-ssh-only-on-pfsense-2-4/, а тут как конфигурировать nginx https://nginx.ru/ru/docs/beginners_guide.html. Вам нужно найти в /var/etc/nginx-webConfigurator.conf в блоке server 80 порт вам нужно указать статическое содержимое (место обитания dat-файла). Я так думаю ;)

der_violette_igel

@Jetberry:

Вот статья про редактирование web-gui https://awesomediocrity.wordpress.com/2017/06/05/confine-webinterface-to-ssh-only-on-pfsense-2-4/, а тут как конфигурировать nginx https://nginx.ru/ru/docs/beginners_guide.html. Вам нужно найти в /var/etc/nginx-webConfigurator.conf в блоке server 80 порт вам нужно указать статическое содержимое (место обитания dat-файла). Я так думаю ;)

Спасибо большое, попробую завтра чисто из спортивного уже даже интереса. Я на пробу глянул- боюсь запороть конфигу, тем более я не знаю в каком виде что там должно присутствовать. Как-то это неприятно, что приходится "коробочный фаерволл" допиливать изнутри. Походу проще эту раздачу wpad вынести на другой сервер, тут какая-то некромантия, боюсь, получится. Кстати, http://wpad/wpad.dat у меня не открывался и не открывается ни при каких условиях, открывается только с доменом если на http://wpad.pfsense.lan/wpad.dat. Мне в принципе, плевать, какую версию ставить, можно к мануалу прировняться.- но опять же дичь. Захочешь обновить- всё накроется)) Тут походу в шапке ЛЮБОГО мануала к pfsensу надо пейсать Огромными буквами версию. И не менее огромными буквами предупреждать, что с вероятностью в 80% в следующей версии это ничего работать не будет))

Jetberry

Вы хотите добавить функционал, не доступный из коробки, вот и приходится извращаться.
Вот неплохие статьи про wpad для общего развития
https://interface31.ru/tech_it/2016/05/wpad-ili-avtomaticheskaya-nastroyka-parametrov-proksi.html
https://m.habrahabr.ru/post/314918/

smils

Jetberry

"[] Enable SSL filtering." Вот в этом поле флаг (галка) нужно убрать.

Интересно, зачем нужен прокси, если фильтрации нет?

Jetberry

@smils:

Jetberry

"[] Enable SSL filtering." Вот в этом поле флаг (галка) нужно убрать.

Интересно, зачем нужен прокси, если фильтрации нет?

Фильтрация есть, только этот веб-интерфейс не актуален для современного сквида. Сквид сам фильтрует.

der_violette_igel

@Jetberry:

Вот статья про редактирование web-gui https://awesomediocrity.wordpress.com/2017/06/05/confine-webinterface-to-ssh-only-on-pfsense-2-4/, а тут как конфигурировать nginx https://nginx.ru/ru/docs/beginners_guide.html. Вам нужно найти в /var/etc/nginx-webConfigurator.conf в блоке server 80 порт вам нужно указать статическое содержимое (место обитания dat-файла). Я так думаю ;)

Я так пока не пробовал, но вернул вебморду pf обратно на 80 порт. http://wpad/wpad.dat работает и файлы оттуда забирать могёт. Но не могу врубиться, как настроить в таком случае фаерволл.
При поставленной галке в браузере клиента "получать автонастройку прокси" валится такое в states

LAN tcp 172.16.10.10:1950 -> 172.168.10.254:3128 CLOSED:SYN_SENT 3 / 0 156 B / 0 B
WAN tcp 10.0.2.15:8830 (172.16.10.10:1950) -> 172.168.10.254:3128 SYN_SENT:CLOSED 3 / 0 156 B / 0 B
LAN tcp 172.16.10.10:1951 -> 172.168.10.254:3128 CLOSED:SYN_SENT 3 / 0 156 B / 0 B
WAN tcp 10.0.2.15:17559 (172.16.10.10:1951) -> 172.168.10.254:3128 SYN_SENT:CLOSED 3 / 0 156 B / 0 B
LAN tcp 172.16.10.10:1952 -> 172.168.10.254:3128 CLOSED:SYN_SENT 3 / 0 156 B / 0 B
WAN tcp 10.0.2.15:61226 (172.16.10.10:1952) -> 172.168.10.254:3128 SYN_SENT:CLOSED 3 / 0 156 B / 0 B
LAN tcp 172.16.10.10:1953 -> 172.168.10.254:3128 CLOSED:SYN_SENT 3 / 0 156 B / 0 B
WAN tcp 10.0.2.15:49685 (172.16.10.10:1953) -> 172.168.10.254:3128 SYN_SENT:CLOSED 3 / 0 156 B / 0 B

Если ставлю проксю вручную -всё работает и фильтруется, блоченые сайты не пущаются.

В фаерволле походу уже напорол дичи, но прикреплю картинку. Посмотрите, пожалуйста.

адрес wpad начал резолвиться с клиента, когда ему насильственно в настройках днса велел дописывать суффикс домена.

ЗЫ: У меня в качестве клиента стоит винда хр неизвестного происхождения, там я не нашел службы автоматического обнаружения веб-прокси winhttp. Должна быть?

777.jpg_thumb

Jetberry

Без схемы сети не смогу разобраться. Схема (рисунок) нужен. У вас 3 частные сети, у pfsense были проблемы с маршрутизацией и/или NAT между частными сетями. А у вас их 3! Откуда? Зачем? winhttp должен быть, Win XP с последним сервис паком используйте, т.е. вообще не используйте его. Вы чего? Win 7 уже устарела.
Вы же свой pac-файл используете, а не тот который я привел? В моем частные сети не идут через прокси, а идут напрямую.

der_violette_igel

Да, я уже сам запутался. Сегодня ещё не успел нормально заняться, отвлекали весь день. Я, наверное, снесу, заново всё построю. А где третья сеть у меня? 172.16 это локалка, а 10.0 это wan, натом на реальную сетевуху. Пф на виртуалбоксе вертится и клиент там же во внутренней сети. Дистриба не было под рукой нормального, вот и левый хр заюзал. Хотя в конторе добрая половина компов на хп, потихоньку избавляемся, но парк очень большой.

smils

@Jetberry:

@smils:

Jetberry

"[] Enable SSL filtering." Вот в этом поле флаг (галка) нужно убрать.

Интересно, зачем нужен прокси, если фильтрации нет?

Фильтрация есть, только этот веб-интерфейс не актуален для современного сквида. Сквид сам фильтрует.

SquidGurd установлен ?