Доступ по URL

[sirota]

2.3.4-RELEASE-p1
На данный момент настроена фильтрация "разрешено"-"запрещено" через Firewall-Rules-Floating.

Т.е. непрозрачный NAT.
Везде прописаны алиасы.

В алиасах указаны Networks:

Но немного не устраивает момент с тем что нужно указывать все поддомены. Может можно как-то по другому (без привычного прокси) указать что все поддомены в домене consultant.ru разрешены? А то с тем же консультантом... обновляльщик он же наша ТП такой тугой... я неделю от него пытаюсь добиться всех адресов (конструктор договор, вебчего-то там)...
Большое спасибо.
PS. Сквид не предлагать. Он у меня не взлетает. Точно не помню что за проблемы, но элементарно:

LigthSquid diagnostic.
Error : report folder '/var/lightsquid/report' not contain any valid data! Please run lightparser.pl (and check 'report' folder content)
Please check config file !

Что я только не делал и что я только не запускал.

[Konstanti]

@sirota said in Доступ по URL:

Error : report folder '/var/lightsquid/report' not contain any valid data!

Доброго дня

https://forum.netgate.com/topic/45355/%D0%BF%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC%D0%B0-%D1%81-%D0%BD%D0%B0%D1%81%D1%82%D1%80%D0%BE%D0%B9%D0%BA%D0%BE%D0%B9-lightsquid-2-0-1-release/2

[sirota]

Да делал я. /var/lightsquid/report пуст, ошибка повторяется. Вопрос не про сквид. Он мне не интересен.

[sirota]

@konstanti

[Konstanti]

@sirota Смотрите , мне кажется , что стандартными средствами Вы такую задачу не решите
Поясню почему ,
когда Вы создаете Алиас и начинаете его использовать
то PF , в свою очередь, создает таблицу с таким же именем для использования в правилах фильтрации
Для примера

Это то что находится в конфиге pf
а вот так это выглядит в памяти
после вывода команды
pfctl -t PGU_MOS -T show

Соответсвенно , PF никогда не узнает ip адреса поддоменов без полного FQDN

[sirota]

@konstanti Да. Я знаю что по факту "каждый" раз "пингует" указанные хосты и добавляет в таблицу именно ip адреса. И что эта штука не будет работать для серверов с распределением нагрузки. Но может быть... есть какое-то лекарство. на данный момент через пинок из МСК нашлись доменные адреса все что надо и все подсети ipv4. Но... не сегодня, так завтра появится новый поставщик, и опять бороться...
Значит хочешь или нет придется пытаться завести сквид...

[Konstanti]

@sirota Или писать свой скрипт , который бы откуда-то из инета доставал список поддоменов , резолвил бы их и ip адреса добавлял бы в таблицу PF . Запуск по cron.
как вариант

[Konstanti]

@sirota Доброе утро
МБ Вам поможет такая идея :
Простой сканер поддоменов ( в случае с consultant.ru) показал , что этот домен
использует всего 2 сети
91.238.80.0/23
194.105.130.0/23
вот кусочек его работы

http://ipv4info.com/as-info/sd9c529/AS44014.html
Т е , теоретически можно вместо кучи FQDN вида XXX.consultant.ru в алиасе указать 2 сети , и тогда весь домен consultant.ru будет попадать в Ваше правило .

[sirota]

Не все так просто...

СЛУЖБА ПРОВЕРКИ (необходима для работы онлайн сервисов):

checker-e.consultant.ru
checker-i.consultant.ru


ОНЛАЙН-АРХИВЫ:

arb.consultant.ru - архив решений арбитражных судов первой инстанции
aoas.consultant.ru - архив определений арбитражных судов
soj.consultant.ru - архив решений судов общей юрисдикции
astn.consultant.ru - архив строительных технических норм
afas.consultant.ru - архив решений ФАС и УФАС
atn.consultant.ru - архив технических норм
ammo.consultant.ru - архив документов Москвы и области
admo.consultant.ru - архив документов муниципальных образований субъектов РФ
arms.consultant.ru - архив решений мировых судей


ОНЛАЙН-СЕРВИСЫ:
arbchain.consultant.ru - история рассмотрения дела
nav.consultant.ru - навигационный поиск
ondb.consultant.ru - новости для бухгалтера


СЛУЖБЫ:

www.consultant.ru - горячие документы
client.consultant.ru - заказ документов (по серым ссылкам)


СЕРВИС "ЗАДАТЬ ВОПРОС":

zv1.consultant.ru
zv2.consultant.ru
zv3.consultant.ru
zv4.consultant.ru


КОНСТРУКТОР ДОГОВОРОВ:

cpcd.consultant.ru
cpcd1.consultant.ru
cpcd3.consultant.ru
cpcd4.consultant.ru
cpcd5.consultant.ru


СЕРВЕРА ИП И СТАТИСТИКИ:

intupdate1.consultant.ru - сервер для файлов статистики
intupdateusers.consultant.ru - резервный сервер ИП (если используется) в КЦ
intupdateusers1.consultant.ru - резервный сервер ИП (если используется) в КЦ


ВИДЕОСЕМИНАРЫ:

video.consultant.ru
cdn.video.consultant.ru

Также для доступа к видеосеминарам необходимо открыть доступ к сайту cdn.ngenix.net и к подсетям NGENIX CDN с видеоконтентом по такому списку:

37.220.160.0/21
46.235.184.0/21
93.93.88.0/21
78.41.104.0/21
185.17.168.0/22
212.193.144.0/20
195.208.30.60/30

Ну и в 21 век IPv6 указывать статистически IPv4... такое себе.

[Konstanti]

@sirota said in Доступ по URL:

cpcd.consultant.ru

Вы просили лекарство именно для consultant.ru обычными средствами PF. Вот Вам я и предложил вариант. Просто в случае с consultant.ru все складывается хорошо , потому что всего 2 сети используется в домене , и это легко настроить

[sirota]

оке. спасибо, но я не просил консультант. он был лишь частным примером.

[Konstanti]

@sirota Еще вариант развернуть свой DNS сервер с контролем доступа
или использовать сторонние решения , например, http://rejector.ru/

[sirota]

@konstanti said in Доступ по URL:

Еще вариант развернуть свой DNS сервер с контролем доступа
или использовать сторонние решения , например, http://rejector.ru/

Не совсем удачное решение. Доступ по IP будет работать тогда для всех ) Но очень даже как костыль. Разрешенных пользователей резолвить 53 порт на нормальный dns, а "обделенных" на свой. Может как-то под пивко и озадачусь. Спасибо.

[werter]

@sirota

1. Чем вызвано использование обычных запрещающих-разрешающих правил именно во Floating rules? Чем просто правила на интерфейсе (LAN) не угодили?
   Плюс зачем UDP в правилах, к-ые касаются доступа к обычным сайтам? Может я что-то пропустил и HTTP(S) начал уже и по UDP работать?

2. Зачем в алисах использовать Networks? Да еще и с FQDN. У меня прекрасно работает Host.

[sirota]

1. Какое это отношение имеет к вопросу?
2. Потому что у людей бывает не только 2 подсети (wan-lan). На данный момент один провайдер, а так два (один пришлось отключить, гонит он). Плюс еще подсеть телефонии. До этого было еще несколько VPN подсетей. и т.д. и т.п. Когда-то да было разбито по подсетям, но потом вдруг оказалось что проще юзать floating. Это в разы удобнее.
3. А чем отличается запись networks от hosts? Правильно, в нетворках можно указать непосредственно подсеть, а в хостах всегда ip будет с подсетью /32. И прям тут же пример:

ВИДЕОСЕМИНАРЫ:

video.consultant.ru
cdn.video.consultant.ru

Также для доступа к видеосеминарам необходимо открыть доступ к сайту cdn.ngenix.net и к подсетям NGENIX CDN с видеоконтентом по такому списку:

37.220.160.0/21
46.235.184.0/21
93.93.88.0/21
78.41.104.0/21
185.17.168.0/22
212.193.144.0/20
195.208.30.60/30

Ни чего не пришлось менять, создавать дополнительный алиас и т.д., а просто забил нужны подсети и все.
Это было понятно еще с самого начала, что нетворки куда проще хостов.

[PbIXTOP]

@werter

1. Chrome давно пытается использовать QUIC протокол. и поэтому часто приходится закрывать параллельно UDP порты.

@sirota
Если вас прямо так надо, чтоб домены были открыты — я предлагаю посмотреть в сторону PFBlocker. Вполне возможно там уже есть что-то похожее или можно понастроить (дописать скрипт)

[sirota]

1. (Я понимаю что не ко мне) Каким образом флоатинг, нетворксы и хосты в алиасах влияют на UDP? Вроде бы без разницы. Главное что указано в итоговом правиле.
2. Спасибо большое. Я и не знал. Сейчас пойду тыкать в виртуалке.

[werter]

@sirota

1. Потому что исп-ние floating rules крайне специфично (шейпинг, тегирование etc.) И вашем случае это избыточно. Для ваших задач хватит просто правил на интерфейсах.

2. Дело ваше.

3. От того, что вы укажите blabla.com/32 подсеть адресов для blabla.com не откроется\не закроется. Хотите подсеть - узнавайте ip-адреса, создавайте алиас и вносите его в правило.

@PbIXTOP

Chrome давно пытается использовать QUIC протокол. и поэтому часто приходится закрывать параллельно UDP порты.

Кроме гугловских сервисов данный протокол пока никто не пользует. Плюс реализации у него как минимум две. На хабре статья была на днях.

В общих чертах.
Запрещено всё, что не разрешено явно. Золотое правило.

Если у кого-то не хватает элементарно мозгов разрешать в сети только то, что действительно необходимо - его проблемы. Причем оч. скорые. И большие. Это касается и открытия в сеть dns- и ntp-трафика (не, ну чО там может быть прАблемного? ).
Про наличие прав Администратора на местах у всех, кому не лень вообще молчу.

[sirota]

@werter said in Доступ по URL:

Потому что исп-ние floating rules крайне специфично (шейпинг, тегирование etc.) И вашем случае это избыточно. Для ваших задач хватит просто правил на интерфейсах.

Что? Первый раз слышу про специфичность. Он ни чем не отличается от файревола на интерфейсе кроме того что она работает первый. Он мне нужен - у меня сейчас 2 интерфейса, а так было и будет больше. И у всех этот прокси основной шлюз в инет. И чтобы не разводить тысячу одинаковых правил у меня оно одно. Это нормальная практика юзать флоайтинг вместо интерфейсных правил. Если есть какие-то конкретные указания... пожалуйста тыкнике в мануал. КОгда я его осматривал ни чего подобного там не было что он избыточен и не желателен к использованию.

@werter said in Доступ по URL:

От того, что вы укажите blabla.com/32 подсеть адресов для blabla.com не откроется\не закроется. Хотите подсеть - узнавайте ip-адреса, создавайте алиас и вносите его в правило.

Но я могу тут указывать (читай в одном месте) как непосредственно ip, доменные имена, так и подсети! В ОДНОМ МЕСТЕ В ОДНОМ АЛИАСЕ! Когда тебе придется создать по итогу все равно алиас с нетворками. Это все конечно частное. но так проще. Хотя у меня есть алиасы и непосредственно с чисто хостами. когда скажем все укладывается в 1-2 домена/поддомена + единичные ip.

Вы кстати 2 раз подряд задете один и тот же вопрос. Давайте мусье не тупить. И если по делу ни чего нет, то проходите мимо.
Кста

@werter said in Доступ по URL:

Хотите подсеть - узнавайте ip-адреса, создавайте алиас и вносите его в правило.

Это вообще бред сивой кобылы. НЕ сегодня завтра ребята переедут на новые ip адреса, или у них вообще динамика. Что делать?

[Konstanti]

@sirota Доброго дня . Отчасти , правы оба
Floating rules не так часто используются
Эти правила могут контролировать трафик самого файрвола

• тэгирование
• вх/вых на интерфейсах
  и тд и тп
  Floating Rules can:

Filter traffic from the firewall itself
Filter traffic in the outbound direction (all other tabs are Inbound processing only)
Apply rules to multiple interfaces
Apply filtering in a “last match wins” way rather than “first match wins” (quick)
Apply traffic shaping to match traffic but not affect it’s pass/block action

В Вашем случае , они используются , чтобы не плодить одинаковые правила на разных интерфейсах . У меня тоже такое используется
Разработчики PF рекомендуют его использовать их при трафик-шейпинге

Долго думал над Вашей проблемой
По-моему,так , в лоб , решения она не имеет , потому что узнать все адреса поддоменов можно только axfr запросом , а сделать этого никто не даст .

[sirota]

@konstanti said in Доступ по URL:

Долго думал над Вашей проблемой
По-моему,так , в лоб , решения она не имеет , потому что узнать все адреса поддоменов можно только axfr запросом , а сделать этого никто не даст .

Именно по этому (отсутствие решения на поверхности) я и задал вопрос. Проблема по факту была не первый год. И первое время я сквидом ее и решал, но потом появился https повсеместный, 3 сквид был диким костылем лагающим, я перешел на чистый файрвол (либо это разрешено, либо это запрещено, запрещено все). А дальше... возвращаться на скид как-то не вышло. Да и вот опять попробовал, у меня нет логов. скрипт выполняется успешно, права на все есть, пути указан верны, а логов нет. И это видимо был последний раз когда я в него тыкал.
И тоже первое время я пользовался правилами по интерфейсам. Но однажды при добавлении очередного "разрешено" я вдруг осознал что я уже 4-й раз вношу одно и тоже правило, и мне надо внести его еще примерно столько же... и флоатинг сильно сократил весь список правил. За это ему хвала )