[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Страница 8 из 9«126789»
Модератор форума: Сергеев_ЕВ 
Форум учителей » Урочная деятельность » Обсуждаем Программное обеспечение » Контент-фильтр средствами СПО (Шлюз на Ubuntu с прокси-сервером squid - белый список сайтов)
Контент-фильтр средствами СПО
iyugov Дата: Пятница, 30.10.2015, 14:35 | Сообщение #71
Профиль пользователя iyugov
Активист
Группа: Друзья
Сообщений: 1086
Статус: Отсутствует
zgbgr, прикрепить можно. Только это не список доменов, а именно регулярные выражения на URL. Вот часть белого списка для примера:
Код

^http[s]?://(([A-Za-z0-9\._-])*\.)?tofmal\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tverobr\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tver\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tversu\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?ubuntu\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?ucoz\.net/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?uid\.me/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?usertrust\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?verisign\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?windows\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?windowsupdate\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?xubuntu\.org/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?yandex\.net/*
^http[s]?://ajax\.googleapis\.com/*
^http[s]?://an\.yandex\.ru/*
^http[s]?://api\-maps\.yandex\.ru/*
^http[s]?://api\.mixpanel\.com/*
^http[s]?://apis\.google\.com/*
^http[s]?://api\.yandex\.ru/*
^http[s]?://bar\.yandex\.ru/*
^http[s]?://bebras\.ru/*
^http[s]?://books\.yandex\.ru/*

Программное обеспечение должно уметь разбирать эти выражения, как grep или squid. Вы Squid настраиваете?
Почему не домены? Потому что объектом доступа (разрешить/запретить) является ресурс, а не весь домен. В пределах одного домена могут быть и открытые, и закрытые страницы.

Список составляю сам (скрипт помогает формировать регулярные выражения). В данный момент он охватывает лишь 267 сайтов - это почти ничто в масштабах интернета, но учебной работе не мешает. Сайты заносятся в белый список по просьбе учителей (и учащихся, если сайт правильный).


Dixi.
zgbgr Дата: Пятница, 30.10.2015, 14:46 | Сообщение #72
фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
вот написал товарищь, у вас наверное есть данная ссылка.
кое в чем сам помогал ему
http://www.sakryukin.ru/index.php?module=articles&c=articles&b=4&a=11
не рекламирую...
белый список может появится. так поделюсь тут.

а черный список, тоже есть, именно запрещенных сайтов от прокуратуры..
они же размещены в инете, только надо в текстовый файлы вставить
iyugov Дата: Пятница, 30.10.2015, 18:36 | Сообщение #73
Профиль пользователя iyugov
Активист
Группа: Друзья
Сообщений: 1086
Статус: Отсутствует
Сайты, запрещённые судом, - это проблема провайдера. Он эти сайты должен блокировать для всех. Школа должна ограничивать доступ к тем ресурсам, которые в принципе не запрещены, но несовместимы с задачами образования.

Фильтр по URL может делать сам Squid, а фильтр по фразам в случае белого списка ничего не даёт. В чём цель использования Dansguardian? Не будет ли так, что сервер станет тратить свои ресурсы и занижать скорость обмена данными, занимаясь разбором всего трафика по фразам?

Как предлагается фильтровать HTTPS-трафик? От него нельзя отказаться - потеряем много хороших сайтов и автоматические обновления.


Dixi.
zgbgr Дата: Пятница, 30.10.2015, 18:40 | Сообщение #74
фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
согласен, но ведь описание настройки в конкретном случае просто замечательно...
по идее да будет жрать ресурсы... по логике этим провайдер должен заниматься, а не школа..
думаете что squid и squidguard  вполне хватит?


Сообщение отредактировал zgbgr - Пятница, 30.10.2015, 18:40
iyugov Дата: Пятница, 30.10.2015, 20:57 | Сообщение #75
Профиль пользователя iyugov
Активист
Группа: Друзья
Сообщений: 1086
Статус: Отсутствует
zgbgr, хватит iptables и squid. Имею в виду - для такой настройки, которой удовлетворится прокуратура при проверке.
Описание настройки важно, у меня тоже такое есть. Однако, не так много людей в школах могут пройти все эти наши квесты. Думал, как сделать виртаульную машину, в которой уже всё настроено и остаётся только поставить на физический сервер. Но везде своя существующая раздача адресов, сетевые интерфейсы, а сервер всё равно придётся админить - учитывать IP, добавлять сайты в белый список. Всё, что могу сделать, - это по мере сил спасать двух своих непосредственных работодателей.

И таки разломал я HTTPS-соединение: squid подменяет SSL-сертификат, расшифровывает трафик и фильтрует его по URL. Не работают только обновления Windows, но там особый случай. Ради обновлений меняю раздачу IP на нефильтруемый диапазон, перезагружаю клиентов, обновляю, потом возвращаю обратно.


Dixi.

Сообщение отредактировал iyugov - Пятница, 30.10.2015, 21:12
zgbgr Дата: Суббота, 31.10.2015, 08:10 | Сообщение #76
фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
iyugov,  так тоже сделать подробное описание надо б..
сейчас после рухнувщего сервера буду по новой настраивать, быстро на коленке поднял им сервер для инета,  что б работало, а тут время будет уже основательно сделаю. почему и говорю, ваше б описание подробное..
iyugov Дата: Суббота, 31.10.2015, 09:41 | Сообщение #77
Профиль пользователя iyugov
Активист
Группа: Друзья
Сообщений: 1086
Статус: Отсутствует
zgbgr, описание есть в первом сообщении этой темы. Совсем до деталей не расписывал - ждал вопросов от конкретных настройщиков и не был уверен, что вообще пригодится. Теперь, через 4 года, ещё больше не уверен. Люди вроде как соглашаются, что вещь нужная, но тема не развивается.
Зачем на коленке, я вот сразу два сервера настроил. И ещё третий, на тестовой виртуальной машине. И ещё бэкапы всех конфигов на четвёртом.
А хотите полную инструкцию настройки моего сервера?


Dixi.
zgbgr Дата: Суббота, 31.10.2015, 11:25 | Сообщение #78
фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
Цитата iyugov ()
А хотите полную инструкцию настройки моего сервера?
 шлюза интересно было б... то что сделал Константин, на кого я дал ссылку самое большое, что известно мне. конечно что-то есть на interface31.ru
а так интересно было б.
хотелось бы сварганить нечто такое приличное... у вас что-то есть, есть у Константина...может у кого то еще есть. был вон сайт spohelp.ru что-то там было

P.S.
кое-что понравилось


Сообщение отредактировал zgbgr - Суббота, 31.10.2015, 14:43
sakriukinkv Дата: Воскресенье, 01.11.2015, 19:25 | Сообщение #79
фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 2
Статус: Отсутствует
Доброго здоровья, всем!
iyugov, а акак свернули шею-то ssl?
Я тоже патчил сквид, чтобы https пропускал, но единственное, чего смог добиться - это отображение в логах https трафика.
Ну и не смог заставить Firefox под Linux перестать материться на не действительный сертификат. Т.е., на один сеанс можно понажимать софт-кнопачки, мол согласен, принимаю и т.д. А вот на всегда не выходит. Настройки в about:config положительного результата не приносят. Менять Firefox на Opera для меня не выход - нужны некоторые плагины огнелиса.
В итоге отказался от обработки https на squid-е, так с сентября провайдер сам завернул всё, на своего кальмара.
Но фильтрация интересная: https://yandex.ru работает, https://google.ru не работает, https://mail.ru есть, а gmail.org нет. В общем всё, что наше - есть, а всё, что зарубежное - отсутствует. В том, что стоит сквид у них я уверен, т.к. временами выдаёт ошибку прокси с соответствующим сообщением.

Так вот вопрос-то вот в чём:
что Вы делали для фильтрации https трафика и как себя вели браузеры после подмены сертификатаа?
Хотя реакция браузеров предсказуема.
iyugov Дата: Воскресенье, 01.11.2015, 20:10 | Сообщение #80
Профиль пользователя iyugov
Активист
Группа: Друзья
Сообщений: 1086
Статус: Отсутствует
sakriukinkv, нормально себя ведут, если сертификат сквида в доверенные положить. В свойствах соединения Chrome иногда пишет, что "записи общедоступного аудита отсутствуют" или метод шифрования устаревший, но он и при обычных соединениях такое выдаёт. Squid фильтрует такой трафик, как и незашифрованный. Но сайты с HTTPS в компьютерных классах у нас используются редко, так что весь спектр проблем я, наверное, не испытывал.

Сервер у нас на Ubuntu, так что взял пакет sqild-ssl из одного PPA. Настроил в режим, который называется "SSL Bump с динамической генерацией сертификатов". iptables заворачивает обращения к 443-му порту на 3130-й. И вот часть squid.conf:
Код
http_port 3128
http_port 3129 intercept
https_port 3130 intercept ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=16MB cert=/opt/squid/squid.pem key=/opt/squid/private.key
sslproxy_flags DONT_VERIFY_PEER
sslproxy_cert_error allow all
always_direct allow all
ssl_bump server-first all

Чего не удалось побороть - так это обновления Windows. Видимо, сертификаты для обновления куда-то так глубоко зашиты в систему, что пользовательские настройки их не перекрывают. Решаю проблему так: выделяю время, когда за компьютерами никто не работает, на сервере DHCP даю им IP-адреса из нефильтруемого диапазона, перезагружаю их, позволяю обновиться, возвращаю настройки адресов обратно, перезагружаю клиентов опять. Не автоматизировано, зато нет внезапных проблем типа "Подождите выключать, устанавливается обновление 1 из 219".


Dixi.

Сообщение отредактировал iyugov - Воскресенье, 01.11.2015, 21:12
Форум учителей » Урочная деятельность » Обсуждаем Программное обеспечение » Контент-фильтр средствами СПО (Шлюз на Ubuntu с прокси-сервером squid - белый список сайтов)
Страница 8 из 9«126789»
Поиск:

Если Вы хотите оставить сообщение на форуме,
то рекомендуем Вам зарегистрироваться на нашем сайте или войти на портал как зарегистрированный пользователь