[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
  • Страница 8 из 9
  • «
  • 1
  • 2
  • 6
  • 7
  • 8
  • 9
  • »
Модератор форума: Сергеев_ЕВ  
Форум учителей » Урочная деятельность » Обсуждаем Программное обеспечение » Контент-фильтр средствами СПО (Шлюз на Ubuntu с прокси-сервером squid - белый список сайтов)
Контент-фильтр средствами СПО
Дата: Пятница, 30.10.2015, 14:35 | Сообщение #71

iyugov

фотография отсутствует
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
zgbgr, прикрепить можно. Только это не список доменов, а именно регулярные выражения на URL. Вот часть белого списка для примера:
Код

^http[s]?://(([A-Za-z0-9\._-])*\.)?tofmal\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tverobr\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tver\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?tversu\.ru/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?ubuntu\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?ucoz\.net/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?uid\.me/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?usertrust\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?verisign\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?windows\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?windowsupdate\.com/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?xubuntu\.org/*
^http[s]?://(([A-Za-z0-9\._-])*\.)?yandex\.net/*
^http[s]?://ajax\.googleapis\.com/*
^http[s]?://an\.yandex\.ru/*
^http[s]?://api\-maps\.yandex\.ru/*
^http[s]?://api\.mixpanel\.com/*
^http[s]?://apis\.google\.com/*
^http[s]?://api\.yandex\.ru/*
^http[s]?://bar\.yandex\.ru/*
^http[s]?://bebras\.ru/*
^http[s]?://books\.yandex\.ru/*

Программное обеспечение должно уметь разбирать эти выражения, как grep или squid. Вы Squid настраиваете?
Почему не домены? Потому что объектом доступа (разрешить/запретить) является ресурс, а не весь домен. В пределах одного домена могут быть и открытые, и закрытые страницы.

Список составляю сам (скрипт помогает формировать регулярные выражения). В данный момент он охватывает лишь 267 сайтов - это почти ничто в масштабах интернета, но учебной работе не мешает. Сайты заносятся в белый список по просьбе учителей (и учащихся, если сайт правильный).
Дата: Пятница, 30.10.2015, 14:46 | Сообщение #72

zgbgr

фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
вот написал товарищь, у вас наверное есть данная ссылка.
кое в чем сам помогал ему
http://www.sakryukin.ru/index.php?module=articles&c=articles&b=4&a=11
не рекламирую...
белый список может появится. так поделюсь тут.

а черный список, тоже есть, именно запрещенных сайтов от прокуратуры..
они же размещены в инете, только надо в текстовый файлы вставить
Дата: Пятница, 30.10.2015, 18:36 | Сообщение #73

iyugov

фотография отсутствует
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
Сайты, запрещённые судом, - это проблема провайдера. Он эти сайты должен блокировать для всех. Школа должна ограничивать доступ к тем ресурсам, которые в принципе не запрещены, но несовместимы с задачами образования.

Фильтр по URL может делать сам Squid, а фильтр по фразам в случае белого списка ничего не даёт. В чём цель использования Dansguardian? Не будет ли так, что сервер станет тратить свои ресурсы и занижать скорость обмена данными, занимаясь разбором всего трафика по фразам?

Как предлагается фильтровать HTTPS-трафик? От него нельзя отказаться - потеряем много хороших сайтов и автоматические обновления.
Дата: Пятница, 30.10.2015, 18:40 | Сообщение #74

zgbgr

фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
согласен, но ведь описание настройки в конкретном случае просто замечательно...
по идее да будет жрать ресурсы... по логике этим провайдер должен заниматься, а не школа..
думаете что squid и squidguard  вполне хватит?


Сообщение отредактировал zgbgr - Пятница, 30.10.2015, 18:40
Дата: Пятница, 30.10.2015, 20:57 | Сообщение #75

iyugov

фотография отсутствует
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
zgbgr, хватит iptables и squid. Имею в виду - для такой настройки, которой удовлетворится прокуратура при проверке.
Описание настройки важно, у меня тоже такое есть. Однако, не так много людей в школах могут пройти все эти наши квесты. Думал, как сделать виртаульную машину, в которой уже всё настроено и остаётся только поставить на физический сервер. Но везде своя существующая раздача адресов, сетевые интерфейсы, а сервер всё равно придётся админить - учитывать IP, добавлять сайты в белый список. Всё, что могу сделать, - это по мере сил спасать двух своих непосредственных работодателей.

И таки разломал я HTTPS-соединение: squid подменяет SSL-сертификат, расшифровывает трафик и фильтрует его по URL. Не работают только обновления Windows, но там особый случай. Ради обновлений меняю раздачу IP на нефильтруемый диапазон, перезагружаю клиентов, обновляю, потом возвращаю обратно.


Сообщение отредактировал iyugov - Пятница, 30.10.2015, 21:12
Дата: Суббота, 31.10.2015, 08:10 | Сообщение #76

zgbgr

фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
iyugov,  так тоже сделать подробное описание надо б..
сейчас после рухнувщего сервера буду по новой настраивать, быстро на коленке поднял им сервер для инета,  что б работало, а тут время будет уже основательно сделаю. почему и говорю, ваше б описание подробное..
Дата: Суббота, 31.10.2015, 09:41 | Сообщение #77

iyugov

фотография отсутствует
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
zgbgr, описание есть в первом сообщении этой темы. Совсем до деталей не расписывал - ждал вопросов от конкретных настройщиков и не был уверен, что вообще пригодится. Теперь, через 4 года, ещё больше не уверен. Люди вроде как соглашаются, что вещь нужная, но тема не развивается.
Зачем на коленке, я вот сразу два сервера настроил. И ещё третий, на тестовой виртуальной машине. И ещё бэкапы всех конфигов на четвёртом.
А хотите полную инструкцию настройки моего сервера?
Дата: Суббота, 31.10.2015, 11:25 | Сообщение #78

zgbgr

фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 9
Статус: Отсутствует
Цитата iyugov ()
А хотите полную инструкцию настройки моего сервера?
 шлюза интересно было б... то что сделал Константин, на кого я дал ссылку самое большое, что известно мне. конечно что-то есть на interface31.ru
а так интересно было б.
хотелось бы сварганить нечто такое приличное... у вас что-то есть, есть у Константина...может у кого то еще есть. был вон сайт spohelp.ru что-то там было

P.S.
кое-что понравилось


Сообщение отредактировал zgbgr - Суббота, 31.10.2015, 14:43
Дата: Воскресенье, 01.11.2015, 19:25 | Сообщение #79

sakriukinkv

фотография отсутствует
Начинающий
Группа: Пользователи
Сообщений: 2
Статус: Отсутствует
Доброго здоровья, всем!
iyugov, а акак свернули шею-то ssl?
Я тоже патчил сквид, чтобы https пропускал, но единственное, чего смог добиться - это отображение в логах https трафика.
Ну и не смог заставить Firefox под Linux перестать материться на не действительный сертификат. Т.е., на один сеанс можно понажимать софт-кнопачки, мол согласен, принимаю и т.д. А вот на всегда не выходит. Настройки в about:config положительного результата не приносят. Менять Firefox на Opera для меня не выход - нужны некоторые плагины огнелиса.
В итоге отказался от обработки https на squid-е, так с сентября провайдер сам завернул всё, на своего кальмара.
Но фильтрация интересная: https://yandex.ru работает, https://google.ru не работает, https://mail.ru есть, а gmail.org нет. В общем всё, что наше - есть, а всё, что зарубежное - отсутствует. В том, что стоит сквид у них я уверен, т.к. временами выдаёт ошибку прокси с соответствующим сообщением.

Так вот вопрос-то вот в чём:
что Вы делали для фильтрации https трафика и как себя вели браузеры после подмены сертификатаа?
Хотя реакция браузеров предсказуема.
Дата: Воскресенье, 01.11.2015, 20:10 | Сообщение #80

iyugov

фотография отсутствует
Владыка слова
Группа: Друзья
Сообщений: 1433
Статус: Отсутствует
sakriukinkv, нормально себя ведут, если сертификат сквида в доверенные положить. В свойствах соединения Chrome иногда пишет, что "записи общедоступного аудита отсутствуют" или метод шифрования устаревший, но он и при обычных соединениях такое выдаёт. Squid фильтрует такой трафик, как и незашифрованный. Но сайты с HTTPS в компьютерных классах у нас используются редко, так что весь спектр проблем я, наверное, не испытывал.

Сервер у нас на Ubuntu, так что взял пакет sqild-ssl из одного PPA. Настроил в режим, который называется "SSL Bump с динамической генерацией сертификатов". iptables заворачивает обращения к 443-му порту на 3130-й. И вот часть squid.conf:
Код
http_port 3128
http_port 3129 intercept
https_port 3130 intercept ssl-bump generate-host-certificates=on dynamic_cert_mem_cache_size=16MB cert=/opt/squid/squid.pem key=/opt/squid/private.key
sslproxy_flags DONT_VERIFY_PEER
sslproxy_cert_error allow all
always_direct allow all
ssl_bump server-first all

Чего не удалось побороть - так это обновления Windows. Видимо, сертификаты для обновления куда-то так глубоко зашиты в систему, что пользовательские настройки их не перекрывают. Решаю проблему так: выделяю время, когда за компьютерами никто не работает, на сервере DHCP даю им IP-адреса из нефильтруемого диапазона, перезагружаю их, позволяю обновиться, возвращаю настройки адресов обратно, перезагружаю клиентов опять. Не автоматизировано, зато нет внезапных проблем типа "Подождите выключать, устанавливается обновление 1 из 219".


Сообщение отредактировал iyugov - Воскресенье, 01.11.2015, 21:12
Форум учителей » Урочная деятельность » Обсуждаем Программное обеспечение » Контент-фильтр средствами СПО (Шлюз на Ubuntu с прокси-сервером squid - белый список сайтов)
  • Страница 8 из 9
  • «
  • 1
  • 2
  • 6
  • 7
  • 8
  • 9
  • »
Поиск:
Если Вы хотите оставить сообщение на форуме, то рекомендуем Вам зарегистрироваться на нашем сайте или войти на портал как зарегистрированный пользователь
Маркер СМИ

© 2007 - 2022 Сообщество учителей-предметников "Учительский портал"
Свидетельство о регистрации СМИ: Эл № ФС77-64383 выдано 31.12.2015 г. Роскомнадзором.
Территория распространения: Российская Федерация, зарубежные страны.
Учредитель / главный редактор: Никитенко Е.И.


Сайт является информационным посредником и предоставляет возможность пользователям размещать свои материалы на его страницах.
Публикуя материалы на сайте, пользователи берут на себя всю ответственность за содержание материалов и разрешение любых спорных вопросов с третьими лицами.
При этом администрация сайта готова оказать всяческую поддержку в решении любых вопросов, связанных с работой и содержанием сайта.
Если вы обнаружили, что на сайте незаконно используются материалы, сообщите администратору через форму обратной связи — материалы будут удалены.

Все материалы, размещенные на сайте, созданы пользователями сайта и представлены исключительно в ознакомительных целях. Использование материалов сайта возможно только с разрешения администрации портала.


Фотографии предоставлены