Добро пожаловать на сайт любителей кино!

Фильмы, рецензии, рейтинги и общение.

Входите или Регистрируйтесь.
Facebook 32 Vk 32 Twitter 32

Кинофорум

Форумы → Технические вопросы → Способы блокировок сайтов, применяемые провайдерами

Сообщения (10)

Durban-Batyr

Тут у некоторых пользователей возникает вопрос, почему Админы до сих пор КК не разблокировали.

Чтобы не было иллюзий, что это сделать просто, и чтобы возникло понимание, что блокировка это надолго или навсегда, а так же для уяснения некоторых технических моментов, я решил наваять такой вот графоманский опус.

Прошу не устраивать холивары в этой теме. Для них можно в параллельной ветке отписаться: http://www.kinokopilka.pro/forum_topics/18717

А здесь прошу задавать конкретные вопросы по теме. Но не обещаю на них конкретных ответов, т.к. некоторые нюансы всё еще выше моего понимания.

Durban-Batyr

СПОСОБЫ БЛОКИРОВОК САЙТОВ, ПРИМЕНЯЕМЫЕ ПРОВАЙДЕРАМИ.

Как известно, если бунт нельзя подавить, его надо возглавить и перевести в нужное русло. Это разумная позиция, хотя и требующая определенных талантов, кроме таланта исполнять приказы руководства. Но для большинства государственных мужей, данными талантами не обладающими, эта сентенция звучит прямо противоположно — что нельзя возглавить и контролировать, то следует запретить. Или, хотя бы, сделать вид, что стараешься запретить.

Когда государственные органы поняли, что Интернет в реалиях современного мира становится основным возмутителем спокойствия и представляет собой серьезную угрозу монополии официальной идеологии, первой же мыслью, разумеется, была "Запретить!" Ну не весь, конечно, но только тот сегмент, который возглавить и контролировать никак не получается.

Если ресурс расположен на отечественных площадках территориально и попадает под юрисдикцию местных законов, то нетрудно устроить показательное "маски-шоу" с возложением неугодных лиц на асфальт, изъятием серверов и громким судебным процессом. А что делать, если сайт зарегистрирован в Тувалу, сервера находятся в Великобритании, а владельцем числится американская компания? И всем этим странам абсолютно безразличны законы и требования других стран, в отличие от собственных.

Вобщем, как оказалось, наложить запрет в Интернете не так уж легко. Для этого, вначале, следовало бы привести весь Рунет к каким-либо стандартам, а потом выработать методику технических блокировок применительно к этим стандартам.

Но для выработки блокировочных стандартов нужно иметь, как минимум, две вещи: четкое понимание работы десятков протоколов, обеспечивающих обмен информацией, и материальную базу, которая была бы способна эти стандарты поддерживать. А вот с этим все оказалось не так просто. Интернет развился из военной сети APRANET. И отказоустойчивость, в основе которой лежит распределенность служебных ресурсов, привела к тому, что стало невозможно контролировать и глобально нарушить доступность из одного какого-то узла.

Практически сразу стало ясно: если государство взвалит эту работу на себя, то существует шанс вступить в очередную гонку вооружений с провайдерами, которые не заинтересованы в ограничении доступа своим клиентам. А допустить неудачи и, тем самым, выставить себя на посмешище, государство не могло и права не имело. Попытки государственного регулирования, без технической поддержки на уровне исполнителей привело бы к тому, что оно оказалось бы в этом вопросе крайним. И поэтому проблема была решена в лучших традициях грамотного менеджмента путем разделения ответственности с непосредственными исполнителями передачи информации – провайдерами. В случае успеха государство получает исполнение своих требований, а в случае нерадивости провайдера — остается шанс назначить его виноватым.

Но, как оказалось, у большинства провайдеров, особенно у мелких филиалов микрорайонного масштаба, тоже не хватает опыта в этой области. Большинство из них выживают в условиях жесткой конкуренции, экономя как на оборудовании, так и на технических специалистах. Четких методик спущено не было, а при отсутствии стандартов на блокировку ресурсов, каждый из них пошел собственной верной дорогой.

Вот и рассмотрим некоторые из них:

Durban-Batyr

1. БЛОКИРОВКА ПО IP-АДРЕСУ.

Самый простой и самый грубый метод.

Практически все оборудование для маршрутизации трафика (даже из SOHO-сегмента, не говоря уже о чем-то более серьезном) позволяет заносить определенные IP-адреса в черный список. Т.к. транспортные протоколы в большинстве своем имеют простой и однозначный формат, анализ и блокировка трафика производится "на лету" без потери производительности.

Но за простоту приходится расплачиваться.

Во-первых, блокируемый ресурс может сменить свой IP и выйти, таким образом, из-под блокировки.

Во-вторых, на одном и том же IP могут находиться множество виртуальных сайтов. И все они так же будут заблокированы просто "за компанию". А после смены блокируемым ресурсом своего IP, потерпевшими останутся только они – без вины виноватые.

И, в-третьих, заблокировать таким образом можно только прямой доступ к ресурсу. Но при этом ничего нельзя сделать с доступом "с другой стороны": с использованием внешних прокси-серверов — статических централизованных или динамических луковых (система TOR).

Т.е., данный способ не может нравиться никому. И применяется только в следствие недостатка опыта и отсутствия грамотного технического персонала.

ПРЕИМУЩЕСТВА:

• Простота настройки.
• Не требует дорогостоящего оборудования и программного обеспечения.
• Не требует высококвалифицированного технического персонала.

НЕДОСТАТКИ:

• Низкая избирательность блокируемых ресурсов.
• Полностью обходится сменой хостинга с изменением IP-адреса.
• Относительно просто обходится пользователями при помощи прокси-серверов, в том числе с использованием штатных средств некоторых браузеров.

Durban-Batyr

2. БЛОКИРОВКА ПО ДОМЕННОМУ ИМЕНИ.

Это уже более изящный способ. Поясню для интересующихся:

Чтобы "достучаться" до нужного сайта, компьютеру пользователя необходимо знать не только его имя, но и его IP-адрес. Для этого компьютер пользователя обращается к специальному DNS-серверу провайдера с запросом IP-адреса для данного имени сайта. DNS-сервер провайдера предоставляет ему эту информацию. После чего, компьютер пользователя уже связывается по этому IP-адресу с указанием имени сайта, т.к. на одном IP-адресе могут располагаться несколько сайтов.

Но провайдер может выдать вместо действительного IP-адреса ресурса фейковый — фальшивый, недействительный. После чего пользователь будет пытаться подсоединиться к сайту по тому адресу, где этого сайта никогда не было и нет.

Обычно при этом в качестве фиктивного адреса используется IP 127.0.0.1. Этот адрес применяется для закольцовки трафика обратно на компьютер пользователя. Таким образом, запросы к заблокированному сайту не выйдут за пределы пользовательского компьютера и не будут засорять сеть.

Кроме IP 127.0.0.1 пользователю может сообщаться IP ресурса, который будет выдавать страничку с информацией о том, что данный ресурс заблокирован. Этот метод называется DNS-Spuffing.

Все достаточно просто и изящно. Только вот адреса DNS-серверов не даются свыше, а сообщаются провайдером. Так что, никто не мешает в настройках компьютера или домашнего роутера поставить адрес какого-нибудь публичного DNS-сервера, находящегося в другом государстве, для которого постановления наших органов государственной власти не являются обязательными к исполнению

Кроме того, на компьютерах (на компьютерах, а не на планшетах) есть еще своя "записная книжка" адресов. Может быть, это и анахронизм, но достаточно внести в нее IP-адрес для нужного сайта и даже менять настройки на DNS-сервера не понадобится.

Для планшетов и смартфонов это тоже не проблема. Многие планшетные браузеры работают через собственные внешние прокси-сервера (возможно, для этого приходится включить в них соответствующий режим). Так что, получение корректного IP-адреса выполняется как раз этим внешним сервером. Впрочем, оператор связи тоже может блокировать эти возможности.

Для дополнительного усиления эффекта блокировки имени сайта провайдер может так же перенаправить все запросы к внешним DNS-серверам обратно на собственный DNS-сервер (DNS-Redirect) или просто заблокировать порты, по которым идет обращение к внешним DNS-серверам (DNS-Block).

Поясню: номер порта – это такой дополнительный адрес, по которому идет подключение к определенному сервису на данном IP-адресе. Если IP можно сравнить с номером дома, то порт — это уже номер квартиры.

Но тут есть пара моментов!

Во-первых, "внутреннюю записную книжку" адресов по-прежнему можно использовать. А, во-вторых, распределенная DNS-система — вещь весьма тонкая. Сервера в ней постоянно обмениваются информацией для синхронизации. У некоторой организации может быть собственный DNS-сервер, который синхронизируется с DNS-сервером в головном офисе. Так что, блокировка трафика по этому порту, скорее, принесет провайдеру больше проблем, чем положительных эмоций. Причем, очень быстро и неотвратимо.

Поэтому такой способ может применяться только в рамках корпоративных сетей, где и без того существует определенная дисциплина доступа, но затруднена в более-менее крупных сетях, охватывающих множество физических и юридических лиц в качестве клиентов. Во всяком случае, использовать это нужно крайне осторожно. Например, только для частных клиентов.

ПРЕИМУЩЕСТВА:

• Гораздо большая избирательность — блокируется только тот сайт, который нужно блокировать.
• Не требует дорогостоящего специального оборудования и программного обеспечения.
• Не обходится сменой хостинга. Вместо этого требуется смена доменного имени. А это означает, по сути, ликвидацию старого сайта и создание нового.

НЕДОСТАТКИ:

• Требует несколько большей квалификации технического персонала.
• Не позволяет блокировать отдельные страницы сайта.
• Относительно легко обходится пользователями при помощи прокси-серверов или жесткого задания в системе соответствия имени сайта и правильного IP-адреса. Или подключением к публичному иностранному DNS-серверу. Но только в том случае, если провайдер не применяет DNS-Block или DNS-Redirect.

Durban-Batyr

3. АНАЛИЗ URL ПРОХОДЯЩЕГО ТРАФИКА.

Наконец, самый надежный и тонкий способ блокировки по имени — анализ проходящего трафика на уровне заголовков HTTP-протокола. Если в заголовке содержится имя/адрес блокируемого ресурса, то возвращать отказ.

Справка: URL — стандартизированный способ записи адреса ресурса в сети Интернет, включающий в себя схему (протокол), логин, пароль, доменное имя хоста (или его IP-адрес), номер порта, путь к ресурсу на хосте и другие параметры. Но для определения местоположения ресурса в Интернете необходимы из этого только доменное имя, путь и некоторые параметры.

В принципе, этот способ позволяет блокировать работу даже через многие внешние прокси-сервера, если они не шифруют трафик или, хотя бы, URL ресурса, к которому запрашивается доступ.

Кроме того, использование в реестре запрещенных ресурсов полного URL, состоящего из доменного имени сайта, пути и параметров, позволяет блокировать не весь сайт, а определенные его страницы.

Рассмотрим работу системы блокирования по URL по стандартной схеме:

В основе схемы лежит система фильтрации, представляющая собой прозрачный прокси-сервер, устанавливаемый параллельно основному тракту передачи данных.

Данная система фильтрации периодически получает информацию из реестра Роскомнадзора в виде полных URL запрещенных ресурсов.

По доменным именам из полученных URL она определяет IP-адреса запрещенных ресурсов и при помощи протокола динамической маршрутизации перенаправляет трафик на эти IP-адреса через себя.

Остальной трафик идет по основному тракту без задержек.

Перенаправленный трафик расщепляется на HTTP-трафик и прочий.

Прочий трафик проходит через систему фильтрации прозрачно без анализа. HTTP-трафик анализируется по заголовкам. Если в заголовках присутствует URL запрещенного ресурса, то запрос блокируется.

Причем используется не точное совпадение, а с точностью до перемены мест параметров, смены регистра и замены отдельных символов их кодированными представлениями, что повышает устойчивость к попыткам обхода блокировки.

Такая схема называется DPI-IP. При ее использовании проверяются только заголовки HTTP-запросов по запрещенным IP-адресам. Если заголовки проверяются для запросов по всем адресам, то это называется DPI-Full.

ПРЕИМУЩЕСТВА:

• Высокая избирательность. Практическое отсутствие ложных срабатываний и попутной блокировки законопослушных ресурсов.
• Возможность избирательной блокировки не только сайта целиком, но и отдельных его страниц.
• В результате двойного расщепления трафика, анализировать приходится не весь трафик, а только малую его часть, что увеличивает производительность фильтрации (в схеме DPI-IP).
• Сложность обхода, т.к. можно анализировать трафик не только на IP-адреса запрещенных ресурсов, но и на прозрачные прокси-сервера и прокси-анонимайзеры (в схеме DPI-Full).

НЕДОСТАТКИ:

• Для внедрения подобной системы фильтрации требуется приобретение специализированного программного обеспечения, отдельного сервера, выполняющего роль фильтрующего прокси-сервера и внутреннего маршрутизатора с поддержкой протоколов динамической маршрутизации. Позволить себе потратить несколько тысяч или десятков тысяч у.е. могут пока что не все мелкие провайдеры. Но это — только вопрос времени и нажима.
• Заголовки запросов имеют весьма свободный формат. Поэтому проверки должны быть очень сложными. И все равно остается небольшая вероятность не учесть чего-то и оставить лазейку для плагинов или даже ручных методов, так искажающих запрос, что фильтром он не отслеживается, а сервер его обработает нормально.
• По мере разрастания черного списка, сложность и объем вычислений будут возрастать. Если количество блокируемых ресурсов будет расти такими же или даже большими темпами, провайдеры вынуждены будут отказываться от безлимитных тарифов и предоставления высоких скоростей, чтобы иметь возможность проведения такого анализа "на лету". Особенно при работе по схеме DPI-Full.

А ведь еще есть шифрованный HTTPS-протокол. Но т.к. для связи рядового клиента используются самоподписываемые сертификаты, то такое соединение становится уязвимым для прослушки и искажения информации методом "Men in the Middle", т.е. провайдером, осуществляющим передачу трафика. Но это уже немного сложнее и гораздо затратнее с точки зрения производительности. Поэтому блокировка HTTPS-протокола проводится по-прежнему по IP, в лучшем случае по доменному имени, без детального анализа URL.

А еще существуют шифрованные VPN-туннели, при использовании которых вначале создается закрытое соединение с внешним прокси-сервером, а только потом через него устанавливается связь с требуемым ресурсом.
Все это, разумеется, может быть проконтролировано. Весь вопрос только в том, каких средств это потребует. Ведь, одно дело, производить прослушку одного клиента, и совсем другое — массовый контроль.

Durban-Batyr

4. ЧТО ДАЛЬШЕ?

Чем же еще могут нас обрадовать сторонники ограничения доступа?

Кроме блокировки самих запрещенных ресурсов, будет ограничен доступ рядовым пользователям так же к иностранным DNS-серверам, прозрачным прокси-серверам и прокси-анонимайзерам. Законопроект о регулировании трансграничной передачи информации уже принят к рассмотрению.

Так же может в скором будущем будет введено ограничение доступа к VPN-серверам и иностранным центрам сертификации, что сделает невозможным подключение к запрещенным ресурсам по HTTPS-протоколу. Так же будет запрещено центрам сертификации выдавать сертификаты ключей шифрования т.н. "иностранным агентам", шифрованный обмен с использованием самоподписанных сертификатов будет ограничен вплоть до полного запрета. Будет разрешен шифрованный обмен данных только при наличии зарегистрированного открытого ключа шифрования, позволяющего контролировать отправляемую информацию.

Не знаю тонкостей реализации, но уже сейчас некоторые даже частные ресурсы способны выявлять и блокировать работу через систему TOR. В принципе, никто не мешает попытаться сделать это повсеместным на уровне тех же провайдеров. А с принятием закона о трансграничной передаче и о запрете шифрования отправлений незарегистрированными пользователями, это уже получит и правовое обоснование.

Ну и дальнейшее развитие систем фильтрации незащищенных шифрованием передач.

Только это уже не будет блокировка сайтов в Интернете. Потому что Интернета, как такового, не будет. Будет отдельный национальный сегмент сети с очень ограниченными возможностями доступа вовне. К чему мы все и идем …

Durban-Batyr

5. РЕЗЮМИРУЕМ.

Вот, в принципе, и все основные способы блокировок. Как видно, ни один из них в настоящее время не может считаться надежным, — даже самые изощренные и дорогие. Но развитие и внедрение более надежных средств фильтрации — вопрос только времени.

Разумеется, все вопросы решаемы. Все дело только в цене решения. Но вот эту цену нельзя поднимать бесконечно. И даже ограниченно — нельзя. Поэтому рано или поздно подход к блокировке может измениться. Причем, вряд ли в лучшую сторону.

Сначала государство разделило ответственность с провайдерами, следующим шагом будет возложение административной ответственности на конечного пользователя за посещение запрещенных сайтов. И уголовной ответственности за предоставление технических и программных средств (в т.ч. и информации по их использованию) для обхода блокировок.

Мы живем в интересное время. Мир вашему дому!

cyber2009
  • cyber2009
  • Киновед
  • Fri, 17 Nov 2017 03:39:28 +0300

Большая просьба. Конкретные действия по обходу пишите только друг другу в личку и тем кто давно на сайте. На других трекерах как что напишут в темах, так все вскоре уже не работает. Неспроста.
Не раз такое было. Не подставляйте себя и других. smile

ASamoylov

На самом деле, ЛЮБОЙ запретительный метод блокировки можно обойти. Единственная работающая конфигурация – разрешительная. Это когда доступ разрешён только для отдельных проверенных адресов.

Тогда это будет работать. Но боюсь народ взбунтуется против такого.

cyber2009
  • cyber2009
  • Киновед
  • Thu, 07 Dec 2017 21:01:32 +0300

На самом деле, ЛЮБОЙ запретительный метод блокировки можно обойти. Единственная работающая конфигурация – разрешительная. Это когда доступ разрешён только для отдельных проверенных адресов.

Тогда это будет работать. Но боюсь народ взбунтуется против такого.

— Хакер Математики

Согласен. Но народ не спросят.

Добавить комментарий