在俄罗斯阻止互联网的技术方面。 挑战与前景

让我们从免责声明开始吧：以下基本上没有政治问题。 我们将尽可能地绕开行政和法律问题，以免从其余飞机上完全撕掉技术部分。

俄罗斯的网络锁已经存在-这是我们赖以生存的前提，并且必须继续生存。 如果是这样，您需要了解它在技术上如何工作，提供商可以做什么以及不能做什么。 菲利普·库林（ schors ）早就开始收集有关此主题的信息，参加了规范性工作，并参加了各种会议。 结果，现在只有Roskomnadzor对俄罗斯的锁了解更多，但这还不确定。 在裁减下，简要概述了当前的事态。


关于发言人： Philip Kulin（ schors ）Deep Forest LLC的总经理，该公司是俄罗斯的一家小型托管商，主要从事共享托管。

纠结的问题

似乎有锁，也有。 我们不喜欢他们，但也许他们没有错？

实际上，阻塞是一堆问题。

附带损害是最大的阻碍问题。 最为明显的例子发生在2018年4月，当时分别封锁了大块云服务的IP地址，许多服务无法正常工作并遭受了严重破坏。

不断变化的法规和惯例的波动性 。 一年前，这个故事已经完全不同了，两年前，它很可能与今天的矛盾。 一年后，一切都会再次不同。 今天是这样，一个月内-有点不对，半年后根本就没有。 必须对此进行监视，但是也必须有时间工作。

锁很难诊断 。 如果某些资源正好进入注册表的锁中，这是最简单的情况。 在我们稍后将要考虑的情况下，很难将真正的锁定与技术问题区分开。 一个明显的例子-在10月，Yandex将DNS缩短了五个小时，在此期间，许多人设法确定这是对Roskomnadzor的阻止。 确实很难准确确定，而且这种情况已经发生，因此人们立即考虑进行屏蔽。

无法预测您何时会被封锁以及他们是否会被封锁。 您安静地工作，而工作突然结束了。

完全不可能计算风险 ，因为，也许您已经忘记的网站上的某些小部件或整个业务都将受到攻击。 风险不可预测性的一个很好的例子是Bitrix24案例。 三月份，他们迅速将服务转移到了亚马逊。 同月，有文件泄漏到网络，这是真实的，很可能是伪造的，其中注册了大型Amazon子网。 尽管如此，Bitrix24还是对此做出了反应，并在4月亚马逊服务被真正封锁时避免了问题。

我向你保证，你们大多数人都倒霉！ 这些文件不会偶然流入您的手中。 当您的业务结束时，您将在事后了解它。

在简单的情况下，就可以知道您的网站被阻止的原因。 例如，论坛发布了一些法院认为禁止的信息，但您没有时间做出反应。 但是与主管的交流有一个不可接受的时间范围 ，例如一天。 在这段时间内，您可能会在互联网上失去五分之一的业务。

所有这些导致一定的绝望 。 具有讽刺意味的是，例如大卫·霍马克（David Homack）和卢克（Lurk）的封锁可能会引起争议。 但是，发生在您身上的事情则完全不同，因为它曾经发生在我身上。 客户端指出了我不在管理的域上服务器的IP地址-我正在坐着，而电话也不会停下来。 客户说他们要退货，要求退款，但我无能为力！ 没人能帮我这个忙。 这确实是一种完全绝望的感觉。

风险群

锁定关注点：

• 网站和服务的所有者（包括其中）可能会被错误阻止。 否则他们可能会认为某些信息是禁止的。
• 锁定服务的用户也会受到影响。 您的网站被阻止的事实主要与您有关。 但是有些人使用了本网站或服务。
• 两次火灾之间的托管者和提供者。 因为他们需要工作和服务，并且执行主管的要求，因而受到罚款的威胁。 让我提醒您，每项协议的罚款为50至10万卢布。 例如，每月可能有很多这样的协议，并且获得的数量非常可观。

锁的操作原理

首先，我们简要讨论阻塞是如何发生的，以便了解整体情况。

• 联邦行政机关或法院出于某种原因决定禁止提供任何信息。
• 信息被发送到Roskomnadzor，后者必须在被禁站点的注册表中进行输入。
• 一些内部程序更进一步（也有许多内部程序-可以阅读整堂课），因此，Roskomnadzor可以决定阻止该程序，并将该站点添加到所谓的“上载”（即发送给提供商的技术文件）中。
• 此文件的提供者执行限制。
• 供应商验证，已经自动进行了两年。

重要的是要了解流量是由每个提供程序过滤的。 也就是说，不在跨边界路由器或状态过滤器上的某个位置，而是每个提供商在Internet和每个子网中的订户之间设置一个过滤器。 在上图中，验证设备位于订户旁边，因为它本身代表订户-这很重要。

筛选工具

供应商可以从较高的供应商处购买经过过滤的流量。 但是存在一个问题-从较高的提供商那里购买流量时，提供商-买方无法确定技术问题或阻止。 他没有任何工具，因为他收到的流量已经减少，并且这对他的业务影响不大。

或者您可以使用：

• 特殊的综合商业解决方案；
• 开源的开源解决方案（目前只有一个这样的项目）；
• 您的“集体农场”。

没有火箭弹，主要的问题是根本不编写程序。

以下实现选项可用。


例如，您有一个100 Gbps的小通道，则将过滤器置于空白处。


有一些流量镜像，但是通过流量镜像，问题在于它的工作就像弯道一样。 也就是说，过滤器尝试分别比正常答案更快地响应，如果过滤器开始变慢，将被罚款（召回，50-100万卢布）。


选择性路由-到IP地址的流量（可能包括来自“上载”的内容）通过单独的过滤器时。

不幸的是，没有确切的数字，但是从间接的迹象和测试来看，这是如今最常用的过滤流量的方法。

选择性路由可以通过以下事实补充： 用于过滤的IP地址集向上聚合。 也就是说，不仅有几个地址被阻止，整个/ 24网络也立即进入过滤器。 另外，例如，在MTS中的大型提供商具有特殊的安全服务，这些服务专门寻找存在风险的IP块，这些IP块也属于过滤范围。

选择性路由也可以与DNS查询过滤结合使用。 这是一种流行的方法，例如Dom.ru使用的方法。

我们将分阶段分析所有这些带来的问题。

做出阻止的决定

Roskomnadzor做出决定-这立即引起与支持服务的组织有关的问题。 在某些情况下，它必须通知站点的所有者或托管者，但是与此同时，通知的接收者是不准确的（它是从公共数据中获取的，并且并非每个人都支持当前地址），通知丢失了， 没有开放的信息 。

因此，各种各样的坏事都会发生。 主机或站点所有者无法控制对其发出的请求，没有打开的信息。 例如，谷歌有一个包含病毒的站点数据库，您可以在其中注册自己为自主系统，以某种方式确认您是自主系统，并根据自己的情况真正地查看哪些站点在自主系统中传播了“恶意软件”。 锁没有这种东西-您仅依赖到达的通知，您可以及时读取它。

尽管符合标准，但与Roskomnadzor进行互动的条件并没有得到尊重，并且通常有些奇怪-在一天之内发送通知，一天之内做出响应，一天内做出决定。 当您收到通知时，您说您没有此类信息并要求澄清，您可以在几周内得到答复。 也许他们会阻止您，然后他们会回答您仍然有此信息。 我遇到过这种情况，但很少有人提起诉讼-我一点也不知道这种情况。

同样，如果收到通知，您将无法始终了解其含义。 在大多数情况下，Roskomnadzor通常会描述其含义。 但是即使在我们的实践中，也有3种微型主机的情况，当描述不清楚我们在谈论哪种信息时。 我什至不知道该写什么给客户-罗斯科姆纳佐（Roskomnadzor）仅在法庭上发布决定的会议记录和案文，尽管他们有这样的文件。

申请“卸货”的时间

因此，做出了决定，提供商下载了“上载”，然后必须对其进行处理。 有多快的选择：一天或立即。

重要的是要分配一天来阻​​塞资源并进行解锁，如果突然做出了决定对其进行解锁的决定。 对于许多人来说，这是作为夜间交换机更新来完成的。 根据我的经验：我没有及时收到通知，资源被阻止，问题已解决，但是您等了一天，他们才能取消阻止。 但是企业不等，就有损失。

但是现在在规范中， “立即”一词听起来很频繁，经口头同意，这是一个小时 。 但是，今天有口头协议，明天则没有。 基本上，“立即”一词现在是指关于极端主义的检控决定。

要了解如何过滤所有内容，您需要了解“排放”中的内容。 根据锁的类型和解决方案的详细信息，列出了XML中的四种类型之一的条目列表：

1. URL +域+ IP地址；
   
2. 域+ IP地址；
   
3. 带有掩码（* .example.com）+ IP地址（a）的域；
   
4. IP地址（a）-当然有一个地址，它已被完全阻止。
   

为了弄清楚有什么问题，以下是2019年1月22日的统计数据。


重要提示：只有13.9万条记录，最流行的阻止类型是“按域”阻止。 这些是HTTP和HTTPS协议。

毒性“卸货”

在阻止资源之前，提供程序必须解析“卸载”。 这也有问题。 我特别提请注意以下事实：“卸载”不是注册表，而是发布给提供者的技术文档，以便它根据其进行决策。 但是，尽管如此，提供者仍必须进行非常大的“卸载”处理。

例如，在“上载”中有冗余 ，记录彼此重叠。 如果使用URL，则并不意味着该URL中包含的域不会受到任何阻止。 现在，它们的数量并不多，只有三千多。

“上载”包含带有片段（＃）和会话的URL 。 通常这很可怕，因为您需要了解测试的进行方式。

提供者应将“上载”恢复为正常形式，因为它包含错误的URL和域。 基本上，现在只找到反斜杠。 有差距，但很快就会消除，由于某种原因，反斜杠会产生特殊的“爱”。 好吧，有了反斜杠，他们就决定了这个问题，但是是否有加号呢？ 因此，应该始终有监控，总有事情要做。

我再次提请注意提供者的问题就是我们的问题 。 提供者做什么？ 十万卢布的激励是一个很好的激励，可以确保在出现任何问题的情况下，即使有任何问题的提示，也要立即剁碎，然后弄清楚。

“卸载”那些没有“被IP地址阻止”的IP地址的相关性，但是其余所有（按域，按URL，按掩码阻止）看起来像这样。


从字面上看，一半以上是有意义的，其余的是百果馅。

检查锁

我将从头开始。

在俄罗斯实施锁的整个历史就是检查这些锁的历史。

我不知道在国外怎么走，与我们在一起绝对是检查的历史。 所有的锁都不是照着写的去做，而是怎么做，而是在检查时，因为没有人喜欢付罚款，尤其是十万美元。

在禁止网站的注册之前，有一份司法部的极端主义材料清单（现在存在，现在只是在注册表中，然后是单独的），并且对该清单上的锁进行了检察检查。 我是微型托管人，因此设法阻止了我的此类资源。

现有检查类型：

• 实地检查（主要是内政部，金融稳定委员会和检察官办公室）-很少，但有。
• AS“检查器”是一种最受欢迎​​的自动化系统，用于检查所有提供商。

“检查员”站在过滤器后面，并假装为订户。 但是设备本身不执行任何操作，它接收任务并向某个控制中心（即 它是提供商网络内部的一个远程外壳。 它的行为非常类似于RIPE Atlas 。

自动化系统的控制中心是一项真正的高负荷服务，因为我们有4000名电信运营商，他们没有一个网络，但是每个网络中必须有一个盒子。 即，不是每个提供商，而是每个提供商的每个网络中 。 因此，控制中心存在某些问题。

问题：支票本身是否有问题？ 当然有

验证问题

在SPECTRUM-2017（由Roskomnadzor主持的论坛）Veklich A.A.，主要无线电频率中心（RFRC）的联邦国家统一企业负责人之一 报告了对提供商“检查员”进行检查时到底存在哪些技术问题的完整报告 。

验证问题：

• “检查员”是否将其视为提供者或资源的过滤器？ 也许是其中一个人发现了“ Inspector”数据库，并且所有站点都只是发出了一个看起来像提供商存根的存根。
• 阻塞率 -对于所有类型的阻塞（对于HTTPS，域，IP地址），什么标志着资源被阻塞？ 例如，您需要按IP地址扫描端口，这是一个整体问题。
• 其他协议的阻塞率。
• 如何通过掩码检查域 ？ 星号下可以有不同的IP地址，不同的域。 我可以在整个频段上放一个滤波器吗？ 并检查-有选择地还是生成一些哈希？ 我必须马上说，有这样一种锁，但是没人检查它。

AS“检查员”的工作方法

根据这些问题，创建了“审查员”的工作方法。


是的，您的幻灯片充分说明了该技术。 我不太了解您可以在逻辑上接受它。 对我们而言，所有这些都转化为以下事实：提供商正在设法以某种方式解决此问题，并使其对自己方便，而对我们却并不总是方便。

没有技术就能工作，许多提供者已经获得了生存经验。 总的来说，整个阻塞技术都是一条经验主义的道路，即使是现在，当某种技术已经稳定下来时，它也会花费金钱，神经，跌倒。

有一个非正式的聊天室（在Telegram以及其他地方，这是非凡的聊天室），提供商可以在其中与射频中心的员工进行通信。 最有趣的是，您可以在那里获得真正的帮助，国家储备中心的员工可以帮助提供者解决问题，并告诉“检查员”如何工作。 但这都是非官方的，没有文件。

Roskomnadzor在限制进入的方式和方法上有一项规范，已在司法部注册。 特别是在最后，因为它的优先级最低。 提供者的行为不像法规中所写，而是验证方法的工作方式。

“卸载”的工作技巧

根据标准和获得的经验，我将告诉您它们如何“卸载”，即如何阻塞我们的资源。

通过URL ：

• 如果它是普通的HTTP协议，请按标题过滤。
• 如果加密协议为HTTPS-过滤为“域”

为什么通常不清楚带有加密协议的URL，这就是冗余。

按域：

• 通常的HTTP协议是按Host标头过滤的。
• HTTPS加密协议-或DNS过滤器； 或按SNI标头进行过滤（在建立加密连接时，将传输内部包含域名的未加密标头）； 或按IP地址过滤。
• 建议使用IP地址来阻止其他协议，但是由于“检查器”不检查此协议，因此有人进行了检查，有人没有进行检查。

该标准确实指出，在第二种情况下，“按域”锁定不能被IP地址阻止。 但是提供者开始对过滤器进行垃圾处理时，会立即包括另一个级别，以免被罚款。 这样的故事并不少见，自然会给企业带来额外的损失。

从理论上讲，提供者使用掩码过滤域，就像没有星号的域一样。 由于再次没有检查，所以也没有问题。

他们知道如何过滤IP地址和IP地址块 -有时就在边缘路由器上。

认真的参与者

我们知道，不仅“邪恶的”人被封锁，而且认真的互联网参与者也被封锁。 例如，当某人无意在其主机上保留被禁止的信息，但没有读过信或未收到通知时。

第二类是外国参与者。 他们生活在法律领域，没有违反法律。 他们可以嘲笑，例如受贿，他们看不出有什么毛病。 例如，托管人甚至无权删除此信息，因为法律不适用于他们。 他们不是邪恶的人，但是锁也击中了他们。

过滤问题

让我们看一下问题，谈论DNS过滤，这是规范推荐的。

第一个问题： DNS来自何处 ？ 确实，可能发布了禁止的信息，但是DNS代表了人们所需的服务，就像DNS，例如IP地址一样。 伪造DNS时，一切都不是很好，原因还不清楚。

第二点是DNS拦截的实现。 ( — ), . , .ru DNS, , DNS.

, . . , .

DNS (DNSCrypt, DoT, DoH) DNS.

, IP, HTTP/HTTPS. ? , , , Telegram ( ) — ? !

— , — , 443: SNI, SNI (ESNI) , , QUIC, DNSCrypt, VPN, MTProto-proxy?

, , Google, SNI, DNSCrypt 443 . -. , , HTTPS, . , .

, , 100 . , IP-, . , , , .

, « !». «» , «», , . , . - 100 , .


— , . IP, , «» IP . , IP ( ), , , .


: IP , «» IP, , , «» — . , , .

:

• ;
• ;
• , .

. , . , LiveJournal - - CDN, /23 IP. , , .

«»

«», , «», , , . , «». «» , , .

«» 200 «» , . , , . , , .

?


, , . MSK-IX, MSK-IX , . - DNS-.

DNS- , - «» , IP- , , IP- , .. - , , .

, , , . , , «», , 5 2017 .

. , . DDoS, .

, - - ?


14 2018 : , «» . - 4 , 400 , 4 000 IP-. , , - 600 , 20% TK .

:


, IP- «». 5 : « — - ?» . , IP ( ), , : DIGITAL RESISTANCE.

: « !», . , , - . , 2 , 2 , - . «» «» 4 000, , . , , — 1538.

, — - !

, . , - : - , . , . , , DNS- — , , . «» , .

, - HTTP , . Motobratan.ru , . , .

- , :

• «»;
• , «» ;
• ;
• .

, — . , , . «». «», , : «, , !» «» , - . - .

, , «», .

, , — . :

• .
• — , , .
• — ? , Kubernetes , — Continuous Integration!

— DPI , , . , DPI . -, - , . DPI , , DPI, . . DPI , , .

— DNS , .

• , DNS , — .
• , . , , .
• , DNS, «» .

: Telegram?

, : . Telegram , , , DPI . , , , Telegram.

, .

, , Telegram- @usher2 schors

HighLoad++ 2018. — , . , , Saint HighLoad++ .