哈Ha！
今年，在编写有关公司当年工作的最终文档时，我们决定拒绝重述此消息，尽管我们无法完全摆脱发生的事情的回忆，但我们想与您分享我们设法做的事情-汇集思想并转向我们到现在，我们肯定会在不久的将来找到自己的位置。
事不宜迟，去年的主要发现：
- DDoS攻击的平均持续时间降至2.5小时；
- 2018年表明，在一个国家或地区内部，存在能够以每秒数百吉比特的强度进行攻击的计算能力，这使我们进入了“带宽相对论量子论”的边缘；
- DDoS攻击的强度持续增长。
- 同时增加使用HTTPS（SSL）的攻击份额；
- 个人计算机已经死了-大多数现代流量都是在移动设备上生成的，这对DDoS组织者来说是一个挑战，对网络安全公司来说是下一个挑战。
- BGP最终成为攻击的载体，比我们预期的晚了两年。
- DNS操作仍然是最具破坏性的攻击手段。
- 我们预计将来会出现新的放大器，例如memcached和CoAP。
- 互联网上不再有“避风港”，所有行业同样容易受到任何形式的网络攻击。
削减后，我们将报告中最有趣的部分集中到一处，您可以在
此处找到完整的版本。 好好阅读。
回顾性
攻击者对加密不再感兴趣2018年，我们公司“注意到”其自身网络上的两次记录攻击。 我们在2018年2月底详细描述了具有内存缓存放大的攻击，以500 Gbit / s的强度攻击了Qiwi支付系统，但已被过滤网络成功抵消。 10月底，我们看到了另一项具有里程碑意义的攻击-DNS放大，其源位于单个国家/地区，但功能却空前。
DNS放大一直是并且仍然是最著名的链路级DDoS攻击媒介之一，并且仍然引起两个尖锐的问题。 如果发生每秒数百吉比特的攻击，则很有可能使与更高提供者的连接超载。 怎么处理呢？ 显然，有必要在尽可能多的通道上分配这样的负载-这导致我们遇到第二个问题-由于流量流向其处理位置的变化而增加了网络延迟。 幸运的是，由于Qrator网络中灵活的负载平衡选项，我们还处理了第二次攻击。
这就是平衡向我们展示的最大价值的方式-由于我们管理任意播BGP网络，因此Radar在更改平衡模型后对网络上的流量分布进行建模。 BGP是一种距离矢量协议，我们对状态非常了解，因为距离图几乎保持静态。 通过考虑LCP和等价多路径分析这些距离，我们可以高度准确地预先估计从A点到B点的AS_path。
这并不意味着放大是最严重的威胁-不，应用程序级别的攻击仍然是最成功，最隐蔽和最有效的，因为大多数攻击都是在所用频段的低强度下进行的。
这是我们公司毫不妥协地改善与运营商在现场的联系，同时增加其数量的主要原因。 如果业务在增长，那么目前对于任何网络运营商而言，这一步骤都是合乎逻辑的。 但是我们仍然相信，大多数攻击者首先会收集一个僵尸网络，然后才从最广泛的可用放大器列表中进行选择，这些放大器可以以最大装弹速度从所有可能的武器中命中。 这种混合攻击已经发生了很长时间，但直到最近，它们的强度（每秒的数据包数量和所涉及的网络带宽）才开始增长。
强度超过100 Gbit / s的攻击现在在统计数据中清晰可见-这不再是噪音僵尸网络在2018年取得了长足发展，其所有者提出了一项新的活动-
点击欺诈 。 随着机器学习技术的改进以及无GUI的无头浏览器的使用，单击欺诈在短短两年内变得更加容易和便宜。
如今，普通网站从移动设备，其浏览器和应用程序接收的流量占50％到65％。 对于某些网络服务，此份额可以达到90％甚至100％，而实际上除了公司环境内部或以高度专业化的案例形式存在之外，几乎不存在专门的“桌面”网站。
实际上，个人计算机到2019年已从网络格局的顶峰消失了，在过去已经取得了一些成功的技术，例如跟踪鼠标的位置，完全无法过滤流量和防御僵尸程序。 实际上，不仅是个人计算机，而且大多数笔记本电脑和多功能一体机也很少成为页面访问的重要来源，而很容易成为一种武器。 一次，一次拒绝访问任何不正确代表移动浏览器的行为直到最近才足以完全抵消来自僵尸网络的攻击，从而将关键业务指标的负面影响降至零。
僵尸网络的创建者和管理者已经习惯于实施将实际页面访问者的行为模仿为自己的恶意代码的做法，就像网页所有者已经习惯于个人计算机上的浏览器很重要。 两者都经过修改，而前者要快于后者。
我们已经说过，2018年没有发生任何变化，但是进步和变化本身发生了重大变化。 机器学习是最突出的例子之一，在机器学习中，改进和进步是显而易见的，特别是在生成竞争性网络领域。 ML肯定会慢慢地进入大众市场。 机器学习已经变得相当实惠，并且正如2018-2019年的边界所示，机器学习不再是仅限于学者的行业。
尽管我们预计到2019年初会出现首批基于ML的DDoS攻击，但到目前为止还没有发生。 但是，这不会改变我们的期望，只会助长他们的期望，特别是考虑到管理神经网络的成本不断下降以及其分析的准确性不断提高。
另一方面，如果我们考虑“自动化的个人”行业的现状，则很明显，在这种设计中实现神经网络是一个潜在的突破性想法。 这样的网络可以在管理网页的上下文中从真实的人的行为中学习。 这样的事情将被称为“人工智能的用户体验”，当然，类似的配备有网络浏览器的网络可以扩大双方的武器库：攻击和防御。
训练神经网络是一个昂贵的过程，但是在恶意代码隐藏在被黑客入侵的应用程序，扩展等内部的情况下，分发和外包这样的系统可能是便宜，高效，甚至免费的。 潜在地，这种变化可能以与生成竞争性网络相同的方式改变整个行业，这种网络改变了我们对“视觉现实”和“真实性”的理解。
鉴于搜索引擎（主要是Google）和其他所有试图对其进行反向工程的人之间的竞赛一直在进行，因此事情可能会变得很奇妙，例如由机器人模仿一个特定的人。 通常坐在易受攻击的计算机上。 Captcha和ReCaptcha项目的版本可以作为攻击方如何快速而强大地开发和改进自己的攻击工具和技术的示例。
进行内存缓存后，有很多人谈论针对DDoS的全新武器类的可能性（或不太可能），即漏洞，机器人，配置错误的服务或其他可能无休止地为攻击者选择的特定目标发送数据的东西。 攻击者发出的一条命令会导致连续不断的通信流，例如任何洪灾或发送系统日志。 目前，这是一个理论。 我们仍然不能说是否有这样的服务器，设备，但是如果这个问题的答案是肯定的，那么说这样的事情在邪恶的手中会变成非常危险的武器将是一种低估的情况。
在2018年，我们还看到了来自全球各州和非营利组织对所谓的“互联网治理”及相关服务的兴趣日益浓厚。 我们对事件的发展持中立态度，直到基本民权和个人自由受到压制的那一刻开始，我们希望这不会在发达国家发生。
最后，经过多年收集和分析全球攻击流量后，Qrator Labs准备对第一个网络请求实施阻止。 我们用来预测恶意行为的模型使我们能够针对每个特定页面准确确定用户的合法性。 我们继续坚持我们自己的无障碍登录理念，即为用户提供无障碍登录和无与伦比的用户体验，而无需JavaScript检查或验证码（captcha），它们将从2019年开始甚至更快地工作，提供最高级别的受保护服务可访问性。
攻击带的最大强度持续稳定增加。梅拉诺克斯
经过几年的内部测试，我们公司选择了100G Mellanox交换机。 在某些情况下，我们仍会以最佳方式选择最能满足我们特定要求的设备。 例如，交换机不应以线速丢弃小数据包-最高速度，甚至最小的降级也是不可接受的。 此外，Mellanox交换机价格合理。 但是，这还不是全部-价格的公平性是由特定供应商响应您的请求的方式确定的。
Mellanox交换机在Switchdev上运行，它将其端口转换为Linux内部的简单接口。 作为主要Linux内核的一部分，Switchdev提供了一种便捷的方法，可在一个API下使用清晰，熟悉的界面管理设备，这是任何现代程序员，开发人员和网络工程师都绝对熟悉的。 使用标准Linux网络API的任何程序都可以在交换机上运行。 可以轻松访问为Linux服务器创建的所有网络活动监视和管理，包括可能的专有解决方案。 为了说明随着Switchdev的积极开发而发生的变化，我们注意到路由表的修改已经变得更快，更方便了。 直到网络芯片级别，所有代码都是可见且透明的，这使您可以学习和进行修改，直到您需要了解芯片本身或至少外部的接口是如何构建的。
事实证明，运行Switchdev的Mellanox设备是我们期待已久的组合，但更好的是-制造公司满足了所有期望和要求，不仅涉及全面支持开箱即用的免费操作系统。
在投入使用之前对设备进行测试，我们发现部分重定向流量丢失了。 我们的调查表明，这是由于以下事实：到接口之一的流量是使用无法处理大量流量的控制处理器发送的。 无法确定此行为的确切原因，但是，我们建议这是由于处理ICMP重定向引起的。 Mellanox确认了问题的根源，因此我们要求对设备的这种行为进行处理，该公司通过在短时间内提供有效的解决方案立即做出了回应。
干得好，Mellanox！
协议和开源
HTTP-over-HTTPS比TLS-over-TLS更全面。 我们观察到前者如何蓬勃发展，而第二者却被缓慢地遗忘了。 此示例很好，因为在这种特定情况下，“复杂性”表示“效率”，因为DoH流量与任何其他HTTPS都无法区分。 我们已经在RPKI数据集成中看到了同样的事情，它最初是作为一种防拦截解决方案而定位的，结果没有发生任何变化。 一段时间后，RPKI作为一种强大的工具再次出现在现场，以应对诸如路由泄漏和错误的路由设置之类的异常情况。 现在，噪声被转换为信号，并且最大的流量交换点开始支持RPKI，这是一个好消息。
到达TLS 1.3。 与整个IT行业一样，Qrator Labs在每个阶段都密切监视开发新加密标准的过程，从IETF的初始草案到易于理解且易于管理的协议，我们准备在2019年开始支持该协议。 市场做出类似反应，承诺尽快实施受信任的安全协议。 并非所有DDoS中和解决方案的制造商都将能够同样迅速地适应变化的现实，因为由于支持协议的技术复杂性，硬件中可能存在可解释的延迟。
我们还将关注HTTP / 2的持续开发。 目前，我们不支持HTTP协议的新版本，主要是由于当前代码库的不完善。 在新代码中仍然经常发现错误和漏洞； 作为安全解决方案的提供者，我们尚未准备好在我们的消费者同意的SLA下支持此协议。
在2018年，我们经常问自己一个问题：“为什么人们这么想要HTTP / 2？”，这是无数激烈辩论的原因。 人们仍然倾向于将带有前缀“ 2”的事物视为任何事物的“更好”版本，尤其是在实现该协议的某些方面尤其如此。 尽管如此，DoH建议使用HTTP / 2，并且由于这种协同作用，很有可能在市场上接受这两种协议。
在考虑开发下一代协议及其计划的功能时，担心之一是事实是，开发经常不会超出纯粹的学术水平，更不用说考虑协议创建者的极端情况，例如中和DDoS攻击。 也许这就是从事网络和信息安全的公司很少花精力开发此类标准的原因。 IETF草案的标题为“ QUIC可管理性”的
第4.4节 （是未来QUIC协议包的一部分）只是此方法的理想示例：它指出“检测和消除[DDoS攻击]的当前实践主要涉及使用网络层数据。” 后者在实践中极少使用，除了Internet提供商的网络以外，在实践中几乎不是“常见情况”。 但是，在学术研究论文中，以这种方式形成了“一般情况”，其结果是最终协议标准根本不适用于生产，在进行了诸如在负载下进行测试以及模拟对应用程序的应用级别攻击之类的调试之前，进行了简单的操作后，使用。 考虑到将TLS引入全球Internet基础结构的持续过程，通常会严重质疑任何被动监视的主张。 建立正确的学术研究是2019年安全解决方案提供商的另一项考验。
同时，Switchdev完全满足了一年前的期望。 我们希望关于Switchdev的持续工作将在不久的将来带动社区和工作的共同成果取得出色的成果。
Linux XDP的进一步开发和实施将帮助业界实现较高的网络数据包处理效率。 从中央处理器到网络处理器，甚至在某些情况下，甚至从非法处理器向网络处理器运送一些非法流量的过滤模式，已经看起来很有希望，我们公司将继续在这一领域进行自己的研发。
通过机器人进行深潜
许多公司都渴望获得机器人的保护，不足为奇的是，我们在2018年看到了许多不同的专业人士小组致力于此问题的各个领域。 对我们来说似乎特别有趣的是，大多数产生这种需求的公司从未经历过针对DDoS的攻击（至少是典型的），这种攻击旨在耗尽内存，处理器或网络连接通道等有限资源。 他们害怕机器人，但是他们无法将它们与合法用户区分开来，也无法确定他们到底在做什么。 这种呼吁的大多数来源都希望摆脱那种无生命的人们来到他们的页面的感觉。
僵尸扫描程序和许多其他亚种的问题是非常重要的经济因素。 如果根据费用的逻辑，如果30％的流量是非法的并且来自不需要的来源，那么支持这种流量的30％的成本将被丢弃。 今天，人们可以将其视为对企业不可避免的“互联网税”。 这个数字几乎不可能减少到零，但是企业主希望看到这个百分比尽可能的低。
身份识别正在成为现代Internet上的一个极为严重的问题和挑战，因为最先进的bot甚至没有试图刻画一个人-他们控制它并以与寄生虫相似的方式与它处于同一空间。 我们已经重复很长时间了，任何公开的，未经身份验证和授权的信息都存在，并且最终将以公共领域的形式结束其存在-没有人能阻止这一点。
, . , — , , - . — , , , , . , — .
, , , , .
, , , . , , «» . — , , , , . , . , , - , .
, , 2018 , , , , . , . Qrator Labs , — , .
, 2018 , , . — , . , , . , — .
, , — «», . , , , — , . , , , , . , — - , .
, Qrator Labs , , , -. , , . , , , , javascript- DDoS. , , -.
, , . , — , , . , , : « ?» « ?» , - , , ? — , , , — .
2018 , , -. , , , - … CPA , -, , , .
— . , . , — ; , «» , , , .
Clickhouse
Qrator : , , , , . IP-.
, , .
Clickhouse. , IP- , Clickhouse. ( DDoS- 500 / ) , Qrator Labs. DDoS- , , .
Clickhouse DB . , , - . DDoS-, .
Clickhouse, , , — , , , . , !
结论
长期以来，我们一直生活在多因素攻击的世界中，这种攻击同时利用多种协议的攻击功能使目标脱离健康状态。
数字卫生和相关的安全措施应该并且实际上应覆盖普通用户可能遇到的现有风险的约99％，除了可能仅针对特定目标的高度专门的攻击。
另一方面，在现代互联网上，有些鲨鱼可以咬住整个州的可及性。 这不适用于BGP，在BGP上，攻击者可能想要绘制的任何地图上只能偿还某些点。
有关网络安全性的知识水平不断提高。 但是，如果您查看与网络中的放大器数量相关的数字，或者查找虚假请求的可能性，则易受攻击的服务和服务器的数量不会减少。 年轻人每天获取有关编程和计算机网络管理技能的知识的速度与获得现实生活中的相关经验所需的时间并不对应。 新产品不会带来新漏洞的信心需要花费很长时间，最重要的是-这很痛苦。
过去一年中最令人惊讶的发现之一是，大多数人对新技术的期望远远超过了他们所能提供的。 并非总是如此，但是现在我们看到人们越来越在乎“需求更多”，而无论软件，特别是硬件的功能如何。 这使我们进入了一个相当反常的营销活动的世界。 但是，尽管如此，人们仍然继续“承诺”，而公司反过来又有义务履行承诺。
也许这就是进步和进化的本质。 现在，许多人对没有得到“保证”以及为之付款的事实感到不安。 由于不可能从制造商那里“完全”购买设备，因此今天的许多问题都在增长，但是如果您考虑到不需要付费的大型社交网络从用户那里接收到的数据的累计成本，那么“免费”服务的成本可能会变得惊人。
消费主义告诉我们，如果我们真的想要一些东西，那么最终，我们将付出自己的生命。 我们是否真的需要类似的产品和服务来改善自身，以便根据我们收集的有关我们的数据向我们提供“改进的报价”，无论我们是否喜欢？ 不过，这似乎是不久的将来，因为Equifax和Cambridge Analytica的案例最近向我们展示了。 摆在我们面前的是使用与每个人的个人生活有关的个人数据和其他数据的“大爆炸”也就不足为奇了。
经过十年的工作，我们没有改变有关Internet体系结构的关键基础。 这就是为什么我们继续开发BGP任播过滤网络的原因，该网络具有以这种形式处理加密流量的能力，避免了验证码和其他合法用户无法预料的障碍。
观察网络安全领域的专家以及该领域公司的情况，我们再一次想重复一遍：天真，简单，快速的方法不适用。
因此，Qrator Labs没有可与CDN媲美的数百个甚至数十个存在点。 通过管理更少的过滤中心，每个过滤中心都连接到不低于Tier-1级别的Internet服务提供商，我们实现了真正的分散化。 出于同样的原因，我们没有尝试建立自己的防火墙，这与我们正在研究的防火墙完全不同。
多年来，我们说到最后，验证码和javascript验证都不会起作用，而现在是2019年，那时神经网络在解决前者方面变得非常有效，而后者从来没有给大脑的攻击者带来问题。
我要指出的是，在时间边界上还有一个有趣的变化：DDoS攻击长期以来一直是严重的问题，仅适用于有限的业务部门，通常是那些表面上摇摇欲坠的业务：电子商务，贸易和交易，银行和支付系统。 但是随着Internet的不断发展，我们看到Internet绝对所有部分的DDoS攻击的强度和频率都在增加。 DDoS时代始于家用路由器带宽的一定阈值，并且随着微芯片的出现，攻击环境中的每一个物理事物都开始迅速变化也就不足为奇了。
任何期望这种趋势发展结束的人很可能是错误的。 正如我们做错了一样，已经编写了许多预测。 没有人可以肯定地说互联网在未来几年将如何发展和传播自己的影响力，但是回顾我们所看到的，很明显的一件事-一切都会成倍增加。 到2020年，连接到网络的设备数量应超过300亿，更不用说一个简单的事实了，即机器人长期以来产生的流量比人类多得多。 很快，我们将不得不决定如何处理所有这些“智能”，无论是否人为，因为我们仍然生活在一个人类对自己的行为负责的世界中，无论对错。
对于黑暗面而言，2018年是机遇之年。 我们发现攻击有所增加，与此同时使攻击复杂化，并增加了网络数量和频率。 恶棍获得了强大的工具，并花了很多时间研究它们，而好家伙所做的只是观察他们的进步。 我们衷心希望今年至少在最痛苦的地方至少有所改变。
→
链接到俄语的完整报告版本。