在制定今年的年度报告时，我们已决定避免重述上一年的新闻头条，尽管几乎不可能完全忽略回忆，但我们希望与您分享清晰的思想和战略观点，我们所有人都将在最近的时间-现在。
抛开介绍词，这是我们的主要发现：
- 平均DDoS攻击持续时间降至2.5小时；
- 在2018年期间，该功能在一个国家或地区以每秒数百吉比特的速度出现攻击，这使我们濒临“带宽相对论量子论”；
- DDoS攻击的频率持续增长；
- HTTPS启用（SSL）攻击的持续增长；
- PC已死：如今，大多数合法流量都来自智能手机，这对DDoS参与者今天是一个挑战，对于DDoS缓解公司而言，这将是下一个挑战。
- BGP最终成为攻击媒介，比我们预期的晚了两年。
- DNS操作已成为最具破坏性的攻击媒介。
- 其他新的扩增载体也是可能的，例如memcached和CoAP;
- 不再有不受任何形式的网络攻击侵害的“安全产业”。
在本文中，我们尝试挑选报告中所有最有趣的部分，但是如果您想阅读英文的完整版，
则可以使用PDF 。
回顾性
2018年，我们公司“庆祝”其网络上两次破纪录的攻击。 我们在2018年2月下旬详细描述了Memcached放大攻击，对于Qrator Labs的客户Qiwi付款平台而言，它达到了500 Gbps。 然后，在10月下旬，我们收到了针对俄罗斯联邦内一位客户的高度集中的DNS放大攻击。
DNS放大是一种古老的，众所周知的DDoS攻击媒介，主要是体积攻击，它会引起两个问题：如果每秒发生数百吉比特的攻击，则很可能使我们的上游通道超载。 怎么打呢？ 显然，我们必须将这样的负载分散在许多通道之间，这导致了第二个问题-由于更改了到我们处理点的流量而导致的延迟增加。 幸运的是，我们仅通过负载平衡就成功缓解了这种特殊攻击。
这就是灵活的负载平衡证明其真正价值的地方，并且由于Qrator Labs管理着一个任意播BGP网络，因此Radar在调整负载平衡之后，对整个网络中的流量分布进行建模。 BGP是一种距离矢量协议，我们知道这些状态，因为距离图保持静态。 分析这些距离并考虑LCP和等价多路径，我们可以高置信度地估计从A点到B点的AS_path。
这并不是说放大是最危险的威胁-不，应用程序层攻击仍然是最有效，前卫和无形的，因为它们大多数都是低带宽的。
这是Qrator Labs根据存在点升级与操作员的连接的主要原因，同时也扩大了存在范围。 假设网络数量正在增长，这对于任何网络运营商来说都是自然的一步。 但是，从攻击者的角度来看，我们认为收集一个中等水平的僵尸网络是很普遍的，只有在此之后，才专注于寻找最丰富的可用放大器阵列，以尽可能高的装填率从所有枪支中进行打击。 混合攻击在这里，带宽，数据包速率和频率都在增长。
僵尸网络在2018年有了长足发展，其主人为他们找到了新工作-单击欺诈。 随着机器学习和无头浏览器引擎的兴起，点击欺诈比几年前变得容易得多。
如今，一个普通的网站从移动设备，智能手机浏览器和应用程序接收大约50％到65％的访问量。 对于某些Web服务，这个数字接近90％或100％，而如今仅台式机的网站在企业环境或某些临界情况下很少见。
PC在2019年基本上已经死了，这使得一些惯用的方法（如鼠标移动跟踪）对机器人跟踪和过滤完全无用。 实际上，不仅PC（带有所有闪亮的笔记本电脑和多合一台式机）很少是与某些网站的主要流量共享的来源，而且它通常越来越成为罪犯。 有时，仅拒绝访问不适当的智能手机浏览器便足以缓解僵尸网络攻击，同时完全对关键业务绩效指标产生零负面影响。
僵尸网络作者习惯于在其恶意代码中实施或模仿台式机浏览器的行为，就像网站所有者习惯于认为PC浏览器确实重要一样。 后者最近发生了变化，因此在几年之内，前者也应该发生变化。
我们已经说过，2018年没有发生重大变化，但是变化和进步保持了稳定的步伐。 机器学习是最重要的例子之一，在机器学习中，改进尤其明显，特别是在生成对抗网络方面。 慢慢地，但稳定地，ML进入了大众市场。 机器学习世界变得越来越容易访问，到今年年底，它不再局限于学者。
我们预计到2019年初将出现首个基于ML的DDoS攻击，但仍未发生。 我们期望这样的发展是因为目前ML生成数据的成本较低，但显然还不够低。
如果您想到“自动化人类”行业的当前状况，那么将神经网络置于这一之上并不是一个坏主意。 这样的网络将在管理网页内容的背景下学习真实的人类行为。 这就是每个人都称为“ AI用户体验”的东西，当然，这种配备有浏览器引擎的网络可以为双方（进攻和防御）产生非常有趣的武器库。
当然，教网络是很昂贵的，但是分发和外包这样的系统可能是非常负担得起的，而且可能是免费的，尤其是在考虑了恶意软件，黑客入侵的应用程序等的情况下。 这种变化可能会影响整个行业，就像GAN改变我们对“视觉现实”和“可信赖性”的看法一样。
由于这也是首先使用Google的搜索引擎与其他所有人都试图对算法进行逆向工程之间的竞赛，因此它有可能会出现一种情况，即机器人将不会模仿随机的人，而是会模仿特定的人，例如通常坐在选定的易受攻击的计算机后面。 Captcha和Recaptcha的版本可以用作攻击者如何改进其工具和攻击技术的示例。
在进行内存缓存之后，有很多人谈论一种新型的DDoS攻击武器的可能性-漏洞，僵尸程序，受到破坏的服务，这种攻击可以永久地将特定数据发送到攻击者选择的特定地址。 攻击者发出的一条命令可能会释放持续不断的流量，例如syslog或大量洪水。 那只是一个理论。 我们不能说是否确实存在这样的服务器或设备，但是如果它们确实存在，那么轻描淡写地说它们可能在错误的手中代表了极其危险的武器。
在2018年，我们还看到来自世界各地的各种政府和非营利组织对互联网治理和相关服务的兴趣日益浓厚。 我们认为这是一种中立的发展，直至基本自由可以受到压制为止，我们希望这种情况不会发生，特别是在发达国家。
经过多年收集和分析全球攻击流量的经验，Qrator Labs现在正在实施第一个请求块。 我们用来预测恶意行为的模型使我们能够高度自信地确定用户是否合法。 我们坚持不间断用户体验的中心理念，没有JavaScript挑战或验证码，并且在2019年，我们希望实现阻止第一个恶意请求突破防御的能力。
梅拉诺克斯
根据前几年的内部测试，我们选择了100G Mellanox交换机。 在特定情况下，我们仍然会选择能够满足我们需求的设备。 首先，交换机在以线路速率工作时不应丢弃任何小数据包-完全不会有任何降级。 其次，我们喜欢这个价格。 但是，还不是全部。 始终通过供应商对您的规范的反应来证明成本。
Mellanox交换机在Switchdev下工作，将其端口转换为普通的Linux接口。 作为主流Linux内核的一部分，Switchdev在文档中被描述为“用于从内核卸载转发数据平面的交换设备的内核驱动程序模型”。 这种方法非常方便，因为我们习惯使用的所有工具都可以在一个API下使用，这对于每个现代程序员，开发人员和网络工程师来说都是极其自然的。 使用标准Linux网络API的任何程序都可以在交换机上运行。 适用于Linux服务器的所有网络监视和控制工具（包括自制服务器）均可用。 例如，与在Switchdev之前完成路由表相比，对路由表进行更改要舒适得多。 直到网络芯片级别，所有代码都是可见且透明的，从而使学习和进行修改成为可能，直到您必须确切了解芯片的构造或至少是外部接口的特定时刻为止。
我们发现，在Switchdev控制下的Mellanox设备是最适合我们需求的组合，因为该公司提供了对现成的健壮开源操作系统的全面支持。
在投入生产之前测试设备时，我们发现一些转发流量被丢弃。 我们的调查表明，这是由一个接口上的流量通过控制处理器路由引起的，该处理器当然无法处理大量流量。 我们不知道此类行为的确切原因，但我们认为它与处理ICMP重定向有关。 Mellanox确认了问题的原因，我们请他们为此做些事情。 Mellanox反应迅速，在短期内为我们提供了可行的解决方案。
干得好，Mellanox！
协议和开源
HTTPS上的DNS比TLS上的DNS更复杂。 我们看到前者开花，而后者则被逐渐遗忘。 这是一个明显的示例，其中“越复杂”意味着“越高效”，因为DoH流量与任何其他HTTPS都无法区分。 最初，RPKI数据集成被定位为一种防劫持解决方案，但效果并不理想，但后来又重新出现，成为抵抗诸如静态泄漏和错误的路由设置之类的错误的强大武器。 噪声转化为信号，现在最大的IX都支持RPKI，这是一个了不起的消息。
TLS 1.3已经到来。 Qrator Labs以及整个IT行业都密切关注了从初始草案到IETF各个阶段的开发过程，使其成为我们可以在2019年准备支持的易于理解和管理的协议。这种支持在市场中已经显而易见，并且我们希望与时俱进，以实现这一强大而可靠的安全协议。 我们不知道DDoS缓解硬件生产商将如何适应TLS 1.3现实，但是由于协议支持的技术复杂性，可能需要花费一些时间。
我们也遵循HTTP / 2。 目前，由于基于该协议的现有代码库，Qrator Labs不支持HTTP协议的较新版本。 在新代码中仍然经常发现错误和漏洞； 作为安全服务提供商，我们尚未准备好与我们的消费者达成共识的SLA下支持此类协议。
Qrator Labs在2018年的真正问题是：“为什么人们这么想要HTTP / 2？ 这是全年的热门话题。 人们仍然倾向于将“ 2”数字视为“更快，更强大，更好”的版本，在该特定协议的每个方面不一定都是这种情况。 但是，DoH建议使用HTTP / 2，这是两种协议都可以发挥很大作用的地方。
下一代协议套件和功能的开发令人担忧的是，它通常在很大程度上取决于学术研究，而DDoS缓解行业的现状还很差。 IETF草案“ QUIC可管理性”的第4.4节是未来QUIC协议套件的一部分，可以看作是一个完美的例子：它指出，“检测和缓解[DDoS攻击]的当前实践通常涉及被动的”使用网络流量数据进行测量”，实际上，在现实生活中的企业环境中，这种情况很少出现（在ISP设置中，这种情况很少出现）-实际上在任何情况下都几乎不是“一般情况”，但绝对是在大多数情况下，学术研究论文没有针对所有潜在DDoS攻击（包括应用层攻击）进行适当的实现和真实世界测试的支持（由于全球TLS部署的进展，这些论文显然不可能可以通过任何类型的被动测量进行处理）。 设定适当的学术研究趋势是DDoS缓解措施运营商在2019年面临的另一项挑战。
Switchdev完全满足了我们一年前表达的期望。 我们希望，随着社区的强大和发展，在未来几年中，为使Switchdev变得更好而不断进行的工作将得到加强。
Qrator Labs一直在启用Linux XDP，以帮助进一步提高数据包处理效率。 从CPU到NIC，甚至到网络交换机，卸载某些恶意流量过滤模式似乎是很有希望的，我们期待在这一领域继续我们的研发。
通过机器人进行深潜
许多公司都在寻求机器人程序的保护，因此，我们在2018年看到小组在该领域的不同领域开展工作也就不足为奇了。我们发现有趣的是，这些公司中有很大一部分从未经历过针对性的DDoS攻击，至少是典型的拒绝。服务尝试消耗有限的资源，例如带宽或CPU容量。 他们感到受到僵尸程序的威胁，但无法将其与实际用户区分开来，也无法确定他们的实际行为。 他们只是知道他们想要摆脱被认为的机器人。
机器人和刮刀的问题也具有重要的经济意义。 如果30％的流量是非法的并且是由机器发起的，则浪费了30％的支持该流量的成本。 如今，这可以看作是对互联网企业不可避免的额外征税。 很难将数字精确地减少到零，但是企业主希望看到尽可能低的数字。
识别已成为当今互联网上的一个重要问题，因为最好的机器人不再需要模仿人类-它们占据了相同的空间，例如寄生虫。 我们已经重复了一段时间，任何未经授权或认证而公开可用的信息都是并且将作为共同财产终止-没有人能阻止这一点。
在2018年，我们专注于身份和机器人管理问题。 但是，这里的范围更大。 我们生活在一个时代，那里没有确切的方法来知道客户端请求服务器响应的原因。 您没有看错：最终，每个企业都希望客户购买某种东西，这就是存在的原因和目标，因此，有些公司希望更深入地研究谁向服务器提出要求，如果背后有一个真正的人。
难怪企业主经常从技术人员那里得知他们网站流量的很大一部分是由机器人而不是客户产生的。
我们前面提到的自动化人员也可能针对安装了浏览器插件的特定网络资源-我们相信，大多数扩展都是有目的地安装的，目的是为了实现特定目标，只有这些网络的创建者才知道。 点击欺诈，广告操纵，解析-在自动化失败的现实人类的帮助下，有效地完成了这些任务。 试想一下，如果将机器学习应用于链中的正确链接，情况将如何改变。
解析器和抓取器是更广泛的机器人问题的一部分，成为我们在2018年研究的一个问题，首先要感谢我们的客户，他们与我们取得了经验并提供了进一步调查其资源情况的选项。 这类漫游器甚至可能无法根据典型指标进行注册，例如带宽或服务器CPU负载。 我们目前正在测试各种方法，但最终很明显，客户需要什么-在他们的第一个请求上阻止此类入侵者。
在我们在俄罗斯和独联体国家看到的刮擦流行中，很明显所涉及的漫游器可以加密。 每分钟一个请求的速率很容易被忽略，而无需对传入流量进行请求分析。 根据我们的拙见，客户应在获得我们的分析和标记后决定下一步。 是阻止它们，还是让它们通过还是欺骗（误导）它们-这不是我们的决定。
但是，纯习惯性的自动化或“机器人”存在某些问题，因为我们习惯于称呼它们。 如果您确定恶意漫游器生成了特定请求，那么最决定要做的第一件事就是阻止它，而不发送来自服务器的响应。 我们得出的结论是，这是毫无意义的，因为这样的操作只会给自动化系统提供更多反馈，从而使其能够适应并找到解决方法。 除非僵尸程序试图进行拒绝服务攻击，否则我们建议不要立即阻止此类自动化，因为此类猫猫和老鼠游戏的结果可能仅是浪费大量的时间和精力。
这是Qrator Labs选择标记可疑和/或恶意流量并考虑到其受众，服务和业务目标而将下一步决定留给资源所有者的主要原因。 此类示例就是广告拦截浏览器扩展。 大多数广告都是脚本，通过阻止脚本，您不一定要阻止广告，而可以阻止其他内容，例如javascript挑战。 很难想象这会如何升级，从而导致大部分互联网企业的收入损失。
当攻击者被阻止并收到他们所需的反馈时，他们可以迅速适应，学习并再次发起攻击。 Qrator Labs的技术建立在一种简单的哲学基础上，即不能给自动化提供任何可以使用的反馈：您既不应阻止它们，也不应通过它们，只需对其进行标记。 打上这样的标记后，您应该考虑他们的真正目标-他们想要什么？ 他们为什么要访问该特定资源或网页？ 也许您可以以一种没有人能感觉到差异的方式来稍微改变网页的内容，但是机器人的现实会颠倒过来？ 如果它们是解析器，则它们可能会以错误数据的形式获得误导性的解析信息。
在整个2018年讨论这些问题时，我们将此类攻击标记为直接业务指标攻击。 您的网站和服务器看起来不错，没有用户的抱怨，但是您感觉有所变化……例如，您从某个程序化平台上获取的广告的每次转化费用价格缓慢，但稳定地将广告客户引向其他地方。
消除攻击者的动机是抵消这种动机的唯一方法。 试图阻止机器人只会浪费时间和金钱。 如果他们点击您从中受益的东西，则使这些点击无效。 如果他们解析了您，则提供了不可靠的信息，它们将不会与合法，可信赖的数据区分开。
Clickhouse
通常，Qrator Labs的筛选服务涉及两个阶段：首先，我们借助无状态和有状态检查立即评估请求是否恶意，其次，我们决定是否将源列入黑名单以及保留多长时间。 产生的黑名单可以表示为唯一IP地址的列表。
在此过程的第一阶段，我们使用机器学习技术来更好地了解给定资源的自然流量，因为我们会根据收集的数据分别为每个客户设置服务参数。
那就是Clickhouse进来的地方。 为了准确理解为什么IP地址被禁止与资源通信，我们必须遵循Clickhouse DB的机器学习模型。 它可以处理大量数据（考虑500 Gbps DDoS攻击，在暂停之间持续几个小时），运行速度非常快，并以与我们在Qrator Labs使用的机器学习框架自然兼容的方式存储它们。 更多日志和更多攻击流量可从我们的模型中获得更好，更可靠的结果，以便在最危险的攻击下实时进一步完善服务。
我们使用Clickhouse数据库存储所有攻击（非法）流量日志和漫游器行为模式。 我们实施了此特定解决方案，因为它保证了快速处理数据库样式的海量数据集的强大能力。 我们使用这些数据进行分析，并构建我们在DDoS过滤中使用的模式，并应用机器学习来改进过滤算法。
与其他数据库相比，Clickhouse的一个显着优势是它不会读取整个数据字符串-如果按照指南存储所有内容，它可能只需要所需的，更小的段。
结论
相当长一段时间以来，我们一直在使用多因素攻击来探索多种攻击协议以使目标不可用。
数字卫生和最新的安全措施应该并且实际上可以覆盖单个实体可能会遇到的99％的实际风险（极端或有针对性的情况除外），并防止“平均”互联网服务出现问题。
另一方面，DDoS攻击能够切断世界上任何国家/地区的互联网连接，尽管只有很少一部分可以有效地作为外部目标。 BGP情况并非如此，在BGP中，您只能关闭要绘制的任何地图上的许多点。
网络安全知识不断增长，这非常出色。 但是，一旦您查看了网络中与放大器相关的数字或欺骗他人的选项-它们并没有下降！ 这是因为每年学生在互联网安全学校度过的时间，即人们开始关心他们如何编写代码和构建应用程序的时间，与确保他们不会制造漏洞的时间不匹配。允许某人使用此类资源来组织成功的DDoS攻击，或更糟糕的是。
2018年最重要的发现之一是，大多数人仍然期望技术远远超过当前的交付能力。 情况并非总是如此，但是现在，无论软件或硬件功能如何，我们都倾向于提出过多的要求。 人们一直期待着更多，但由于营销活动做出的承诺，这可能不会改变。 但是，人们正在购买这些承诺，并且公司感到他们应该为实现这些承诺而努力。
也许，这就是进步和进化的本质。 如今，人们因没有“保证”的东西和所支付的东西而感到沮丧和失望。 因此，这就是当前问题的根源，我们无法“完全”购买能够满足我们需求的设备及其所有软件，或者就个人数据而言，“免费”服务价格高昂。
消费主义告诉我们，我们想要一些东西，我们应该用自己的生活来为此付出代价。 我们是否需要能够自我升级的产品或服务，以便根据他们以我们不喜欢的方式收集到的数据在将来向我们出售更好的交易？ 我们可以预计，在Equifax和Cambridge Analytica案发生之后，2019年，我们可能会看到个人数据获取和滥用的最终爆发。
十年后，我们对互连网络架构的核心信念没有改变。 这就是为什么我们继续支持Qrator Labs过滤网络的最基本原理-BGP-anycast，处理加密流量的能力，避免验证码和其他障碍，与攻击性机器人相比给合法用户提供更多可见性的原因。
纵观该领域的网络安全专家和公司的情况，我们想强调另一个问题：在安全性方面，没有天真的，简单或快速的方法适用。
与CDN相比，这是Qrator Labs没有数百个甚至数十个存在点的主要原因。 通过维护数量较少的，都连接到1级ISP的净化中心，我们可以实现真正的流量分散。 这也是为什么我们不尝试构建与Qrator Labs完全不同的防火墙-连接性的原因。
一段时间以来，我们一直在讲有关验证码和javascript测试以及检查的故事，而现在-神经网络在解决前者方面变得非常有用，而对于熟练且持久的攻击者而言，后者从来就不是问题。
今年，我们还感到了一个相当令人振奋的转变：多年来，DDoS仅在有限数量的业务领域出现问题，通常是金钱高于水位的领域：电子商务，交易/股票，银行/支付系统。 但是，随着Internet的不断发展，我们发现DDoS攻击现在已应用于所有其他可用的Internet服务。 DDoS时代始于带宽的增加和全世界使用的个人计算机数量的增加； 毫不奇怪，在2018年，我们周围每一个设备中都有硅微芯片，攻击态势发展如此之快。
如果有人期望这种趋势会改变，那么他们可能是错误的。 就像我们一样。 没有人能说出互联网在未来几年中将如何真正发展和传播其影响力和力量，但是根据我们在2018年所看到并在2019年继续观察到的情况，一切都会成倍增加。 到2020年，互联网连接设备的数量预计将超过300亿，此外我们已经超越了人类产生的流量超过其创建的自动化流量这一事实。 因此，很快，我们将不得不决定如何管理所有这些“智能”，无论是否人为，因为我们仍然生活在一个只有人类才能为正确与错误负责的世界上。
对于那些阴暗面的人来说，2018年是机遇之年。 从复杂性，数量和频率上看，攻击和黑客活动正在增长。 骗子获得了一些强大的工具，并学习了如何使用它们。 好人所做的不只是看这些发展。 我们希望至少在最痛苦的问题上看到今年的变化。