高负载++ 2019上的c.tech



高负载++非常接近! 11月7日至8日,超过3,000位高负载系统开发人员将第十三次聚集在Skolkovo。 该活动旨在交流有关同时为成千上万的用户提供服务的技术的知识。
该程序涵盖Web开发的各个方面,例如大型项目的体系结构,数据库和存储系统,系统管理,负载测试,大型项目的操作以及与高负载系统相关的其他领域。
我们积极参与Highload ++ 2019,今天我们将告诉您我们的员工为会议参与者准备的报告。

11月7日


新的同学数首席平台开发人员Anton Ivanov


图片



时间:12:00
地点:莫斯科厅

Count of Friends是Odnoklassniki中最重要且负载最大的服务之一。 网站几乎所有功能都需要它:形成提要,寻找新朋友,查看照片时检查权限等等。 所有这一切每秒最多创建700,000个请求,用户之间建立300,000,000,000个连接。

这样的负载不仅是性能的严格要求,而且是容错能力的严格要求,因为图形的任何问题都可能使整个站点的工作瘫痪。 长期以来,我们一直生活在可分割的基础和缓存的经典方案上。 但是她在数据一致性和容错性方面都有很多问题。

在报告中,我们将详细讨论向新图形架构的过渡,首先是关于旧版本及其使用过程中出现的问题的故事,然后深入探讨新的图形架构以及在迁移过程中等待我们的惊喜。

高效,可靠的微服务Oleg Anastasiev,总工程师


图片



时间:下午5点
地点:新加坡馆

在Odnoklassniki中,用户请求由200多种独特类型的服务来满足。 这些服务中的许多服务都使用JVM结合业务逻辑和Cassandra分布式容错数据库的技术。 这使我们能够构建高负载的服务,该服务管理着数千亿条记录,每秒记录数百万次操作。

在本报告中,我们将讨论将业务逻辑和数据库结合起来时会出现哪些优势; 讨论条件如何影响服务的可靠性和可用性; 并讨论该技术如何显着改善我们的服务性能。

但是,并非所有数据库都适用于此。 我们将详细检查哪些数据库适合嵌入您的下一个微服务,哪些不适合。

11月8日


机器的升高可以平台团队的首席开发人员Leonid Talalaev


图片



时间:10:00
地点:开普敦市政厅

同学由位于多个数据中心的6,000多台服务器组成。 它们中几乎有一半是我们的云(即一云)的一部分,两年前我们已经在HighLoad ++上讨论过。

当管理超过10,000个容器时,会出现典型的任务,手动执行这些任务会花费太多时间,并不可避免地导致人为错误。 因此,我们努力实现云中所有流程的自动化,以最大程度地减少人员参与。 我们称这种完全自动化的“机器的兴起”。

在报告中,我们将考虑以下主题:
-在所有容器上布置安全补丁。 同时,我们将学习如何在1秒内替换docker图像层;
-确保在云中运行期间分布式状态全服务的可用性;
-云中的碎片问题。 我们将告诉您如何通过更改展示位置算法节省一百万美元。

从数百万个用户的TCP针传输到UDP视频和磁带平台开发主管Alexander Tobol


图片



时间:下午2点
地点:大会堂(大会堂)

亚历山大会告诉:

  • 随着Odnoklassniki将数百万用户从TCP移植到UDP,3/4 OK Android用户已经在使用UDP进行网络通信
  • 根据产品客户统计信息,他们如何加快高达30%的内容交付给用户的速度
  • 关于构建网络协议的方法以及用于测试和建模网络的方法


此外,OK不仅将共享不同网络上的TCP和QUIC测试的结果,还将共享进行此类测试的网络仿真器的源代码。

200 TB + Elasticsearch群集Petsearch Zaitsev,Elasticsearch Specialist的系统管理员


图片



时间:下午4点
地点:大会堂(大会堂)

该报告的目的:讨论Elasticsearch集群用于存储大量日志的陷阱和体系结构。

在报告中,我将讨论作为Odnoklassniki项目的一部分,我们如何组织开发人员对日志的存储和访问。

最初,对服务提出了很高的要求。 每个人都知道,处理后的数据量很大,还需要容错功能,峰值负载可能会增加到每秒200万行。 由于这些原因,该任务被证明是完全不简单的,具有大量的“陷阱”和辛辣的功能。

我将描述解决该问题的“曲折式”道路的历史,还将告诉您我们最终来到了哪种集群体系结构,乍一看似乎最正确的决定在最意外的时刻“落脚”。

我们有4个数据中心,500个弹性实例,200TB +数据,高峰时每秒高达200万条线,并且不惜一切代价实现100%的服务正常运行时间。

我们如何实现这一点,您将在我们的报告中找到答案!

Source: https://habr.com/ru/post/zh-CN473848/


All Articles