¡Highload ++ está muy cerca! Del 7 al 8 de noviembre, más de 3.000 desarrolladores de sistemas altamente cargados se reunirán en Skolkovo por decimotercera vez. El evento tiene como objetivo intercambiar conocimientos sobre tecnologías que sirven simultáneamente a miles y millones de usuarios.
El programa cubre aspectos del desarrollo web como la arquitectura de grandes proyectos, bases de datos y sistemas de almacenamiento, administración de sistemas, pruebas de carga, operación de grandes proyectos y otras áreas asociadas con sistemas altamente cargados.
Participamos activamente en Highload ++ 2019 y hoy le diremos qué informes prepararon nuestros empleados para los participantes de la conferencia.
7 de noviembre
Hora: 12:00
Lugar: Salón de MoscúEl conde de amigos es uno de los servicios más importantes y cargados en Odnoklassniki. Es necesario para casi cualquier función del sitio: formar un feed, encontrar nuevos amigos, verificar los permisos al ver fotos y mucho más. Todo esto crea hasta 700,000 solicitudes por segundo a 300,000,000,000 de conexiones entre usuarios.
Tal carga no solo es un requisito estricto para el rendimiento, sino también la tolerancia a fallas, porque cualquier problema con el gráfico puede paralizar el trabajo de todo el sitio. Durante mucho tiempo, vivimos en un esquema clásico de bases y cachés que se pueden cortar. Pero tenía muchos problemas con la consistencia de los datos y la tolerancia a fallas.
En el informe, hablaremos en detalle sobre la transición a la nueva arquitectura gráfica, comenzaremos con una historia sobre la versión anterior y los problemas que surgieron durante su uso, luego profundizaremos en la nueva arquitectura gráfica y las sorpresas que nos esperaban durante la migración.
Hora: 5 p.m.
Lugar: Salón de SingapurEn Odnoklassniki, las solicitudes de los usuarios son atendidas por más de 200 tipos de servicios únicos. Muchos de estos servicios utilizan la técnica de combinación de JVM de lógica de negocios y la base de datos tolerante a fallas distribuida de Cassandra. Esto nos permite crear servicios altamente cargados que gestionan cientos de miles de millones de registros con millones de operaciones por segundo en ellos.
En este informe, hablaremos sobre las ventajas que aparecen al combinar la lógica empresarial y la base de datos; discutir cómo la condición afecta la confiabilidad y disponibilidad de servicios; y también discuta cómo esta técnica ha mejorado significativamente el rendimiento de nuestros servicios.
Pero no todas las bases de datos son adecuadas para esto. Examinaremos en detalle qué bases de datos son adecuadas para incrustarlas en su próximo microservicio y cuáles no.
8 de noviembre
Rise of the Machines está bien . Leonid Talalaev, desarrollador líder en el equipo de la plataforma.
Hora: 10:00
Lugar: Ayuntamiento de Ciudad del CaboLos compañeros de clase consisten en más de 6,000 servidores ubicados en varios centros de datos. Casi la mitad de ellos son parte de nuestra nube, una nube, de la que ya hablamos hace dos años en HighLoad ++.
Al administrar más de 10,000 contenedores, surgen tareas típicas, cuya implementación manualmente tomaría demasiado tiempo y conduciría inevitablemente a errores humanos. Por lo tanto, nos esforzamos por automatizar todos los procesos en la nube para minimizar la participación humana. Llamamos a esta automatización completa "Rise of the Machines".
En el informe, consideraremos temas como:
- Diseño de parches de seguridad en todos los contenedores. Al mismo tiempo, aprenderemos cómo reemplazar las capas de imagen del acoplador en 1 segundo;
- garantizar la disponibilidad de servicios completos distribuidos durante las operaciones en la nube;
- El problema de la fragmentación en la nube. Le diremos cómo ahorrar un millón de dólares cambiando el algoritmo de ubicación.
Hora: 2 p.m.
Lugar: Salón Principal (Salón del Congreso)Alexander dirá:
- mientras Odnoklassniki trasplantaba a millones de usuarios de TCP a UDP, 3/4 de los usuarios de Android ya usan UDP para la comunicación de red
- cómo aceleraron hasta el 30% de la entrega de contenido a los usuarios de acuerdo con las estadísticas del cliente del producto
- sobre enfoques para construir protocolos de red y métodos para probar y modelar la red
Además, OK no solo compartirá los resultados de las pruebas TCP y QUIC en diferentes redes, sino también el código fuente del emulador de red en el que se realizan dichas pruebas.
200 TB + Elasticsearch Cluster . Petr Zaitsev, administrador del sistema, especialista en Elasticsearch
Hora: 4 p.m.
Lugar: Salón Principal (Salón del Congreso)El propósito del informe: hablar sobre las trampas y la arquitectura del clúster Elasticsearch para almacenar registros en un volumen particularmente grande.
En el informe, hablaré sobre cómo organizamos el almacenamiento y el acceso a los registros para desarrolladores como parte del proyecto Odnoklassniki.
Inicialmente, se pusieron altas demandas en el servicio. Todos entendieron que el volumen de datos procesados sería grande, también se necesitaba tolerancia a fallas y la carga máxima podría aumentar a 2 millones de filas por segundo. Por estas razones, la tarea resultó ser completamente no trivial, con un gran contenido de "trampas" y características picantes.
Describiré la historia de nuestro camino "sinuoso" para resolver este problema, y también le diré a qué arquitectura de clúster llegamos en última instancia y qué decisiones que parecían correctas a primera vista "se dispararon en el pie" en el momento más inesperado.
Teníamos 4 centros de datos, 500 instancias para datos elásticos, 200 TB + de datos, hasta 2 millones de líneas por segundo en el pico y 100% de tiempo de servicio requerido a toda costa.
¡Cómo logramos darnos cuenta de esto, lo descubrirá en nuestro informe!