En el aire, el evento principal para desarrolladores de sistemas altamente cargados. Según una buena tradición, los días 7 y 8 de noviembre, vamos a compartir nuestra experiencia en la creación de servicios web que pueden ayudar simultáneamente a decenas, cientos de miles de usuarios a resolver sus problemas. Si esta vez no lo vemos en SKOLKOVO, únase a la transmisión abierta de la Sala de conferencias principal.
El 7 de noviembre, los informes comenzarán a transmitirse a las 9:45, a las 18:00 terminarán, y comenzará la ceremonia de entrega de premios HighLoad ++.
8 de noviembre, el primer informe en el Salón Principal y la transmisión comienza a las 11:00.
Bajo un gato el horario y la información sobre los informes.
7 de noviembre
Artemy Ryabinkov (Avito)Esperamos que ya haya comenzado a pasar de un monolito a microservicios. Entonces es hora de pensar en la plataforma de interacción entre servicios. De hecho, en la arquitectura de servicios, la complejidad del soporte crece exponencialmente con el número de servicios. Artemy Ryabinkov prometió dar una herramienta que reducirá significativamente el crecimiento de esta complejidad. Su informe será interesante tanto para aquellos que recién comienzan su viaje en SOA como para aquellos que ya están familiarizados con las herramientas OpenAPI, Swagger, gRPC, protobuf.
Denis Karasik (Badoo)¿Apache Kafka ya está integrado en su infraestructura? ¿Es una bala de plata? Lamentablemente, no realmente. Denis Karasik, en el ejemplo de Badoo, mostrará cómo desarrollar Kafka desde un experimento en un servicio hasta una solución administrada completa, que se convirtió en la base de muchas herramientas clave dentro de la empresa. El informe es principalmente para aquellos que recién se están familiarizando con Kafka, los oyentes más sofisticados estarán interesados en el tema de escalar y administrar grupos cargados en este informe y en la próxima presentación.
Alexander Sibiryakov (Scrapinghub)Alexander Sibiryakov le dirá cómo diseñar tuberías confiables que consisten en una gran cantidad de componentes basados en Apache Kafka. El informe analizará los patrones arquitectónicos de colas, comentarios, acoplamiento con HTTP, pérdida de mensajes y tareas de procesamiento con una gran extensión en el tiempo de ejecución. Después de este informe, quedará claro cómo construir adecuadamente su tubería.
Sergey Sporyshev (ITSumma)La siguiente palabra clave en la pila de tecnología actual es Kubernetes. Se ha convertido en el estándar para implementar aplicaciones en la web, lo que significa que necesita ser monitoreado. Sergey Sporyshev explicará las diferencias con respecto a los enfoques habituales de monitoreo y le dirá cómo abordar la organización de monitoreo de un proyecto moderno en k8s ahora. Según la información privilegiada, afectará cosas interesantes como monitorear el nivel de la malla de servicios; en general, lo que realmente no es suficiente para la mayoría de los proyectos.
Vasily Pantyukhin (Servicios web de Amazon)Un buen monitoreo advierte sobre problemas incluso antes de que ocurran. Pero es aún más confiable si inicialmente diseña el servicio de tal manera que se minimice el daño por mal funcionamiento. El diseño para fallas es fundamental en el diseño de servicios en la nube de Amazon Web Services. Junto con Vasily Pantyukhin, abordaremos este enfoque, consideraremos algunas de las razones de las fallas del servicio y hablaremos sobre qué son la arquitectura basada en celdas, el trabajo constante, el fragmentación aleatoria.
Nikolay Samokhvalov (Postgres.ai)Más allá de las herramientas y los patrones de desarrollo, pasamos a trabajar con bases de datos. Nikolay Samokhvalov llama nuestra atención sobre las consecuencias de realizar operaciones de bloqueo masivo en la base de datos: un servicio altamente cargado probablemente caerá. En este informe, aprenderemos cómo Postgres.ai puede ayudar y cómo configurar la protección sin usarla y siempre actuar de manera confiable sin perder el producto. Todo esto se basa en una experiencia real de dolor y enormes pérdidas financieras.
Peter Zaitsev (Percona)Vamos más allá y pensamos cómo lograr un alto rendimiento de consultas sin DBA. Para esta tarea, Peter Zaitsev, uno de los nominados para el Premio HighLoad ++, presentará Percona Monitoring and Management. Esta es una herramienta que ayuda a un ingeniero ordinario a realizar un análisis profesional del rendimiento de las consultas y más. Hoy en día, cuando muchas cosas se dejan en manos de marcos y bibliotecas, así como en condiciones de escasez en el mercado laboral, la disponibilidad y el conocimiento de tales herramientas es muy demandada.
Ivan Letenko (Infobip)Con PostgreSQL, cambiaremos a tecnologías que son menos comunes en grandes producciones. Infobip ha acumulado muchas cosas interesantes durante 3 años de uso de Redis. Ivan Letenko compartirá casos y, lo que es especialmente valioso, falla. Analicemos la organización de cachés distribuidos, colas, la construcción de limitadores de velocidad y planificadores. Hablemos de transacciones en scripts LUA y su rendimiento. Analizaremos la configuración de memoria, la replicación, la persistencia, la conmutación por error, así como el trabajo con clústeres, las características de los controladores Java y la supervisión.
Se entrega a profesionales que influyen en el desarrollo del ecosistema de desarrollo de Internet en Rusia. Esto es gracias a la comunidad de profesionales por sus líderes. Por trabajo y dedicación, por noches de insomnio e innumerables discursos, por la fe en su producto o tecnología.
8 de noviembre
Alexander Emelin (Avito)11 millones de usuarios únicos por mes, 25 mil solicitudes de RPC por segundo y 500 mil conexiones en línea en el pico, sin duda, el mensajero Avito es un proyecto muy cargado. Alexander Emelin le dirá a través de qué servicios pasa el mensaje antes de que llegue al destinatario. Descubriremos cómo funciona la implementación, cómo se utilizan las colas MongoDB y RabbitMQ. Discutiremos el protocolo WebSocket y reflexionaremos sobre la necesidad de un respaldo HTTP en 2019. Nos ocuparemos de los filtros antispam y hablaremos sobre la tolerancia a fallas de este complejo sistema.
Vladimir Posvyansky e Ivan Vovk (Tinkoff.ru)La personalización es el flagelo del siglo XXI, por lo que Tinkoff.ru, también para atraer usuarios, también decidió personalizar las páginas para usuarios individuales utilizando algoritmos de aprendizaje automático. Y dicen que pueden hacerlo en 10 ms, suena muy prometedor. Vladimir Posvyansky e Ivan Vovk nos presentarán el componente del producto y la estructura técnica del motor.
Nikita Maslyannikov (TsIAN)Más cerca de la cena con ML saltaremos a DevOps. Nikita Maslyannikov contará la historia del rápido crecimiento del TsIAN y los cambios relacionados en la arquitectura.
Es decir, se detendrá en detalle en la arquitectura de monitoreo, orquestación, separación de Elasticsearch en microclusters, configuración de red y cálculo de SLA. Esta experiencia será útil si solo está trabajando en la arquitectura o si la actual ha comenzado a hacer frente a la carga.
Alexander Tobol (Compañeros de clase)¿Qué hacer si ha optimizado todo y los datos no llegan al usuario lo suficientemente rápido? Por supuesto, trata con la red. Alexander Tobol continuará enseñándonos cómo construir protocolos de red y contará cómo Odnoklassniki trasplantó a decenas de millones de usuarios de TCP a UDP y lo que dio. Prometidos protocolos de red de sangre, tripas y bicicletas. ¿Quieres más hardcore? No te pierdas esta charla.
Alexey Milovidov (Yandex)Si está escribiendo código, prepárese para los problemas. No habrá problemas en el desarrollo en ninguna parte, sin duda lo serán y deberían esperarse de todos los lados, tanto de su código, como del compilador, y del sistema operativo y del hardware. Y cuanto mayor es la escala del servicio, más y más errores "maravillosos". Alexey Milovidov durante los años de desarrollo y soporte para ClickHouse vio cosas diferentes y en HighLoad ++ dará ejemplos de los problemas más ridículos, desalentadores y sin esperanza. Y, por supuesto, explicará qué medidas preventivas deben tomarse para que haya menos problemas.
Pyotr Zaitsev (Compañeros de clase)TCP / UDP es bueno, pero Odnoklassniki también tiene 4 centros de datos, 500 máquinas, 200 TB + de datos, hasta 2 millones de líneas por segundo en el pico y 100% de requisitos de tiempo de servicio a toda costa. Peter Zaitsev contará cómo, teniendo todo esto, construir un clúster Elasticsearch para almacenar registros en un volumen particularmente grande. La tarea no era trivial, con un alto contenido de trampas. Y lo que sucedió al final, lo aprendemos en HighLoad ++ 2019.
Anatoly Dymarsky (Skoltech)Al final de la conferencia, parece lógico intentar mirar hacia el futuro. La computación cuántica promete revolucionar el procesamiento de datos y cambiar toda nuestra industria. Pero necesitamos detalles: exactamente qué tareas se pueden resolver usando una computadora cuántica y cuándo. Anatoly Dymarsky, un físico teórico de Skoltech, responderá.
Tenga en cuenta que esta es solo una transmisión de 16. Para cambiar libremente entre ellos y acceder al video de todos los informes, aún puede comprar el acceso a la transmisión completa. O siga el texto transmitido en un telegrama: ya está en marcha, y allí compartimos muchos detalles internos interesantes e intentamos transmitir la atmósfera del evento principal del desarrollo web en Rusia. Y en las redes sociales, fb , vk , habrá muchas, muchas fotos atmosféricas. ¡Conéctate!