Y el oso de peluche parece estar muy cargado

A finales de junio, Novosibirsk tomó HighLoad ++ por segunda vez. Si el año pasado el efecto de la novedad jugó un papel importante en el hecho de que todos estaban contentos con todo, entonces esta vez necesitábamos prepararnos con mucho más cuidado para mantener y superar la impresión. En primer lugar, con una fuerza triplicada, abordamos lo principal: el programa. Ahora que los discursos han tenido lugar e incluso se han revisado selectivamente en la segunda ronda, los comentarios de los participantes de la conferencia se han recopilado y procesado, podemos decir con confianza que fue un éxito.

La base de HighLoad ++ Siberia fue 38 informes excelentes, llenos de experiencia y conocimientos profundos. Gigantes internacionales y compañías regionales compartieron su experiencia trabajando con tareas para la solución de las cuales las herramientas estándar simplemente no existen. Una conferencia especial fue hecha por personas. Honestamente, tratamos de entender cuál era el problema y cómo hacer los mismos eventos sinceros en otros lugares, pero no, para una atmósfera amigable indescriptible tendríamos que volver a Siberia, y todos estábamos de acuerdo. Además, ya estamos pensando en nuevos productos.



Trajeron al oso con ellos, ni un solo representante de la fauna local resultó herido.

Pero lo que no vamos a cambiar es el enfoque en la elección de informes. A menos que comencemos a afirmar temas que ya estamos aplicando: HighLoad ++ en Moscú en 4 meses y algunos informes ya se han anunciado . Hasta ahora, esta es la única conferencia en Siberia sobre cargas elevadas, y la cantidad de información útil y detalles técnicos duros era aproximadamente un tercio del hermano mayor de Moscú, y si nos centramos en la densidad de las almas de los participantes, fue mucho mayor. Según el comité del programa, algunos informes se pueden agregar de manera segura a la parte superior de todos los informes sobre cargas altas durante la última década. Esto también lo confirman las calificaciones de la audiencia: la puntuación promedio de los informes es 4.2.

Para que pueda dar su impresión del programa HighLoad ++ Siberia , le damos algunos breves resúmenes. Esta no es la parte superior de la calificación de votación, y no tiene que prestar atención al orden: es solo un conjunto de temas interesantes que son lo suficientemente diferentes como para ser una pequeña muestra representativa. Gradualmente publicaremos todos los videos de la imagen completa en el canal de youtube (suscríbase, haga clic en la campana, todos estos son artículos de blog para ver las actualizaciones).

Videollamadas: de millones por día a 100 participantes en una conferencia

Alexander Tobol (Compañeros de clase)

Ahora en todos los mensajeros instantáneos populares hay una oportunidad de llamar al interlocutor. Por supuesto, es conveniente usar la misma herramienta para cualquier comunicación. Por lo tanto, si tiene un medio de comunicación corporativo, pero todavía no hay llamadas, vale la pena agregarlas. Por dónde empezar, qué protocolos y tecnologías usar, conoce a Alexander Tobol ( alatobol ). Incluso si no planea desarrollar un servicio de videollamadas en el futuro cercano, el informe de Alexander está lleno de detalles importantes sobre las redes de datos en general. Esta es probablemente la razón por la cual su informe recibió, al parecer, una calificación récord de oyentes en 4.9 de 5.



El año pasado, Alexander habló en detalle sobre el dispositivo de las llamadas P2P, pero esta vez solo recordó los puntos principales y cambió a las funciones, por ejemplo, señalización y codificación para llamadas de una a muchas. Es fácil entender que si uno de los participantes tiene mala calidad de comunicación (y la mayor parte de este tráfico pasa a través de redes móviles), entonces la tasa de bits deberá reducirse para todos los participantes en la conversación. Pero para decidir qué hacer con esto, tiene sentido mirar lo que otros han logrado en esta dirección y, obviamente, tomar lo mejor y corregir los defectos.



En Odnoklassniki seleccionado:

• No utilice códecs de software, pero codifique H.264;
• usar todo el canal bajo una secuencia, es decir No codifique ni envíe videos en dos resoluciones;
• use mezcla final para alta calidad y un circuito centralizado para baja;
• Hasta 3-4 participantes, la opción preferida es Mesh.

En la comparación final, esta solución es comparable a Zoom en latencia, consumo de batería y calidad, pero Zoom no es compatible con WebRTC (y todos leemos las noticias al respecto). Cuando decida repetir el procedimiento y también comparar competidores, no olvide aceptar. O aproveche inmediatamente el consejo de Alexander, su informe volvió a estar lleno de detalles técnicos importantes, lo que parece ser una buena instrucción de bricolaje.

Cómo crear un sistema de notificación de eventos altamente cargado

Artyom Gashkin (CFT)

La compañía CFT es un brillante representante de los detalles regionales de TI: una gran empresa de tecnología financiera. Este informe aborda el trabajo del centro de procesamiento CardStandard, que, solo piense en ello, procesa los pagos por cada tercera tarjeta en el país.



Tan pronto como pagas por algo, es este procesamiento el que te informa por SMS o push. El banco que emitió su tarjeta: el emisor también desea recibir dicha notificación en línea. Este es el objetivo del proyecto, del que habló Artyom Gashkin: implementar un módulo de envío de notificaciones que pueda hacer frente a una doble carga. Desafortunadamente, Artyom no tenía derecho a nombrar los datos exactos, solo dijo que la carga en los módulos individuales alcanza las 200 transacciones por segundo. Al mismo tiempo, se estaba trabajando para reducir la carga cambiando la configuración del sistema. Los desarrolladores querían hacer un margen de rendimiento para no volver a este problema el mayor tiempo posible. Los requisitos para la solución son bastante estándar, pero lo más importante es que el tiempo de procesamiento de la autorización no debe aumentar.

Tradicionalmente, Oracle se utiliza para la empresa empresarial, que, si es posible, es muy difícil de escalar horizontalmente. Por lo tanto, para no aumentar la carga en la base de datos, es decir mantener el número mínimo de conexiones a la base de datos, se seleccionó Apache Kafka.

Los ingenieros se acercaron a la elección de la opción de implementación como debería ser para los ingenieros: medimos el tiempo que llevó mover 400,000 registros de un tema a otro. Estos datos pueden interpretarse como el tiempo durante el cual el procesamiento restaurará su capacidad de trabajo después de una falla. Nos detuvimos en un productor con una espera asíncrona para la entrega, creyendo que 20-30 segundos es un tiempo de recuperación aceptable. Artyom también habló sobre una implementación específica: por un lado, todo está en la superficie, porque Kafka garantiza que si se envían dos registros a la partición del tema de forma secuencial, se entregarán en el mismo orden. Por otro lado, los desarrolladores tuvieron que profundizar en las características del trabajo y la documentación. Por el momento, las notificaciones de la transacción se envían al banco en aproximadamente 0,5 segundos.

Escalar el sistema resultante es fácil: si aumenta la carga, debe aumentar la cantidad de controladores específicos. Los módulos de enrutamiento y notificación funcionan sin cambios, y el módulo que genera notificaciones es responsable de la lógica empresarial. Cuando también necesite enviar rápidamente, por ejemplo, contraseñas de un solo uso, será suficiente para implementar nuevos controladores. Este refinamiento no afectará el sistema existente, y todas las pruebas de regresión pasarán sin problemas.

Desde que se mencionó el CFT, le diremos cómo su asociación adornó la conferencia. Organizaron una zona de salón completa en la que se celebraron concursos y juegos durante dos días. Pero lo más destacado del programa fue StudioCFT, un estudio in situ para grabar podcasts con oradores y un gurú de conferencias. Entre los invitados: Vladislav Blinov y Valeria Baranova de Tinkoff Bank, Sergey Sporyshev de ITSumma, Viktor Yeremchenko de Miro, Sergey Polovko de Yandex, así como Oleg Bunin y Alexey Obrovets (una conversación sobre la cual los hombres hablan en 2019). Entrevistas publicadas en el canal de youtube de la compañía.

MEJOR GEODISTA () al oeste del Río Grande

Andrey Aksenov (Avito, Esfinge)

"Utilice la interpolación lineal, muchachos".

Andrei comenzó con el estilo irónico habitual, dicen, si esto es comprensible, entonces puedes divergir. Entendido, es comprensible, pero si también agrega la experiencia del desarrollador de Sphinx, en el que la búsqueda funciona en Avito, entonces todo será mejor. Andrey eligió la función GEODIST (), que se utiliza en particular para ordenar, filtrar, buscar en el mapa, etc., como tema para HighLoad ++ Siberia.



Tarea: encuentra la distancia entre dos puntos dados por dos coordenadas. Parecería el séptimo grado, el segundo trimestre. Pero si la distancia se calcula no dentro de los límites del cuaderno, sino al menos en la escala de una región de la Federación Rusa, entonces la distancia debe considerarse en la "esfera". O más bien, un elipsoide. Y exactamente, un geoide. Después de todo, cómo no involucrarse con el geoide, qué aproximaciones y técnicas antiguas de optimización funcionan en la producción grande, no volveremos a contarlo - vea el informe.

Experiencia de modelado del equipo ComputerVision Mail.ru

Eduard Tyantov Mail.ru Group

El equipo de visión por computadora resuelve problemas para proyectos de productos B2B especializados en Cloud, Mail y Vision. Este reconocimiento de rostros y atracciones para fotos, texto de fotos para correo, etc. Eduard Tyantov ( EdT ) comenzó la parte sustancial de su informe con una declaración adecuada para cualquier campo, pero especialmente relevante para AI:

"La declaración del problema es una etapa crítica".

En esta etapa, se requiere una colaboración continua entre el Product Manager y el Machine Learning Specialist. Si intentas ahorrar dinero, perderás algo realmente importante o pasarás varios meses aprendiendo a reconocer caras pintadas, y el modelo de producción nunca encontrará un ejemplo de este tipo. Por cierto, sobre otras características de la gestión de proyectos, que se basan en tecnologías de aprendizaje automático, Edward hablará en septiembre sobre UseData Conf .



Y solo cuando la declaración sea clara para todos los participantes en el proyecto, podemos comenzar a trabajar en una tarea que comienza con la preparación de datos. Obviamente, deben limpiarse, tanto por un marcado deficiente y basura dentro de las clases, como por una división excesiva o insuficiente en las clases. Y a veces se deben generar datos, y si para la tarea de reconocimiento de caracteres es suficiente tomar PIL y distorsionar el texto, en otros casos es necesario ser mucho más ingenioso.

Volviendo directamente a la capacitación, en el campo del aprendizaje métrico, Eduard, confiando en la vasta experiencia de Mail.ru, recomendó inequívocamente Angular Softmax para el reconocimiento de patrones y la clasificación en principio, y habló sobre trucos que lo hacen más efectivo.



Y la inclusión de un conocimiento bastante simple de destilación y descomposición casi por nada da + 0.5–1% a AP. Byte Pair Encoding funcionó muy bien para textos, y el entrenamiento en FP16 con Apex de Nvidia ahorra un 20% (¡veinte!) De tiempo para regalos gratuitos.

Cómo llevar modelos a producción es una gran conversación separada, porque los científicos de datos piensan en PyTorch, y nadie quiere implementarlo en absoluto. Una buena opción, cómo lidiar con esto, ha aparecido recientemente. Los desarrolladores de PyTorch se dieron cuenta del dolor de sus usuarios y lanzaron TorchScript, que serializa el modelo de Python en un gráfico estático. Con esta conversión, todo funciona exactamente igual que en Python, y la primera ola de errores ya se ha detectado: puede usarla.

Escala amazónica

Vasily Pantyukhin (Servicios web de Amazon)

Este informe es un ejemplo típico de cómo ganamos experiencia internacional de compañías internacionales. Así es, llamamos a los niños de habla rusa que crecieron en nuestra cultura de ingeniería y en nuestras conferencias. Los hablantes extranjeros son buenos para la publicidad, pero de hecho, los participantes generalmente califican sus informes no demasiado altos. Nuestras conferencias profesionales, en el sentido general en Rusia, tienen como objetivo el intercambio de experiencias profesionales. Y en el extranjero, los informes son populares en las noticias de la compañía que ninguna conferencia técnica especializada tomará en nuestro programa. Por qué es un tema aparte, pero estamos ceteris paribus tratando de elegir hablantes de ruso. Esto, desde el punto de vista de la ausencia de una barrera del idioma y la diferencia de mentalidad, es bueno para comprender el material.

Al regresar a AWS, millones de usuarios reciben simultáneamente sus servicios, logrando los resultados deseados. El sistema se escala automáticamente, ajustándose elásticamente a cada usuario para que le parezca que está solo en este universo. Eso pensaba Vasily Pantyukhin, hasta que se convirtió en arquitecto en Amazon. Ahora, por supuesto, él sabe lo que hay debajo de los servicios en la nube de AWS, y compartió algunos aspectos interesantes con los invitados a la conferencia. Qué servidores físicos están detrás del concepto efímero de la nube, qué optimizaciones se utilizan para ellos, cómo se organiza el servicio AWS Lambda más escalable, cómo Amazon construye sus propias bases de datos y cómo se organiza la red.

Sobre todo, el discurso de Vasily impresiona con la inspiración con la que habla sobre las soluciones, y el hecho mencionado de que habiéndose sumergido en el dispositivo interno, solo comenzó a confiar más en los servicios de la compañía. Este informe es útil tanto como una revisión para aquellos que recién están comenzando con AWS, como para aquellos que necesitan detalles técnicos, es decir, todos.


Vasily también celebró una reunión sobre el tema "Cartas amigables para el cerebro", que, a juzgar por la discusión en el chat , fue muy útil. Pero no estará en el registro, este es un formato especial. Por lo tanto, un truco para el futuro: si en nuestra conferencia eliges entre un informe y un mitap, entonces da preferencia a un mitap, y luego mira el informe en la grabación, afortunadamente, todos grabamos y damos el video en unos días.

Nodo JS backend

Yuri Gavshin (Perno)

Bolt - movimiento rápido del inglés - una plataforma para la prestación de servicios de transporte: taxi, transporte privado, motos y alquiler de motos eléctricas. En los últimos tres años, la compañía ha crecido más de diez veces en todos los aspectos, por lo que los requisitos principales para el back-end son: salida rápida a la producción, tolerancia a fallas y resistencia (un servicio caído no afecta el desempeño de los vecinos), escalabilidad.

La base de la pila es NodeJS. Su característica distintiva es la entrada / salida sin bloqueo y la operación asincrónica con la red. No existe una opinión clara sobre si esta es una buena idea y qué tan complejos se pueden hacer los servicios en NodeJS en la comunidad todavía. Parece que no hay muchas razones para elegir Node en lugar de un lenguaje de servidor maduro, pero un corto tiempo de comercialización es solo una de ellas, por lo que la experiencia de producción en el desarrollo de un back-end altamente cargado es muy interesante. Además, Yuri dijo en detalle y con ejemplos cómo usar de manera efectiva los profesionales y nivelar las desventajas de NodeJS, por ejemplo, recomendó usar TypeScript y cambiar a async / wait. Prestó atención a características tales como los inconvenientes de la construcción de monolitos. NodeJS obliga a los desarrolladores a limitar el tamaño de los servicios, y esto, según el equipo de Bolt, es una ventaja. Tocó los temas de prueba y monitoreo.



Todo lo que quedó detrás de las escenas del informe, y mucho más se pudo descubrir de los desarrolladores del servicio en el stand de la compañía. Además de la pila tecnológica, también discutieron la reubicación a Estonia, pero esto ya está dentro del marco de la reunión, en virtud de la cual tradicionalmente había un lugar y un momento. Pequeñas reuniones espontáneas y discusiones animadas son la razón por la cual se necesitan conferencias. ¿Dónde más puedes ver los trucos de Zabbix para codificar en vivo o compartir los dolores de la documentación?



En general, esta vez recibimos el apoyo de más empresas. Creemos que pasamos la prueba el año pasado y demostramos a los lugareños que estamos trabajando para su beneficio.

Donde nació, allí fue útil

Eso nos parece a nosotros. Y esta es la idea principal que perseguimos, llevando nuestras conferencias fuera de Moscú. Para que los desarrolladores geniales no se vean obligados a acudir a la capital u oficinas en el extranjero de grandes empresas porque solo habrá tareas difíciles para ellos, es necesario desarrollar comunidades regionales profesionales. Por ejemplo, invitamos especialmente a activistas comunitarios de Novosibirsk y Krasnoyarsk, y al mismo tiempo de San Petersburgo y Krasnodar, para que compartan su experiencia y bombeen con éxito su región.

Es cierto que vale la pena señalar que todavía recomendamos viajar a Moscú. El contenido de nuestras conferencias no se repite, por lo que si desea estar al tanto de todo lo que está sucediendo en el mundo de las altas cargas, nos reuniremos en noviembre en Skolkovo.

Redes, etc.

Comenzaron a comer una atmósfera amigable el día anterior en una reunión de oradores. Esta es nuestra tradición ahora: después de correr en el sitio, pero antes de la conferencia, organice reuniones. Para que los oradores se conocieran entre sí y al comité del programa, vieron que las personas de alrededor eran las mismas, dejaron de preocuparse por el desempeño y llegaron el lunes de buen humor, listos para compartir su experiencia única.



Y luego, durante la conferencia, también tuvimos espacio para la comunicación e incluso para el entretenimiento. No es lo mismo, inmerso en el hardcore, a veces necesitas cambiar. Los soportes para esto son lo más.

Sberbank tenía tiro al blanco como juegos al aire libre, además de videojuegos más familiares para las personas de TI.



El maestro de deportes no pudo mantenerse alejado: instalaron hockey de mesa, que no estuvo vacío por un minuto. Y mientras esperaba que terminara la fiesta y llegara su turno, podría preguntar a los desarrolladores sobre los productos de Sportmaster, que, por supuesto, no se limitan a la tienda en línea.



Después de un descanso continuo para tomar café, que es excelente para comunicarse con colegas y hacer nuevos conocidos, estirar y reforzar a los participantes, los principales pasillos invocaron informes.



Los que no sucumbieron fueron a mitaps.



Cuando después de eso, el cerebro ya ha cambiado al modo turbo, cualquier tarea en una hoja de papel y rompecabezas se convierte en nada y se resuelve de dos maneras.



Y por la noche, un merecido descanso. Cierto, nuevamente con un fuerte componente intelectual, preparamos un cuestionario "Quiz, pliz" para los invitados.



En resumen, lo pasamos bien. Sinceramente

Que sigue

, , , HighLoad++ Siberia 2020 .

, , . , , . , .

, , . DevOps , TeamLead Conf , KnowledgeConf — — , , .