Amigos, acordamos con la empresa Ontiko que publicaremos los mejores informes de sus conferencias en nuestro canal de Youtube y los compartiremos con ustedes. Por lo tanto, no solo queremos difundir el conocimiento, sino también ayudar a nuestros lectores y espectadores a desarrollarse profesionalmente. Vea una selección de los 15 mejores informes que se realizaron en Highload ++ 2018.
Replicación de Tarantool: configuración y uso
Georgy Kirichenko, Grupo Mail.ruLa replicación de Tarantool se usa para proporcionar alta disponibilidad al hacer una copia de seguridad de los servidores o agrupar servidores para el equilibrio de carga, y también se puede usar para realizar operaciones de actualización. Las versiones recientes de Tarantool tienen varias características adicionales que facilitan la configuración y el uso de la replicación en un clúster.
El informe examinó los principios básicos del dispositivo y las características de la replicación asincrónica en Tarantool. Nos detenemos en la estructura interna del vector de estado: vclock. Discuten formas de garantizar la coherencia de los datos y se centran en las nuevas características. Se consideran los principios básicos de la configuración, su aplicabilidad y los errores más comunes, y se discuten las formas de resolver los problemas de configuración y operación.
Aspectos técnicos del bloqueo de Internet en Rusia. Desafíos y perspectivas
Philip Culin, bosque profundoDetalles técnicos de las cerraduras. Como el mecanismo de bloqueo ahora está organizado. Quién, qué, dónde, cuándo y cómo. ¿Por qué está tan organizado? Por qué ILV está bloqueando redes enteras. ¿Cuál es el problema del mecanismo de bloqueo actual desde un punto de vista técnico? ¿En qué dirección deberíamos movernos desde un punto de vista técnico dentro del marco de cambios mínimos al marco regulatorio actual?
Predecir las ventas en la tienda en línea mediante el aumento gradual (lightGBM)
Alexander Alekseytsev, OZON.RUEste informe trata sobre un sistema automático de reabastecimiento de almacén. El cerebro del sistema es ML para predecir ventas: establecer una tarea y elegir una función de pérdida, trabajar con atributos, generar un conjunto de datos, elegir un modelo, trampas del proceso de aprendizaje lightGBM, evaluar resultados. Esqueleto del sistema - Spark / Hadoop: entrega / validación diaria de datos, aumentando la confiabilidad del sistema. Realidades comerciales de la adquisición de bienes: selección de proveedores, acciones de seguros, lucha con el nivel de servicio de los proveedores.
Alexander también habló sobre el uso de modelos lightGBM capacitados para evaluar la elasticidad de la demanda de bienes al precio de la planificación de campañas de marketing y el efecto de los mismos. Diferentes tipos de funciones de la dependencia de la demanda de los precios para diferentes tipos de bienes y mucho más recibidos como un efecto "secundario" de la tarea principal.
Cómo trabajamos en la estabilidad de nuestra implementación de Lua
Anton Soldatov, IPONWEBIPONWEB ha estado utilizando Lua para describir la lógica empresarial durante más de 10 años. En 2015, bifurcaron LuaJIT y desde entonces han estado trabajando con su propia implementación de lenguaje. Este componente de la pila tecnológica es crítico para el negocio, por lo tanto, su estabilidad recibe una atención especial.
Anton contó cómo crearon una base de prueba para la implementación desde cero; resolvió varios casos en los que las pruebas resultaron impotentes ante la complejidad del sistema bajo prueba, y como resultado, algo se rompió en los servidores de batalla "repentinamente" e "irregularmente". La experiencia que obtuvieron al corregir estos errores se puede aplicar al trabajo con LuaJIT. Y finalmente, Anton compartió las herramientas y los trucos que usan sus compañías para depurar.
Lugar de seguridad a nivel de fila en un proyecto de alta carga
Alexander Tokarev, DataArtUn informe sobre dónde y cómo organizar mejor la seguridad a nivel de fila para un proyecto altamente cargado. Describió la elección de cómo implementar la seguridad a nivel de fila en un proyecto empresarial altamente cargado (4000 usuarios, 10000 solicitudes al mismo tiempo, transacciones y carga de operaciones al mismo tiempo). Analizó tres tecnologías de implementación para la seguridad a nivel de fila en Oracle DBMS, y por qué se eligió la seguridad en la base de datos y no en el servidor de aplicaciones. Habló sobre la elección realizada, sobre los problemas y los planes futuros.
Cómo creamos nuestro propio Netfilter con Intel DPDK y árboles de prefijos
Alexander Samoilov, Código de seguridadLinux Netfilter está en el corazón de una gran cantidad de ITU, tanto abierta como comercial. Esta es una solución probada, confiable y, más recientemente, incluso bastante productiva. Pero en las realidades modernas, cuando docenas de gigabits de tráfico a menudo tienen que pasar a través de la UIT, y el número de reglas de filtrado puede superar las mil, Linux Netfilter es el cuello de botella.
Alexander habló sobre cómo reescribieron el subsistema de red Linux, que resultó ser rápido: docenas de gigabits de filtrado con estado y sin estado, seguimiento de sesión, NAT y enrutamiento, fácil de administrar, enseñaron al subsistema a comprender los comandos de las conocidas utilidades iproute2 y nftables, independientemente del número reglas de filtrado
VShard - escala horizontal en Tarantool
Vladislav Shpileva, TarantoolHasta 2018, el único medio de escala horizontal del DBMS de Tarantool era Shard, un módulo que implementa el fragmentación, un caso especial de escala horizontal. Shard implementa el fragmentación por función desde la clave primaria, admite el cambio de topología de clúster, reequilibrio. Al mismo tiempo, tiene tres inconvenientes importantes que impidieron el uso de Shard en uno de los proyectos importantes.
A principios de año, se completó el desarrollo del nuevo módulo VShard; esta es una implementación alternativa de fragmentación. En él, el reequilibrio se realiza en etapas, puede especificar una función de fragmento arbitrario para garantizar la localidad de los datos asociados, el resultado del cálculo de la función de fragmento se almacena en cada registro y no se recalcula. Vladislav habló sobre el dispositivo interno de VShard, sobre sus subsistemas y su implementación con ejemplos de uso, y sobre las nuevas características de VShard 0.2.
Más de 150 millones de usuarios de BBM Migración de Oracle a Postgres sin tiempo de inactividad
Álvaro Hernández, OnGres (hablar en inglés)BBM (Black Berry Messenger) es uno de los mensajeros instantáneos más grandes del mundo con las funciones de comunicación de texto, voz y video, su base de suscriptores es de más de 150 millones de usuarios. Trabajó en el DBMS Oracle local. Ayudamos a migrarlo a PostgreSQL que se ejecuta en GCP con replicación en tiempo real prácticamente sin tiempo de inactividad. Alvaro describió en detalle el proceso y las dificultades, técnicas, tecnologías y mejores prácticas para migrar Oracle a PostgreSQL sin tiempo de inactividad. Hoy en día, muchas personas están interesadas en dicha migración, pero requiere una alta calificación y participación en un proceso en el que enfrenta muchas dificultades.
Sistema de control distribuido altamente cargado de una central nuclear moderna
Vadim Podolny, Instrumento FísicoA partir de este informe, aprenderá acerca de la nueva plataforma de un sistema de control distribuido para centrales nucleares y cómo gestionar las instalaciones de automatización más complejas del mundo. Control en tiempo real del trabajo de más de 150 subsistemas especiales responsables de diversos procesos tecnológicos de centrales nucleares. Más de 100K de fuentes de datos de sensores y hasta 500K de parámetros calculados. 5 variedades de procesos físicos.
Con algunas desviaciones, todo el sistema se convierte en una gran fuente DDoS de información de diagnóstico útil, que interfiere con el control normal del objeto. Aprenderá cómo "resolvemos" tales problemas, aprenderá sobre la arquitectura de hardware y software de sistemas como el respaldo y la replicación, por qué se necesita redundancia de datos y diversidad tecnológica. Cómo se proporciona la gestión de carga, cómo funciona la QoS. ¿Y qué sucederá si se apaga el sistema operativo normal, como, por ejemplo, en Fukushima?
Plataforma de transmisión en línea de 4K Million
Alexander Tobol, compañeros de claseServicio de video en Odnoklassniki: el segundo sitio en Runet para vistas de video: 600 millones de visitas diarias. La plataforma de transmisión OK ahora le permite realizar transmisiones profesionales en 4K, transmitir desde su teléfono a FullHD y brindar a los usuarios más de 3 Tb / s de tráfico.
Alexander habló sobre:
- Canal de transmisión de video 4K para millones en línea;
- Arquitectura del sistema de entrega de contenido
- Ajuste TCP para distribución 4K;
- cómo y por qué necesita abandonar ffmpeg y cortar videos en la GPU;
- qué hacer si las capacidades se agotan y los usuarios siguen llegando;
- problemas de transmisión en TCP;
- El futuro de la transmisión de video.
Cambios recientes en Linux IO stack desde el punto de vista de DBA
Ilya Kosmodemyansky, Garceta de datosLos problemas de rendimiento de E / S han estado en la agenda diaria de los administradores de bases de datos ya que existen bases de datos. Linux, probablemente el sistema operativo de base de datos más popular, ha revisado la pila de E / S en los últimos años.
Ilya habló sobre lo que está sucediendo, por qué la pila de E / S necesita mejoras urgentes y a qué puede conducir esto para las bases de datos. Cómo se mejorarán los nuevos controladores NVMe y blk-mq. Como una nota útil, Ilya propuso una lista de verificación de la configuración de PostgreSQL y Linux para maximizar el rendimiento del subsistema de E / S en los nuevos núcleos.
Preguntas frecuentes sobre arquitectura y trabajo VKontakte
Alexey Akulovich, VKAlexey planteó muchos temas y preguntas que la gente tiene "desde afuera".
Por ejemplo:
- La arquitectura general de la interacción de nuestros servidores.
- ¿Hay un PHP "regular" en VKontakte, dónde y por qué? ¿Y qué otras armas nucleares se usan?
- Cómo actualizar el código en decenas de miles de servidores en segundos.
- Tolerancia a fallas de los clústeres de memcache con servidores que se rompen constantemente.
- Por qué VKontakte tiene sus propios motores (DB), cuántos de ellos y cómo viven con ellos.
- Cómo binlog difiere de la instantánea y cómo "deshacer ELIMINAR".
- ¿Cómo puedes monitorear todo esto?
DNS de Facebook
Oleg Obleukhov, FacebookOleg habló sobre cómo Facebook equilibra la carga, y qué tiene que ver la infraestructura de DNS con ella, cómo los registros de recursos caen en la infraestructura global de Facebook y cómo la compañía usa DNS en la organización de alimentación de perros.
Bases de datos y KubernetesDevOps y operación
Dmitry Stolyarov, FlantDmitry compartió su experiencia y contó con ejemplos específicos en qué casos tiene sentido colocar bases de datos (y, en general, aplicaciones con estado) en Kubernetes, y en las que no está justificado, o incluso es dañino y peligroso.
Esta selección está en nuestro
canal de YouTube de Technostream . Lo creamos para compartir una variedad de materiales educativos, incluidas las conferencias de nuestros proyectos de tecnología educativa. Ya escribimos en Habré sobre Technostream, así que si no has oído hablar de él,
léelo . Y vuelve a menudo, algo interesante aparece constantemente allí.