Amis, nous avons convenu avec la société Ontiko que nous publierons les meilleurs rapports de leurs conférences sur notre chaîne Youtube et les partagerons avec vous. Nous voulons donc non seulement diffuser les connaissances, mais aussi aider nos lecteurs et téléspectateurs à se développer professionnellement. Découvrez une sélection des 15 meilleurs rapports réalisés lors de Highload ++ 2018.
Réplication de Tarantool: configuration et utilisation
Georgy Kirichenko, Mail.ru GroupLa réplication Tarantool est utilisée pour fournir une haute disponibilité en sauvegardant des serveurs ou des serveurs de clustering pour l'équilibrage de charge, et peut également être utilisée pour effectuer des opérations de mise à niveau. Les versions récentes de Tarantool ont plusieurs fonctionnalités supplémentaires qui facilitent la configuration et l'utilisation de la réplication dans un cluster.
Le rapport a examiné les principes de base du périphérique et les caractéristiques de la réplication asynchrone dans Tarantool. Nous nous attardons sur la structure interne du vecteur d'état - vclock. Ils discutent des moyens d'assurer la cohérence des données et s'attardent sur les nouvelles fonctionnalités. Les principes de base de la configuration, leur applicabilité et les erreurs les plus courantes sont examinés et les moyens de résoudre les problèmes de configuration et de fonctionnement sont discutés.
Aspects techniques du blocage d'Internet en Russie. Défis et perspectives
Philip Culin, Deep ForestDétails techniques des serrures. Comme le mécanisme de verrouillage est maintenant organisé. Qui, quoi, où, quand et comment. Pourquoi est-il si organisé? Pourquoi ILV bloque des réseaux entiers. Quel est le problème du mécanisme de verrouillage actuel d'un point de vue technique. Dans quelle direction devrions-nous passer d'un point de vue technique dans le cadre de modifications minimales au cadre réglementaire actuel.
Prédire les ventes des magasins en ligne en utilisant le boost de gradient (lightGBM)
Alexander Alekseytsev, OZON.RUCe rapport concerne un système de réapprovisionnement automatique d'entrepôt. Le cerveau du système est le ML pour la prévision des ventes: définir une tâche et choisir une fonction de perte, travailler avec des attributs, générer un ensemble de données, choisir un modèle, les pièges du processus d'apprentissage lightGBM, évaluer les résultats. Squelette du système - Spark / Hadoop: livraison / validation quotidienne des données, augmentant la fiabilité du système. Réalités commerciales de l'approvisionnement en biens: sélection des fournisseurs, stocks d'assurance, lutte avec le niveau de service des fournisseurs.
Alexander a également parlé de l'utilisation de modèles LightGBM formés pour évaluer l'élasticité de la demande de biens au prix de la planification des campagnes de marketing et leurs effets. Différents types de fonctions de la dépendance de la demande sur les prix des différents types de biens et beaucoup plus reçus comme un effet "secondaire" de la tâche principale.
Comment nous travaillons sur la stabilité de notre implémentation Lua
Anton Soldatov, IPONWEBIPONWEB utilise Lua pour décrire la logique métier depuis plus de 10 ans. En 2015, ils ont bifurqué LuaJIT et ont depuis travaillé avec leur propre implémentation linguistique. Ce composant de la pile technologique est essentiel pour l'entreprise, par conséquent, sa stabilité fait l'objet d'une attention particulière.
Anton a expliqué comment ils avaient créé une base de test pour l'implémentation à partir de zéro; J'ai examiné plusieurs cas où les tests se sont révélés impuissants devant la complexité du système testé, et en conséquence, quelque chose s'est brisé sur les serveurs de combat «soudainement» et «irrégulièrement». L'expérience acquise dans la correction de ces erreurs peut être appliquée à l'utilisation de LuaJIT. Et enfin, Anton a partagé les outils et les astuces que leurs entreprises utilisent lors du débogage.
Place de la sécurité au niveau des lignes dans un projet à forte charge
Alexander Tokarev, DataArtUn rapport sur où et comment organiser au mieux la sécurité au niveau des lignes pour un projet très chargé. Il a décrit le choix de la façon d'implémenter la sécurité au niveau des lignes dans un projet d'entreprise très chargé (4000 utilisateurs, 10000 requêtes en même temps, transactionnel et charge olap en même temps). Il a analysé trois technologies d'implémentation pour la sécurité au niveau des lignes dans Oracle DBMS, et pourquoi il a été choisi la sécurité dans la base de données, et non sur le serveur d'applications. Il a parlé du choix fait, des problèmes et des plans futurs.
Comment nous avons créé notre propre Netfilter avec Intel DPDK et des arborescences de préfixes
Alexander Samoilov, Code de sécuritéLinux Netfilter est au cœur d'une grande quantité d'ITU, à la fois ouvert et commercial. Il s'agit d'une solution éprouvée, fiable et, plus récemment, même assez productive. Mais dans les réalités modernes, lorsque des dizaines de gigabits de trafic doivent souvent transiter par l'UIT et que le nombre de règles de filtrage peut dépasser un millier, Linux Netfilter est le goulot d'étranglement.
Alexander a expliqué comment ils ont réécrit le sous-système réseau Linux, qui s'est avéré rapide - des dizaines de gigabits de filtrage avec et sans état, de suivi de session, de NAT et de routage, facile à gérer - a appris au sous-système à comprendre les commandes des utilitaires iproute2 et nftables bien connus, quel que soit le nombre règles de filtrage.
VShard - mise à l'échelle horizontale dans Tarantool
Vladislav Shpileva, TarantoolJusqu'en 2018, le seul moyen de mise à l'échelle horizontale du SGBD Tarantool était Shard - un module qui implémente le partage, un cas spécial de mise à l'échelle horizontale. Shard implémente le partitionnement par fonction à partir de la clé primaire, prend en charge la modification de la topologie du cluster, le rééquilibrage. Dans le même temps, il a trois inconvénients importants qui ont empêché l'utilisation de Shard dans l'un des projets importants.
Au début de l'année, le développement du nouveau module VShard a été achevé - il s'agit d'une implémentation alternative du sharding. Dans celui-ci, le rééquilibrage est effectué par étapes, vous pouvez spécifier une fonction de partition arbitraire pour garantir la localisation des données associées, le résultat du calcul de la fonction de partition est stocké dans chaque enregistrement et non recalculé. Vladislav a parlé du dispositif interne de VShard, de ses sous-systèmes et de sa mise en œuvre avec des exemples d'utilisation, ainsi que des nouvelles fonctionnalités de VShard 0.2.
BBM 150M + utilise la migration d'Oracle vers Postgres sans temps d'arrêt
Alvaro Hernandez, OnGres (parler en anglais)BBM (Black Berry Messenger) est l'un des plus grands messagers instantanés au monde avec les fonctions de communication texte, voix et vidéo, sa base d'abonnés est de plus de 150 millions d'utilisateurs. Il a travaillé sur le SGBD Oracle sur site. Nous avons aidé à le migrer vers PostgreSQL fonctionnant sur GCP avec une réplication en temps réel sans pratiquement aucun temps d'arrêt. Alvaro a décrit en détail le processus et les pièges, les techniques, les technologies et les meilleures pratiques pour migrer Oracle vers PostgreSQL sans interruption. Aujourd'hui, de nombreuses personnes sont intéressées par une telle migration, mais elle nécessite une qualification élevée et une implication dans un processus dans lequel elle fait face à de nombreuses difficultés.
Système de contrôle distribué hautement chargé d'une centrale nucléaire moderne
Vadim Podolny, instrument physiqueÀ partir de ce rapport, vous découvrirez la nouvelle plate-forme d'un système de contrôle distribué pour les centrales nucléaires et comment gérer les installations d'automatisation les plus complexes au monde. Contrôle en temps réel des travaux de plus de 150 sous-systèmes spéciaux chargés de divers processus technologiques des centrales nucléaires. Plus de 100K de sources de données provenant de capteurs et jusqu'à 500K de paramètres calculés. 5 variétés de processus physiques.
Avec quelques écarts, l'ensemble du système se transforme en une énorme source DDoS d'informations de diagnostic utiles, qui interfère avec le contrôle normal de l'objet. Vous apprendrez comment nous «résolvons» ces problèmes, en apprendrez plus sur l'architecture matérielle et logicielle de systèmes tels que la sauvegarde et la réplication, pourquoi la redondance des données et la diversité technologique sont nécessaires. Comment la gestion de la charge est fournie, comment fonctionne la QoS. Et que se passera-t-il si le système d'exploitation normal est fermé, comme, par exemple, à Fukushima.
Plateforme de streaming en ligne 4K Million
Alexander Tobol, camarades de classeVidéo de service à Odnoklassniki - le deuxième site de Runet pour les vues vidéo: 600 millions de vues par jour. La plateforme de streaming OK vous permet désormais de diffuser des émissions professionnelles en 4K, de diffuser depuis votre téléphone vers FullHD et de fournir aux utilisateurs plus de 3 To / s de trafic.
Alexander a raconté:
- Pipeline de streaming vidéo 4K pour des millions de personnes en ligne;
- Architecture du système de distribution de contenu
- Réglage TCP pour la distribution 4K;
- comment et pourquoi vous devez abandonner ffmpeg et comment couper la vidéo sur le GPU;
- que faire si les capacités s'épuisent et que les utilisateurs continuent d'arriver;
- problèmes de streaming sur TCP;
- l'avenir du streaming vidéo.
Modifications récentes de la pile Linux IO du point de vue DBA
Ilya Kosmodemyansky, Data EgretLes problèmes de performances d'E / S sont à l'ordre du jour quotidien des administrateurs de bases de données depuis que les bases de données existent. Linux, probablement le système d'exploitation de base de données le plus populaire, a révisé la pile d'E / S au cours des dernières années.
Ilya a parlé de ce qui se passe, pourquoi la pile d'E / S a besoin d'une amélioration urgente et à quoi cela peut conduire pour les bases de données. Comment les nouveaux pilotes NVMe et blk-mq seront améliorés. Pour rappel, Ilya a proposé une liste de contrôle des paramètres PostgreSQL et Linux pour maximiser les performances du sous-système d'E / S dans les nouveaux noyaux.
FAQ sur l'architecture et le travail VKontakte
Alexey Akulovich, VKAlexey a soulevé de nombreux sujets et questions que les gens se posent «de l'extérieur».
Par exemple:
- L'architecture générale de l'interaction de nos serveurs.
- Existe-t-il un PHP «normal» dans VKontakte, où et pourquoi. Et quelles autres armes nucléaires sont utilisées?
- Comment mettre à jour le code sur des dizaines de milliers de serveurs en quelques secondes.
- Tolérance aux pannes des clusters memcache avec des serveurs en rupture constante.
- Pourquoi VKontakte a ses propres moteurs (DB), combien d'entre eux et comment ils vivent avec eux.
- En quoi binlog diffère-t-il de l'instantané et comment "annuler la suppression".
- Comment pouvez-vous surveiller tout cela.
DNS Facebook
Oleg Obleukhov, FacebookOleg a parlé de la façon dont Facebook équilibre la charge, et qu'est-ce que l'infrastructure DNS a à voir avec elle, comment les enregistrements de ressources tombent dans l'infrastructure mondiale de Facebook et comment l'entreprise utilise le DNS dans l'organisation de dogfooding.
Bases de données et KubernetesDevOps et fonctionnement
Dmitry Stolyarov, FlantDmitry a partagé son expérience et expliqué avec des exemples spécifiques dans quels cas il est logique de placer des bases de données (et, en général, des applications avec état) dans Kubernetes, et dans lesquelles cela est injustifié, voire nuisible et dangereux.
Cette sélection est sur notre
chaîne Youtube Technostream . Nous l'avons créé pour partager une variété de matériel éducatif, y compris les conférences de nos projets de technologie éducative. Nous avons déjà écrit sur Habré à propos de Technostream, donc si vous n'en avez pas entendu parler,
lisez-le . Et revenez souvent, quelque chose d'intéressant y apparaît constamment.