Salut
Dans deux semaines, nous hébergerons notre Apache NiFi mitap, un outil de livraison de données OpenSource utile. Parlons de cas réels et discutons de diverses approches techniques de son utilisation.
Il y aura 4 conférenciers, une personne de nous et nos collègues du Tinkoff Development Center, ER-Telecom et Arenadata Software.
Sous la coupe - une liste de rapports et un lien vers l'inscription.
Comment écrire votre propre processeur (19h00 - 19h30)
Vladislav Mirkos, développeur, Département des technologies des données, Rostelecom
Vladislav travaille à Rostelecom depuis 2 ans dans l'équipe de développement du système de l'entrepôt, participe à la mise en œuvre de projets de livraison de données à l'entrepôt, a travaillé avec de nombreux outils ETL.
Dans son rapport, il expliquera comment commencer à écrire ses processeurs lorsque cela sera nécessaire et pourquoi étendre les fonctionnalités de la boîte à outils de livraison. À l'aide d'un exemple concret, nous ratisserons les principales étapes: de l'idée à la livraison en passant par la production.
Flux de voyage. Du développement à la production et retour (19h30 - 20h00)
Bronislav Zhitnikov, développeur principal , Tinkoff Development Center LLC
Bronislav est passé de l'assistance à l'analyse et aux tests de systèmes au développement (y compris l'architecture de plusieurs systèmes). A Tinkoff pendant un an et demi, il dirige l'équipe de développement des mécanismes d'intégration des données externes dans l'entrepôt, désormais le groupe s'appelle NiFi-Core. Écrit en Java, Python et SQL.
Le rapport portera sur la façon dont au Tinkoff Development Center les processus développés sont livrés à l'environnement de production et comment les processus sont finalisés. Où ont-ils commencé et quelles difficultés ont-ils rencontrées - et où sont-elles arrivées.
Comment simplifier la vie des développeurs et des ingénieurs. Développez Kafka et Nifi en deux clics (20.20 - 20.50)
Ella Kurginyan, chef d'équipe de développement logiciel Arenadata
Pendant trois ans, Ella a travaillé comme développeur dans l'un des intégrateurs sur divers projets, puis elle voulait quelque chose d'éternel et d'épicerie, et elle est entrée dans l'Arenadata. Actuellement, il est à la tête de l'équipe de développement de la plateforme de streaming Arenadata, un produit basé sur Kafka et Nifi.
Il expliquera comment vous pouvez gagner du temps et des efforts lors du déploiement d'environnements pour développer des flux dans Nifi et pas seulement. Il montrera à quel point il est facile d'administrer, de mettre à jour et d'étendre les clusters Nifi et Kafka, de partager la feuille de route interne et d'indiquer où contacter les demandes de fonctionnalités.
Utilisation d'Apache NiFi comme microservice (20.50 - 21.20)
Evgeny Goryachev, architecte du système de recommandation de télévision interactive, ER-Telecom
Il est engagé dans l'intégration, le développement et le fonctionnement du système de recommandation pendant 3 ans, ainsi que le cycle complet du projet, du développement et de l'orchestration des services aux outils d'analyse de l'efficacité des produits du système. Utilise NiFi non seulement pour ETL, mais aussi comme service décentralisé universel.
Il parlera de l'approche d'utilisation de NiFi comme microservice pour la production rapide et le lancement d'un service prototype avec des versions classiques pour les microservices, Docker-conteneurisation, livraison et orchestration des conteneurs dans la prod.
La participation est gratuite, la
page d'inscription est ici .
Le 28 novembre, nous partons de 18h30.
Moscou, remblai Bersenevskaya, 6 p. 3, Deworkacy, amphithéâtre