«Il me semble que nous approchons du moment où tout le monde pourra coder. Le code est la liberté. "

Habr, bonjour! Nous poursuivons une série d'entretiens avec des anciens de Newprolab dans lesquels ils parlent de leur histoire de s'orienter vers le domaine du travail avec les mégadonnées. Les histoires sont toutes différentes et seront intéressantes pour ceux qui envisagent de changer leur cheminement de carrière ou de voir comment de nouvelles connaissances peuvent aider à résoudre les problèmes actuels. Aujourd'hui, nous avons très probablement la deuxième option. Rencontrez - Dmitry Rodin, dans mon cœur développeur, contributeur à la plateforme analytique open source Rockstat ; co-fondateur, co-auteur et enseignant de Digital God - programmes éducatifs pour les professionnels du numérique; PDG Xeteq .

Nous avons parlé avec Dima des langages de programmation et des solutions qu'il y écrit, de son projet open source et pourquoi il le fait, d'une nouvelle spécialité qu'ils enseignent, etc.



- Dima, parle-nous un peu de toi.

- Mon métier de caramel me vient immédiatement à l'esprit, je plaisante à ce sujet depuis longtemps, mais sérieusement, dans mon cœur, je suis programmeur ou architecte, j'aime trouver et créer de nouvelles solutions, impliquer d'autres personnes en elles. Au cours des 10 dernières années, je me suis engagé dans les technologies de marketing, et j'étais tellement emporté avec elles que c'est devenu un passe-temps. Il a développé presque tout: d'un système de gestion de la publicité et DSP à la lutte contre la fraude avec des modules de surveillance du matériel. Je pense avoir appris le Zen, mais ce n'est pas exact.

- Vous programmez depuis plus de 15 ans, dites-moi combien de langages de programmation connaissez-vous et utilisez-vous dans votre travail et vos projets personnels?

- Je pense que compter le nombre de langues est faux, la compétence la plus importante est de comprendre plusieurs concepts de langues, et ensuite il n'y aura pratiquement aucune différence sur quoi écrire. Oui, bien sûr, chaque langue a ses avantages et ses inconvénients, ne l'oubliez pas.

- Et à partir de quelles langues avez-vous commencé et qu'utilisez-vous maintenant.

- Maintenant, pour moi, il n'y a pas beaucoup de différence sur quoi écrire. J'ai commencé par développer des sites en PHP, c'était il y a plus de 15 ans. Certes, je ne l'ai pas utilisé depuis de nombreuses années.

Après PHP, il y avait Ruby, puis c'était un langage hype, de nombreuses conférences ont eu lieu et son cadre - Ruby on Rails - est devenu un modèle pour beaucoup d'autres. En général, c'est dans Ruby que de nombreux concepts sont nés, qu'ils ont ensuite adoptés et dégénérés dans d'autres langages de programmation et leurs écosystèmes.

J'ai ensuite commencé à développer activement en JavaScript (node.js). Les navigateurs rivalisaient autrefois en termes de vitesse et de sécurité, et pendant cette course, un moteur JavaScript V8 très puissant est né, situé à l'intérieur du navigateur Chromium (remarque: le navigateur ouvert sur lequel Chrome est basé). Certains gars ont décidé de prendre ce moteur et de le fixer à libevent, ce qui a abouti à une chose asynchrone extrêmement productive qui fonctionnait sur d'autres langages de programmation de script côté serveur, mais avec une syntaxe et un écosystème JavaScript dégoûtants de l'époque. C'est dans ce langage serveur que je l'ai développé.

Quant à moi, JavaScript était le langage le plus terrible, il était presque impossible de bien le faire, c'est-à-dire écrire du code compatible qui est pratique pour déboguer, tester et développer. Mais ces dernières années, JS s'est considérablement amélioré: le langage lui-même a évolué, de nombreux outils d'assemblage sont apparus, et surtout, des modules complémentaires qui vous permettent de décrire les types de données, de vérifier la conformité et de rechercher les erreurs potentielles qu'un développeur peut faire, éliminant ainsi la plupart d'entre eux. L'un de ces modules complémentaires est TypeScript, je l'utilise au lieu de JS pur depuis plusieurs années maintenant.

Bien sûr, vous ne pouvez pas vous éloigner de Python, tout est là, cela fonctionne de manière pratique et assez rapide, vous n'avez rien à proposer, vous pouvez faire presque tout ce que vous voulez. Il est bien adapté pour travailler avec des données: de nombreux packages mathématiques, des outils pratiques comme Jupyter, prennent au moins l'absence de restrictions sur la taille du nombre dans les calculs mathématiques.

Mon préféré, que je travaille le moins, c'est Elixir. Il est basé sur un autre langage fonctionnel, Erlang, créé par Ericsson pour la programmation d'équipements de télécommunications. Sa principale caractéristique est le parallélisme et la tolérance aux pannes. À propos, il est apparu il y a longtemps, pratiquement mon âge. L'élixir est tout aussi incroyablement parallèle et tolérant aux pannes. Erlang et Elixir ont des caractéristiques architecturales intéressantes, par exemple, un seul serveur peut gérer plusieurs millions de connexions simultanées grâce à l'utilisation de sa propre implémentation de processus légers et de la messagerie via des connexions légères. Certes, Erlang a une syntaxe extrêmement gênante et inexpressive.

Ainsi, Elixir, en fait, est le même Erlang avec toute sa puissance, mais avec une syntaxe beaucoup plus agréable et pratique de Ruby. Dans Xeteq, nous avons construit un MTA productif sur celui-ci (remarque: agent de transfert de courrier, c'est-à-dire serveur de messagerie). Cependant, j'ai toujours peur de faire des projets à grande échelle chez Elixir. Lorsque vous l'utilisez, vous devez trop écrire vous-même: ce que vous avez longtemps implémenté dans d'autres langues en tant que bibliothèques prêtes à l'emploi, vous devez le faire vous-même. Bien qu'il soit parfois utile de «réinventer la roue», vous pouvez inventer quelque chose de nouveau et de valable. Et la communauté est un peu lente. Tous les projets ont une très petite communauté, par exemple, prenez le framework web de plug-in de base - il a moins de 2000 étoiles, son analogue est un flacon en python, qui en a presque 40000, et ruby ​​sinatra en a un peu plus de 10000.

- Parlons de projets. Parlez-nous de vos projets les plus intéressants, importants et importants, et quel est leur sort.

- Mon premier projet sérieux était "Blonde.ru". En 2009, c'était un projet très ambitieux, dont l'essence était que chaque personne, sans connaissance particulière de la publicité contextuelle, puisse lancer indépendamment une campagne publicitaire, et à la fois dans tous les réseaux publicitaires et à partir d'une interface simple. C'est là que j'ai grandi très professionnellement et rencontré des gens qui ont grandement influencé ma vie. Il se trouve qu'après quelques mois le président du directeur technique a été libéré, et pendant qu'ils le cherchaient, ils m'ont nommé directeur par intérim. Le temps passa et la chaise était vide. Le chef de l'entreprise, Yura Eliseev, a pris et fait de moi un directeur technique à part entière, je ne sais pas de quoi il était guidé, j'étais plutôt vert pour ce poste, même si peut-être j'ai vu quelque chose en moi ( rires - commentaire de l'auteur ). Soit dit en passant, c'est là que nous avons rencontré Alexander Shvets (avec lui, nous avons fondé Digital God). Il est venu chez nous en tant que programmeur, alors qu'il était encore étudiant de Baumanka et était dans ce domaine le meilleur. En général, nous sommes devenus de très bons amis. Le projet est vivant, il a été renommé et transformé plusieurs fois, il est entré sur les marchés étrangers, maintenant il est connu comme Aori.

- Et après Blonde.ru vous avez commencé à faire votre premier projet, non?

- Oui, mon ami et moi avons décidé de créer un widget produit, en fait, le réseau publicitaire Yandex.Market. Pour être plus clair: il y a Yandex.Direct, et il y a YAN (Yandex Advertising Network) - différents sites où leurs blocs sont situés, et ils rattrapent une personne via une recherche ou un affichage thématique. Yandex.Market ne l'avait pas, mais il y avait une API de contenu spéciale à travers laquelle il était possible de recevoir des offres à chaud des magasins et un lien où envoyer des personnes intéressées. Et si un achat a été effectué, nous avons reçu 50% du coût payé par l'annonceur. Assez rapidement, j'ai scié le moteur - un widget qui est mis sur le site, il détermine le sujet, regarde ce qui intéressait une personne, pour faire une sélection automatique des produits du marché. Cela a très bien fonctionné. Nous avons appris à bien arbitrer («arbitrage» - pour acheter un espace publicitaire et le rentabiliser via un autre canal), pour identifier les bons / mauvais sites, et nous avons commencé à acheter activement de l'espace publicitaire sur de nombreux sites et à y placer notre widget. Parmi les sites se trouvait une grosse automobile. En conséquence, nous avons connu une croissance très rapide, mais, pour une raison inconnue, Yandex a unilatéralement rompu le contrat avec nous. Nous avons fait de notre mieux pour en trouver la raison, mais sans y parvenir, nous avons dû clore le projet. Ce fut une grande tristesse, car beaucoup d'efforts ont été mis dans ce projet, et la performance était très bonne. Maintenant, je suis sûr que ce fut une bonne expérience qui m'a appris à évaluer correctement les risques. En général, l'expérience n'est que positive et si quelque chose ne réussit pas, cela ne fera que vous aider à éviter des difficultés encore plus grandes à l'avenir.



- Et pourtant, acquérant toutes sortes d'expérience, vous avez continué à proposer de nouveaux projets. Que s'est-il passé ensuite?

- D'une manière ou d'une autre, j'ai décidé de créer mon propre compteur pour collecter des données sur le comportement des personnes sur les sites Web et calculer des statistiques en fonction de cela - comme la façon dont Google Analytics et Yandex.Metrica collectent leurs données. Un code est mis sur le site, il surveille toutes les actions des visiteurs sur le site, les envoie au serveur, le côté serveur reçoit ces données et les stocke dans une base de données distribuée. Ce projet s'appelle Rockstat. Plus tard, j'ai pensé à créer un service d'analyse de bout en bout basé sur celui-ci, qui, soit dit en passant, est maintenant une douleur pour de nombreuses entreprises. Mais je n'aurais ni la force ni le temps de me développer, et je n'ai même pas commencé. Et c'est bien que je ne l'ai pas fait, maintenant j'ai une opinion que les services d'analyse de bout en bout font leur travail. Ils conviennent à ceux qui ne comprennent pas l'analyse et le marketing, qui ne savent pas comment tout devrait fonctionner, ou à ceux qui ont de faibles besoins. Dans d'autres cas, ils sont limités par un manque d'intégration ou une incompatibilité de la logique de travail. Mais j'ai trouvé une utilisation intéressante pour les données brutes collectées par le compteur.

- Quoi?

- Par exemple, envisagez l'attribution multicanal en fonction du comportement du visiteur du site et non du numéro de visite. L'attribution est un moyen de répartir la valeur des ventes entre les canaux publicitaires qui y ont participé. Le modèle d'attribution basé sur le passage probabiliste de l'entonnoir est déjà devenu populaire, mais il ne convient que pour les sites où il y a un entonnoir et un cycle de vente pas trop long - c'est la majorité des boutiques en ligne. Mais il y a un autre côté: l'immobilier, une voiture, des robes de mariée, où le cycle de décision est beaucoup plus long, et un entonnoir adéquat sur le site est tout simplement absent. Pour eux, je suis venu avec un indice de comportement activité / engagement. A cette époque, mon compteur comptait déjà plusieurs utilisateurs, cela m'a permis de tester l'hypothèse, de calculer l'attribution en fonction de l'implication des utilisateurs dans l'interaction avec le site. J'ai pris deux sites où il y a un entonnoir et un cycle de vente pas trop court. J'ai comparé les résultats du modèle basé sur le passage probabiliste de l'entonnoir et le modèle basé sur l'implication, il s'est avéré qu'ils étaient en corrélation notable. Après tout, nous vivons dans une telle époque: si le contenu de la page ne capte pas ou ne donne pas d'espoir, alors elle sera immédiatement fermée.

J'ai pensé que cela pourrait être utile et demandé. Je suis passé par plusieurs entreprises, j'ai expliqué comment elles peuvent améliorer la façon d'évaluer l'efficacité des canaux publicitaires, mais cela s'est avéré trop difficile ... C'est difficile à comprendre et ajoute des difficultés à justifier les dépenses. En général, il y a très peu de gens qui veulent faire leur travail vraiment cool, qui sont motivés par ce qu'ils font et qui s'efforcent d'atteindre de nouveaux sommets. Le plus souvent, il s'avère que lorsqu'ils rencontrent une décision difficile et incompréhensible, ils vont plutôt marquer dessus, ne compliqueront pas leur vie. Il a parlé à Data Science Week, Moscow Digital avec une histoire sur ce modèle. Il y en avait beaucoup intéressés, mais personne n'était mûr.

Et puis il y a eu un autre tournant, certains gars sont venus me parler d'analytique (je le pensais), mais il s'est avéré qu'ils sont venus me proposer un travail, et pour un poste très inhabituel pour moi en tant que directeur marketing; et pas quelque part là-bas, mais dans la fille prometteuse de Sberbank Plazius. Cette expérience mérite une histoire distincte, alors je vais peut-être la sauter.

Tout en travaillant chez Plazius, j'ai commencé à enseigner. Mon ami et moi, en collaboration avec la plate-forme Tceh, avons lancé le cours éducatif à temps plein «Spécialiste en publicité programmatique». Le cours a aidé les gens à accroître leurs compétences dans le domaine difficile de la publicité technologique ou même à acquérir un nouveau métier. Et puis je me suis retrouvé chez Linkprofit, où j'ai commencé à créer des technologies marketing principalement axées sur le marché, et non sur la satisfaction des besoins de l'entreprise. Puis l'entreprise se restructurait, sans s'en rendre compte, j'ai été nommé à la tête de la nouvelle société informatique Xeteq, qui faisait partie du groupe de sociétés LT Digital.

- Attends, et Rockstat? Il l'a abandonné, puisque personne ne comprenait?

- Une fois, j'ai pensé: "Pourquoi Rockstat sort-il?" Peut-être que quelqu'un en bénéficiera. " Refait le service dans une boîte, ajouté des outils de données et le mettre en open source appelé Alcolytics. Et puis ça a commencé ... Autour du projet a commencé à rassembler une communauté de gars très professionnels, que j'avais rencontrés assez rarement auparavant. Ils ont commencé à le présenter à la maison. J'étais tellement étonné! De plus, ils ont approché de manière très compétente comment l'utiliser, je n'avais même pas de telles pensées. Ensuite, j'ai décidé par moi-même que je ne travaillerais qu'avec des professionnels enthousiastes et laisserais le reste dans la forêt, je n'entrerais même pas en contact avec ceux qui ne savent pas ce qu'ils voulaient, qui devaient "vendre" l'idée et prouver ensuite son efficacité.

J'ai commencé à consacrer presque tout mon temps libre au développement de ce projet, j'étais très motivé par le retour visible. «Pour quoi, je voulais tout commercialiser si j'en ai marre du fait qu'ils l'utilisent et que les gens aiment ça», ai-je pensé. En général, au début, c'était quelque peu effrayant, soudainement un bug, mais je ne peux même pas le réparer ou ils l'installeront mal, ils gâcheront tout, puis ils diront que le logiciel ne fonctionne pas (* rires - commentaire de l'auteur *). Je connaissais une dizaine de serveurs avec Alcolytics, il y en avait probablement plus, mais cette connaissance était suffisante pour une forte motivation, je développais constamment le projet, et ça allait de mieux en mieux.

Un utilisateur d'Alcolytics a collecté des données de crm et d'appels, des analyses intégrées. Ces données étaient nécessaires pour créer une attribution intersite intelligente. Cela devait être fait à l'extérieur, car il n'y avait aucun moyen d'exécuter le code à l'intérieur. J'ai alors décidé de permettre de créer de petits scripts pour le développement de mes API, ce qui nous permettra de prendre ces données au crm ou n'importe où pour les utiliser. J'ai travaillé de nombreuses options, mais partout il y avait une sorte de faille. J'ai décidé de faire une mise en page de service pour Docker, mais j'ai été tellement emporté par ce processus que deux mois plus tard, j'ai réalisé que j'avais créé ma plate-forme de microservice, mais je voulais faire une chose simple pour exécuter des scripts. J'ai été très captivé par la pensée: "Pourquoi ai-je besoin d'analyses s'il n'y a aucun moyen d'automatiser la prise de décision?" Il suffit de regarder les chiffres plusieurs fois, et il est clair dans quel cas quoi faire. Cela vous permet de faire soit des logiciels commerciaux, généralement à un prix décent, soit complexes, du point de vue de la mise en œuvre et du support, open source.

- Oui, les décisions simples ne sont pas pour vous, si vous faites quelque chose, alors en grand.

- J'ai imaginé combien d'automatisations différentes il serait possible de mettre en œuvre. Ils effectueront diverses tâches: gérer le budget et les offres publicitaires ou, si nous parlons de publicité RTB, il sera possible de déplacer les utilisateurs d'un segment à un autre s'ils changent de statut dans le système. Vous pouvez faire ce que vous voulez. En travaillant sur cette plateforme, j'ai inventé beaucoup de "vélos", je n'en avais jamais inventé autant auparavant. Personne ne me félicitera pour cela, mais je les aime et ils se sont avérés très cool. Il y a un autre très bon argument - tout fonctionne sur un seul serveur pour 10 $, en maintenant un site avec 1 à 2 millions de visiteurs par mois, sans contrainte du tout. Développement de frameworks pour 2 langages de programmation qui implémentent toutes les fonctionnalités nécessaires, organisant l'interaction avec d'autres microservices. Soit dit en passant, de grandes entreprises sont désormais construites autour des technologies de microservices.

Et aussi, lorsque vous créez une solution open source, il n'est pas dommage de prendre un morceau d'une autre open source, par exemple, des clients mobiles, ce qui prendrait beaucoup de temps à mettre en œuvre. Dans le commerce, bien sûr, ce n'est pas le cas - ce sont d'énormes risques pour la réputation, et même une honte. J'ai tellement appris sur l'open source sympa quand j'ai commencé à travailler avec.

Maintenant, ce n'est pas un projet qui résout des problèmes spécifiques, c'est une plate-forme qui aide à réaliser vos désirs, et pour le faire facilement, ne vous embêtez pas avec des choses techniques complexes et ennuyeuses.

Récemment sorti en alpha testant la 3ème version , renvoyant le nom d'origine Rockstat . La documentation est encore petite, il y a beaucoup de bugs, mais les utilisateurs sont satisfaits. Parmi elles, il y a de grandes entreprises: une compagnie aérienne et la suivante en ligne est un annonceur du top 30 de la Russie. Bien sûr, il y a plus d'utilisateurs au total. Nous avons une petite communauté dans TG (@rockstats), les gars feront rapport sur les problèmes et les réalisations.

- Pourquoi et pourquoi vous passez autant de temps et d'argent personnel sur un projet, que vous postez ensuite en open source. Qu'est-ce qui vous motive?

- Il me semble que le projet Rockstat peut changer considérablement le domaine numérique. Il est clair que la norme convient aux petites entreprises, et les géants prennent des décisions compliquées, mais il y a des entreprises avec des spécialistes talentueux et des besoins complexes quelque part entre les deux, il y en a de plus en plus. Ils créent de leurs propres mains des solutions audacieuses et efficaces. On ne sait pas si le marché les suivra ou non, car on sait pourquoi la Russie est célèbre. Pendant un certain temps je développerai le projet ici, mais seulement lui grandira un peu, je vais essayer de le déclarer sur d'autres marchés.

C'était un long chemin, mais maintenant je peux honnêtement dire: "Je ne sais pas pourquoi j'ai besoin d'argent, où le mettre". , - , , . open source , , : « - ?» , , , . , .

— ?

— , ( – . ). . , , email . – , – , . , : , , 00-, . , . – (Message Transfer Agent) – . . 2-3 MPV ( ). , . – . , , . – «» , . Elixir, , , , Elixir .

— , , , « » ? ?

— . Hadoop . , , , - ; , . , : Hadoop, , « », DMP, — . : ; . , , . , .

— Digital God — . ?

— , , : ( ), Ad-/Mar-Tech. , Facebook, . digital . : digital . , , .. , , : , , .

( ) , , – ( – . ). . , , . 2- , 3- . , . .

– , , , . , – . . , , . , , . , , .

Rockstat : , , . , , , , , . - ( Rockstat ). , , . , . - API, - , scraper- , API.

Rockstat Digital God – . – « » . - . «, » — , . - , . - , , . , , , . , , .


1 Digital God Digital Rockstar

— . , Digital God? ?

— , , , , , . , , .

digital , digital, , , , , .

— , ?

— - , , , . , , . , . - , , , , , .

— ., , . , , .

— , , ó , : , . , , . , ( , - DigitalGod) . , : « , . \, ». , , , . , , , .

, IT : - , , , , . , , , , , , . , , .

— , ? , / ?

— , , , , . , - , .

, , . , , . - , , , . , . , , , - , , , .

— , ? , .

— ( – . ). , , , . , . , , - .

— , ?

- Je n'ai pas de vision intéressante sur ce sujet, pour être honnête. Je perçois la vie comme un jeu d'ordinateur - il suffit de parcourir les niveaux, de choisir entre différentes actions que vous pouvez calculer et de faire un choix. Mon open source éliminera probablement les projets commerciaux du marché, et les cours Digital God établiront un nouveau niveau pour les professionnels du numérique. Il est donc intéressant de savoir ce que tout cela fonctionnera ou ne fonctionnera pas du tout. Enfant, j'ai joué à des jeux informatiques, puis j'ai grandi et j'ai réalisé que la vie est aussi un jeu, mais beaucoup plus excitant, de bien meilleurs graphismes, et combien de lignes de développement et de niveaux possibles ...