Au début ...
Au début des années 2000, des acteurs étrangers sont entrés sur le marché de l'automatisation des entreprises de télécommunications en Russie. Les systèmes des fournisseurs occidentaux étaient très chers et inaccessibles non seulement au marché moyen, mais aussi à la plupart des grandes entreprises. Les solutions nationales à cette époque étaient moins avancées, mais c'était une époque où il fallait adopter l'expérience et créer des systèmes qui n'étaient pas inférieurs à leurs homologues occidentaux.
Nous voulions être aussi cool et technologiquement avancés que les fournisseurs occidentaux, mais plus universels et abordables pour les moyennes entreprises, alors l'idée est venue de créer une nouvelle entreprise qui pourrait faire face à cette tâche. Il a été enregistré en décembre 2005. L'épine dorsale de l'équipe était composée d'immigrants de fournisseurs de facturation et d'intégrateurs de premier plan de cette période.
La première équipe ne comptait que 6 personnes. Il n'y avait pas de spécialisation rigide, tout le monde était engagé dans des tâches connexes. Nous avons augmenté l'équipe de mise en œuvre, réalisé pas plus de 1 à 2 projets à la fois. Un projet à l'époque pouvait durer un an, j'ai dû ajouter beaucoup de fonctionnalités.
Nous avons développé le cœur du système BSS, commencé à conclure des contrats avec les clients et élargi la fonctionnalité. Notre gamme de produits a commencé à croître. Ensuite, ils ont commencé à gérer les composants OSS pour l'interaction avec les équipements réseau et les systèmes externes.
Architecture client-serveur et interface Web
Au départ, nous nous appuyions sur une architecture client-serveur et une interface Web. Avant cela, nous devions introduire des facturations nationales et étrangères, donc la comparaison était très claire. Pour la compréhension, nous avons commencé le développement de la ligne en 2005, et pour la plupart des concurrents, le code a été réécrit à la fin des années 90, ce qui nous a donné un certain nombre d'avantages.
La charge sur la facturation des clients a augmenté. Nous sommes sur le marché depuis plusieurs années et la confiance de nos clients potentiels nous a conduit à des réseaux de plus en plus importants. Un client est venu avec un million d'abonnés et il nous a semblé que nous travaillions lentement, nous avions besoin plus rapidement. Nous étions engagés dans l'optimisation. Les clients sont venus avec 5 millions d'abonnés - la situation s'est répétée, ils se sont à nouveau assis pour l'optimisation. Le développement était continu.
Nous avons un article sur la convivialité des interfaces -
«L'interface pour les services cloud dans le segment B2B: entre beauté et utilité» - lisez si ce sujet est intéressant.
Propre centre de données
Iron for development se trouvait initialement dans le bureau de l'entreprise, sans salle dédiée. 5-7 serveurs au stade initial - unités système ordinaires.
Un an après le début des travaux, nous avons commencé à rétablir l'ordre. Les ingénieurs système ont été transférés dans une pièce séparée et ont commencé à l'équiper. Le résultat a été une petite salle de serveurs de bureau.
L'entreprise a grandi, le serveur a grandi avec. Il y avait un matériel serveur normal. Nous avons changé de bureau et la salle des serveurs a déménagé avec nous. A chaque fois, une pièce était allouée dans le nouveau bureau, équipé de celui-ci, alimenté en électricité, ventilation, organisé un système d'extinction d'incendie, installé des climatiseurs industriels. Dans ce mode, nous avons vécu 7 ans.
En 2012, il y a eu un autre déménagement et nous avons eu de la chance. Nous sommes entrés dans la pièce que la banque occupait et il y avait déjà une salle de serveurs spécialement équipée - c'est la première fois que nous n'avons pas eu à la construire nous-mêmes.
Il est important que nous ne stockions jamais de données clients dans notre centre de données de bureau. Les opérateurs de télécommunications, nos principaux clients, ont suffisamment développé leurs services informatiques, ont leurs propres centres de données et centres de communication. Les grands opérateurs de télécommunications doivent avoir trois boucles pour les systèmes d'information critiques tels que la facturation.
Ainsi, avant «l'ère» des tests SaaS, il était assez facile de réaliser le plus près possible des données réelles sur le circuit de test de l'opérateur lui-même. Nous avons effectué des tests de version interne dans notre centre de données de bureau, puis l'avons intégré à la boucle de test de l'opérateur.
Mais malgré les capacités de test dans le circuit opérateur, pour notre laboratoire local, nous avons dû acheter des équipements et installer des logiciels aussi proches que possible de ceux utilisés par nos clients. Ce qui est populaire auprès des opérateurs de télécommunications, nous achetons le même type d'équipement pour nous-mêmes.
À différents moments, des serveurs Supermicro, des équipements HP, DELL ont été achetés, récemment HUAWEY et du fer de fabricants nationaux. Nous restons dans l'architecture x86, donc parfois même les fournisseurs les plus populaires ont eux-mêmes fourni une sorte d'équipement de test. Parfois, sur la base des résultats de l'audit, nous avons acheté des bancs d'essai. Du point de vue des systèmes d'exploitation serveur, nous avons toujours été orientés Linux.
Changement organisationnel
En 2008, notre équipe s'était agrandie, à ce moment le chef d'équipe est devenu architecte système, un service commercial a été créé, le support, la R&D se développait. Progressivement, nous avons noué des partenariats avec des intégrateurs, ils ont également commencé à vendre / implémenter notre système. Les besoins de soutien et de formation des clients et des partenaires ont augmenté, et de nouvelles initiatives commerciales et idées pour élargir la gamme de produits sont apparues.
Nous sommes maintenant 70 personnes, en train de grandir, nous avons connu 3 changements assez importants dans la structure organisationnelle et plusieurs crises économiques. La gamme de produits que nous proposons vous permet d'automatiser entièrement un opérateur télécom moderne. Depuis 2019, nous sommes entrés sur le marché international et faisons la promotion de nos produits avec des intégrateurs étrangers.
Nouvelle niche de marché 2.0
Il y a 5 ans, les demandes des petites entreprises ont commencé à apparaître - «votre solution est bonne, mais difficile et coûteuse à livrer». Nous avons commencé à penser que faire de ces demandes. De plus, à cette époque, les projets basés sur le SaaS sont apparus en grand nombre, et nous avons décidé de suivre.
Nous avons raisonné de cette façon: si vous simplifiez la solution, supprimez certaines fonctions, facilitez l'apprentissage et minimisez le coût de la mise en service, alors vous pouvez la vendre selon le modèle d'abonnement. Cela réduirait la flexibilité de la solution, mais en raison des économies d'échelle, un certain bassin de clients devrait être recruté et récupérer le coût du service, pour le rendre rentable.
Les clients du SaaS auraient dû être des clients qui ne pouvaient pas se permettre notre solution d'entreprise, ses licences, ses logiciels et son matériel serveur. Oui, et le marché semble déjà mûr pour les produits cloud, même pour un composant aussi critique pour les opérateurs que la facturation.
Nous pouvons donc dire qu'en 2014-2015, nous avons créé une nouvelle division et commencé à évoluer vers le SaaS, tout en mettant en œuvre simultanément un projet pilote pour fournir l'accès aux services BSS dans le cloud.
Nous virtualisons et transférons l'infrastructure informatique vers un centre de données externe
Tout d'abord, nous avons essayé de déployer le service dans notre centre de données de bureau, mais après avoir reçu 2-3 accidents et plaintes dans des projets pilotes (malgré le fait que l'électricité et les communications étaient qualitativement réservées), nous avons réalisé que pour des raisons indépendantes de notre volonté, nous continuions Nous pouvons garantir la qualité déclarée du SaaS.
Travailler avec les bases de combat des clients et les maintenir dans nos installations est une grande responsabilité pour la continuité du travail et la disponibilité des services. La différence dans les exigences que nous avons faites pour la fiabilité de notre propre laboratoire, environnement de test et services internes est très grande. Vous ne pouvez pas travailler et respecter les exigences de SLA devant le client si certains constructeurs ont interrompu l'optique près du bâtiment ou s'il y a des interruptions d'électricité - les employés du client ne peuvent pas entrer dans le système d'information, des temps d'arrêt et des amendes se produisent, les risques sont trop élevés.
De plus, en 2014, la capacité de notre propre centre de données au bureau devient insuffisante pour nous. Un autre investissement en capital est nécessaire dans les mises à niveau matérielles pour effectuer des tests de charge des systèmes haute performance inclus dans la gamme de produits, effectuer le développement parallèle de plusieurs produits, fournir un environnement de test pour différentes versions, prendre en charge le fonctionnement normal des services connexes - bugtrackers, service de bureau, etc.
Tout d'abord, nous avons déménagé dans un centre de données, où on nous avait promis que la certification selon le niveau III serait effectuée dans un proche avenir, ils nous ont donné une lettre de garantie. Pour de l'argent, l'offre était intéressante, et nous avons accepté.
Nous avons loué une place dans le datacenter, livré nos racks et serveurs, connectés à l'infrastructure. Le transfert a été effectué avec les services arrêtés, les clients ont été prévenus à l'avance, le temps de chargement minimum a été sélectionné et ils ont été rapidement transportés la nuit. Tout d'abord, tous les services commerciaux ont été acheminés vers le centre de données pour assurer une fiabilité maximale aux clients, puis une partie de leur infrastructure interne.
Malheureusement, les espoirs ne se sont pas pleinement concrétisés - pendant près de deux ans dans notre premier centre de données externe, la certification du centre de données de niveau III n'a pas été reçue et nous avons eu 4 accidents en 2 ans. Par conséquent, nous avons décidé de changer le centre de données.
Nous avons recherché un centre de données certifié Tier III moderne et relancé la procédure de relocalisation sur la base de notre expérience précédente. J'ai aimé les services supplémentaires du centre de données pour le déménagement - assistance avec des véhicules spécialisés pour le transport des baies de serveurs, des déménageurs, la volonté de donner accès aux salles des machines pendant les heures de fermeture. Cette fois, la qualité des services était à un bon niveau. Pendant plusieurs années de travail dans ce nouveau centre de données, il n'y a pas eu d'accident grave, ce qui nous rend heureux et nous permet d'offrir aux clients un accès sans interruption à nos solutions SaaS.
Une comparaison simple sans regarder un équipement spécifique - les locaux de notre propre centre de données au bureau nous coûtent moins cher que de louer le même nombre de racks dans le centre de données. En fait, le coût de placement et de location d'un cloud dans un centre de données est plus cher qu'un centre de données de bureau «self-made», mais la fiabilité l'emporte sur lui. Maintenant, les prix relatifs dans les centres de données ont diminué en raison de la concurrence accrue et le solde des dépenses évolue progressivement.
Centre de données virtuel pour notre facturation SaaS
Après avoir déménagé dans le centre de données de niveau III, nous avons commencé à augmenter la capacité de notre centre de données virtuel à mesure que le nombre de clients d'entreprise qui migraient vers l'infrastructure virtuelle et l'émergence de nouveaux clients utilisant notre cloud pour héberger les systèmes de facturation et de PRM augmentaient. Le coût du centre de données a complètement remplacé l'investissement dans l'infrastructure informatique de notre centre de données de bureau.
Parmi les entreprises clientes, le plus grand opérateur MVNO a été le premier à pénétrer dans notre cloud dans le nouveau centre de données. Maintenant, dans notre SaaS vit plus de 20 entreprises avec une capacité de base d'environ 500 000 abonnés.
Du point de vue du test de nouvelles idées commerciales, un cloud de centre de données est très pratique - vous pouvez augmenter la capacité pendant quelques mois ou organiser un environnement virtuel séparé. Nous avons testé, si ce n'était pas le cas, puis nous avons simplement réduit le prototype commercial, annulé les modifications et refusé des capacités supplémentaires. La même chose avec les tests de résistance - nous prenons de grandes capacités à louer pour une courte période et nous nous réjouissons. Pas besoin d'engager des coûts en capital pour l'achat d'équipement.
Nous sommes actuellement certifiés pour établir la facturation sur des réseaux pouvant atteindre 25 000 000 de numéros / abonnés. Nous déployons la partie serveur dans un environnement Linux / UNIX sur une architecture x86. La partie client peut être déployée sur n'importe quel système d'exploitation moderne, où les navigateurs Web populaires modernes sont lancés. Les bases de données peuvent être utilisées par Oracle et PostgreSQL.
Naturellement, la charge peut varier considérablement en fonction de la fonctionnalité. Dans la vie, vous devez constituer une réserve, vous concentrer sur les charges de pointe, augmenter la capacité à mesure que les calculs deviennent plus compliqués et que le volume de données traitées provenant de l'équipement augmente. Dans une situation où une forte dynamique de changement vers le haut du nombre d'abonnés (par exemple, l'acquisition et l'absorption d'autres opérateurs) est possible, l'opportunité d'utiliser la flexibilité d'un centre de données moderne semble avantageuse.
Comment nous travaillons maintenant et conseils pour passer à des centres de données externes
Auparavant, les informaticiens choisissaient la facturation lors de l'achat, maintenant les entreprises, les commerçants, les vendeurs sont plus souvent impliqués dans cela, et l'informatique est engagée dans le support et la maintenance, avec un contrôle minimal, afin de ne pas jeter les ordures. Et les critères de sélection par les informaticiens et les marketeurs sont très différents, y compris en termes de perception visuelle du système d'information.
La version actuelle de notre plateforme est la 3.2. La première version date de 2005-2006. Le second est 2006-2014. Le troisième - depuis 2014. Nous essayons de ne pas être piégés dans l'obsolescence des solutions technologiques - nous mettons à jour les outils de développement et d'évaluation utilisés, nous mettons constamment à jour l'interface web. Le cas échéant, nous élargissons la pile de technologies utilisées. En termes de solutions, Tarantool, PostgreSQL, Hazelcast sont désormais utilisés. Et nous recherchons constamment de nouvelles perspectives. Cela impose un certain nombre d'exigences sur l'équipement utilisé et la possibilité d'une reconfiguration flexible.
Pour le moment, nous pouvons recommander aux grandes entreprises de prêter attention au schéma hybride, lorsque des serveurs physiques et un cloud de centre de données sont impliqués. Par exemple, tout ce qui concerne la base de données s'exécute sur un équipement spécifique spécifique, et les processus bien parallélisés et virtualisés sont transférés vers le cloud du centre de données.
La géo-réservation est une exigence obligatoire des grands opérateurs. Maintenant, pour certains de nos clients, nous soutenons le travail avec trois centres de données dans différentes parties de notre grand pays. Cette approche nous permet de fournir au client une tolérance maximale aux pannes du service sélectionné par le client.
À notre avis, un bon centre de données moderne diffère de la moyenne en ce qu'il peut fonctionner avec des nuages hybrides et une bonne réactivité technique. Les ingénieurs d'un bon centre de données sont prêts à comprendre comment le logiciel fonctionnera avec leur cloud. Les problèmes se manifestent généralement sous des charges élevées, dans notre pratique, des équipes conjointes formées de nos spécialistes et ingénieurs de centre de données ont révélé des anomalies intéressantes associées à l'utilisation de certains types d'équipements et de certaines versions de système d'exploitation dans le cloud.
Sans interaction avec les ingénieurs du centre de données, il est souvent très difficile de comprendre pourquoi il peut y avoir des baisses de performances ou un comportement anormal des produits dans un cloud donné.
La variété des moments subtils difficiles à prévoir est très grande. La capacité des ingénieurs de centre de données à naviguer rapidement dans la situation et à aider notre équipe à comprendre où se situe le problème est un paramètre très important pour choisir un centre de données, au moins pour une entreprise technologique comme la nôtre. Ainsi, lorsque vous passez au cloud, vous devez absolument tester vos systèmes, regarder comment il fonctionne sous charge, identifier les différences par rapport à son fonctionnement sur votre équipement et comprendre les raisons, établir une interaction avec des spécialistes du centre de données.
Si vous souhaitez partager vos histoires sur le transfert de votre infrastructure vers un environnement virtuel, combien cela vous coûte de l'argent, quel système ou quelles exigences spécifiques vos logiciels / services ont et comment ils ont survécu à la migration vers des centres de données externes - n'hésitez pas à commenter. Il est toujours intéressant de voir comment d'autres ont résolu des problèmes similaires :)