Où stocker les données: une excursion au centre de données IXcellerate

Souvent, vous entendez que le stockage de données et la sous-traitance informatique de vos systèmes sont dangereux et peu fiables. En apparence, les données peuvent ne pas être disponibles en raison de problèmes techniques avec le fournisseur, le centre de données peut devenir l'objet d'une attaque de pirate, et il est plus calme lorsque tout l'équipement informatique et toutes les données de l'entreprise sont à proximité, «près», et non stockées et maintenues «sur côté. "

Je propose de voir comment le centre de données IXcellerate est organisé, dans lequel nous stockons nos données et données client. Nous sommes un fournisseur de services Onlanta . Notre cloud OnCloud.ru est basé sur plusieurs centres de données géographiquement répartis. Le centre de données IXcellerate n'est que l'un d'entre eux.


Le centre de données IXcellerate est situé sur le territoire de l'ancienne zone industrielle et de l'usine de béton préfabriqué de la région d'Altufevo sur un site de plus de 15 000 mètres carrés. m est l'un des plus grands centres de données de Moscou.


Le choix du territoire de l'usine de produits en béton armé pour la création d'un centre de données n'était pas accidentel - ces entreprises ont généralement de puissantes lignes d'alimentation électrique, ce qui est exactement ce dont le centre de données a besoin. Sur le territoire du centre de données, il y a deux lignes de ce type - à partir de deux postes de distribution différents. La distance entre les entrées du bâtiment est d'au moins 150 m, ce qui augmente considérablement la fiabilité et la disponibilité des services du centre de données, car la probabilité de pannes dues à des accidents sur le réseau électrique est considérablement réduite.

Le centre de données IXcellerate a commencé à être construit en 2012 et un an plus tard, la première salle des machines a été mise en service. Le fondateur d'IXcellerate est un investisseur international et entrepreneur britannique bien connu Guy Wilner .

Guy Willner (à droite)

Guy Wilner a été cofondé par un autre homme d'affaires international, Cliff Gauntlett, qui a commencé à travailler en Union soviétique à la fin des années 1980. Il s'est avéré être l'un de ces étrangers qui sont venus ici pendant la perestroïka, sont tombés amoureux du pays et, malgré tous ses problèmes, sont restés ici pour toujours (Cliff est décédé en 2013). Beaucoup se souviennent probablement des cartes téléphoniques ROL. Ils ont été libérés par le fournisseur russe Golden Telecom, où Cliff a travaillé comme vice-président senior. De plus, Cliff était également un "rockeur" passionné - il dirigeait le célèbre groupe ROL, et ses chansons sont même dans le répertoire des Scorpions. D'où la devise du centre de données IXcellerate - Rockin'Russia.

Rockin'Russia Corporate Festival: Cliff Gauntlett avec une guitare, derrière la batterie - Alexander Vershbow, ambassadeur américain en Russie. (photo www.passportmagazine.ru )

En l'honneur de Cliff Gauntlett Sam, la première salle des machines du centre de données IXcellerate a été nommée.

La guitare de Cliff est toujours suspendue dans le centre de données, avec l'autographe original de Paul McCartney

La capacité de conception du centre de données est de 13,7 mégawatts et la capacité est de 1 835 sièges en rack, et ce nombre augmente. Superficie du bâtiment - 6000 mètres carrés. m. En outre, le centre de données a plus de 600 mètres carrés. m d'espace de stockage pour les clients, où ils peuvent stocker l'équipement nécessaire pour le travail.

Deux routes d'accès mènent au bâtiment du centre de données. Le territoire est éloigné des aéroports, des chemins de fer, des autoroutes, de divers types de centres commerciaux et de divertissement, ainsi que des bâtiments résidentiels.

La construction du centre de données avec des dispositifs de refroidissement installés (refroidisseurs)

En plus de l'alimentation principale de deux sous-stations électriques de la région de Moscou, le centre de données dispose également de générateurs diesel de secours qui génèrent de l'électricité en cas d'urgence, par exemple, si les deux sous-stations tombent en panne lors d'une catastrophe naturelle.

Un carburant spécial est fourni pour les générateurs diesel - été comme hiver. Des blocs de béton de protection spéciaux ont été livrés près des générateurs diesel afin qu'ils ne soient pas accidentellement endommagés par le déplacement des machines.

Conteneur de rue avec générateur diesel derrière des blocs de béton de protection

Le fonctionnement des moteurs diesel est surveillé en ligne 24h / 24, et même l'officier de service effectue une visite toutes les quatre heures. Lors de notre visite, les générateurs diesel étaient en service et il y avait des véhicules équipés d'instruments dans la région.

En cas de panne de secteur, les batteries créent l'intervalle de temps nécessaire jusqu'à ce que les générateurs diesel de secours, après le démarrage, atteignent la puissance requise.

Entretien du générateur diesel

Le centre de données respecte strictement les exigences de la sécurité physique et de l'information, ainsi que la sécurité des réseaux électriques. Le bâtiment du centre de données est bordé de soi-disant panneaux sandwich à l'extérieur et à l'intérieur. Ils assurent une isolation thermique et une protection physique. Le centre de données a été construit sur le principe du «box-in-box», c'est-à-dire que des arbres, une clôture en béton, une pelouse et des panneaux sandwich séparent l'intérieur de la rue.

Le toit du bâtiment est situé à une hauteur de 14 m, et le toit de la salle des machines est de 9 m. Entre eux, il y a une couche de protection contre les fuites.

La superposition vous permet de maintenir certains paramètres de température et d'humidité qui sont optimaux pour le matériel du serveur. Le microclimat est également créé par des refroidisseurs d'air (refroidisseurs) et des climatiseurs de précision.

Création d'un centre de données

Le centre de données IXcellerate a été construit de manière modulaire en trois phases. La salle des machines de la première étape pendant la construction en 2012 était la plus grande de Moscou. Les salles des deuxième et troisième phases entourent le hall de la première phase autour du périmètre avec la lettre G.

Chaque salle des machines possède ses propres zones de chargement et de déchargement. Une zone de déchargement séparée est également prévue pour la caserne des pompiers.

Diagramme du centre de données IXcellerate

IXcellerate a été créé en tant que centre de données «neutre», indépendant des fournisseurs de services de télécommunications et de cloud, et axé exclusivement sur les services de colocalisation, c'est-à-dire placement de l'équipement client, sa protection et la fourniture de l'infrastructure d'ingénierie requise avec un niveau de service établi dans le cadre d'un contrat standard.

Il arrive que les clients posent des questions sur les services cloud. Dans de tels cas, le centre de données dispose d'un écosystème de partenaires sur l'équipement desquels des solutions cloud sont fournies. C'est exactement ce que nous faisons.

Voyons ce qu'il y a dedans

Le centre de données oblige les employés et les clients autorisés à passer une double identification, y compris une carte d'identité standard et un contrôle biométrique (scanner à main).

Contrôle d'accès pour les employés

L'accès aux cellules («cellules») où l'équipement client est installé est sous contrôle 24h / 24, c'est-à-dire que seuls les employés du centre de données autorisés par le client peuvent y accéder. Ces cellules sont clôturées les unes des autres par un treillis métallique.

Les cellules ont également leurs propres moyens de protection physique, par exemple, des serrures à combinaison et des caméras vidéo. Au total, cinq lignes de sécurité physique sont fournies avec un système de surveillance et de contrôle du bâtiment (BMS) Computrols en fonctionnement constant.

Il est devenu une bonne tradition dans le centre de données de nommer chaque salle des machines en l'honneur de l'entreprise ou de la personne qui a le plus contribué à sa création.

Le premier hall de phase, nommé d'après Cliff Gauntlett, est conçu pour 220 racks avec des équipements clients.

Lors de la construction du hall de la deuxième phase, les investissements de la société japonaise Sumitomo Corp. ont été utilisés, c'est pourquoi il est appelé The Summit Hall. Le hall de la troisième phase est appelé "Hauteur" en l'honneur du directeur technique du centre de données Sergey Vladimirovich Vyshemirsky, qui travaillait à l'aéroport de Chkalovsky.

Plaque signalétique de la troisième salle des machines

Puissance et refroidissement

Une électricité de haute qualité est utilisée pour alimenter les équipements des clients. Que signifie le mot «qualité» par rapport à l'électricité? Ce n'est un secret pour personne que le courant électrique industriel a parfois des pointes de tension qui peuvent endommager l'équipement du client. Par conséquent, le centre de données dispose d'une «salle électrique» spéciale où ces émissions sont éliminées. Il en résulte un courant électrique d'une fréquence de 50 Hz, qui a la forme d'une sinusoïde «pure», sans surtensions ni pics. L'équipement de distribution électrique surveille en permanence neuf paramètres de qualité actuels.

La redondance de l'alimentation du centre de données est organisée au niveau 2N: comme déjà mentionné, deux faisceaux d'alimentation indépendants s'approchent du centre de données. L'endommagement d'une voie de pose n'entraîne pas l'arrêt du centre de données ou de sa partie, car il existe toujours une voie de secours.

C'est ainsi que les lignes entrantes des sous-stations électriques regardent l'un des itinéraires de pose.

Entrée d'alimentation du poste de transformation

Voici une autre petite touche au sujet de la sécurité électrique et incendie. Le câblage électrique des disjoncteurs est placé dans des tuyaux métalliques de sorte que, avec un éventuel court-circuit, les étincelles ne s'envolent pas.

Interrupteurs pour l'éclairage de lampes avec câblage dans des tuyaux métalliques

Tous les câbles d'alimentation passent sous un plancher surélevé d'une hauteur de 1 m. Sous le plancher surélevé, de l'air froid avec une humidité donnée est fourni aux racks de l'équipement en pleine conformité avec la norme internationale ASHRAE.

Les cellules équipées de l'équipement client sont équipées de capteurs de température et d'humidité qui affichent non seulement visuellement ces paramètres, mais aussi les transmettent régulièrement au système de contrôle centralisé de l'infrastructure d'ingénierie du centre de données.

Capteur de température et d'humidité

Pour alimenter chaque rack sous le plancher surélevé, il y a deux prises - chacune provenant d'une ligne d'entrée distincte de différentes sous-stations électriques. Pour encore plus de fiabilité, ils sont posés dans des gouttières séparées.

Deux prises de courant en rack (à travers la grille du plancher surélevé)

Pour plus de sécurité, certains clients installent également leurs propres caméscopes dans leurs boîtiers d'équipement.

Le centre de données dispose de «zones télécoms» où sont installés les équipements de 44 opérateurs télécoms, dont Orange, Sprint, Beeline, MegaFon, MTS, Telia, d'autres opérateurs et fournisseurs d'accès Internet, ainsi que le site MSK-IX et la plateforme d'échange de trafic Eurasia Peering IX, regroupant 38 opérateurs résidents.


L'équipement client de n'importe quelle taille et fonctionnalité, même les lecteurs de bande, est accepté dans le centre de données pour l'installation.

Un de nos clients, une chaîne de télévision avec une audience de plusieurs millions de dollars, fait ici des réservations pour une diffusion en HD.

Sécurité incendie

La capacité d'éteindre rapidement et efficacement un incendie, et il vaut mieux ne pas le permettre du tout, est l'une des caractéristiques les plus importantes de tout centre de données.

IXcellerate utilise un système de détection et d'extinction d'incendie à trois niveaux. Le premier niveau est le système de détection précoce de fumée Vesda, qui ne réagit aux changements de densité de l'air et de la quantité d'impuretés et de poussières que de 0,01%. Un système d'auto-apprentissage avec des éléments d'intelligence artificielle garde en mémoire une certaine matrice de paramètres de l'air. Un tel système peut reconnaître la fumée à un stade précoce, ainsi que déterminer le secteur où un changement de paramètres s'est produit.

Apollo - un système d'alarme incendie et des systèmes d'avertissement intégrés - la prochaine étape de la sécurité incendie du centre de données.

Mais la fierté d'IXcellerate est le système d'extinction automatique HI-FOG, qui peut localiser les incendies sur une superficie de 4 x 4 mètres carrés. m (avec possibilité de trouver du personnel directement dans la salle des machines et sans impact ni conséquences pour les autres sites). Pour ce faire, des pulvérisateurs d'eau (arroseurs) sont utilisés dans le système HI-FOG, qui sont sous pression constante et placés sur chaque périmètre local de 4 x 4 m.

Il est important de noter que HI-FOG utilise un système de tuyaux secs, c'est-à-dire que l'agent d'extinction d'incendie utilisé en mode normal - l'eau distillée - est stocké dans un réservoir, qui est situé dans la station de pompage.

L'un des arroseurs

Dans l'arroseur se trouve une boule avec une substance éthérée, qui éclate à une température de 57 ° C, après quoi le système d'extinction d'incendie démarre automatiquement.

Le système HI-FOG crée une fine brume qui ferme la zone d'allumage, en déplace l'oxygène et réduit la température. Autrement dit, le système vous permet d'éliminer deux causes de l'incendie de leurs trois possibles. La troisième cause théoriquement possible de l'incendie est la présence de matériaux combustibles. Cependant, les panneaux sandwich déjà mentionnés, qui sont doublés de murs extérieurs et intérieurs, ainsi que de plaques de plancher surélevées dans le hall, sont en matériau incombustible. Ces panneaux peuvent fournir jusqu'à 90 minutes de protection contre les incendies. De plus, seuls des câbles à faible émission de fumée sont utilisés dans le centre de données.

Le système HI-FOG est peut-être optimal pour une utilisation dans un centre de données, car il fournit une extinction locale et ne remplit pas toute la pièce de mousse de gaz, causant des dommages à l'équipement non couvert par l'incendie. De plus, son utilisation ne nécessite pas l'évacuation obligatoire des personnes.

Le certificat FM Approved, délivré par le leader international des tests indépendants, permet l'utilisation de la technologie HI-FOG également dans l'industrie de l'énergie, dans les entreprises industrielles de transformation et de transformation, ainsi que dans les sous-marins et les paquebots de croisière.

Caserne de pompiers

Un réservoir d'eau distillée (bleu, visible au dos de la photo) est conçu pour éteindre toute la zone du centre de données. Le même système fonctionne dans le métro de Moscou et le Théâtre du Bolchoï.

Panneau de contrôle et de surveillance

Sur le panneau de contrôle et de surveillance en mode 24 x 7, il y a des personnes de service qui surveillent le fonctionnement des systèmes d'ingénierie et reçoivent les demandes des clients. Le système de vidéosurveillance vous permet de passer rapidement de l'affichage du schéma général d'un centre de données à des images de pièces individuelles, de cellules, de couloirs et de racks d'équipement, de composants de système d'extinction d'incendie (y compris des gicleurs), d'alimentations électriques et de climatisation.

Le contrat standard SLA stipule que la première réponse à une demande d'assistance doit être donnée dans les 30 minutes. Cependant, dans le centre de données, le temps réel de retour client ne dépasse pas six minutes, selon les statistiques du portail Zendesk, qui est utilisé pour enregistrer les appels.

L'assistance est fournie en russe, anglais et chinois.

Système de contrôle et de surveillance à distance

Depuis le lancement du centre de données depuis son lancement en 2013, il n'y a pas eu un seul temps d'arrêt (temps d'arrêt), pas une seule violation du SLA.

Le centre de données et son équipe bien coordonnée donnent l'impression d'un organisme vivant.

Il y a même de la place pour la musique à l'intérieur du centre de données: lorsque vous vous déplacez dans le couloir d'une pièce à l'autre, vous ne pouvez pas manquer l'équipement du groupe de rock auquel Cliff Gauntlett a joué une fois et qui se produit lors d'événements corporatifs et du festival annuel en plein air obligatoire IXcellerate - Rockin ' La Russie.

Le couloir entre les halls du centre de données

IXellerate prévoit de construire de nouveaux sites, en plus de Moscou One, il y aura des centres de données Moscou Deux, Moscou Trois, etc.

Notre entreprise, Ontlanta , a commencé à coopérer avec IXcellerate avec deux racks pour la mise en œuvre d'un projet qui était alors ambitieux de créer un cluster géo-distribué. Alors personne sur le marché russe n'avait une telle solution. Les canaux optiques sombres nous coûtent de l'argent spatial par rapport au profit des services que nous avons fournis. Personne ne nous a acheté un service cloud catastrophique distinct, nous avons donc juste commencé à développer notre cloud sur deux sites à la fois. Puis un troisième est apparu, car il est devenu évident qu'il était impossible d'assurer une tolérance aux pannes complète et un équilibrage de charge sans un «témoin» distinct qui ne serait pas lié à l'un des deux sites. Mais objectivement, nous pouvons dire que sur les trois sites, IXcellerate est le meilleur - à la fois en termes d'organisation des services et d'adéquation globale de la gestion.

Partagez et vous, qu'est-ce que vous appréciez le plus dans votre centre de données et, inversement, qu'est-ce qui vous agace le plus?