Plus important encore, des lingettes humides et chaudes sont servies ici après la salle de sport, comme dans les restaurants japonais. Cela n'a rien à voir avec la partie technique, mais c'est humainement agréable.
Et ceci est une guitare dédicacée par Paul McCartney, et oui, elle pend à leur entrée de la salle de gym:
Ce centre de données a une certaine humeur.
Tout cela ressemble à un immense hangar dans la zone industrielle près de la station de métro Otradnoye. La hauteur du hangar est de 14 mètres, un centre de données d'une hauteur de 9 mètres est construit à l'intérieur. L'espace restant joue le rôle d'un isolant thermique, ce qui affecte les caractéristiques locales du refroidissement. Le bâtiment a été choisi pour ne pas sortir sur la route (selon les protocoles de certification, il est impossible d'atteindre des niveaux élevés si vous pouvez vous rendre à la salle de gym par camion en battant le mur, apparemment il y avait des cas), il y avait deux itinéraires d'arrivée différents et était relativement proche du métro. La station MCC a été ouverte à proximité, mais la route traverse de tels endroits amusants ....
Canaries. Nous aimons toujours tout ici, donc l'histoire dans son ensemble est positive. Mais je jure que si quelque chose ne va pas, nous serons les premiers à en parler. Eh bien, ou supprimez simplement ce paragraphe de la publication si nous sommes connectés par la NDA.
Quel type de centre de données IXcellerate
Nous avons un cloud Technoserv. Il s'agit d'un cloud naturel pour les clients russes, où il existe des segments certifiés par PCI DSS et une classe pour les systèmes d'information PD et gouvernementaux "lourds". Il existe également des clients commerciaux dans le cloud qui ont besoin d'API S3 et AWS en Russie. Jusqu'à cette année, nous fournissions un service du centre de données DataPRO, sur lequel il y avait déjà une
petite histoire .
Naturellement, quelle que soit la pente du centre de données, vous en aurez toujours besoin au cas où une météorite heurterait le premier. Site géo-distribué - la clé de la santé et de la longue vie.
Nous avons choisi le deuxième site avec autant de soin que le premier. Nous avions besoin d'une interface utilisateur T3 (plus précisément, de ses réglementations), de la capacité de travailler avec PCI DSS (c'est-à-dire de notre propre certificat pour la protection physique du centre de données) et d'une foule d'autres fonctionnalités. En conséquence, nous sommes entrés dans le centre de données IXcellerate - celui où les stands Orange sont murés à l'intérieur d'une des salles, scrutant * une très grande société de jeux *, il y a de grandes banques et des sociétés d'État, Reuters et Nestlé. Kommersant a écrit qu'Apple et Booking for Persdans en Russie avaient également choisi cet endroit. En général, si quelque chose tombe, ils ont juste un couvercle. Autrement dit, la motivation pour tout faire correctement est assez bonne.
La deuxième caractéristique est que le leader n'est pas un novice. Loin d'un débutant. Guy Wilner est un entrepreneur anglais. Il construit des centres de données pour la première fois et non la dixième. Avant le projet, il possédait son propre réseau de 14 centres de données en Europe occidentale, puis l'a vendu à Equinix (l'opérateur de centre de données n ° 1 dans le monde). Après cela, il a décidé de répéter l'aventure et d'ouvrir un immense centre de données au Brésil, en Russie ou en Turquie. Sa femme et ses enfants ne l'ont pas laissé entrer au Brésil (car il avait besoin de lui à la maison), et en Russie, il a rencontré Cliff Gauntlett. C'est le personnage légendaire de Runet dans le domaine des télécommunications: il était autrefois vice-président des célèbres Golden Telecom et ROL - peut-être avez-vous commencé à vous connecter à Internet à partir de leurs cartes d'accès Internet. Donc, il voulait également construire un immense centre de données. Et a même réussi à l'attraper de son vivant.
Pourquoi est-ce que je dis tout cela? Le centre de données a été construit par un entrepreneur britannique avec de bonnes connexions européennes, donc les clients européens sont immédiatement entrés. Cela signifie un rapport très clair sur toutes les transactions, ce qui donne une certaine certitude que les processus et les réglementations au sein du centre de données sont pleinement mis en œuvre.
Le centre de données a été construit en plusieurs parties, démarrant la salle des machines derrière la salle des machines. La première étape était de 220 racks (ils ont commencé à construire en 2012, mis en service mi-2013). La deuxième salle des machines - 515 racks (1040 mètres carrés, nos premiers serveurs sont là), et la troisième phase (où se trouve notre cœur) - 1100 sièges en rack (soit 2500 carrés).
Trois machines sont indépendantes les unes des autres, mais il ne s'agit pas de trois centres de données différents, car il existe une réservation croisée d'une partie des nœuds. Les deux premiers sont certifiés par IBM L3, le troisième est certifié Uptime TIER III. En bref, ils sont presque les mêmes et la différence au niveau du projet, par exemple, est que pour l'interface utilisateur, vous avez besoin d'un parking dédié pour les ingénieurs, de barrières physiques pour les voitures, d'une résistance au feu de 45 minutes (fenêtres dans l'interface utilisateur) contre une heure (IBM), différentes tailles de portes et ainsi de suite.
Le plan directeur a été élaboré par Arup. L'installation dispose d'un certificat Arup pour la meilleure solution dans le domaine du refroidissement et de l'alimentation électrique. En effet, le centre de données est commercial: plus le PUE est bas, moins il est rentable. Par conséquent, tout a été introduit en pièces (c'est-à-dire qu'aucun équipement n'était inactif, l'ingénieur a été acheté tel qu'il était à l'échelle), alors qu'il y avait une lutte pour chaque kilowatt. Le PUE est désormais de 1,15 à 1,4 selon la saison. Le centre de données abrite un grand nombre de clients chinois, pour qui, avec leur approche de l'écologie et de l'utilisation de l'électricité, ces chiffres ne sont que de l'espace. Ils ont un PUE régulier pouvant atteindre deux.
Au moment de la mise en service, le solde de clients qu'ils détenaient était d'environ 50/50 national / étranger. À cette époque, tout le monde était réputé avoir respecté la loi sur la protection des données personnelles et, par conséquent, il y avait une demande accrue de centres de données sur le marché russe des infrastructures cloud (c'est ce que nous faisons) (c'est là que les fournisseurs de cloud devaient être situés).
C'est ici que de plus en plus d'entreprises de l'étranger partent maintenant, car il y a un client important ici - le fournisseur étranger Orange, qui pour beaucoup est à la fois un point de vie et une norme d'entreprise. Et la troisième salle des machines a été financée par le groupe Goldman Sachs, ce qui ajoute de la fiabilité au projet aux yeux des dirigeants étrangers. Les centres de données ne changent pas chaque année, il est donc important pour eux de penser à 10 ans.
Compte tenu de l'abondance de contacts externes, le support de première ligne communique par écrit en russe, anglais et chinois. Toutes les inscriptions sont dupliquées en chinois:
Grâce à Guy, le centre de données est composé de deux alliances de centres de données - européenne et asiatique. C'est comme les alliances de compagnies aériennes, lorsque vous pouvez acheter un billet de transfert entre les membres de l'alliance et vos bagages seront transférés sans votre participation. Beaucoup de gens ont besoin de placements géo-distribués, et donc de telles alliances sont en train de se faire. Le client d'un des centres de données de l'alliance travaille en fait avec l'ensemble du réseau dans une seule fenêtre. Il s'agit d'un phénomène unique sur notre marché.
Protection physique
Pour les objets PCI DSS, la protection des bâtiments est très importante. Le premier périmètre est une clôture extérieure, qui est équipée de capteurs, de caméras et de barbelés. A l'entrée du checkpoint. Ensuite, vous devez entrer dans le bâtiment lui-même (ouvert par un laissez-passer ou une cellule), puis vous devez passer par la sécurité (badges, inspection, retrait des bouteilles de kéfir), puis vous devez aller au gymnase (scanners biométriques de votre paume, empreintes digitales ou codes). Dans le hall, les supports eux-mêmes sont le plus souvent dans les clôtures (celui qui les met, généralement aussi des empreintes digitales ou des clés, comme il y avait un manteau pour la banque: c'est un vestibule, où vous pouvez entrer par un laissez-passer ou un doigt, et la deuxième porte - uniquement avec l'autorisation du gardien de sécurité de la caméra). Surveillance vidéo partout.
Le périmètre physique subjectif dans DataPro est légèrement plus fort si vous vous tenez sans clôture. Tout est beaucoup plus intéressant ici avec la clôture, car, par exemple, les Japonais sont à côté de nous. Ils ont leur propre standard de cellule et une épaisseur de tige de 6 mm. Ils disent qu'il y a ceux qui ont 8 mm, mais je n'ai pas mesuré. Beaucoup dans les clôtures ont des capteurs de mouvement infrarouge ou d'intersection, et il y a quelques cellules du sol au plafond.
Il y a beaucoup de clôtures. Plus que partout ailleurs dans les centres de données commerciaux en Russie. Du moins d'après ce que je sais.
Revue
Les bizarreries commencent immédiatement après être entrées. Les toilettes pour les administrateurs ressemblent plus à une bibliothèque:
Vous pouvez regarder un peu autour et voir une plaque tournante avec du vrai vinyle. Il y a du vinyle Led Zeppelin et Deep Purple. Deepi sans équipement.
En effet, un investisseur aime encore plus le rock que les centres de données. Ces mêmes camarades font le festival Rockin'Russia. Cliff (qui était le réalisateur avant la mise en service) a écrit deux chansons pour Scorpions (par exemple One et One Is Three).
Il y a un magasin de chaussures et un voleur:
A proximité se trouve une machine qui sèche et chauffe les serviettes:
Et de la nourriture avec de l'eau (gratuite):
Zone de déchargement
Voici la préparation du matériel pour déraper au gymnase. Ici, peut-être, la zone de déchargement la plus intéressante parmi les centres de données russes. Tout d'abord, elle est grande. Deuxièmement, il y a une table de tennis. Troisièmement, il y a une purification spéciale de l'air. Il s'agit de la chambre d'acclimatation de la première salle des machines (nous avons chargé l'équipement principal à travers une autre, similaire):
Faites attention à la hauteur du portail.
L'équipement est amené ici, ils le traversent avec un aspirateur Karcher (le modèle habituel des plus puissants), puis le fer à repasser dans les boîtes s'installe, puis il est libéré des boîtes (le carton est interdit à l'intérieur - et généralement tout carburant est interdit).
Mise en valeur très pratique avec possibilité de fixation d'une porte:
Fournisseurs
En général, trois choses sont nécessaires du centre de données: un refroidissement adéquat, une bonne communication et une bonne nutrition. En ce qui concerne le refroidissement, j'ajoute qu'ils ont un zoo de climatiseurs ordinaires, de ventilo-convecteurs et de freecooling dans différentes pièces. Mais à propos de la connexion, il est très important qu'il y ait une connexion directe avec le M-9 et qu'il y ait des nœuds d'égal à égal. Autrement dit, si le trafic passe d'un serveur de centre de données à un autre serveur de centre de données (éventuellement une autre entreprise) via les «neuf» nœuds européens ou similaires, le nœud homologue l'exécutera directement via le réseau local. Eh bien, alors les fournisseurs de peering. Étant donné qu'il y a une très grande entreprise de jeux ici, je suppose que qui en avait besoin en premier lieu pour que les utilisateurs ne traînent pas.
Sur le site au moment de la publication des 43 postes fournisseurs. Il y a un an, il était deuxième en Russie en termes de connectivité. Maintenant, très probablement, IXcellerate a déjà atteint le premier, mais il n'y a pas encore eu de recherche.
Sur le toit, il y a une plate-forme pour l'équipement satellite, vous pouvez mettre des antennes, mais jusqu'à présent, il n'y a rien. Ils disent que l'un des clients prévoyait d'y installer un téléport par satellite, mais finalement pas.
Mashzal
Allons-y et je vais vous montrer ce qu'il était possible de filmer.
Beaucoup de cellules:
Optimisation du refroidissement - clôtures et panneaux à lamelles amovibles:
Capteurs thermiques:
Les PDU sont fabriquées pour eux selon leur projet dans une usine près de Moscou. Ils disent que c'est une substitution d'importation qui pourrait. Au fait, ils sont verrouillés:
Voici la grande salle:
Derrière de telles portes de locaux techniques et de niveaux secrets:
Il arrive que derrière elles se trouvent des pièces fermées avec 25 à 35 étagères pour plus d'intimité. Mais il peut se révéler rechargeable. Dans la première salle, il y a des batteries ordinaires, dans la troisième, il y a déjà des batteries lithium-ion. Ces dernières sont bonnes par télémétrie distincte de chaque batterie, avec une durée de vie pouvant aller jusqu'à 12 ans (celles au plomb ont un maximum de 7, mais plutôt 5), elles sont plus résistantes aux changements de température et au chauffage, plus deux degrés ne mettent pas l'année hors service. À l'avenir, depuis plus de 5 ans, ils sont moins chers que le plomb. Chaque batterie a son propre boîtier séparé:
Voici les plateaux optiques. Regardez, quel souci pour les gens: ces fiches ne permettent pas au câble de se couper sur les bords du support:
Ceci est un gravitsap. Je suggère de deviner de quoi il s'agit:
Dans certaines cellules, les clients stockent des tabourets, des escabeaux, des terminaux. Il y a quelques armoires avec des pièces de rechange. Il n'y a qu'une seule exigence - celle des matériaux non combustibles. Dans une paire de racks sont des valises (qui sont placées sur une glissière et conçues spécifiquement pour stocker des choses dans un rack). Et voici un détail caractéristique: des tuyaux métalliques pour faible courant.
Notre fer:
La nutrition
Deux faisceaux de ville indépendants de 13 MW arrivent sur le territoire.
Maintenant, la puissance est de 2N. L'année prochaine devrait être 3N - construire un centre énergétique pour trois turbines à gaz.
Voici les diesels:
Blocs de béton pour que la voiture ne pénètre même pas accidentellement dans un moteur diesel:
Près du refroidissement:
Et à la fin, nous attendons la pelouse pour les festivals de musique et le football. Là, vous pourrez vous détendre:
Centre de données TTX
- Certificats: PCI DSS, ISO 27000 (27001), ISO 9000 (9001), ISO 14001: 2004.
- Le bâtiment couvre une superficie de 6 mille mètres carrés, 1835 stands, capacité - 13,7 MW.
- Énergie - 2N, UPS + DGU, refroidissement - refroidisseurs avec free cooling, réserve - N + 1.
C'est tout pour l'instant. Le centre de données emploie 50 personnes, y compris du personnel non technique. Nous avons pris une deuxième place depuis très longtemps et semblons avoir choisi la bonne (au moins notre équipement est là depuis plus d'un an). Mais je constate encore une fois: si quelque chose change, je resterai en contact.