Tour vert clair

Les principaux problèmes de transport à Saint-Pétersbourg sont les ponts. La nuit, ils doivent fuir la taverne sans avoir fini de boire de la bière. Eh bien, ou payez un taxi deux fois plus que d'habitude. Le matin - calculez soigneusement l'heure pour que dès que le pont est abattu, vous avez réussi à vous rendre à la gare avec une mangouste habile. Nous ne considérons pas l'option de «passer la nuit quelque part dans le centre, à côté de la gare» comme idéologiquement nuisible.

... "Faucon pèlerin", partant à 5h30, a été inventé par des gens qui détestent les hiboux. Non, bien sûr, c'est très pratique d'être à Moscou à neuf heures du matin, et Peter est incroyablement beau pendant les nuits blanches, mais à quatre heures et demie, quand je suis monté dans un taxi, je voulais tourner la tête de 270 degrés vers l'alouette que ce train du matin a inventé.

«Tous les bons centres de données se ressemblent», pensais-je en découvrant que les gars de DataLine nous invitaient à visiter.

Il s'est avéré que chaque centre de données est bon (ou mauvais) un peu à sa manière, en particulier lorsque vous obtenez des bosses, collectez tous les râteaux dans la région et tirez les leçons de votre propre expérience riche (et un peu étrangère). Nous voici (parmi les cinq principaux linkmeups et amis et sympathisants qui les ont rejoints) et avons décidé de vérifier la qualité (ou pas) des centres de données OST et NORD.

Ayant réussi à travailler un peu sur la route (il aurait pu y avoir une publicité pour un opérateur mobile, mais non - la couverture était toujours mauvaise et elle est restée), nous sommes déchargés à la gare de Leningrad. Eh bien, du moins pas sous Gazmanov.

Nous avons commencé notre visite des centres de données "vert clair" avec OST - "celui" qui "a brûlé" il n'y a pas si longtemps. Pourquoi entre guillemets - après. En attendant, nous nous levons, fumons, attendons la fin. Nous photographions le bureau de RT dans le quartier. Il y a beaucoup d'histoires drôles avec ce quartier - à commencer par la pose d'asphalte frais et la peinture bordures frontières avant l'arrivée des Hauts Rencontres, et se terminant par des remises dans les cafés environnants, que les Dalayniens ont faites en raison de la similitude des badges.

Le porte-parole de la propagande totalitaire

Mode strict (accès) du centre de données

Le col, les règles de conduite, le hachoir à viande à l'entrée - presque le même que nous avons vu lors d'une excursion à Linxdatacenter . Avez-vous vu beaucoup de cafés dans les centres de données? Nous, maintenant, connaissons un couple maintenant. Les employés et les clients sur les badges ont des dépôts de "café", qui sont régulièrement réapprovisionnés. de sorte que dans une gamme raisonnable de café, vous pouvez vous faire plaisir gratuitement. Nous, en tant que chers invités, avons également été traités.

Je ne peux rien dire de mal à propos du café - c'est généralement pour un café «en réseau», mais l'emplacement captive involontairement, et l'intérieur est dans les meilleures traditions modernes.

L'intérieur du café local

Dans les centres de données photos NORD

La visite commence au bureau. En plus des graffitis connus sur l'ensemble du Runet et de la gamme blanche et vert clair, il y a toutes sortes de choses amusantes. Ce sont les accessoires laissés par les performances du théâtre d'entreprise (pouvez-vous imaginer le directeur technique du réseau de centres de données jouant dans la pièce? Et nous le connaissons personnellement.).

Et la vérité

Photos des performances

Le centre de données (ou plutôt, les quatre centres de données) est situé dans un complexe de bâtiments industriels construits au siècle dernier (alors l'usine de Citroën et à l'époque de l'URSS, l'usine d'Hydrodrive), donc d'une part il y a un dur industriel, du métal poutres, atmosphère de grenier et artefacts industriels de différentes époques, qui se retrouvent encore au cours de divers travaux. D'autre part, les zones pressurisées du datacenter doivent être intégrées dans les structures existantes, et transiger périodiquement avec la réalité. Cependant, je ne dirais pas que ces compromis ont affecté la qualité - mais les gars ont probablement dû transpirer pendant la conception. Pourtant, selon les rumeurs, Metro-2 passe quelque part à proximité, mais ce n'est pas exact.

En plus du théâtre, il y a aussi un musée. Expositions naturelles - découvertes archéologiques

Quelques mots sur l' incendie . Oui, le bâtiment (ou plutôt le toit) a vraiment brûlé. Les unités externes des systèmes de refroidissement et la voie froide ont été endommagées. Quelque part, le câblage a grillé et les climatiseurs sont restés sans électricité. Quelque part, les pipelines de fréon ont explosé. Mais malgré cela, les zones de pression ont résisté à des tonnes d'eau versées sur eux, l'équipement a survécu. Ils ont été restaurés sous le contrôle du «siège» en la personne des plus hauts dirigeants du monde entier - ils ont généralement ratissé tous les tuyaux de cuivre à Moscou et ses environs (amenés même la nuit sur la BMW X5) et tous les installateurs sobres. Les équipements critiques des salles de données concernées (affectés par le manque de froid, pas par le feu!) Ont été rapidement transférés dans d'autres salles, de sorte qu'à cinq heures du matin, ils ont levé non seulement tous leurs services, mais aussi leurs clients.

Nous avons personnellement vérifié la pièce qui «souffrait» le plus - à l'exception de l'odeur de brûlé et des dalles de plancher surélevées, cela ne rappelle pas du tout l'incendie (à l'exception des supports d'équipement transportés «temporairement» dans une autre salle de données et ceux qui y sont restés).

Barre d'état

En marchant dans les couloirs, nous voyons un écran tactile avec quelque chose de très similaire au circuit des halls du centre de données. Ceci est la barre d'état. Ils sont coincés dans les couloirs dans l'ordre, et ils permettent aux ingénieurs sur place de trouver rapidement, par exemple, la bonne climatisation, eh bien, ils ne font que rapporter l'état actuel.

La surveillance est basée sur Nagios (il existe maintenant plusieurs clusters indépendants) et couvre tous les centres de données (OST et NORD). De plus, il existe des applications pour Android et iOS (pour les clients et les employés), et une page d'état directement sur le site.

Sur l'écran, je remarque un PUE inhabituellement élevé - pas partout en Russie, il est considéré comme considéré, mais 1,90, c'est un peu trop. La réponse à cette question est purement économique - en 2012-2013, les baies des centres de données ont divergé comme des petits pains, il n'y avait donc pas de temps pour le sentiment et l'efficacité énergétique. Nous mettons ce qui est sur le marché, le faisons le plus rapidement possible et ne nous soucions pas du tout de ces PUE, car pourquoi? Même au stade de la conception, 80 à 90% des racks sont achetés, mais la législation de la Fédération de Russie sur l'efficacité énergétique ne veut rien savoir. Bien qu'une commission à Amsterdam, Kondraty aurait suffi à partir de ces chiffres.

Rien de personnel. Juste une entreprise.

Une autre caractéristique est l'étiquetage des salles de données. Sur chaque site, les data halls, en plus du codage alphanumérique «officiel», ont des pseudonymes «humains» de l'alphabet naval (Alpha Bravo-Charlie Delta ...). Pour une raison quelconque, tous les clients adorent Whisky Hall.

Il n'y a aucune bagatelle dans le service client

Ces «clôtures» sont fixées pour certains clients. Nous n'étions pas autorisés à tirer dans les mashrooms, donc la photo DataLine ©

Les clients de DataLine sont des entreprises très grandes et respectées, ils n'aiment vraiment pas cela lorsqu'ils photographient leur équipement. De plus, si le nom (ou logo) du client est inscrit directement sur le comptoir en grosses lettres. Ils n'aiment pas - et c'est tout. Par conséquent, nous avons tourné les murs déjà célèbres avec différentes inscriptions, et l'ingénieur. L'ingénieur ne peut être photographié ni partout ni partout, mais nous avons essayé. Étant donné que les clients sont grands et respectés, ils ont également des demandes spécifiques - des racks spéciaux (ou une sorte de stockage uber de plusieurs racks de fournisseurs), leurs clôtures, leur ACS, leur vidéo-surveillance et groupe de réaction rapide avec des fusils d'assaut . En général, l'une des règles tacites (et des voyelles aussi) de DataLine est de prendre soin du client et de le faire se sentir bien. À partir de gilets et de postes de travail équipés avec accès Internet et recharge, et se terminant par divers événements pour les clients. Ces derniers sont également très utiles en revanche, que les mêmes personnes, se déplaçant de société en société, les amènent vers DataLine. Tout simplement parce que tout est confortable, pratique et fiable ici. Business DataLine - ce n'est pas seulement la livraison d'espaces en rack. C'est aussi un cloud qui est simultanément certifié par 152- et PCI-DSS (nous allons en faire un podcast, suivre les annonces), et assurer la connectivité (vos fibres entre les sites et de chacun d'entre eux à M9, votre propre anneau optique ville, etc. jusqu'au dernier kilomètre jusqu'au bureau du client).

M - motivation

Soit dit en passant, sur les inscriptions - les idées viennent non seulement des employés, mais aussi des partenaires et des clients, après quoi vous pouvez voter pour les plus réussies sur la page officielle de DataLine dans FB. Eh bien, vous pouvez y proposer votre idée.

Rencontre sur l'Elbe

Croix (photo fournie par DataLine)

Nous nous arrêtons au Meet-Me-Room, où se trouvent les opérateurs. Dans MMR (il y en a trois paires en OST, selon le nombre d'entrées optiques principales, pour les actifs et les passifs), les connexions de toutes les salles de données sont réduites. En croix, tout est ennuyeux et soigné. Mais là où est l'activité de l'opérateur, vous vous souvenez des meilleures années et des clichés de certains BM18: nouilles métalliques et équipements divers (DLink, Extreme, Juniper, Mikrotik ... et ainsi de suite jusqu'à ASR9k). Il y a plus de cinquante opérateurs, donc tout est coloré. Du MMR, l'optique et le cuivre divergent le long des salles. Au moins deux pistes pour chacune (des options sont possibles), vous ne pouvez donc pas vous soucier de la fiabilité de la connexion. MMR est appelé "Elba", ce qui est très subtil.

IBM Power n-nada?

Une autre trouvaille est la série IBM P, qui n'a jamais été allumée, et qui se tient dans l'un des couloirs depuis plusieurs années. Une voiture (avec une bibliothèque de bandes et un stockage) a été commandée par l'un des clients, mais "n'était pas utile", elle a donc été présentée à un centre de données. Depuis, ça vaut le coup.

C'est bien, probablement, d'être des gars riches et de faire de tels cadeaux, non? (Ou peut-être qu'ils ne l'ont pas donné, mais ont oublié. Ou ils ont perdu les cartes. Mais ça fait longtemps)

Voici un si bel homme debout dans NORD-4

Nous allons au centre de l'énergie - trois (ou même quatre) DGU pour chaque centre de données (je me souviens, dans OST il y en a quatre). Le moteur diesel atteint sa pleine puissance en 30 à 40 secondes et produit 1 900 kVA. La redondance N + 1, la synchronisation et plus sont incluses. Le temps le plus long passé sur les moteurs diesel en OST est de 12 heures. dans NORD - 2,5 jours (après tout, un stockage de 85 tonnes n'est pas pour vous khukh-mukhras).

Bien sûr, il existe des contrats avec différentes compagnies de carburant pour la fourniture de carburant. Le passage au diesel se produit régulièrement, de sorte que le carburant est produit et les contrats sont vérifiés. Soit dit en passant, selon des collègues, chez NORD, lors du test d'un générateur diesel, qui prend généralement plus d'une heure, l'herbe parvient à virer au vert même en hiver à l'endroit où l'air chaud des moteurs diesel est émis.

Après une courte bouchée pour aller dans un lieu NORD dans un café familier. Ce n'est pas non plus un centre de données, mais quatre bâtiments indépendants sur le même territoire. Chacun a ses propres entrées d'électricité, ses propres moteurs diesel et son propre refroidissement. NORD-1 et NORD-2 sont audités par Uptime Institute M&O. Le plus récent (et le meilleur centre de données DataLine) est NORD-4, alors nous allons là-bas.

Avec un énorme, semble-t-il, le nombre de centres de données à Moscou, il y a encore une pénurie. Non, bien sûr, un ou deux racks vous seront expédiés sans problème. Même vingt seront donnés. Plus est une question (et les clients DataLine ayant de tels besoins n'en ont pas un ou deux). Plus précisément, il y a une place (jusqu'à présent) dans NORD-4, car un grand coin a déménagé dans son propre centre de données fraîchement construit, mais dans d'autres endroits, il pourrait ne pas être aussi chanceux. Néanmoins, le design du NORD-5 bat son plein, qu'ils promettent de lancer début 2020.

Mais revenons à notre tournée. Puisque nous voyagions en voiture, nous avons été lancés dans la passerelle, dans lequel les mitrailleurs nous ont emmenés à la vue le numéro de notre voiture a été vérifié avec l'application, et tous les passagers ont été invités à sortir pour obtenir des laissez-passer (bien sûr, selon le passeport). Pour B, c'est la sécurité.

NORD-4 est la fierté de l'entreprise et la compilation de nombreuses années d'expérience dans la construction et l'exploitation de centres de données, il possède les certificats de niveau III de l'Uptime Institute pour le projet de conception et l'installation (c'est-à-dire le centre de données construit), ainsi que la durabilité opérationnelle - les gars ont abordé la question autant que possible responsable. À l'intérieur - quatre zones hermétiques indépendantes, deux salles à l'intérieur d'un bâtiment. Chacun a son propre centre énergétique (DGU, salles de batteries), des circuits de refroidissement et des systèmes d'extinction d'incendie. Général - entrées optiques (il y en a deux par bâtiment) et MMR.

Modding un ingénieur sain

A l'entrée du datacenter, un café qui nous est familier nous attend (enfin pourquoi pas?). Nous montons au centre de surveillance. Maintenant, il y en a deux principaux - dans OST et NORD-4 (dans NORD-1,2,3, leurs quarts de travail sont également assis). Depuis chaque centre, vous pouvez regarder les deux sites, donc même ici la redondance n + 1 est fournie. Sur le mur vidéo - nous connaissons déjà les tableaux de bord dans la gamme de couleurs de la chaux (bien sûr, il y a beaucoup plus de paramètres que sur l'affichage d'état). Nous communiquons un peu pour la surveillance - pas de prométheuses et grafans fantaisistes, seulement Nagios, seulement une visualisation hardcore et self-made. Pendant dix ans (cependant, encore plus) d'utilisation, de nombreux contrôles et scripts personnalisés ont déjà été écrits, donc passer à autre chose ressemble à cette aventure. Environ une fois par mois, une autre entreprise apparaît qui propose de résoudre "rapidement et sans douleur" tous les problèmes, mais jusqu'à présent, cela ne résume pas. Soit dit en passant, le mur vidéo fonctionne également sur une solution auto-assemblée, qui s'est avérée plusieurs fois moins chère que les analogues commerciaux.

Le MCC local

Lorsque vous concevez, construisez et exploitez des centres de données pendant de nombreuses années, vous n'avez pas tellement peur de faire quelque chose vous-même, plutôt que d'acheter des prêts à l'emploi. DataLine, par exemple, n'hésite pas à dire que, simplement au détriment de l'échelle, ils ont misé sur le nombre maximal de râteaux, et chaque nouveau centre de données est le fils d'erreurs difficiles et d'une expérience qui dure depuis plus de dix ans. Bien sûr, chaque nouveau centre de données a son propre savoir-faire et, en marchant le long de NORD, vous vous surprenez à penser de temps en temps, les gens l'ont simplement pris et l'ont bien fait. Pas pour le plaisir, pas pour les évaluations et les certificats - le processus d'ingénierie habituel, quand à chaque itération vous vous développez et devenez de mieux en mieux. Un observateur extérieur dira que c'est ennuyeux et conservateur, mais le client, au contraire, soutient une telle stabilité avec son propre argent. Et pour bien faire, il n'est pas du tout nécessaire d'acheter des systèmes d'ingénierie ou des logiciels pour beaucoup, beaucoup d'argent (bien que sans cela, parfois, en aucune façon). Décide plus souvent de l'expérience, des connaissances et de l'ingénierie.

Par exemple, le bâtiment NORD-4 compte 3,5 étages. Les trois premiers sont à part entière, avec des plafonds de 4,5 mètres, où se trouvent les salles. Et ce dernier est technique, avec une hauteur de seulement 1,8 mètre, et est donné uniquement sous le système de refroidissement. Le sol étant technique, les exigences en sont beaucoup plus faibles, ce qui a permis de simplifier le projet et d'économiser de l'argent.

Vue du centre de données triangulaire

Max a un kung-fu spécial pour ne pas tomber amoureux des photos

Nous terminons la visite sur le toit - elle offre une excellente vue sur le CHPP et le lotissement à proximité, ainsi que sur d'autres bâtiments NORD. Deux d'entre eux sont triangulaires. A cette occasion, des collègues ont même ri que "DataLine est des crétins, pour une raison quelconque, ils construisent un centre de données triangulaire" Pour y mettre des racks triangulaires et des serveurs triangulaires. Mais rien - ils ont construit et opéré avec succès, mais en même temps ils utilisent efficacement le territoire existant (qui à Moscou, je dois dire, n'est pas libre). Un autre fait surprenant (pour moi) est que la plupart des clients commerciaux veulent être situés à Moscou. Un site sur une demi-centaine de kilomètres le long de l'autoroute de Minsk (même s'il y a toutes les capacités et communications nécessaires) intéresse déjà peu de gens. Donc, tout est niché dans du non-caoutchouc.

Les tours de refroidissement ne sont plus un centre de données, mais un CHP

Sur ce notre prochain voyage a pris fin.

Après une longue et fructueuse conversation sur les plans communs et les futurs podcasts (j'espère que vous n'aurez pas à attendre longtemps), alors restez à l'écoute pour des choses plus intéressantes bientôt.

Eh bien, DataLine invite ceux qui veulent tout voir de leurs propres yeux lors d'une tournée. Entièrement gratuit, mais sur rendez-vous. Ceux qui nomment le mot de code "linkmeup" sont un plus dans le karma.

Restez à l'écoute!