Caractéristiques de la construction de centres de données nationaux, Mikhalych


Nous mesurons la certification Tier 3 dans un centre de données à Istanbul. Et non, pas moi sur la photo.

Je dirige des projets de création de centres de données en Russie et à l'étranger. Et je veux parler de la façon dont ces dernières années, les centres de données russes ont acquis leur propre style de conception.

Et je ne parle pas d'histoires comme le fait que si le projet a un générateur diesel en conteneur, il est impératif de concevoir immédiatement une zone fumeurs près de la sortie du bâtiment. Parce que si vous ne le faites pas, les gens fumeront au DGU et jetteront des taureaux au sol ou directement dans le trou de ventilation. Et quand il doit être démarré, il les emmènera tous dans un rayon de quelques mètres avec un courant d'air et obstruera immédiatement le filtre.

Nous parlons plutôt de choses plus globales concernant les idées générales et le style de conception. Ce style est basé sur le fait que le client russe sait généralement qu'il a besoin d'un centre de données, mais ne sait pas quel type d'équipement informatique il y mettra dans un an ou deux, sans parler de la perspective de dix ans. Par conséquent, le centre de données est conçu aussi polyvalent que possible. Si vous le décrivez comme "les dix prochaines années pour mettre sur le marché tout équipement entrant", vous ne manquerez pas vraiment. En conséquence, il s'avère que la conception du centre de données vise à garantir que l'installation sera facilement mise à niveau à l'avenir sans rénovation du bâtiment, rénovations majeures, etc.

Exemple: personne ne sait «sur le rivage» quelle largeur de couloir «froid» doit être réalisée. Oui, il existe des normes minimales, mais ces dernières années, nous avons essayé de le faire au moins 2,4 mètres de large, car il y a un équipement surdimensionné dans notre conception, qui est de 1500 mm de profondeur et il est nécessaire de prendre en compte son rayon de braquage, en fixant la largeur du couloir.


Ensuite, un système de climatisation universel est conçu pour les halls. Si, il y a quelques années, le schéma classique avec un couloir chaud et froid était suffisant, maintenant la charge sur le rack augmente et il est nécessaire d'utiliser différentes méthodes de «post-refroidissement» de l'équipement dans des racks fortement chargés. Auparavant, la valeur moyenne était de 4 à 5 kW par rack, maintenant les clients ont besoin d'au moins 7 à 10 kW, et au milieu de la salle des machines, il peut y avoir des racks séparés avec une charge maximale allant jusqu'à 20 kW. Nous avons besoin de nouvelles approches pour placer à la fois des équipements informatiques et des équipements de climatisation dans la salle des machines. Il y a maintenant des climatiseurs sur les armoires pour économiser de l'espace, mais ils nécessitent une pièce spéciale (avec des plafonds au-dessus). Des carreaux de sol surélevés actifs sont apparus - avant qu'ils ne soient pas là non plus.

Il arrive souvent qu'il y ait une modernisation, les climatiseurs ne tirent plus - ils étaient autrefois conçus pour un rack de 3 kW, mais maintenant vous devez retirer 7 kW des mêmes racks. Le client dit: nous changeons tout. Quelque part, il s'avère, quelque part non. Dans certains cas, nous changeons tout, mais parfois nous ne changeons que les unités intérieures, et nous laissons les anciens refroidisseurs s'ils nous permettent d'enlever de nouvelles charges et de vérifier uniquement leurs ressources. Il est souvent plus facile de moderniser de nouveaux climatiseurs et de répartir les flux avec des tuiles.

Par ailleurs, je voudrais noter les projets dans lesquels une telle modernisation est effectuée «à chaud», c'est-à-dire lorsque les processus métier ne peuvent pas être interrompus même une seconde, ce qui signifie que l'équipement informatique ne peut pas être arrêté. Un vrai défi pour toute l'équipe projet: des délais serrés, la plus haute responsabilité, travailler 7 jours sur 7 (et parfois 24h / 24 et 7j / 7). Et si c'est aussi une petite pièce, où deux épaules de gréement s'appuient l'une contre l'autre ...

La modernisation des systèmes d'alimentation sans coupure mérite également une mention particulière. Il y a des projets dans lesquels les ingénieurs semblaient délibérément tout faire pour garder leur idée originale dans leur forme originale jusqu'à la vieillesse. Nous regardons avec le client une règle et ensemble nous rencontrons divers "obstacles". Il y a de tels goulots d'étranglement, le circuit est si compliqué qu'il est difficile de croire qu'il fonctionne du tout.
Le principe KISS (Keep it simple, stupid!) N'a pas été explicitement utilisé.

Ou voici les jeux de barres à l'intérieur du hall: vitesse d'installation élevée, espace libéré sous le plancher surélevé, flexibilité et facilité d'utilisation - l'entrée de puissance «par le haut» facilite l'ajout ou le déplacement de racks.



Comme le client ne peut pas prévoir la distribution uniforme des baies «lourdes», nous estimons d'abord l'agencement général des pièces, puis nous construisons un modèle selon lequel différentes configurations de la salle sont prises en compte, et selon lesquelles nous calculons les flux d'air.





Ensuite, nous examinons les flux eux-mêmes. Voici à quoi cela ressemble:













Ceci est important car deux rangées adjacentes peuvent se tenir debout, dans un rack il y aura 14 kW, dans l'autre - 2 kW. La moyenne pour eux sera de huit, mais dans un couloir chaud il fera très chaud et les climatiseurs fonctionneront pour l'usure, et dans le second ils tomberont par erreur, car il n'y a rien à refroidir. C'est-à-dire que le plan de déploiement de l'équipement informatique, au moins approximativement, doit être pensé déjà au stade de la conception des systèmes d'ingénierie et des communications.

Et il existe des dizaines de telles nuances du projet.

Voici un autre exemple du facteur d'instabilité - le processus de réconciliation. Toute nouvelle construction est coordonnée plusieurs fois dans différents cas. Il s'agit d'un processus assez itératif. Les modalités de coordination sont imprévisibles. Sur cette base, dans chaque cas, il est nécessaire de trouver des solutions afin de parvenir à un compromis avec diverses autorités concernant ce qui peut et ne peut pas être fait dans un bâtiment et un site particuliers. Une base entière de hacks de vie d'ingénierie se forme: comment satisfaire les exigences de plusieurs normes à la fois et en même temps maintenir l'efficacité.

Dans certaines régions, il n'est pas toujours possible de changer rapidement la destination d'un bâtiment. Les centres de données sont souvent construits dans des bureaux ou d'anciens «locaux à bureaux» (garages, entrepôts). Il est nécessaire de changer la destination en industrielle. Il s'avère souvent qu'au départ, le client ne pouvait pas changer le «garage» en «bureau», et vous devez parcourir toute la chaîne. Et parfois, cela signifie qu'il est plus facile de choisir un nouveau site que d'en obtenir l'autorisation.

Les entreprises publiques ajoutent une autre fonctionnalité à ce processus. Ils ont des contrats très serrés et, en particulier, leurs conditions. Et la coordination au sein du client, entre ses services, est un processus temporel non régulé.

Ensuite, la peur est imposée par les nouvelles technologies. Dans différents pays, nous voyons une attitude différente face à ce problème: quelque part, ils font confiance à l'entrepreneur, mais ils vérifient très étroitement toutes les solutions proposées en fonction des exigences techniques, et quelque part, le client et l'entrepreneur le font «à l'ancienne». Nous avons généralement un écart entre ce que nous savons en tant que concepteurs, constructeurs et praticiens, et ce que le client se souvient de l'expérience de son ancien centre de données. Ici, il a construit il y a dix ans, et tout s'est bien passé. Vous devez donc construire exactement le même centre de données, mais plus. Et ce n'est pas toujours bon maintenant. Nouveaux aspects législatifs, normes environnementales, technologies - le marché évolue assez rapidement. J'ai souvent rencontré le fait que le client ne sait tout simplement pas qu'il existe une alternative au bundle classique - UPS + DGU statiques. Pour eux, une alimentation sans coupure diesel-dynamique (DDIBP) est une boîte noire, et ils rejettent immédiatement l'option avec. La deuxième phase de déni se produit au moment où la coordination avec le ministère des Situations d'urgence, les installations supplémentaires, la coordination de l'assainissement et ainsi de suite sont comparées. Mais si vous comptez tous les avantages et les inconvénients - la base du choix est déjà établie. En règle générale, il y a de l'argent pour cinq, dix et 20 ans, et tout le monde comprend parfaitement cette langue.

Et à partir de ce problème avec un manque de compréhension de la technologie, ce qui suit se développe. Le client n'évalue pas toujours vraiment les délais. Cela s'applique non seulement à la construction du centre de données et de l'ingénieur, mais également à l'ensemble du marché informatique. La première raison est que le marché se développe. Le temps d'installation et de mise en service, ainsi que la complexité de ces travaux et, par conséquent, les qualifications du personnel impliqué, s'allongent, mais il est alors beaucoup plus facile d'exploiter de tels systèmes que ceux créés sur la base des technologies passées - telle est la tendance technologique.

La deuxième raison - il existe souvent un programme de développement à long terme chez le client. Et le client ne démarre pas toujours le projet en lui-même lorsqu'il était censé démarrer le programme. Mais cela doit se terminer exactement dessus! S'il y a eu un an sur les serveurs, et que vous avez commencé avec un décalage de six mois, vous devez les construire dans les six mois restants. Au sein de l'entreprise, les délais ne bougent pas. Et il faut inventer quelque chose. Et parfois, le client les coupe délibérément, car son expérience montre ce qui peut être fait plus rapidement que prévu. Vraiment possible. Mais en termes de mise en œuvre, il y a généralement des formalités douanières, des pics de livraison saisonniers, des problèmes d'approvisionnement en composants dans les usines et en août. Le mois d'août pour les infrastructures d'ingénierie est généralement mort. Les principaux fabricants de climatiseurs de toutes les usines partent en vacances amicales - l'année dernière, cela a repoussé les délais pour l'un des projets. Le plus souvent, les projets doivent être achevés avant le 1er janvier, et ici le Noël catholique laisse sa marque. Noël commence les 21 et 22 décembre, lorsque la période la plus chaude en Russie est de clôturer des projets. Puis nos vacances. Si vous êtes «chanceux» et que la voiture avec la cargaison est allée en douane le 20 décembre, elle sera libérée le 11 janvier. Et ces trois semaines peuvent créer des problèmes. Les conditions de livraison de l'équipement aux clients de l'État ne changent pas: vous pouvez facilement voler sans faute de votre part et vous créer une réputation négative ou même être mis sur liste noire. Par conséquent, les délais sont fixés non pas au minimum, mais à une période objective.

Ou voici le processus de production: huit semaines pour le conditionnement et UPS, 12 semaines pour DGU - c'est si l'assemblage des pièces en stock. Et les usines ne fonctionnent pas tout à fait comme ça. Par conséquent, au début des projets, nous essayons de définir les étapes auxquelles l'équipement sera amené. Pour que le client dispose d'un pipeline pour vérifier quoi et comment. Il est important que le gestionnaire de la part du client sache que s’ils n’ont pas payé aujourd’hui, il a lui-même reporté la date limite du projet pour cette journée.

D'une certaine manière, il a fallu construire un petit centre de données en quatre mois. La fondation était, il n'y avait pas de refonte. Deux halls de 100 racks de 1,2 MW chacun. Début des travaux - début décembre. 13 mars terminé. Il n'est pas pratique et confortable pour tous les entrepreneurs d'aller travailler au début de l'hiver à la fin de l'année: en Russie, tout le monde se prépare pour de longues vacances et des vacances. Les constructeurs sont tous deux sacrés. Nous travaillons avec ceux qui connaissent les spécificités des projets, nous sommes donc flexibles sur le fait que nous devons travailler en trois équipes sans interruption pendant les vacances et les week-ends. Trouvez des gens et commencez à travailler. Nous ne commençons pas toujours tout de suite, ici une semaine plus tard, ils ont commencé. Personnellement, le 31 décembre de cette même année, ma journée de travail s'est terminée à 18h00. Et le 2 janvier, je me suis tenu avec le chef de projet du client sur le site et j'ai regardé comment se déroulait le travail.

Aucun exemple de projet. Généralement en Europe, les centres de données sont construits autour d'un projet. Il en a fait un - et vous pouvez fesser dans tout le pays. Ce n'est pas le cas avec nous. Nous ne pouvons pas appliquer de conceptions standard dans le sud et le nord. Différents coûts de carburant. Différents prix pour l'électricité. Différentes exigences environnementales. Températures annuelles moyennes différentes. Le freecooling fonctionne bien dans le nord. Mais au sud, vous pouvez installer des panneaux solaires pour le centre de données afin d'éliminer les pics de charge, au nord ils aideront à éclairer le territoire de la maison autant que possible. Le moulin à vent est un accord très long et coûteux, loin de partout où il est possible de fournir et d'exploiter. Celui qui initie le projet de création du centre de données n'est pas toujours le même qui opère, il est donc plus important d'en construire un moins cher que de réduire le coût de fonctionnement, mais ensuite.

D'un récent, le vendeur a fourni de l'équipement diesel, les voitures sont arrivées avec des spécifications pour les pays à climat chaud, c'est-à-dire pour l'Arabie saoudite. Les voitures doivent être refroidies. Et ici, ils diffèrent des «normaux» - par le rayon du ventilateur. Du point de vue de la technologie, ce n'est pas un inconvénient, mais pour nous, c'est mauvais, car nous devons livrer des conteneurs de taille standard. Les machines sont puissantes et s'intègrent parfaitement dans un conteneur standard de 12 mètres. Et ce ventilateur sort de l'enveloppe. J'ai dû demander aux entrepreneurs de fabriquer un conteneur non standard dans une taille standard: pour faire des saillies, des pics de précipitations, du vent, de l'accès.

Je veux surtout noter les centres de données en dehors de l'Oural. Il y a d'énormes distances à parcourir qui doivent être franchies le long de routes dégoûtantes pour apporter du matériel. Et cela ne vient pas toujours entier. Tous les fournisseurs ne sont pas prêts à fournir une assistance aux régions éloignées. Nous avons l'expertise et un bon service d'ingénierie, de telles commandes nous sont souvent externalisées. Et donc pour les centres de données critiques, il est important de savoir que tout le monde n'est pas prêt à s'inscrire pour un SLA pendant quatre heures sur un objet minéral. En dehors de Moscou, Pétersbourg, Ekaterinbourg et Kazan, ces SLA sonnent généralement comme de la science-fiction. Et dans le Grand Nord, en général, le mot SLA prend une connotation sarcastique.

La conséquence est le choix des fournisseurs avec un large réseau de services. Souvent, un fournisseur moins cher est pire en termes de fonctionnement.

Les références


Source: https://habr.com/ru/post/fr479388/


All Articles