Entre autres choses, nous fournissons un support pour Votsap. Le soir, rien ne présage de problèmes, quand soudain une fenêtre d'appel vidéo s'ouvre. Gros plan - équipements télécoms installés sur le site du client ... Et ça brûle. Littéralement. Vous pouvez voir la lumière, il semble - l'isolation des fils près de l'alimentation. Un homme demande quoi faire. Crier:
- Carcasses!
Il:
- Je peux?
- Tu peux!
Et c'est seulement alors qu'il ragoût.
Il s'est avéré que tous ne peuvent pas être éteints par des moyens conventionnels: en réponse, ils peuvent choquer avec quelques dizaines de milliers de volts. Ou même une trempe gênera le fonctionnement d'un équipement important. En général, il a vu un incendie, appelé support et, alors que la connexion était établie, il a trouvé et préparé un extincteur.
En général, bonjour, Habr! Je fais partie de l'équipe d'assistance technique à distance et nous communiquons souvent avec des utilisateurs dans tout le pays et à l'étranger. Et ils font des choses plutôt étranges. Voici les vélos.
Ce que nous faisons et ce que c'est
CROC peut prendre en charge les bureaux d'assistance, la production et les services individuels. Nous le faisons depuis de très nombreuses années. Il y a une équipe de centre d'appels qui répond aux scripts standard et aide dans des situations typiques, la deuxième ligne (moi et mes collègues) est pour analyser les cas difficiles lorsque vous devez accéder au niveau de configuration du réseau, du serveur ou du logiciel d'application, et les ingénieurs mobiles qui monter et changer de fer. De plus, une commande de redémarrage dans chaque ville, mais plus à ce sujet plus tard. Il y a beaucoup de romantisme dans le travail, car nous établissons souvent des SLA très serrés pour les banques et les détaillants, et soutenons les infrastructures de transport. Pour des raisons évidentes, je ne mentionne pas les noms des clients, et les agents de sécurité ont quand même modifié certains détails peu importants afin que personne ne puisse être clairement reconnu.
Chaleur
Lors des pics de chaleur, la communication avec l'un des serveurs locaux disparaît. Il y a beaucoup de tels serveurs sur les sites, ils sont montés assez compacts dans les locaux techniques, et partout où il y a des difficultés de refroidissement, de plus, un externe forcé est souvent utilisé. Eh bien, c'est un ventilateur puissant qui vise directement le rack. Ses collègues l'appellent le mot à la mode «freecooling», mais il s'agit d'un fan destiné au rack.
Mais cela ne se produit pas tous les jours sous la chaleur, mais seulement toutes les secondes. On commence à comprendre - parfois, comme dans un roman policier: il s'avère qu'il y a deux personnes travaillant dans la même pièce. Un spécialiste sait ce qu'est un stand ou est très conscient de la connexion mystérieuse des feux clignotants et d'un ventilateur. Le deuxième spécialiste est une grand-mère. Elle ne sait pas. Et lorsque la chaleur atteint son maximum, la grand-mère sent le seuil thermique, puis elle prend et tourne le ventilateur sur elle-même. Parce que son petit fan n'est pas si puissant.
La conséquence logique est que la grand-mère se refroidit, la grille surchauffe. Plus loin le long du seuil de température, un arrêt thermique régulier se produit. Et nous avons un autre ticket.
Le cas n'est pas rare, nous n'y sommes pas habitués. Nous rédigeons des mémos et formons les personnes clés du client, et ils doivent former des personnes linéaires. Mais cela ne se passe pas toujours correctement. Dans une autre salle similaire, le stand a été éteint la nuit pendant six à huit minutes. Ensuite, ils ont appris: le nouveau gardien n'était pas prévenu, il a coupé l'alimentation du rack de la prise, allumé la bouilloire, puis rendu tout ce qu'il était.
Il y a simplement des entrées étranges. Un autre malheureux électricien a apporté l'alimentation électrique du climatiseur à l'interrupteur d'éclairage du local technique. Tant qu'il y a quelqu'un là-bas, tout fonctionne. Les gens partent - le stand s'éteint. En conséquence, il y a maintenant un panneau "N'éteignez pas la lumière !!!" Je vais arracher mes mains !!! " Il semble que l'électricien a déjà été retiré, donc il ne peut pas faire le bon câblage, vous devez le résoudre avec cette béquille.
Autorisation de toilettes
Nous envoyons l'ingénieur visiteur pour entretenir l'un des nœuds d'un grand réseau. La jeune ingénieure se rend sur place. Je dois dire que c'est une pièce très particulière avec de hauts plafonds, qui a été construite lors de la naissance de l'URSS. Après plusieurs reconstructions au-dessus des toilettes des hommes, un espace a été créé au-dessus des cabines où l'équipement peut être installé. Une situation courante dans le pays, d'ailleurs: il n'y a pas assez d'espace pour le fer, ils font un "faux plafond". Pour une raison quelconque, généralement là-bas. J'ai moi-même connecté les interrupteurs plusieurs fois en me tenant sur les toilettes.
La jeune fille vient au chef de l'établissement et demande l'autorisation de visiter les toilettes des hommes. Au début, les gens ne comprennent pas depuis longtemps pourquoi elle en a besoin. Puis la machine bureaucratique s'allume: l'affaire n'est pas familière, et personne ne sait quoi faire. Au final, elle a eu beaucoup de mal à tout arranger. Les gars viennent de fermer officiellement les toilettes pour la durée des travaux et sont autorisés à faire quoi que ce soit à l'intérieur.
Dans les chaînes de vente au détail, pour une raison quelconque, l'équipement est souvent monté à côté de tuyaux avec de l'eau ou des ventilateurs. Dans une paire de salles de serveurs et dans la salle, nous avons regardé l'eau couler. Le dernier cas a été généralement vu sur les caméras de surveillance: il commence à pleuvoir. Il y a un rack avec un équipement (alimenté naturellement), à côté de lui trois bassins, et il goutte à goutte uniformément et monotone du plafond. Tout a fonctionné et, semble-t-il, cette situation nous a confus seulement. Seuls nos ingénieurs étaient inquiets pour le client.
Une autre fois, un tuyau sur le serveur s'est cassé. L'ingénieur directement sur la vidéo retire l'interrupteur du support, le retourne - un verre d'eau en sort. En règle générale, le commutateur continue de fonctionner. Nous l'avons apporté à notre laboratoire et en avons donné un nouveau au client.
D'une manière ou d'une autre, l'équipement de télécommunications a survécu après le lancement du système d'extinction d'incendie à poudre dans l'un des bureaux du client. Ils ont juste secoué toute la poudre (c'était assez difficile, j'ai dû la démonter), mais le morceau de fer lui-même fonctionne toujours.
Enseignements
Audit des équipements réseau sur un site sécurisé. Le directeur technique se tient devant la commission. Il s'est défendu. À la fin, il se plaint:
- La nourriture que nous avons de la ville est mauvaise, la tension n'est pas toujours constante. Maintenant, si vous prenez une fiche, insérez-la dans cette prise, c'est généralement mauvais. Renverse le rack.
Et insère un plug pour montrer.
Le rack a non seulement été mis hors service, mais la passerelle a également été désactivée, puis le serveur. Le disque dur a brûlé sur le serveur, où tournaient les applications de gestion de l'objet. Tout était juste en béton armé.
Le mandat a été reconduit le lendemain. Et nous avons dû ramasser de nouveaux équipements et les amener chez nous pendant la nuit.
Dans un cas similaire (seulement il y a eu une véritable panne de courant, et non de tels exercices), l'objet a été entretenu par un grand fournisseur national. Très grand et très domestique. Nous ouvrons une demande que leur équipement soit grillé. Ils ont un SLA de huit heures. La réponse de leur soutien:
- Eh bien, oui, nous savons que le fer s'est cassé là-bas. Ne voyez-vous pas que nous déjeunons? L'installateur arrivera demain ou après-demain.
Il s'est avéré qu'ils avaient un SLA, mais il n'y a pas de pénalité pour violation.
Le deuxième cas avec les exercices était le suivant. Banque Deux heures du matin, demande d'un morceau de fer critique. Quatre heures pour remplacer. Avec des cris: "Chers collègues, tout est parti!" (mais en un seul mot) - on appelle les Américains, on dit où aller chercher le morceau de fer à Moscou, on y va, on récupère, à ce moment un collègue rampe à genoux devant les logisticiens. Nous sommes dans le temps. Dans une heure et demie nous les apportons. Ils ne nous laissent même pas entrer dans le bâtiment:
"Merci, mais nous n'en avons pas besoin."
- Les gars! C'était quoi?
- Les enseignements!
SMS pour les sans-abri
Nous soutenons l'opérateur mobile étranger. L'un des services que nous surveillons est la conversion de SMS dans l'esprit de «l'abonné a essayé de vous appeler, mais il n'a pas d'argent» en un appel sans réponse. Autrement dit, au lieu d'un message, il reste sans réponse, mais le téléphone ne sonne pas. L'opérateur, en passant, pensait que la probabilité d'un rappel était beaucoup plus élevée.
Un beau jour, toutes les transactions disparaissent du graphique. Il n'y a tout simplement pas d'appels sans argent. Nous commençons à comprendre, mais ne pouvons pas trouver les fins. Ce n'est qu'en une heure que l'on parvient au fait qu'il n'y a aucun appel dans le pays.
Et puis ils commencent la nuit. Il s'agit de la fête musulmane du Ramadan, et le calendrier des appels est biaisé. Cela se produit la veille du Nouvel An, quand le 1er janvier il n'y a presque pas d'appels le matin, et c'est arrivé au printemps.
Même avec des clients étrangers, il est toujours nécessaire de vérifier auprès de leurs ingénieurs, où exactement ils sont connectés. Un fournisseur suédois propose des systèmes de gestion des personnes. En Russie - deux installations. Sur l'un d'eux, ils demandent de passer à la dernière version, car ils ont besoin d'une nouvelle fonctionnalité. Un autre travaille régulièrement depuis près de six mois et il n'y a pas de questions. Les Suédois se connectent, mettent silencieusement à jour le deuxième client, rendent compte au premier de la mise à jour, clôturent le dossier.
Nous nous préparons à nous excuser et à compenser (car le système n'a pas fonctionné pendant les 20 dernières minutes, et maintenant il va falloir coordonner une nouvelle fenêtre pour la première), quand il s'avère soudain que:
- Le premier client est satisfait et confirme le billet.
- Le second n'a remarqué aucun temps d'arrêt.
Nous n'en avons parlé à personne à l'époque, mais c'était très étrange.
Jambes de tir
Lorsque le client du support est hébergé dans le cloud et demande un accès direct à la voiture au lieu de décrire ce qui va nous arriver, nous parions sur la rapidité avec laquelle il tire sur ses jambes. Ce n'est pas le premier ni même le centième cas. Les administrateurs clients perdent régulièrement l'accès à distance à la machine pour diverses raisons. Voici un nouveau cas: ils y ont configuré une nouvelle authentification, et elle a pris et abandonné les utilisateurs actuels. Et afin de passer cette authentification et de transférer à nouveau l'accès à distance, vous devez en quelque sorte pénétrer à l'intérieur et tout configurer en premier. En général, la configuration d'un pare-feu pour l'accès à distance est une longue route.
Dans de tels cas, nous embauchons une équipe de rechargement. Autrement dit, un administrateur qui peut redémarrer le serveur ou jouer à un robot télécommandé avec Vatsap. Il en est ainsi lorsque vous installez quelque chose à Khabarovsk, alors ne partez pas en voyage d'affaires la nuit à Khabarovsk.
Pour un nouveau matériel réseau et des configurations normales, un grand fournisseur dispose d'une équipe régulière pour revenir à la configuration précédente. Activez la minuterie pendant une demi-heure. Si vous n'annulez pas cette tâche dans une demi-heure, il y aura un redémarrage et une restauration de la version précédente. Si tout est bien configuré - vérifiez (deux fois) et annulez cette tâche. Quand je suis sûr que tout fonctionne.
Parfois, vous devez rouler pour mettre de l'équipement. Nous avons un gars nommé 13e. Parce que quand un voyage d'affaires à Surgut est tombé, il emballait déjà un morceau de fer à l'aéroport, et en cours de route, on lui a dit que le même morceau de fer était beaucoup plus nécessaire pour le même client à Krasnodar. Et ils ont changé le billet. La deuxième fois, il est venu pour un remplacement, et là tout s'est levé pendant le vol, et il nous a envoyé des photos de ses pieds sur la plage dans une conversation de travail.
Mais le meilleur cas était celui-ci. Le client a pris et supprimé la connexion entre deux employés dans une paire de serveurs avant de partir. Nous nous asseyons, la demande vient: "Rien ne fonctionne." Nous sommes connectés, nous regardons:
- Tu as fait quoi?
- Avant de quitter la maison, j'ai supprimé la connexion entre les serveurs.
- Pourquoi?
"Pourquoi n'était-ce pas ainsi?"
Avez-vous des jumelles?
Lorsque nous avons testé le système de reconnaissance des personnes grimpant au-dessus d'une clôture pour une entreprise de transport (reconnaissance pour la vidéosurveillance), nous avons en quelque sorte conduit le matin pour délimiter des lieux d'installation de caméras vidéo. Il était important de trouver les «lapins» et de ne pas les effrayer, afin que plus tard, ils puissent placer des caméras dans des lieux d'escalade fréquents. Ils ont pris des jumelles, mais ils n'en avaient pas besoin, car les "lièvres" n'hésitaient pas et n'avaient pas peur.
Le mois dernier, un studio photo a ouvert ses portes dans l'immeuble en face de nos bureaux. Avec de grandes fenêtres et de la lumière naturelle. Des mannequins nus ou habillés de manière très conditionnelle y sont régulièrement photographiés, mais leurs visages ne sont pas visibles du tout de loin. Par conséquent, les jumelles étaient en demande. Le jour des tirs particulièrement chauds, plusieurs billets ont été immédiatement reçus à la demande de collègues du bureau.
Sur le contrôle
Je suis venu chez un client qui a de nombreux bureaux en Fédération de Russie. Il y a un serveur principal à Moscou et beaucoup sont connectés à partir de bureaux supplémentaires en Fédération de Russie. Fouiller dans l'une des glandes régionales. Un leader local s'approche de moi et rapporte:
- Piquer trop longtemps.
- Eh bien, le travail est comme ça.
"Vous comprenez que c'est sous le contrôle de la très ..."
- Le président de l'entreprise?
- Non, tout de même ...
- Plus précisément, ce serveur?
- Oui.
J'ai ri. Il est comme ça:
"Vous faites la mauvaise chose en riant."
Et à gauche.
Et je pensais que nous avions un travail dangereux. Peut-être qu'il contrôle vraiment. Peut-être que je pourrais me mettre en face pour une telle insolence. Personnellement de ...
Wi-fi
Un client non-stop ouvre des incidents pour des problèmes avec le wi-fi. Mais je dois dire que c'est un grand hangar, dans le hangar - un entrepôt, et là, à cause des étagères en métal (il y a des flans pour l'usine), il n'atteignait pas toujours le centre. Nous leur avons fait un rapide sondage radio et leur avons recommandé quoi et où le mettre. Ils ont signalé qu'ils avaient tout fait là-dessus. Et maintenant, il semble que le point d'accès central ne s'accroche pas et disparaisse constamment. Ils y ont envoyé un ingénieur mobile. Il s'est avéré qu'au moment où l'emplacement des points a été calculé, il y avait une grue au centre du hangar. En fait, les installateurs du client l'aimaient vraiment et ils ont fixé le point directement sur lui. Et la grue fait le tour de l'entrepôt, et lorsqu'elle part dans un sens, elle n'est plus dans l'autre réseau. Pendant un certain temps, ils ont essayé de comprendre pourquoi le réseau était perdu, puis il a été réparé, puis ils nous ont frappés.
Meilleur cas
Une application complexe, nous traitons avec l'utilisateur pendant près d'une demi-heure au téléphone. Je maudis déjà tout, parce que c'est le cas même lorsqu'une personne ne peut pas exprimer clairement ce qu'elle a fait. Et ne rapporte pas tout ce qu'il voit à l'écran. Et il ne dit pas tout ce qu'il fait en ce moment. Je prévois déjà que la nécessité de tout faire lentement et délibérément le rend furieux non moins que moi. Mais pour une autre raison. Et puis, lors de l'explication suivante, que s'il ne lit pas tout ce qu'il voit à l'écran, je ne peux pas l'aider, il informe soudain:
- Désolé, nous avons un feu ici.
Et raccroche. Dans le billet, j'ai écrit «le bâtiment a brûlé avec l'équipement» et je suis allé personnellement vérifier - mais on ne sait jamais ...
Les références