Unter anderem unterstützen wir Votsap. Abends deutet nichts auf Probleme hin, wenn sich plötzlich ein Videoanruffenster öffnet. Nahaufnahme - Telekommunikationsgeräte, die beim Kunden installiert sind ... und es brennt. Im wahrsten Sinne des Wortes. Sie können das Licht sehen, wie es scheint - die Isolierung der Drähte in der Nähe der Stromversorgung. Ein Mann fragt, was zu tun ist. Schreien:
- Kadaver!
Er:
- Kann ich?
- Du kannst!
Und erst dann schmort es.
Es stellte sich heraus, dass nicht alle mit herkömmlichen Mitteln gelöscht werden können: Als Reaktion darauf können sie mit ein paar Zehntausenden von Volt schockieren. Oder sogar das Abschrecken stört den Betrieb wichtiger Geräte. Im Allgemeinen sah er ein Feuer, das als Unterstützung bezeichnet wurde, und während die Verbindung hergestellt wurde, fand und bereitete er einen Feuerlöscher vor.
Im Allgemeinen hallo, Habr! Ich bin vom technischen Remote-Support-Team und wir kommunizieren häufig mit Benutzern im ganzen Land und im Ausland. Und sie machen ziemlich seltsame Dinge. Unten sind die Fahrräder.
Was wir tun und was es ist
CROC kann Supportbüros, Produktions- und Einzeldienstleistungen übernehmen. Wir machen das seit vielen, vielen Jahren. Es gibt ein Callcenter-Team, das auf Standardskripte reagiert und in typischen Situationen hilft. Die zweite Zeile (ich und meine Kollegen) dient zur Analyse komplexer Fälle, in denen Sie in die Konfigurationsebene von Netzwerk-, Server- oder Anwendungssoftware einsteigen müssen, und für mobile Ingenieure reiten und Eisen wechseln. Außerdem ein Neustartbefehl in jeder Stadt, aber dazu später mehr. Die Arbeit ist sehr romantisch, da wir für Banken und Einzelhändler häufig sehr strenge SLAs festlegen und die Verkehrsinfrastruktur unterstützen. Aus offensichtlichen Gründen erwähne ich nicht die Namen der Kunden, und die Sicherheitskräfte haben auch einige der nicht sehr wichtigen Details geändert, damit niemand klar erkannt werden kann.
Hitze
In den Wärmespitzen verschwindet die Kommunikation mit einem der lokalen Server. Es gibt viele solcher Server an den Standorten, sie sind recht kompakt in technischen Räumen montiert, und überall gibt es Schwierigkeiten bei der Kühlung. Außerdem wird häufig ein externer Zwangsserver verwendet. Nun, das heißt, ein leistungsstarker Lüfter, der direkt auf das Rack gerichtet ist. Kollegen nennen es das Schlagwort „Freecooling“, aber dies ist ein Fan, der sich an das Rack richtet.
Dies geschieht jedoch nicht jeden Tag in der Hitze, sondern nur etwa jede Sekunde. Wir beginnen zu verstehen - manchmal wie in einer Detektivgeschichte: Es stellt sich heraus, dass zwei Personen im selben Raum arbeiten. Ein Spezialist weiß, was ein Stand ist, oder ist sich der mysteriösen Verbindung von Blinklichtern und Ventilator sehr bewusst. Der zweite Spezialist ist eine Großmutter. Sie weiß es nicht. Und wenn die Hitze ihr Maximum erreicht, spürt die Großmutter die thermische Schwelle, dann nimmt sie den Ventilator und dreht ihn auf sich. Weil ihr kleiner Fan nicht so mächtig ist.
Die logische Folge ist, dass die Großmutter abkühlt und das Rack überhitzt. Weiter entlang der Temperaturschwelle tritt eine regelmäßige thermische Abschaltung auf. Und wir haben noch ein Ticket.
Der Fall ist nicht ungewöhnlich; Wir schreiben Memos und schulen die Schlüsselpersonen des Kunden, und sie müssen lineare Personen schulen. Aber es passiert nicht immer richtig. In einem anderen ähnlichen Raum wurde der Stand nachts für sechs bis acht Minuten ausgeschaltet. Dann erfuhren sie: Der neue Wachmann wurde nicht gewarnt, er unterbrach die Stromversorgung des Racks aus der Steckdose, schaltete den Wasserkocher ein und gab dann alles so zurück, wie es war.
Es gibt einfach seltsame Eingaben. Ein anderer Elektriker brachte die Stromversorgung der Klimaanlage zum Lichtschalter im Technikraum. Während jemand da ist, funktioniert alles. Die Leute gehen - der Stand geht aus. Infolgedessen gibt es jetzt ein Schild "Mach das Licht nicht aus !!!" Ich werde meine Hände herausreißen !!! " Es scheint, dass der Elektriker bereits herausgezogen wurde, sodass er nicht die richtige Verkabelung vornehmen kann. Sie müssen es mit dieser Krücke lösen.
Toilettenerlaubnis
Wir schicken den Gastingenieur, um einen der Knoten eines großen Netzwerks zu warten. Die Ingenieurin geht zu dem Ort. Ich muss sagen, dass dies ein sehr eigenartiger Raum mit hohen Decken ist, der während der Geburt der UdSSR gebaut wurde. Nach mehreren Rekonstruktionen über der Herrentoilette wurde über den Kabinen ein Raum geschaffen, in dem Geräte aufgestellt werden können. Eine im Land übliche Situation übrigens: Es gibt nicht genug Platz für Eisen, sie bilden eine "Zwischendecke". Aus irgendeinem Grund normalerweise dort. Ich selbst habe die Schalter ein paar Mal angeschlossen, während ich auf der Toilette stand.
Das Mädchen kommt zum Leiter der Einrichtung und bittet um Erlaubnis, die Herrentoilette besuchen zu dürfen. Zuerst verstehen die Leute lange nicht, warum sie es braucht. Dann schaltet sich die bürokratische Maschine ein: Der Fall ist unbekannt, und niemand weiß, was zu tun ist. Am Ende hatte sie große Probleme, alles richtig zu machen. Die Jungs haben gerade die Toilette für die Dauer der Arbeit offiziell geschlossen und durften alles drinnen machen.
In Einzelhandelsketten werden Geräte aus irgendeinem Grund häufig neben Rohren mit Wasser oder Ventilatoren montiert. In zwei Serverräumen und im Raum sahen wir den Wasserfluss. Der letzte Fall wurde im Allgemeinen bei Überwachungskameras beobachtet: Es beginnt zu regnen. Es gibt ein Gestell mit Ausrüstung (natürlich angetrieben), daneben drei Becken, und es tropft gleichmäßig und eintönig von der Decke. Alles hat geklappt, und diese Situation hat uns anscheinend nur verwirrt. Nur unsere Ingenieure machten sich Sorgen um den Kunden.
Ein anderes Mal brach eine Leitung über dem Server. Der Techniker direkt auf dem Video entfernt den Schalter von der Halterung, dreht ihn um - ein Glas Wasser fließt heraus. Normalerweise funktioniert der Switch weiter. Wir brachten es in unser Labor und gaben dem Kunden im Gegenzug ein neues.
Irgendwie überlebten die Telekommunikationsgeräte nach dem Start des Pulver-Feuerlöschsystems in einem der Büros des Kunden. Sie schüttelten nur das ganze Pulver aus (es war ziemlich schwierig, ich musste es zerlegen), aber das Stück Eisen selbst funktioniert immer noch.
Lehren
Überprüfen Sie die Netzwerkgeräte an einem sicheren Ort. Der technische Leiter steht vor der Kommission. Er verteidigte sich. Am Ende beschwert er sich:
- Das Essen, das wir aus der Stadt haben, ist schlecht, ständig ist die Spannung nicht richtig. Wenn Sie jetzt einen Stecker nehmen und ihn in diese Steckdose stecken, ist er normalerweise schlecht. Schlägt das Gestell um.
Und steckt einen Stecker ein, um zu zeigen.
Das Rack wurde nicht nur ausgeknockt, sondern auch das Gateway und dann der Server deaktiviert. Die Festplatte ist auf dem Server abgebrannt, auf dem sich Anwendungen zum Verwalten des Objekts drehten. Alles stand nur aus Stahlbeton.
Die Kommission wurde am nächsten Tag wiederernannt. Und wir mussten neue Ausrüstung abholen und über Nacht zu uns bringen.
In einem ähnlichen Fall (nur gab es einen echten Stromausfall und keine solchen Übungen) wurde das Objekt von einem großen inländischen Anbieter gewartet. Sehr groß und sehr häuslich. Wir eröffnen eine Anfrage, dass ihre Ausrüstung ausgebrannt ist. Sie haben eine SLA von acht Stunden. Die Antwort ihrer Unterstützung:
- Ja, wir wissen, dass das Eisen dort gebrochen ist. Siehst du nicht, dass wir zu Mittag essen? Der Installateur wird morgen oder übermorgen eintreffen.
Es stellte sich heraus, dass sie SLA haben, aber es gibt keine Strafe für Verstöße.
Der zweite Fall mit den Übungen war dies. Bank Zwei Uhr morgens Antrag auf ein kritisches Stück Eisen. Vier Stunden zu ersetzen. Mit Rufen: "Kollegen, alles ist weg!" (aber nur in einem Wort) - wir rufen die Amerikaner an, sie sagen, wo sie das Stück Eisen in Moskau abholen sollen, wir gehen dorthin, wir sammeln, zu dieser Zeit kriecht ein Kollege vor den Logistikern auf den Knien. Wir sind pünktlich. In anderthalb Stunden bringen wir sie. Sie lassen uns nicht einmal in das Gebäude:
"Danke, aber das brauchen wir nicht."
- Leute! Was war das?
- Die Lehren!
Obdachlose SMS
Wir unterstützen ausländische Mobilfunkbetreiber. Einer der Dienste, die wir überwachen, ist die Umwandlung von SMS im Sinne von "Der Teilnehmer hat versucht, Sie anzurufen, aber er hat kein Geld" in einen unbeantworteten Anruf. Das heißt, anstelle einer Nachricht bleibt sie unbeantwortet, aber das Telefon klingelt nicht. Der Betreiber war übrigens der Meinung, dass die Wahrscheinlichkeit eines Rückrufs viel höher sei.
Eines schönen Tages verschwinden alle Transaktionen aus dem Diagramm. Es gibt einfach keine Anrufe ohne Geld. Wir beginnen zu verstehen, können aber die Ziele nicht finden. Erst in einer Stunde kommt es dazu, dass es im Land überhaupt keine Anrufe gibt.
Und dann fangen sie nachts an. Dies ist der muslimische Feiertag im Ramadan, und der Anrufplan ist verzerrt. Dies geschieht am Silvesterabend, wenn am 1. Januar morgens fast keine Anrufe eingehen und dort im Frühjahr.
Auch bei ausländischen Kunden ist es immer notwendig, ihre Ingenieure zu überprüfen, wo genau sie verbunden sind. Ein schwedischer Anbieter bietet Systeme zur Verwaltung von Personen an. In Russland - zwei Installationen. Zum einen bitten sie um ein Upgrade auf die neueste Version, da sie eine neue Funktion benötigen. Der andere arbeitet seit fast einem halben Jahr ununterbrochen, und es gibt keine Fragen. Die Schweden verbinden sich, aktualisieren stillschweigend den zweiten Kunden, berichten dem ersten über das Update, schließen den Fall.
Wir bereiten uns darauf vor, uns zu entschuldigen und zu entschädigen (weil das System in den zweiten 20 Minuten nicht funktioniert hat und jetzt ein neues Fenster für das erste Fenster koordiniert werden muss), wenn sich plötzlich herausstellt, dass:
- Der erste Kunde ist zufrieden und bestätigt das Ticket.
- Der zweite bemerkte keine Ausfallzeiten.
Wir haben es damals niemandem erzählt, aber es war sehr seltsam.
Beine schießen
Wenn der Support-Kunde in der Cloud gehostet wird und direkten Zugriff auf das Auto wünscht, anstatt zu beschreiben, was mit uns passieren wird, wetten wir, wie schnell er dort seine Beine schießt. Dies ist nicht der erste oder sogar der hundertste Fall. Kundenadministratoren verlieren aus verschiedenen Gründen regelmäßig den Fernzugriff auf das Gerät. Hier ist ein neuer Fall: Sie haben dort eine neue Authentifizierung eingerichtet, und sie hat die aktuellen Benutzer übernommen und gelöscht. Und um diese Authentifizierung zu bestehen und den Fernzugriff erneut weiterzuleiten, müssen Sie irgendwie hineingehen und alles zuerst einrichten. Im Allgemeinen ist das Einrichten einer Firewall für den Remotezugriff ein langer Weg.
In solchen Fällen stellen wir ein Nachladeteam ein. Das heißt, ein Administrator, der den Server neu starten oder mit Vatsap einen ferngesteuerten Roboter spielen kann. Dies ist so, dass Sie, wenn Sie etwas in Chabarowsk einrichten, nachts keine Geschäftsreise nach Chabarowsk unternehmen sollten.
Für eine neue Netzwerkhardware und normale Konfigurationen verfügt ein großer Anbieter über ein reguläres Team, das auf die vorherige Konfiguration zurückgreifen kann. Aktivieren Sie den Timer für eine halbe Stunde. Wenn Sie diese Aufgabe nicht innerhalb einer halben Stunde abbrechen, wird die vorherige Version neu gestartet und wiederhergestellt. Wenn alles gut konfiguriert ist - überprüfen Sie (zweimal) und brechen Sie diese Aufgabe ab. Wenn ich sicher bin, dass alles funktioniert.
Manchmal muss man fahren, um Ausrüstung zu platzieren. Wir haben einen Typen namens 13 .. Denn als eine Geschäftsreise nach Surgut fiel, packte er bereits ein Stück Eisen zum Flughafen und unterwegs wurde ihm gesagt, dass dasselbe Stück Eisen für denselben Kunden in Krasnodar viel mehr benötigt werde. Und sie haben das Ticket geändert. Das zweite Mal kam er, um Ersatz zu holen, und dort stieg während des Fluges alles selbst auf, und er schickte uns Fotos seiner Füße am Strand in einem Arbeitsgespräch.
Aber der beste Fall war dies. Der Kunde nahm die Verbindung zwischen zwei Mitarbeitern auf zwei Servern und entfernte sie, bevor er ging. Wir sitzen, die Anfrage kommt: "Nichts funktioniert." Wir sind verbunden, wir schauen:
- Was hast du gemacht?
- Bevor ich das Haus verließ, löschte ich die Verbindung zwischen den Servern.
- Warum?
"Warum war das nicht so?"
Hast du ein Fernglas?
Als wir das Erkennungssystem von Personen getestet haben, die für ein Transportunternehmen über einen Zaun geklettert sind (Erkennung für Videoüberwachung), sind wir am Morgen irgendwie losgefahren, um Orte für die Installation von Videokameras zu markieren. Es war wichtig, die „Kaninchen“ zu finden und sie nicht abzuschrecken, damit sie später Kameras an Orten mit häufigem Klettern platzieren konnten. Sie nahmen ein Fernglas, aber sie brauchten es nicht, weil die "Hasen" nicht zögerten und keine Angst hatten.
Im vergangenen Monat wurde im Gebäude gegenüber unserem Büro ein Fotostudio eröffnet. Mit großen Fenstern und Tageslicht. Dort werden regelmäßig nackte oder sehr bedingt gekleidete Models gedreht, deren Gesichter jedoch von weitem nicht sichtbar sind. Daher waren Ferngläser gefragt. Am Tag des besonders heißen Schießens gingen auf Anfrage von Kollegen aus dem Büro sofort mehrere Tickets ein.
Auf Kontrolle
Ich bin zu einem Kunden gekommen, der viele Büros in der Russischen Föderation hat. Es gibt einen Hauptserver in Moskau und viele sind von zusätzlichen Büros in der Russischen Föderation aus verbunden. Stöbern in einer der regionalen Drüsen. Ein lokaler Führer kommt auf mich zu und berichtet:
- Zu lange stupsen.
- Nun, die Arbeit ist so.
"Sie verstehen, dass dies unter der Kontrolle der ..."
- Der Präsident des Unternehmens?
- Nein, ganz ...
- Speziell dieser Server?
- Ja.
Ich habe gelacht. Er ist so:
"Du machst das Falsche und lachst."
Und ging.
Und ich dachte, wir hätten einen gefährlichen Job. Vielleicht hat er wirklich die Kontrolle. Vielleicht könnte ich wegen solcher Unverschämtheit ins Gesicht sehen. Persönlich von ...
WLAN
Non-Stop-Kunde öffnet Vorfälle für Probleme mit Wi-Fi. Aber ich muss sagen, dass dies ein großer Hangar ist, im Hangar - ein Lagerhaus, und dort hat er wegen der Regale mit Metall (es gibt Rohlinge für die Pflanze) nicht immer die Mitte erreicht. Wir haben ihnen eine kurze Radioumfrage gemacht und empfohlen, was und wo sie platziert werden sollen. Sie berichteten, dass sie alles daran getan haben. Und jetzt scheint der zentrale Zugangspunkt nicht zu haften und verschwindet ständig. Sie haben einen mobilen Ingenieur dorthin geschickt. Es stellte sich heraus, dass sich zu dem Zeitpunkt, als die Position der Punkte berechnet wurde, ein Kran in der Mitte des Hangars befand. Eigentlich mochten ihn die Installateure des Kunden sehr und sie fixierten den Punkt direkt auf ihn. Und der Kran fährt um das Lager herum, und wenn er in eine Richtung fährt, befindet er sich nicht mehr im anderen Netzwerk. Für einige Zeit versuchten sie zu verstehen, warum das Netzwerk entweder verloren ging, dann wurde es repariert, und dann klopften sie an uns.
Bester Fall
Als komplexe Anwendung beschäftigen wir uns fast eine halbe Stunde lang mit dem Benutzer am Telefon. Ich verfluche bereits alles, denn genau dies ist der Fall, wenn eine Person nicht klar artikulieren kann, was sie getan hat. Und meldet nicht alles, was er auf dem Bildschirm sieht. Und er sagt nicht alles, was er gerade tut. Ich sehe bereits voraus, dass die Notwendigkeit, alles langsam und absichtlich zu tun, ihn nicht weniger wütend macht als mich. Aber aus einem anderen Grund. Und dann, während der nächsten Erklärung, dass er ihm nicht helfen kann, wenn er nicht alles liest, was er auf dem Bildschirm sieht, informiert er ihn plötzlich:
- Entschuldigung, wir haben hier ein Feuer.
Und legt auf. In das Ticket schrieb ich "das Gebäude ist mit der Ausrüstung niedergebrannt" und ging persönlich zur Überprüfung - aber man weiß nie ...
Referenzen