Antara lain, kami memberikan dukungan untuk Votsap. Malam, tidak ada yang menandakan masalah, ketika tiba-tiba jendela panggilan video terbuka. Close-up - peralatan telekomunikasi yang dipasang di situs pelanggan ... Dan terbakar. Secara harfiah. Anda dapat melihat cahaya, tampaknya - isolasi kabel di dekat catu daya. Seorang pria bertanya apa yang harus dilakukan. Berteriak:
- Karkas!
Dia:
- Bisakah saya?
- Kamu bisa!
Dan baru setelah itu rebusan.
Ternyata tidak semua dari mereka dapat dipadamkan dengan cara konvensional: sebagai tanggapan, mereka dapat mengejutkan dengan beberapa ribu volt. Atau bahkan pendinginan akan mengganggu pengoperasian peralatan penting. Secara umum, dia melihat api, yang disebut dukungan dan, ketika sambungan dibuat, dia menemukan dan menyiapkan alat pemadam api.
Secara umum, halo, Habr! Saya dari tim dukungan teknis jarak jauh, dan kami sering berkomunikasi dengan pengguna di seluruh negeri dan luar negeri. Dan mereka melakukan hal-hal yang agak aneh. Di bawah ini adalah sepeda.
Apa yang kita lakukan dan apa adanya
CROC dapat mengambil kantor pendukung, produksi dan layanan individu. Kami telah melakukan ini selama bertahun-tahun. Ada tim call center yang merespons skrip standar dan membantu dalam situasi tertentu, baris kedua (saya dan kolega saya) adalah untuk menganalisis kasus kompleks ketika Anda perlu masuk ke tingkat konfigurasi perangkat lunak jaringan, server atau aplikasi, dan insinyur seluler yang naik dan ganti besi. Plus, perintah reboot di setiap kota, tetapi lebih lanjut tentang itu nanti. Ada banyak romansa dalam pekerjaan ini, karena kami sering membuat SLA yang sangat ketat untuk bank dan pengecer, dan mendukung fasilitas infrastruktur transportasi. Untuk alasan yang jelas, saya tidak menyebutkan nama pelanggan, dan penjaga keamanan juga mengubah beberapa detail yang tidak terlalu penting sehingga tidak ada yang bisa dikenali dengan jelas.
Panas
Di puncak panas, komunikasi dengan salah satu server lokal menghilang. Ada banyak server seperti itu di situs, mereka dipasang cukup kompak di ruang teknis, dan di mana-mana ada kesulitan dengan pendinginan, dan seringkali yang dipaksakan eksternal digunakan. Yaitu, kipas yang kuat yang diarahkan langsung ke rak. Kolega menyebutnya kata kunci “freecooling,” tetapi ini adalah kipas yang ditujukan pada rak.
Tapi ini tidak terjadi setiap hari di panas, tetapi hanya setiap detik. Kita mulai mengerti - kadang-kadang, seperti dalam cerita detektif: ternyata ada dua orang yang bekerja di ruangan yang sama. Seorang spesialis tahu apa berdiri, atau sangat menyadari koneksi misterius lampu berkedip dan kipas. Spesialis kedua adalah seorang nenek. Dia tidak tahu. Dan ketika panas mencapai maksimum, sang nenek merasakan ambang termal, lalu dia mengambil dan menyalakan kipas angin pada dirinya sendiri. Karena kipas kecilnya tidak begitu kuat.
Konsekuensi logisnya adalah bahwa nenek mendingin, rak terlalu panas. Lebih jauh di sepanjang ambang suhu, shutdown termal biasa terjadi. Dan kami memiliki tiket lain.
Kasusnya tidak biasa, kami tidak terbiasa. Kami menulis memo dan melatih orang-orang kunci dari pelanggan, dan mereka perlu melatih orang-orang linier. Tapi itu tidak selalu terjadi dengan benar. Di ruangan lain yang serupa, dudukan dimatikan pada malam hari selama enam hingga delapan menit. Kemudian mereka menemukan: mereka tidak memperingatkan penjaga baru, dia mematikan daya rak dari outlet, menyalakan ketel, dan kemudian mengembalikan semuanya seperti semula.
Hanya ada input yang aneh. Ahli listrik celaka lainnya membawa catu daya AC ke sakelar lampu di ruang teknis. Sementara ada seseorang di sana, semuanya bekerja. Orang-orang pergi - dudukan dimatikan. Akibatnya, sekarang ada tanda "Jangan matikan lampu !!!" Saya akan merobek tangan saya !!! " Tampaknya tukang listrik sudah ditarik keluar, jadi dia tidak dapat membuat kabel yang benar, Anda harus menyelesaikannya dengan tongkat penyangga ini.
Izin Toilet
Kami mengirim insinyur yang berkunjung untuk melayani salah satu node dari jaringan besar. Gadis-insinyur pergi ke tempat itu. Saya harus mengatakan bahwa ini adalah kamar yang sangat aneh dengan langit-langit tinggi, yang dibangun pada saat kelahiran USSR. Setelah beberapa rekonstruksi atas toilet pria, ruang dibuat di atas bilik di mana peralatan dapat diletakkan. Omong-omong, situasi umum di negara itu: tidak ada cukup ruang untuk besi, mereka membuat "plafon palsu". Untuk beberapa alasan, biasanya ada. Saya sendiri menghubungkan sakelar beberapa kali sambil berdiri di toilet.
Gadis itu datang ke kepala fasilitas dan meminta izin untuk mengunjungi toilet pria. Pada awalnya, orang-orang untuk waktu yang lama tidak mengerti mengapa dia membutuhkannya. Kemudian mesin birokrasi menyala: kasing tidak dikenal, dan tidak ada yang tahu harus berbuat apa. Pada akhirnya, dia mengalami banyak kesulitan untuk memperbaiki segalanya. Orang-orang hanya menutup toilet selama pekerjaan resmi dan diizinkan untuk melakukan apa pun di dalam.
Dalam rantai ritel, untuk beberapa alasan, peralatan sering dipasang di sebelah pipa dengan air atau kipas. Di sepasang kamar server dan di kamar kami menyaksikan aliran air. Kasus terakhir umumnya terlihat pada kamera pemantauan: hujan mulai turun. Ada rak dengan peralatan (bertenaga alami), di sampingnya ada tiga baskom, dan menetes secara merata dan monoton dari langit-langit. Segalanya berhasil, dan, sepertinya, situasi ini hanya membingungkan kami. Hanya teknisi kami yang khawatir tentang pelanggan.
Lain waktu, pipa di atas server pecah. Insinyur langsung pada video menghapus sakelar dari gunung, membaliknya - segelas air mengalir keluar darinya. Biasanya, sakelar terus bekerja. Kami membawanya ke laboratorium kami, dan memberi pelanggan yang baru sebagai imbalan.
Entah bagaimana, peralatan telekomunikasi selamat setelah peluncuran sistem pemadam api bubuk di salah satu kantor pelanggan. Mereka hanya mengeluarkan semua bubuk (itu cukup sulit, saya harus membongkar), tetapi potongan besi itu sendiri masih berfungsi.
Ajaran
Peralatan jaringan audit di satu situs yang aman. Manajer teknis berdiri di depan komisi. Dia membela diri. Pada akhirnya dia mengeluh:
- Makanan yang kita miliki dari kota buruk, terus-menerus ketegangannya tidak benar. Sekarang, jika Anda mengambil steker, masukkan ke outlet ini, biasanya buruk. Merobohkan rak.
Dan menyisipkan plug untuk ditampilkan.
Rak tidak hanya pingsan, tetapi juga gateway dinonaktifkan, dan kemudian server. Hard drive terbakar di server, tempat aplikasi untuk mengelola objek berputar. Semuanya berdiri hanya beton bertulang.
Komisi itu diangkat kembali pada hari berikutnya. Dan kami harus mengambil peralatan baru dan membawanya ke tempat kami dalam semalam.
Dalam kasus serupa (hanya ada kegagalan daya yang nyata, dan bukan latihan semacam itu), objek tersebut dilayani oleh penyedia domestik besar. Sangat besar dan sangat domestik. Kami membuka permintaan agar peralatan mereka terbakar. Mereka memiliki SLA delapan jam. Jawaban dari dukungan mereka:
- Ya, kita tahu besi itu pecah di sana. Tidakkah kamu lihat kita makan siang? Pemasang akan tiba besok atau lusa.
Ternyata mereka memiliki SLA, tetapi tidak ada hukuman untuk pelanggaran.
Kasus kedua dengan latihan adalah ini. Bank Dua pagi, aplikasi untuk sepotong besi kritis. Empat jam untuk mengganti. Dengan teriakan: "Kolega, semuanya hilang!" (tetapi hanya dalam satu kata) - kita sebut orang Amerika, mereka mengatakan di mana untuk mengambil sepotong besi di Moskow, pergi ke sana, mengumpulkan, pada saat ini seorang rekan merangkak berlutut di depan para ahli logistik. Kami tepat waktu. Dalam satu setengah jam kami membawanya. Mereka bahkan tidak membiarkan kami masuk ke gedung:
"Terima kasih, tapi kami tidak perlu melakukannya."
- Teman-teman! Apa itu tadi
- Ajarannya!
SMS tunawisma
Kami mendukung operator seluler asing. Salah satu layanan yang kami pantau adalah mengubah SMS dengan semangat “Pelanggan mencoba menelepon Anda, tetapi dia tidak punya uang” menjadi panggilan yang tidak dijawab. Artinya, alih-alih pesan, pesan itu tidak dijawab, tetapi telepon tidak berdering. Omong-omong, operator berpikir bahwa kemungkinan panggilan balik jauh lebih tinggi.
Suatu hari, semua transaksi hilang dari grafik. Tidak ada panggilan tanpa uang sama sekali. Kami mulai mengerti, tetapi tidak dapat menemukan ujungnya. Hanya satu jam kemudian sampai pada kenyataan bahwa tidak ada panggilan sama sekali di negara ini.
Dan kemudian mereka mulai di malam hari. Ini adalah hari libur Muslim Ramadhan, dan jadwal panggilannya miring. Ini terjadi pada Malam Tahun Baru, ketika pada tanggal 1 Januari hampir tidak ada panggilan di pagi hari, dan itu terjadi di musim semi.
Bahkan dengan pelanggan asing, selalu perlu memeriksa teknisi mereka, di mana tepatnya mereka terhubung. Satu vendor Swedia menempatkan sistem untuk mengelola orang. Di Rusia - dua instalasi. Pada satu mereka meminta untuk meningkatkan ke versi terbaru, karena mereka memerlukan beberapa fitur baru. Yang lain telah bekerja dengan mantap selama hampir setengah tahun, dan tidak ada pertanyaan. Swedia terhubung, diam-diam memperbarui pelanggan kedua, melaporkan ke yang pertama tentang pembaruan, tutup kasing.
Kami sedang bersiap untuk meminta maaf dan memberikan kompensasi (karena sistem tidak berfungsi selama 20 menit kedua, dan sekarang akan diperlukan untuk mengoordinasikan jendela baru untuk yang pertama), ketika tiba-tiba ternyata:
- Pelanggan pertama puas dan mengkonfirmasi tiket.
- Yang kedua tidak melihat adanya downtime.
Kami tidak memberi tahu siapa pun saat itu, tetapi itu sangat aneh.
Menembak kaki
Ketika pelanggan untuk mendapatkan dukungan di-hosting di cloud dan meminta akses langsung ke mobil alih-alih menggambarkan apa yang akan terjadi pada kami, kami bertaruh seberapa cepat mereka menembak kaki mereka di sana. Ini bukan yang pertama atau bahkan yang keseratus. Admin pelanggan secara teratur kehilangan akses jarak jauh ke alat berat karena berbagai alasan. Ini kasus baru: mereka membuat otentikasi baru di sana, dan dia mengambil dan menjatuhkan pengguna saat ini. Dan untuk meneruskan otentikasi ini dan meneruskan akses jarak jauh lagi, Anda harus masuk dan mengatur semuanya terlebih dahulu. Secara umum, pengaturan firewall untuk akses jarak jauh adalah jalan panjang.
Dalam kasus seperti itu, kami menyewa tim yang memuat ulang. Yaitu, administrator yang dapat me-restart server atau memainkan robot yang dikendalikan dari jarak jauh dengan Vatsap. Ini agar ketika Anda mengatur sesuatu di Khabarovsk, maka jangan terbang dalam perjalanan bisnis di malam hari ke Khabarovsk.
Untuk perangkat keras jaringan baru dan konfigurasi normal, vendor besar memiliki tim reguler untuk mengembalikan ke konfigurasi sebelumnya. Aktifkan timer selama setengah jam. Jika Anda tidak membatalkan tugas ini dalam waktu setengah jam, maka akan ada restart dan pemulihan versi sebelumnya. Jika semuanya terkonfigurasi dengan baik - centang (dua kali) dan batalkan tugas ini. Ketika saya yakin semuanya bekerja.
Terkadang Anda perlu naik untuk meletakkan peralatan. Kami memiliki seorang pria bernama ke-13. Karena ketika perjalanan bisnis ke Surgut jatuh, dia sudah berkumpul dengan sepotong besi ke bandara, dan di sepanjang jalan dia diberitahu bahwa potongan besi yang sama jauh lebih dibutuhkan untuk pelanggan yang sama di Krasnodar. Dan mereka mengubah tiketnya. Kali kedua dia datang untuk penggantian, dan di sana semuanya naik selama penerbangan, dan dia mengirimi kami foto kakinya di pantai dalam obrolan yang berhasil.
Tetapi kasus terbaik adalah ini. Pelanggan mengambil dan menghapus koneksi antara dua pekerja di sepasang server sebelum pergi. Kami duduk, permintaan datang: "Tidak ada yang berhasil." Kami terhubung, kami melihat:
- Apa yang kamu lakukan?
- Sebelum meninggalkan rumah, saya menghapus koneksi antara server.
- Kenapa?
"Kenapa tidak begitu?"
Apakah Anda memiliki teropong?
Ketika kami menguji sistem pengenalan orang-orang yang memanjat pagar untuk satu perusahaan transportasi (pengakuan untuk pengawasan video), kami entah bagaimana keluar di pagi hari untuk menandai tempat-tempat untuk memasang kamera video. Penting untuk menemukan "kelinci" dan tidak menakut-nakuti mereka, sehingga nantinya mereka bisa meletakkan kamera di tempat yang sering didaki. Mereka mengambil teropong, tetapi mereka tidak membutuhkannya, karena "hares" tidak ragu-ragu dan tidak takut.
Bulan lalu, sebuah studio foto dibuka di gedung di seberang kantor kami. Dengan jendela besar dan cahaya alami. Model telanjang atau berpakaian sangat kondisioner secara teratur ditembak di sana, tetapi wajah mereka tidak terlihat sama sekali dari jauh. Karena itu, teropong sangat diminati. Pada hari pemotretan yang sangat panas, beberapa tiket segera diterima dengan permintaan dari rekan kerja dari kantor.
Di kontrol
Saya datang ke pelanggan yang memiliki banyak kantor di Federasi Rusia. Ada server utama di Moskow dan banyak yang terhubung dari kantor tambahan di Federasi Rusia. Mengaduk-aduk di salah satu kelenjar regional. Seorang pemimpin lokal mendekati saya dan melaporkan:
- Menusuk terlalu lama.
- Yah, pekerjaannya seperti itu.
"Kamu mengerti bahwa ini berada di bawah kendali ..."
- Presiden perusahaan?
- Tidak, di ...
- Secara khusus, server ini?
- Ya.
Saya tertawa. Dia seperti ini:
"Kamu melakukan hal yang salah, tertawa."
Dan pergi.
Dan saya pikir kami punya pekerjaan berbahaya. Mungkin dia benar-benar memegang kendali. Mungkin aku bisa menghadapi penghinaan seperti itu. Secara pribadi dari ...
Wi-fi
Pelanggan tanpa henti membuka insiden untuk masalah dengan wi-fi. Tetapi saya harus mengatakan bahwa ini adalah hanggar besar, di hanggar - gudang, dan di sana, karena rak dengan logam (ada yang kosong untuk tanaman), itu tidak selalu mencapai pusat. Kami melakukan survei radio cepat kepada mereka dan merekomendasikan apa dan di mana meletakkannya. Mereka melaporkan bahwa mereka melakukan segalanya. Dan sekarang, tampaknya titik akses pusat tidak melekat dan terus-menerus menghilang. Mereka mengirim insinyur seluler ke sana. Ternyata pada saat lokasi titik dihitung, ada derek di tengah hanggar. Sebenarnya, pemasang pelanggan benar-benar menyukainya, dan mereka langsung memperbaiki masalahnya. Dan crane berjalan di sekitar gudang, dan ketika ia pergi ke satu arah, ia tidak lagi berada di jaringan lain. Untuk beberapa waktu mereka mencoba memahami mengapa jaringan itu hilang, kemudian diperbaiki, dan kemudian mereka mengetuk kami.
Kasus terbaik
Aplikasi yang kompleks, kami menangani pengguna selama hampir setengah jam di telepon. Saya sudah mengutuk segalanya, karena ini adalah kasus ketika seseorang tidak dapat dengan jelas mengartikulasikan apa yang dia lakukan. Dan tidak melaporkan semua yang dia lihat di layar. Dan dia tidak mengatakan semua yang dia lakukan saat ini. Saya sudah meramalkan bahwa perlunya melakukan segala sesuatu dengan lambat dan sengaja membuatnya marah, tidak kurang dari saya. Tetapi karena alasan lain. Dan kemudian, selama penjelasan berikutnya, bahwa jika dia tidak membaca semua yang dia lihat di layar, saya tidak dapat membantunya, dia tiba-tiba memberi tahu:
- Maaf, kami punya api di sini.
Dan menutup telepon. Di tiket, saya menulis "gedung terbakar dengan peralatan" dan pergi secara pribadi untuk memeriksa - tetapi Anda tidak pernah tahu ...
Referensi