Pada tahun 2005, sebuah gardu terbang di Moskow, dan semua orang di negara itu tiba-tiba menyadari bahwa ruang server cadangan perlu dilakukan. Bank membuatnya pada 2006-2007, dan ritel - sejak 2008. Kenapa terlambat? Karena biaya TI sepertinya belum sepenting sekarang. Saya ingat kisah tentang bagaimana pelanggan saya hampir dipecat untuk waktu idle dua hari di seluruh jaringan dan pada saat yang sama untuk fitur ritel lainnya. Ternyata banyak orang di IT tidak lagi percaya bahwa ini memang benar.
Begitulah. Ini adalah kisah pertama dari seri “Ayo, itu tidak terjadi” - tentang bagaimana toko dicadangkan oleh modem analog untuk akses ke Internet. Saat itu hanya ada satu penyedia dengan serat di tempat ini, dan dari alternatif - parabola atau dialup. ZSSS mahal, jadi mereka memilih modem suara. Pada satu titik, ekskavator merobek batang Golden Telecom. Pada saat itu, mereka memindahkan FOCL mereka, jadi untuk sementara tidak ada cadangan. Selama tiga hari, toko beroperasi pada modem. Pada siang hari, 48 kilobit per detik, pada malam hari 96 kilobit per detik. Seperti yang dapat Anda lihat dari kecepatannya, itu adalah Zyxel yang sangat bagus, bahkan tetap pada jalur yang berisik.
Saya telah bekerja di CROC selama 15 tahun, sekarang saya adalah Direktur Pengembangan Bisnis di Ritel. Secara historis, sebagian besar proyek saya juga eceran. Dengan persetujuan pelanggan, saya menerbitkan cerita tentang seperti apa bentuk ritel IT 12 tahun yang lalu dari saya dan rekan-rekan saya. Petugas keamanan mengganti beberapa detail yang tidak penting agar tidak menyinggung orang tertentu.Internet diperlukan untuk mengirim laporan (jika terjadi kecelakaan, mereka segera memutuskan untuk mengirimnya nanti, bukan prioritas) dan untuk memperbarui harga di seluruh basis data barang dari toko yang agak besar. Transaksi itu lama di sana, jika batas waktu habis - semuanya berakhir. Secara umum, pada hari pertama kami mencoba mengunduh harga, tetapi tidak ada hasilnya. Satu tim menangani IT, dan yang kedua pada waktu itu melalui telepon mencatat perubahan secara manual: di kantor dan di toko ada beberapa orang dengan hasil cetak. Beberapa saat kemudian mereka menulis naskah untuk mengimpor file XLS, dan mulai mengirim potongan-potongan database ke komputer di rumah melalui pos ke salah satu admin, dan dia mengantarkan mereka ke toko dengan mobil. Dalam kontrak dengan penyedia, omong-omong, kecelakaan itu bukan kesalahan operator - tiga hari pertama tanpa denda, dan kemudian 1/724 dari jumlah tahunan per jam. Ketika ditanya tentang kompensasi atas kerugian, mereka melambaikan tangan dan berkata: "Ya, bulan depan layanannya gratis!".
Kemudian dewan direksi melihat kertas-kertas yang menggambarkan kemungkinan kecelakaan dan menganggapnya tidak mungkin. Sedikit yang percaya bahwa gangguan pada IT adalah sebuah fenomena, dan bukan kasus satu kali yang melibatkan nama keluarga tertentu. Hanya beberapa kasus kerugian langsung meyakinkan kami untuk mendengarkan orang-orang aneh ini dengan kacamata.
Kisah luar biasa kedua tentang kesalahan dalam IT . Pengecer besar mulai memahami rahasia kesuksesan salah satu mitra. Faktanya adalah bahwa untuk semua orang, bisnis berjalan dengan jelas di jalur yang berbeda dengan model yang sama. Dia melakukan semuanya dengan cepat, sederhana, dan dia telah meningkatkan bisnisnya sekitar 20 kali selama delapan tahun terakhir. Di pasar itu, sekitar sepuluh kali lebih banyak dari yang seharusnya secara logis. Jadi, mereka mulai mengurai transaksi - dan tiba pada pemahaman bahwa kartu SAP mitra berisi standar yang dilembagakan sepuluh tahun yang lalu untuk klien uji. Dan ada beberapa faktor yang sedikit berbeda dalam hal rencana dan penghargaan. Akibatnya, seseorang menerima sekitar dua kali lebih banyak dari pasangan lainnya. Retail telah melakukan penyelidikan internal. Kami menemukan bahwa ini bukan konspirasi, tetapi kecelakaan dangkal. Dan seorang pria dalam kecelakaan ini dalam sepuluh tahun membangun bisnis besar.
Pada satu titik, direktur toko entah bagaimana mencuri. Lebih tepatnya, data yang disesuaikan secara manual pada register kas. Kemudian dimungkinkan, dan input manual dianggap sebagai prioritas dibandingkan dengan yang dihasilkan secara otomatis. Dia dalam masa percobaan selama tiga bulan dalam posisi ini dan secara sistematis menciptakan pada akhirnya suatu delta kecil antara laporan dan uang yang sebenarnya diterima di box office. Pada hari ke 28 bulan terakhir masa percobaannya, ia menulis pernyataan (tidak terduga untuk kantor), dan menurut prosedur hanya ada tiga hari tersisa untuk penerimaan toko. Secara alami, inventaris sudah dilakukan tanpa itu. Kerugian diperkirakan mencapai 700 ribu rubel bersih (harga Hyundai Sonata dengan "isian penuh" pada waktu itu), dan akan jauh lebih buruk jika toko memeriksa pajak pada saat itu. Akibatnya, mereka mengumpulkan bukti tentang dia, menggugatnya. Hakim memanggil:
- Bawalah floppy disk dengan sistem, kita akan lihat.
- Saya tidak bisa. Saya memiliki instalasi SAP 32 terabyte. Ini adalah kereta floppy disk.
- Ayolah, izinkan saya memberikan telepon ke spesialis kami. Kami memiliki spesialis yang baik. Apakah Anda punya 1C di sana?
- Uh ... Kamu sebaiknya datang ke kami.
- Tidak, kami tidak akan pergi ke Anda.
Pengadilan tidak dapat mengumpulkan Forensik, dan kasus ini ditutup karena kurangnya bukti.
Dalam beberapa tahun terakhir, kami memiliki kasus di CROC di mana perlu untuk mengumpulkan forensik untuk serangan, dan di sana kami telah datang dengan utilitas khusus dan membuat cetakan terabyte, yang kemudian sangat nyaman untuk belajar di lingkungan virtual, menyadari bahwa tidak ada yang lebih dalam sumber data akan berubah. Tapi kemudian itu terdengar seperti fantasi. Dan sekarang, jauh dari semua orang dalam sistem keamanan menggunakan forensik normal, yang terus-menerus menulis gambar seperti itu di rumah dan mengumpulkan data tambahan dari semua paket di jaringan.
Optik datang ke gudang melalui gedung tetangga. Dari gedung tetangga - jembatan udara sudah berada di tempat pelanggan. Gudang beroperasi sepanjang waktu, tetapi pada malam hari jembatan radio relay jatuh. Saluran cadangan adalah satelit, terminal tepat di atap gudangnya. Kecepatannya bagus, 25 Mbps. Untuk tahun-tahun itu - ruang seperti apa adanya. Tetapi satelit adalah penundaan jaringan yang besar, setidaknya 0,8 detik untuk sinyal untuk lulus dari bumi ke satelit dan sebaliknya. Bagian dari ini adalah keterbatasan kecepatan cahaya, bagian lain adalah sekelompok transformasi pada demodulator yang bekerja pada protokol dengan koefisien redundansi yang tinggi. Akibatnya, ini disebabkan oleh fakta bahwa peralatan gudang mulai bekerja dengan penundaan. Pada 0,1 detik, semuanya seperti jam, dan pada 0,8, pertukaran paket yang sangat lama dimulai. Seorang pekerja gudang menyodokkan pemindai pada palet, dan kemudian jabat tangan dimulai, mengirim kesiapan, mengatur protokol, mengirim paket, laporan tanda terima, dan sebagainya. Sudah bertahun-tahun kemudian protokol muncul yang hampir semuanya diselesaikan dengan satu paket keluar. Maka perlu untuk bertukar banyak data dengan sistem jarak jauh. Akibatnya, pekerjaan mulai benar-benar melambat, karena operasi menjadi lama. Sederetan mobil sedang dibangun, dan pada pagi hari semuanya sudah bersih. Dan setiap malam. Hanya di gudang terdekat di malam hari mereka menarik saklar, dan peralatan operator optik jatuh. Tidak mungkin untuk mentransfer saluran: peletakan kabel disepakati oleh pemilik situs, dan dia bahkan bukan dari Rusia. Selama beberapa bulan, staf gudang bekerja sampai mereka mendapatkan operator lain untuk diri mereka sendiri - juga sebuah jembatan radio dari sebuah bangunan di luar wilayah itu, kemudian mereka meletakkan optik itu secara normal.
Gudang ritel fesyen, yaitu tempat di mana ada tumpukan pakaian dalam kotak. Hotspot Wi-Fi Motorola terbakar di sana. Terkadang firmware baru saja menyala, dan terkadang mereka benar-benar terbakar. Mereka dimuat dari flash drive, jadi ada orang khusus di gudang dengan tangga yang naik ke mereka. Selama beberapa bulan, sekitar 60 insiden terjadi dengan reset firmware, dan selusin poin terbakar. Mereka berdosa pada produsen dan batch yang gagal, tetapi setelah penyelidikan menyeluruh ternyata masalah itu dalam pelepasan statis. Debu dari kain sintetis terakumulasi sehingga menciptakan konduktor di sekitar titik. Sedikit getaran, semuanya punya satu ujung ke dalam, yang kedua - di saluran listrik di suatu tempat. Jika sebelum ini firmware dari pelepasan statis telah terbang, intinya dilepaskan untuk pemeliharaan. Jika dia kurang beruntung, dia dipukul lebih serius. Digantung di titik landasan, ini memecahkan masalah selama enam bulan. Kemudian poin-poin mulai membara lagi: kami melihat, dan landasan menjauh dari bangunan. Ternyata perbedaan suhu di bawah atap gudang sedemikian rupa sehingga ekspansi-kompresi konstan hanya mendongkrak dan memisahkan semuanya sehingga kopling yang kaku tidak tahan.
Frekuensi pada jembatan radio, tentu saja, dengan cara yang baik, harus dikoordinasikan, tetapi kemudian hampir tidak ada yang melakukannya. Dan memang orang-orang itu liar. Sebuah contoh Warga menembak jatuh salah satu lempeng ZSSS di batas kota di toko beberapa kali. Karena itu memancar. Ya, itu terpancar. Tapi naik, satu meter di bawahnya, Anda sudah bisa hidup selama bertahun-tahun. Tetapi sebagian besar radiasi yang Anda tangkap dalam fokus ketika Anda naik ke atap, bangun tepat di puncak pola radiasi dan tekan piring dengan tongkat.
Tentang orang-orang liar, saya ingat kisah hebat dengan terminal-terminal di gudang . Untuk 3500 dolar masing-masing, salah satu terminal seluler penuh pertama dibawa ke Rusia di salah satu gudang. Sebenarnya, ini adalah smartphone kelas militer. Dengan mereka adalah mungkin untuk melakukan operasi apa pun di gudang. Dan pekerja gudang secara teratur membawa mereka dengan layar yang rusak. "Ketua, tidak ada pekerjaan!" Tidak, tim IT ritel memahami bahwa mereka memanjakan mereka entah bagaimana, dan kemungkinan besar, jahat. Untuk tidak bekerja. Apa yang tidak dipahami oleh siapa pun adalah bagaimana mereka melakukannya, dengan mempertimbangkan layar korundum dan, yang paling penting, mengapa, jika mereka memiliki pembayaran piecework, dan mereka memotong pendapatan mereka sendiri. Saat itu di ritel hampir di mana-mana pengawasan video mulai diperkenalkan, dan spesialis TI memutuskan untuk sedikit mempercepat proyek di gudang. Kedua model dan kamera sungguhan berdiri di sana. Mereka bertukar beberapa perangkat dan menyaksikan apa yang terjadi. Adegan pertama: dua duduk di kaki loader dan mencoba untuk menghapus layar dengan kain ampelas. "Aku yakin kau lemah, tidak bisakah kau menggunakan amplas?" - Itu tentang motifnya. Mereka memerankan pekerja baru seperti itu. Ternyata penyebab sebenarnya dari kerusakan adalah koin yang diasah yang berhasil menimbulkan setidaknya beberapa kerusakan pada perangkat. Tapi salah satu dari mereka benar-benar hilang - mereka hanya menaruh beberapa centners di atasnya dengan sebuah loader. Dia adalah satu-satunya titik tumpu dan baru saja diratakan. Tetapi dia terus mengirimkan data, yaitu hanya pinggiran yang menderita. Ngomong-ngomong, Hanivels ini bekerja di sebuah gudang tanpa kerugian, sementara dua generasi Motorol berikutnya diganti.
Ada banyak cerita dengan komunikasi langsung di gudang dan toko. Pertama, hampir tidak ada enkripsi di sana (lebih tepatnya, ada semua jenis pembalikan spektrum dan kadang-kadang perubahan frekuensi), sehingga semua orang di daerah tersebut dapat mendengarkan negosiasi toko. Seperti di toko tetangga dengan keinginan tertentu. Kedua, mereka saling mencampuri satu sama lain: dua vendor yang berbeda dapat saling memukul frekuensi, sebagai akibatnya, infrastruktur yang homogen dibutuhkan melalui pipa-pipa. Hasilnya adalah pengecer di semua toko mulai membangun komunikasi melalui walkie-talkie, dan kemudian beberapa tahun kemudian datang telepon seluler dan jangkauan normal.
Pada saat yang sama, ada pembicaraan bahwa terminal pengumpulan data pada wifi baru akan diperkenalkan di toko-toko. Dan ini membutuhkan saluran cadangan yang luas. Untungnya, Skylink muncul pada saat yang sama: itu adalah jaringan broadband (CDMA-800), dan itu tergantung pada keadaan atmosfer jauh lebih sedikit daripada satelit. Kami beralih ke itu ketika kami beralih ke cadangan - mereka mengangkat terminal telepon mereka pada pancing dari jendela untuk menangkap lebih baik.
Sekarang kami melakukan banyak konsultasi ritel di CROC, tetapi kemudian praktik di Rusia tidak terlalu umum. Tapi ada satu kisah indah tentang ini. Sekitar sepuluh tahun yang lalu, kolega saya yang terhormat mengembangkan model bisnis yang akan membunuh satu-satunya operator grosir online. Jelaslah bahwa banyak proses dapat ditingkatkan karena organisasi logistik dan IT yang tepat, dan ini secara langsung sangat mengurangi biaya pesanan. Sekarang Yandex. Makanan menggunakan sesuatu yang serupa, tetapi sepuluh tahun yang lalu semuanya terlihat sangat, sangat aneh. Kami pergi ke pilot, bahkan mengambil sebidang tanah, tetapi setelah perubahan tertentu dalam komposisi dewan, proyek dimakamkan. Kami memutuskan untuk menjual model, kami hanya menggambarkannya sebagai proyek yang besar dan pergi ke Inggris. Secara paralel, mereka menawarkan satu-satunya operator online kami. Manajernya membuat janji, diminta untuk menunjukkan bagian proses yang berbeda. Kedengarannya seperti negosiasi dengan Yandex: "kita akan lihat, dan jika kita mengerti bahwa kita sendiri tidak akan melakukannya, maka mungkin kita akan membelinya." Tapi ceritanya bukan tentang ini, tetapi tentang fakta bahwa selama negosiasi mereka memutuskan untuk pergi ke gudang mereka. Ada beberapa lantai, lift di sisi bangunan, dan orang-orang berlarian bolak-balik. Artinya, tukang mengambil gerobak, kemudian mulai mengemudi di lantai dan menyelesaikan pesanan. Lift adalah hambatan, di depannya ada garis besar. Dan itu bekerja seperti ini selama bertahun-tahun. Kemudian mereka melihatnya selama lima menit, lalu menyarankan pada sebuah pertemuan:
- Hari ini, buat semua elevator kiri hanya saat naik, dan lift kanan semua hanya turun. Ini akan sangat menyederhanakan pemuatan dan pembongkaran.
- Kemudian lakukan pemisahan fisik gerobak dan orang. Biarkan saja gerobak dengan pesanan naik di lift, dan orang-orang yang sudah di-cache menunggu mereka di lantai.
- Bagaimana Anda merasakan keefektifannya - di sini, beli Talmud, di mana dikatakan bagaimana melakukan hal-hal lain secara normal, dan tidak seperti dasar-dasar algoritmaisasi.
Secara umum, selama bertahun-tahun mereka bekerja secara normal, dan kemudian beberapa kambing datang dan menunjukkan kepada mereka hal yang jelas. Masih ada rasa malu Spanyol untuk ini. Talmud tidak diambil, omong-omong, dan gudang mereka sekarang baru, bagus.
Sering kali saya mendengar cerita tentang fakta bahwa Anda dapat mengacaukan tes dengan prod . Tampaknya fiksi sampai titik tertentu. Jadi, pada malam 31 Desember hingga 2 Januari (dinilai oleh negara bagian, ini adalah malam yang berkelanjutan), seperti yang biasanya terjadi di ritel, ada pencegahan dan pembaruan. Antara lain, mereka mengangkat instalasi uji baru SAP dari cadangan tiga bulan dan menyebarkannya ke segmen tes terpisah untuk mentransfernya ke pengembang untuk pengujian. Segmen terisolasi. Pada 2 Januari, panggilan dukungan dimulai:
- Mengapa harganya seperempat yang lalu?
- Belum ada pembagian seperti itu!
Spesialis panggilan:
- Hai teman-teman! Sudahkah Anda memasang instalasi di segmen tertutup?
- Ya.
- Tepatnya?
- Ya, kami memberikan gigi.
"Dan periksa lagi, tolong."
- ... Ya, di tempat tertutup. Meskipun menunggu ...
Satu-satunya jembatan antara segmen tes tertutup dan prod adalah dalam sistem pemantauan. Dia biasa di antara mereka. Dan SAP, bahkan dalam revisi itu, ternyata menjadi hal yang sangat rumit: pertama kali mengetuk alamatnya, dan kemudian, ketika tidak menerima jawaban, itu mengetuk semua yang tersedia. Dan pada akhirnya saya mencapai melalui subsistem kas melalui pemantauan. Dan saya melihat sudah saatnya memperbaruinya. Dan basis tes adalah sekitar empat bulan, ya, SAP membanjiri harga untuk produk. Mungkin itu sulit baginya, tetapi dia berhasil. Kemudian prod itu sendiri membanjiri harga baru di sana. Mungkin ujian itu terasa tersinggung dan kembali membanjiri ujiannya sendiri. Dengan susah payah. Demikian seterusnya beberapa kali.
Secara umum, tentu saja, pada tahun-tahun itu, SAP jarang terjadi. Kehadirannya menunjukkan bahwa rantai ritel terlihat sangat jauh ke masa depan. Semua orang melakukan 1C, mencelupkannya ke lutut dan mencelupkannya kembali. Di antara solusi tunai, beberapa lusinan (!) Dari solusi offline besar berjuang, baik solusi kami dan Barat, milik dan gratis. Mereka menawarkan banyak hal, dan setiap keputusan masih harus diselesaikan. Dari sistem SDM, SAP, Boss-Kadrovik dan 1C berjuang. 1C lalu semua orang takut, itu mentah. Yang kedua adalah ladang ranjau yang kurang lebih jelas dengan bug yang dikenal, dan yang ketiga agak lebih baik, tetapi belum dipetakan dan asing, dan itu mungkin meledak di mana saja. Bahkan arsitekturnya sendiri berjuang - terpusat dan terdesentralisasi. Rekan saya bekerja di perusahaan diskon besar, jadi segera letakkan semuanya di sistem terpusat. Untuk meminimalkan jumlah peralatan di toko, selain meja kas, mereka hanya menempatkan satu modul (komputer dan router) - dan itu saja. Komputer cadangan berada di bawah meja. Router, seperti yang diperlukan, dibawa dari gudang bersama dengan susu, karena setiap hari dikirimkan. Admin tidak diperlukan pada saat itu. Seseorang seperti direktur atau manajer produk tahu bagaimana mengubah modul dan menyalakannya. Menurut ingus di jaringan, banyak membantu diri mereka sendiri di tempat, melek komputer orang sangat baik. Ada kurang dari 100 orang di departemen TI untuk seluruh jaringan hampir 700 toko dan 3.500 meja kas, termasuk pengembang, konsultan, admin, panitera, dan pemodal TI. Praktik SAP adalah 11 orang (sebagai perbandingan, pengecer terbesar di negara itu kemudian memiliki sekitar 2800 toko dan lebih dari 2000 spesialis TI). Mereka adalah yang pertama di ritel yang memperkenalkan pelaporan paralel tentang teknologi di memori dan OLAP. Itu hampir ruang pada masa itu, tetapi memunculkan konfigurasi yang tidak sistematis. Transisi dari SAP 4.6 ke 4.7 memakan waktu setengah tahun, dan kemudian orang-orang memutuskan untuk berhenti di 4.7 sama sekali dan tidak meningkatkan lebih lanjut. Yang pertama di negara itu menolak dukungan vendor. Dan tidak ada orang lain yang melakukan ini di hadapan mereka, dan kolega kami, perwakilan dari vendor, tidak tahu bagaimana harus bersikap pada saat yang sama: kemudian mereka bahkan memberikan akses ke semua catatan SAP (inilah yang biasanya mereka bayar, dasar dukungan), dan kemudian hanya akses ke catatan kritis dan keamanan mulai diberikan kepada orang lain.
Sekarang tentang Pemulihan Bencana . Jika pada tahun 2005 sebuah gardu ditutup, maka pada tahun 2010 rawa gambut sudah terbakar di daerah sekitar kota. Dan mereka terbakar karena ada panas yang tidak lazim. Selama 56 hari di kantor pengecer besar, AC bekerja dengan beban berlebih, yaitu, mereka tidak bisa mengatasinya. Tapi itu dimulai seperti ini: pada awalnya suhunya naik di sekitar kota. Semua pendingin udara, termasuk cadangan, ditugaskan. Kurang lebih cukup. Empat hari kemudian, menjadi jelas bahwa ceritanya akan panjang, dan pelanggan ritel kami mulai menunggu pemadaman. Listrik meluncurkan pencegahan diesel, dia marah dan mati. . - , , . , , — , . , . . , . , . : . , . , : , . , , . , . DRP, .
, . :
, - , « 2 1» « 3 2» . , , . . , - , . , — , , . , , . . :
— ! SAP ! !
. . , . . , , , . . , , . ( ), — -, . , , . :
— . ?
, . :
— .
, :
— , . , . , , ?
, . :
— , . , , .
.
. -, , CIO. -, DRP. «»? , , , , , . , - , . . , , . .
, , .
- .
- « » .
- - .
- .
- — dsmirnov@croc.ru.