Baru-baru ini, dalam sebuah percakapan dengan SDM dari sebuah perusahaan besar, "Setiap insinyur data yang datang kepada kami untuk wawancara ingin menjadi ilmuwan data." Ini kemudian sangat mengejutkan saya dan sangat mengecewakan untuk tanggal insinyur, jujur.
Di sini kami (dan tidak hanya) telah menerbitkan beberapa materi tentang insinyur data dan nilai mereka untuk bisnis - misalnya,
wawancara dengan Nikolai Markov atau "
4 alasan untuk menjadi insinyur data ", tetapi itu sudah lama sekali. Waktu berlalu, materi berakumulasi, dunia berkembang, jadi ada sesuatu untuk diceritakan.
Mungkin pertama-tama kita harus mengingat secara singkat apa tugas dari tanggal insinyur (plus atau minus, tentu saja, karena masing-masing perusahaan dapat menambahkan sesuatu sendiri, sesuatu dari atas dapat dilakukan oleh karyawan lain):
- membangun saluran pipa stabil yang membuat data dapat diakses oleh semua pengguna di dalam perusahaan;
- pengumpulan, pembersihan dan pemrosesan data sebagai bagian dari proses ETL atau ELT;
- Bekerja dengan DBA untuk membuat gudang data;
- penggunaan kerangka kerja dan layanan mikro untuk layanan data;
- memantau kualitas data;
- model keluaran di prod.
Pertimbangkan pasar tenaga kerja AS, Jerman, dan bicaralah dengan insinyur data lokal, Moskow.
Amerika SerikatPada akhir tahun lalu , Dice mempelajari data platform Nova Burning Glass, yang menganalisis posisi terbuka di pasar tenaga kerja AS, dan ternyata relatif terhadap 2017, permintaan untuk insinyur data meningkat 96,7%, sedangkan untuk seorang ilmuwan data - 51, 1%
Permintaan akan tanggal insinyur, tentu saja, sangat besar. Sekarang, misalnya, Memang telah membuka lebih dari 131.000 lowongan di Amerika Serikat saja, terutama di Seattle, San Francisco dan New York. Gaji kenaikan biasanya mengikuti
diagram di bawah ini . Pada saat yang sama, penting untuk dicatat bahwa
gaji untuk insinyur tanggal di AS tidak kalah dengan gaji untuk Ilmuwan (ada pendapat bahwa insinyur menerima lebih sedikit), tetapi mereka bergantung, misalnya, pada kota: di New York, insinyur dapat menerima 132 ribu dolar, dan San Francisco dan 151 ribu dolar.
Dan untuk perbandingan - di tempat yang sama di Memang hanya 12.000+ lowongan data ilmuwan diterbitkan dengan gaji yang sama. Secara umum, angka-angka berbicara sendiri: insinyur data telah menjadi profesi yang paling dicari dan “paling seksi”!
JermanPermintaan yang belum terpenuhi untuk tanggal insinyur ada di Jerman. Pada bulan September, kami melakukan program rekayasa data perusahaan untuk XING. Ketika tidak ada cukup personel di pasar, dan perusahaan sangat membutuhkan insinyur, maka salah satu solusinya adalah mengembangkan dan melatih karyawan Anda saat ini. Martin Shtoev, Direktur Teknik XING, mengatakan bahwa dalam beberapa tahun terakhir mereka secara bertahap telah melatih kembali lebih dari selusin pengembang dan menjadikan mereka sebagai insinyur kencan. Ini dilakukan terutama karena kebutuhan, tetapi juga karena mereka membawa pengetahuan domain penting ke proyek.
Para insinyur kencan pertama bekerja erat dengan tim DS pusat di perusahaan pada beberapa proyek dan ini merupakan tambahan yang sangat organik. Dengan munculnya semakin banyak insinyur "tumbuh" di dalam tanggal, kesulitan ditemukan: tim pusat menginvestasikan banyak waktu dalam pelatihan, mereka harus menyiapkan beberapa insinyur tanggal selama berbulan-bulan untuk bekerja di tim yang berbeda. Dan pada saat kelompok sebelumnya lulus, yang berikutnya sudah mendekati, tetapi tidak mungkin untuk menyatukan mereka semua, karena semua orang mengerjakan proyek yang berbeda, saya harus berlatih dalam kelompok kecil. Itu juga tidak mungkin untuk hanya memasukkan insinyur tanggal baru dalam tim proyek, karena bagi banyak tim itu adalah insinyur kencan pertama.
Sebagian besar pengembang yang memutuskan untuk beralih ke tanggal teknik adalah Juni atau senior, dan mereka semua ingin belajar, sehingga XING hanya perlu menyediakan buku, tutorial, dan menyelenggarakan lokakarya. Lokakarya dilakukan oleh karyawan dan penyedia eksternal, dan dikhususkan untuk teknologi inti seperti: Hadoop, Scala dan Kafka. Seiring berjalannya waktu, para insinyur tanggal tidak lagi baru dalam tim, dan semakin sedikit tim pusat bekerja dengan insinyur dewasa pada proyek jangka panjang. Menurut Martin, rata-rata, dibutuhkan 6 bulan untuk insinyur terlatih untuk mulai bekerja secara mandiri pada tugas yang lebih kompleks, dan kemudian setelah 6 bulan berikutnya perusahaan mengubah posisi karyawannya. Tentu saja, semakin kecil kesenjangan awal antara keterampilan dan pengetahuan karyawan dan persyaratan untuk seorang insinyur tanggal, semakin cepat proses pelatihan.
Selama beberapa tahun pelatihan karyawan internal ini, XING melakukan beberapa pengamatan:
- pengembang backend yang telah bekerja dengan pipa biasanya mengambil pengetahuan baru lebih cepat daripada, misalnya, pengembang front-end;
- dengan keberhasilan yang lebih sedikit, para ilmuwan melatih para insinyur tanggal;
- Upaya untuk melatih kembali para pengembang data ilmuwan juga tidak berhasil, kecuali jika orang tersebut memiliki dasar matematika yang baik dan pengetahuan tentang metode ilmiah atau keinginan yang sangat besar untuk secara mandiri mempelajari semua ini, karena kesenjangan dalam pengetahuan yang diperlukan terlalu lebar.
Sepertinya bagi saya bahwa ini adalah pengamatan yang sangat penting yang dapat menghemat banyak uang dan waktu untuk majikan mana pun, karena tidak ada cukup insinyur di pasar Rusia, dan Anda masih harus melatih karyawan Anda. Dan para insinyur data yang ingin menjadi ilmuwan data harus mempertimbangkan bahwa itu tidak berfungsi seperti itu, karena tanggal insinyur dan tanggal ilmuwan adalah dua orang dengan pola pikir yang berbeda.
Baru-baru ini, Alexey Grigoriev melemparkan laporan pasar Perekrutan Darwin di Berlin ke saluran #career di ODS. Dan di sini dalam kutipan yang membuka bagian tentang rekayasa data, itu berbicara tentang pengembangan data teknik di pasar yang sudah terbentuk, dan fakta kurangnya insinyur data lokal dikonfirmasi: "semakin banyak perusahaan di Jerman yang mempekerjakan karyawan dari negara lain, dan insinyur data yang berpengalaman ini membawa keunggulan alat dan teknologi. " Agensi mengatakan sekitar 51% - yaitu berapa banyak kandidat dari negara lain yang diwawancarai dengan klien mereka. Jadi, teknik kencan adalah profesi yang baik dalam permintaan, yang dengannya Anda bisa mendapatkan relokasi. Inilah tepatnya bagaimana lulusan Newprolab Nikolai Rekubratsky pindah ke Hamburg ke posisi insinyur, dengan siapa kami
melakukan wawancara tahun lalu. Menurut tingkat gaji di Berlin, agensi membawa garpu 55-70 ribu euro per tahun, tetapi mungkin di berbagai kota di Jerman ada perbedaan gaji dan tunjangan sosial dan perusahaan tambahan (setidaknya di Hamburg kami diberitahu banyak hal baik tentang ini )
RusiaNah, di Rusia, insinyur mulai menulis tanggal tentang profesi hanya pada tahun 2017 (meskipun pada saat itu insinyur sudah memiliki tanggal hidup, dan di konferensi Anda bisa mendengar laporan bagus tentang rekayasa tanggal), tetapi sejauh ini semua orang telah mendengar data ilmuwan, dan orang mendapat kesan bahwa setiap orang hanya memimpikan "profesi terseksi abad ke-21." Habr juga tidak membantu, yang menolak saya untuk membuat pusat rekayasa data pada September 2017: "Untuk memulai pertimbangan aplikasi untuk pembuatan hub baru, Anda harus menentukan tautan ke setidaknya 10 bahan yang sudah diposting di halaman Habr dan dapat dikaitkan dengan hub yang diusulkan". Saya yakin Anda sudah bisa mendaftar lagi, syaratnya terpenuhi.
Tapi bagaimanapun, dari setiap besi hanya ds yang dikatakan, oleh karena itu kami mendengar: "Setiap insinyur data yang datang ke wawancara kami ingin menjadi ilmuwan data."
Tepat pada saat dikatakan, program
Data Engineer 5.0 kami akan segera berakhir, dan saya memutuskan untuk memasukkan frasa ini dalam obrolan grup dan mendapatkan pendapat dari para peserta kami. Jadi, diskusi apa yang terbuka dan pertimbangan apa yang diungkapkan:
"Kami sekarang merekrut tim untuk kami [tanggal insinyur], 30 orang sudah mewawancarai, dan hampir semua orang tanpa kecuali ingin menjadi Ilmuwan ... Itu benar-benar menjadi penghinaan bagi arahan kami :("
“Semua orang menginginkan banyak uang dan pada saat yang sama meminimalkan ketegangan. Dan para ahli seperti itu percaya bahwa DS-AMs membayar lebih dari DE, meskipun tidak demikian. Masalahnya di sini adalah bahwa DE perlu belajar bagaimana membangun hal-hal keren menggunakan teknologi yang berbeda, kadang-kadang untuk memotong sendiri jika tidak ada yang cocok, dan untuk DS, hampir semua alat telah dilakukan, dan sebagian besar, mereka sama untuk menyelesaikan masalah yang berbeda (Python / R + perpustakaan dengan berbagai implementasi dari ML dan jaringan saraf). Secara umum, ambang entri sekarang lebih rendah untuk DS daripada untuk DE, dan jenis pekerjaan ini jauh lebih mudah karena ketersediaan alat yang sudah jadi. Saya pikir ini adalah masalah psikologi orang: semua orang ingin mendapatkan pengakuan yang terlihat, dan dalam tumpukan Big Data, DS melakukan semua keajaiban. DE bertindak sebagai asisten ... Berikut adalah beberapa analogi yang saya perhatikan:
1) Misalnya, permainan komputer - tidak ada yang mau menjadi pendukung, tetapi semua orang ingin menjadi Kerry / DD /.
2) Atau sepak bola - semua orang ingin maju dan sedikit yang ingin menjadi pembela.
Berkomunikasi dengan DE sering, saya mendengar hal-hal seperti ini: tidak ada yang menghargai saya di proyek, memperlakukan saya seperti loader, membawa data di sini, membawanya ke sini ... Satu hal yang baik, sekarang ada proses memikirkan kembali dan banyak tim DE mulai menghormati dan mencintai. Sebagai contoh, di sini di tempat saya semuanya keren dalam hal ini, karena DE semua orang memperlakukan saya dengan baik, saya membantu DS, mereka membantu saya, jadi kami hidup dalam simbiosis. ”
"Saya akan tampak seperti DS hidup tanpa DE) Secara umum, Big Data tidak bisa hidup tanpa DE, tetapi tanpa DS, setidaknya, itu normal. Hanya saja, jangan melemparkan saya tomat busuk. "
Tapi ada pendapat alternatif: “DE jelas bukan tahap awal. Tapi, sayangnya, semua orang hanya tahu tentang DS dan banyak materi dan kursus telah diterbitkan tentang ini. Inilah yang dipelajari orang. Dan ada beberapa kursus untuk DE. Kita perlu mempelajari segalanya dan segalanya, tergantung pada proyeknya. Sayangnya, dunia bergerak menuju wadah. Dan jarn cenderung sering digunakan pada cuber. Dan semua itu karena DS. Sangat mudah bagi mereka untuk mengambil wadah dan pergi. Ini saya fakta bahwa semuanya akan memfasilitasi proses integrasi dan bergulir ke penjualan, yang mengarah pada penurunan zona DE. # sekarat »
“Apa yang saya lihat: ada perlombaan logis untuk penentuan posisi strategis. DSS canggih bercukur dalam rekayasa tidak lebih buruk daripada de dan dapat / ingin berpura-pura meluncurkan di PROM untuk mengurangi t2m [waktu ke pasar], tetapi mereka sendiri dapat menyerang zona mesin melalui automat dan memasuki zona ds. Jika Anda memilih dari 2, tentu saja, yang kedua lebih dekat dengan saya. Saya pikir, secara keseluruhan, mereka yang mencoba melampaui kerangka fungsional mereka akan menang, karena keinginan untuk gradasi fungsional mencirikan pendekatan proses dengan sempurna, tetapi dalam jangka panjang apa yang menang itu mulus. ”
Salah satu pembicara program juga bergabung dalam diskusi: “Sebaliknya, sebagai seorang DS, saya sering tertarik pada tugas-tugas teknik. Bagi saya, beralih ke DE adalah penurunan nilai yang signifikan. Ada suatu masa ketika saya mencoba untuk pergi ke DE di Amazon, saya bahkan terbang ke Luksemburg untuk wawancara 6 jam, tetapi ditolak dengan kata-kata "Anda bukan DE, Anda DS" ".
Tetapi saya akan menarik perhatian Anda pada kata-kata ini dengan penolakan, sekali lagi menegaskan bahwa ini adalah orang yang berbeda. Oleh karena itu, jika di antara kekuatan Anda adalah pendekatan sistematis, pola pikir teknik, kemampuan untuk memahami teknologi baru, kemampuan untuk memahami dokumentasi, menulis kode yang baik, merancang solusi stabil, kemudian mengembangkan lebih lanjut dan menjadi insinyur tanggal yang kompeten, mencari tim dan perusahaan di Rusia atau di luar negeri, di mana Anda dapat memaksimalkan potensi Anda sebagai insinyur kencan, dan tidak akan mencoba menjadi orang lain.
Dan jika di antara Anda ada insinyur kencan yang memiliki sesuatu untuk ditulis dan dibicarakan, mari berteman dan pindahkan rekayasa tanggal :)