Bagaimana kami mengembangkan # bigdataX5 dan siapa yang dibutuhkan di Big Data

Dalam waktu singkat, tim kami menempuh jarak dari selusin karyawan ke seluruh unit yang terdiri dari hampir 200 orang dan kami ingin berbagi beberapa tonggak sejarah dari jalur ini. Plus, kita akan membahas siapa sebenarnya yang dibutuhkan dalam data besar sekarang dan apa ambang masuk yang sebenarnya.

Resep untuk Sukses di Bidang Baru

Bekerja dengan big data adalah bidang teknologi yang relatif baru, yang, seperti halnya segala sesuatu, melewati siklus tumbuh seiring berkembangnya.


Dari sudut pandang spesialis tertentu, bekerja di bidang teknologi pada setiap tahap siklus ini memiliki kelebihan dan kekurangan.

Tahap 1. Implementasi

Pada tahap pertama, ini adalah gagasan unit R&D, yang masih belum memberikan keuntungan nyata.

Dari pro: banyak uang diinvestasikan di dalamnya. Seiring dengan investasi, harapan tumbuh untuk menyelesaikan tugas yang sebelumnya tidak dapat diakses dan mengembalikan investasi.

Kontra: teknologi apa pun, betapapun menjanjikannya tampilan di awal, memiliki keterbatasan sendiri: tidak dapat digunakan untuk menghilangkan semua masalah yang ada. Batasan-batasan ini diungkapkan saat eksperimen dengan ide baru dilakukan, yang mengarah pada pendinginan minat terhadap teknologi setelah apa yang disebut "puncak harapan tinggi".

Tahap 2. Pertumbuhan

Take-off sesungguhnya hanya untuk teknologi yang akan mengatasi kekecewaan berikutnya karena kemampuannya yang sebenarnya, dan bukan kebisingan pemasaran.

Pro: pada tahap ini, teknologi menarik investasi jangka panjang: tidak hanya uang, tetapi waktu spesialis di pasar tenaga kerja. Ketika menjadi jelas bahwa ini bukan hanya gembar-gembor, tetapi pendekatan baru atau bahkan segmen pasar, sekarang saatnya bagi para spesialis untuk berintegrasi ke dalam "tren". Ini adalah momen yang ideal untuk menguasai teknologi yang menjanjikan dalam hal lepas landas karier.

Cons: pada tahap ini, teknologinya masih kurang terdokumentasi.

Tahap 3. Kematangan

Teknologi yang matang adalah pekerja keras pasar yang sesungguhnya.

Pro: Seiring bertambahnya usia, volume akumulasi dokumentasi meningkat, pelatihan dan kursus muncul, menjadi lebih mudah untuk memasukkan teknologi.

Cons: Pada saat yang sama, persaingan di pasar tenaga kerja sedang tumbuh.

Tahap 4. Resesi

Tahap penurunan (matahari terbenam) terjadi di semua teknologi, meskipun mereka terus bekerja.

Pro: pada titik ini, teknologi sudah sepenuhnya dijelaskan, batas-batasnya jelas, sejumlah besar dokumentasi, kursus tersedia.

Cons: dari sudut pandang memperoleh pengetahuan dan prospek baru, itu tidak lagi begitu menarik. Sebenarnya, ini adalah iringan.

Tahap pertumbuhan adalah yang paling menarik bagi semua orang yang ingin mulai bekerja di bidang teknologi baru: baik untuk profesional muda dan profesional yang sudah mapan dari segmen terkait.

Perkembangan big data sekarang hanya pada tahap ini. Harapan tinggi tetap tertinggal. Bisnis telah membuktikan bahwa big data dapat menghasilkan keuntungan, dan oleh karena itu ada peningkatan produktivitas. Momen ini memberikan peluang bagus bagi para spesialis di pasar tenaga kerja.

Data besar cerita kami

Pengenalan teknologi di perusahaan mana pun pada dasarnya mengulangi siklus umum tumbuh. Dan pengalaman kami di sini sangat khas.

Kami mulai membangun tim data besar kami di X5 satu setengah tahun yang lalu. Kemudian hanya sekelompok kecil spesialis kunci, dan sekarang ada hampir 200 dari kita.

Tim proyek kami melewati beberapa tahap evolusi, di mana kami mendapat pemahaman yang lebih dalam tentang peran dan tugas. Akibatnya, kami memiliki format tim kami sendiri. Kami memutuskan pada pendekatan tangkas. Gagasan utama adalah bahwa tim memiliki semua kompetensi untuk menyelesaikan masalah, dan bagaimana tepatnya mereka didistribusikan di antara para spesialis tidak begitu penting. Berdasarkan ini, komposisi peran tim dibentuk secara bertahap, termasuk dengan mempertimbangkan pertumbuhan teknologi. Dan sekarang kita memiliki:

1. Pemilik Produk (pemilik produk) - memiliki pemahaman tentang area subjek, merumuskan ide bisnis umum dan memprediksi bagaimana hal itu dapat dimonetisasi.
2. Business Analyst (business analyst) - sedang mengerjakan tugas ini.
3. Kualitas data (spesialis kualitas data) - memeriksa apakah data yang ada dapat digunakan untuk menyelesaikan masalah.
4. Ilmu Data Langsung / Analis Data (ilmuwan data / analis data) - membangun model matematika (ada beberapa subspesies yang berbeda, termasuk yang hanya bekerja dengan spreadsheet).
5. Manajer Uji.
6. Pengembang
   
   Dalam kasus kami, infrastruktur dan data digunakan oleh semua tim, dan peran berikut diterapkan untuk tim sebagai layanan:
7. Infrastruktur
8. ETL (perintah pemuatan data).

Bagaimana kami sampai di tim impian



Mimpi-bukan mimpi, tetapi, seperti yang saya katakan, komposisi tim berubah karena kematangan analitik data besar dan penetrasi ke dalam kehidupan sehari-hari X5 dan jaringan distribusi kami.

"Mulai cepat" - peran minimum, kecepatan maksimum

Tim pertama hanya memasukkan dua peran:

• Pemilik Produk mengusulkan model, membuat rekomendasi.
• Analis Data - statistik yang dikumpulkan berdasarkan data yang ada.

Semuanya dengan cepat direncanakan dan diimplementasikan secara manual dalam bisnis.

"Apakah menurut kami begitu?" - kami belajar untuk memahami bisnis dan menghasilkan hasil yang paling berguna

Peran baru telah muncul untuk berinteraksi dengan bisnis:

• Analis Bisnis - Persyaratan proses yang dijelaskan.
• Kualitas Data - melakukan pemeriksaan untuk konsistensi data.
• Bergantung pada tugasnya, Analis Data / Ilmuwan Data menganalisis statistik data / melakukan perhitungan model pada workstation lokal.

"Perlu lebih banyak sumber daya" - tugas perhitungan lokal dipindahkan ke kluster dan mulai menyentuh sistem eksternal

Untuk mendukung penskalaan diperlukan:

• Infrastruktur yang mengangkat server HADOOP.
• Pengembang - mereka mengimplementasikan integrasi dengan sistem TI eksternal, dan mereka memeriksa antarmuka pengguna pada tahap ini sendiri.

Sekarang Analis Data / Data Scientist dapat memeriksa beberapa opsi untuk menghitung model pada cluster, meskipun implementasi manual dalam bisnis masih dipertahankan.

“Beban terus bertambah” - data baru muncul, kapasitas baru diperlukan untuk memprosesnya

Perubahan ini tidak dapat tercermin di tim:

• Infrastruktur mengembangkan cluster HADOOP di bawah beban yang terus bertambah.
• Tim ETL mulai mengunduh dan memperbarui data secara berkala.
• Pengujian fungsional telah muncul.

"Automation in everything" - teknologinya telah berakar, saatnya untuk mengotomatiskan implementasi bisnis

Pada tahap ini, DevOps muncul di tim, yang mengatur perakitan otomatis, pengujian, dan pemasangan fungsionalitas.

Pikiran Kunci dalam Membangun Tim

1. Bukan fakta bahwa semuanya akan berhasil jika kita tidak memiliki spesialis yang tepat sejak awal, di sekitar siapa kita dapat membangun tim. Ini adalah kerangka di mana otot mulai tumbuh.

2. Pasar big data benar-benar hijau, sehingga tidak ada cukup spesialis "siap pakai" untuk masing-masing peran. Tentu saja, akan sangat mudah untuk merekrut seluruh divisi senior, tetapi, jelas, tim "bintang" seperti itu tidak dapat banyak dibangun. Kami memutuskan untuk tidak mengejar hanya personel "siap pakai". Seperti yang telah kami sebutkan, dengan tetap gesit, kita seharusnya hanya peduli bahwa tim secara keseluruhan memiliki kompetensi untuk menyelesaikan masalah tertentu. Dengan kata lain, kita dapat mengambil (dan mengambil) dalam satu tim profesional dan pemula dengan basis teknis dan matematika tertentu, sehingga bersama-sama mereka membentuk seperangkat kompetensi yang diperlukan untuk mencapai hasil yang diinginkan.

3. Masing-masing peran menyiratkan pemahaman tentang prinsip-prinsip bekerja dengan data besar, namun membutuhkan kedalaman pemahaman ini. Variabilitas peran terbesar yang memiliki analogi langsung dalam perkembangan klasik - penguji, analis, dll. Bagi mereka, ada tugas-tugas di mana milik data besar hampir tidak terlihat, dan tugas-tugas di mana Anda perlu menyelam sedikit lebih dalam. Satu atau lain cara, untuk memulai karir, pengalaman tertentu, pemahaman tentang IT, keinginan untuk belajar dan beberapa pengetahuan teoritis tentang alat yang digunakan (yang dapat diperoleh dengan membaca artikel) sudah cukup.

4. Praktek telah menunjukkan bahwa terlepas dari kenyataan bahwa teknologinya terkenal dan banyak yang ingin melakukannya, jauh dari setiap spesialis yang akan cocok untuk memulai karir dalam data besar (dan ingin bekerja di sana dengan hati) benar-benar mencoba untuk datang ke sini .
Banyak kandidat yang sangat baik percaya bahwa bekerja di tim BigData adalah Ilmu Data. Apakah yang dimaksud dengan perubahan kardinal kegiatan dengan ambang masuk yang tinggi. Namun, mereka meremehkan kompetensi mereka atau hanya tidak tahu bahwa orang-orang dari berbagai profil sangat dibutuhkan dalam data besar, dan akan lebih mudah untuk memulai karir dalam peran alternatif - salah satu di atas.

a. Bahkan, untuk mulai bekerja dalam tim campuran pada banyak peran, Anda tidak perlu pendidikan khusus yang sempit di bidang data besar.

b. Kami secara aktif memperluas tim, mengikuti gagasan membangun unit struktural campuran. Dan hal yang paling menarik adalah orang-orang yang datang ke tugas kami, yang belum pernah bekerja dengan data besar, dengan sempurna berakar di perusahaan, setelah mengatasi tugas-tugas tersebut. Mereka dapat dengan cepat mempelajari praktik big data.

5. Tanpa memiliki banyak pengalaman, Anda dapat menyelam lebih dalam, mempelajari bahasa dan alat yang diperlukan, termotivasi untuk tumbuh di segmen ini untuk menangani tugas-tugas yang lebih strategis dalam proyek. Dan akumulasi pengalaman membantu untuk beralih ke peran-peran itu di mana pengetahuan dibutuhkan dalam data besar dan memahami logika arah ini. Ngomong-ngomong, dalam pengertian ini, tim campuran membantu banyak untuk mempercepat pengembangan.

Bagaimana cara masuk ke BigData?

Dalam kasus kami, gagasan tim seimbang dari para spesialis dari berbagai tingkatan “lepas landas” - grup telah mengimplementasikan lebih dari satu proyek internal. Tampak bagi saya bahwa dengan kekurangan personel siap pakai dan peningkatan kebutuhan bisnis untuk tim seperti itu, perusahaan lain akan sampai pada skenario yang sama.

Jika Anda serius ingin memilih arah ini, membenamkan diri dalam Data Sciense - Kaggle, ODS, dan sumber daya khusus lainnya akan membantu Anda. Selain itu, jika dalam waktu dekat Anda tidak melihat diri Anda dalam peran Data Scientist, tetapi Anda tertarik pada arah itu sendiri, Anda masih dibutuhkan dalam Big Data!

Untuk meningkatkan nilai Anda:

• perbarui pengetahuan matematika Anda. Untuk memecahkan masalah big data biasa, gelar doktor tidak diperlukan, tetapi pengetahuan dasar dalam matematika yang lebih tinggi masih diperlukan. Memahami mekanisme yang mendasari statistik, akan lebih mudah bagi Anda untuk mengetahui prosesnya;
• Pilih peran yang paling dekat dengan spesialisasi Anda saat ini. Cari tahu tantangan apa yang akan Anda hadapi dalam peran ini (dan di perusahaan tertentu, ke mana Anda ingin pergi). Dan jika Anda telah memecahkan masalah serupa sebelumnya, mereka harus ditekankan dalam resume;
• alat khusus untuk peran yang dipilih sangat penting, bahkan jika tampaknya ini tidak relevan dengan data besar. Misalnya, ketika mengembangkan solusi internal kami, ternyata kami membutuhkan banyak pengembang front-end yang bekerja dengan antarmuka yang kompleks;
• ingat bahwa pasar sedang aktif berkembang. Seseorang membangun dan memompa tim di dalam, sementara seseorang mengharapkan untuk menemukan spesialis yang sudah jadi di pasar tenaga kerja. Jika Anda seorang pemula, cobalah masuk ke tim yang kuat, di mana akan ada kesempatan untuk mendapatkan pengetahuan tambahan.

Ngomong-ngomong, saat ini kami terus tumbuh secara aktif dan mencari seorang insinyur data , spesialis pengujian , pengembang React , dan spesialis UI / UX . Pada 10-11 Mei, kami akan membahas termasuk pekerjaan di # bigdatax5 dengan semua orang di stan kami di DataFest .