Insinyur tanggal adalah orang tanpa siapa analis akan tertidur sebelum akhir permintaan ke database, dan tanggal Para ilmuwan akan tenggelam dalam data. Sudah waktunya untuk memberi tahu orang lain dan diri kita sendiri, mengapa dan bagaimana kita bekerja.
Sayangnya, hampir satu-satunya konferensi khusus untuk analis data dan insinyur data di St. Petersburg dibatalkan tahun ini, tetapi kami di Wrike Tech Club memutuskan untuk tidak bersedih lama dan mengatur pertemuan tabung yang nyaman dengan pembicara berkelas pada 15 November.
Apakah Anda bekerja dengan data yang tidak sesuai dengan RAM? Harus menggunakan komputasi terdistribusi? Selamat, Anda adalah Insinyur Data. Bagi banyak orang di IT, istilah ini terdengar seperti tawar-menawar antara Lean Analytics dan Artificial Intelligence. Kami ingin berbicara tentang insinyur data sebagai spesialisasi terpisah, dan bukan sebagai bagian dari obrolan ringan di Pertemuan Data Besar berikutnya.
Program dan pembicara:
Alexander Eliseev, Wrike - Rekayasa Data: cara mendapatkan dari Data ke Teknik
Kami akan berbicara tentang pendekatan pemrosesan Clicksteam dan bagaimana pandangan kami telah berubah dari analitik menjadi rekayasa data, prinsip-prinsip rekayasa apa yang telah kami langgar, dan bagaimana cara berhenti melanggarnya dalam Rekayasa Data. Saya akan berbicara tentang masalah yang kami temui, misalnya, kesalahan dalam merancang sumber data (dari ETL dengan data mart ke skema yang lebih kompleks), pipa menggunakan AirFlow sebagai contoh, keterbatasan teknologi kami (ORC, Tableau, kurangnya sumber daya, pipa pada Jenkins) ) Anda akan belajar bagaimana kami mengubah pendekatan kami untuk merancang jaringan pipa dan pemrosesan data.
Vitaliy Khudobakhshov, JetBrains - Pengujian Aplikasi di Apache Spark
Biaya kesalahan dalam aplikasi analisis data seringkali sangat tinggi. Tetapi pada saat yang sama, peran data dalam kegagalan jauh lebih tinggi dari biasanya dibandingkan dengan kode. Bagaimana cara meminimalkan kesalahan pada aplikasi yang sulit untuk diuji dan di-debug? Bagaimana menulis kode dan tes dalam kasus seperti itu, sehingga beberapa jam waktu mesin yang mahal tidak akan sia-sia? Itulah yang ingin saya bicarakan sedikit.
Sergey Isaev, DataFabric - Cara mengelola data dan menyimpan pengetahuan menggunakan teknologi semantik.
Saya akan memberi tahu Anda tentang:
- pengumpulan data, transformasi dan manajemen;
- grafik pengetahuan;
- pemodelan ontologis pada area subjek;
- data terkait;
- penerapan teknologi semantik untuk membangun sistem informasi yang cerdas.
→
Pendaftaran