Hai Memiliki informasi yang diperlukan, Anda dapat melakukan banyak hal yang bermanfaat (atau banyak hal yang sangat berbahaya), itu tergantung pada siapa yang memiliki informasi ini dan apa yang dimotivasi. Agar dapat bekerja dengan informasi, lakukan unggahan yang Anda butuhkan, kompilasi laporan, Anda perlu menyimpan informasi ini di suatu tempat. Jadi kami menciptakan danau besar data pemasaran
Nama saya Andrey Naumov, saya bekerja di tim manajemen data perusahaan dan membuat produk untuk pemasaran dan penjualan. Tugas kami adalah mengisi danau ini dengan data (karena danau data seperti apa yang kemudian tanpa data) sehingga pelaku bisnis dan pengguna langsung dari antara karyawan yang perlu membuat analisis terperinci dapat bekerja secara produktif dengannya.
Di bawah potongan - tentang mengapa kita bahkan membutuhkan danau seperti itu, bagaimana kita membangunnya, bagaimana itu membantu memasuki pasar penjualan baru di dalam dan di luar negeri, serta tentang rencana kita untuk masa depan.
Mengapa itu dibutuhkan sama sekali
Sebelum pembuatan danau data tunggal, situasi dengan pemrosesan informasi meninggalkan banyak yang harus diinginkan. Tidak, semuanya bekerja, tetapi itu bisa jauh lebih baik. Pertama, saya akan memberi tahu Anda bagaimana orang-orang bekerja dalam pemasaran kami.
Mereka bekerja dengan sejumlah besar informasi dari banyak sumber data. Ini adalah sumber di dalam SIBUR dan di luar, yang tersedia secara bebas dan hanya tersedia dengan berlangganan, gratis dan berbayar. Secara umum, kebun binatang masih ada di sana. Sebagian besar informasi ini berukuran besar, file rata yang memerlukan perangkat lunak khusus untuk bekerja dengannya. Seringkali pada saat yang sama - untuk setiap jenis data perangkat lunaknya sendiri. Jelas, sering kali perangkat lunak ini bekerja tidak stabil atau bahkan terus terang.
Sebagai contoh, sebagian besar pekerjaan pemasaran terkait dengan studi aliran komoditas (termasuk impor dan ekspor), dengan bantuan mereka dimungkinkan untuk memahami barang mana yang meninggalkan Rusia dan yang, sebaliknya, akan datang. Di sini kami tertarik dengan produk yang SIBUR dapat secara langsung atau tidak langsung jual atau ciptakan. Informasi yang diproses oleh sistem ini datang berkelompok, selama berbulan-bulan. Untuk membangun semacam analitik yang dapat dipahami, katakanlah, dalam satu tahun atau satu dekade, tidak mungkin, karena kami bersandar pada keterbatasan perangkat lunak - dalam Excel yang sama ada batas maksimum tertentu. Dan kami mengambil tabel untuk lebih dari satu juta baris. PC yang bekerja tidak meremehkan intimidasi semacam itu.
Dan ini hanya aliran komoditas sebagai salah satu sumber, dan ada banyak sumber seperti itu - ada juga statistik kereta api, informasi dari sistem internal tentang penjualan perusahaan, sumber ahli, laporan yang dipesan dari lembaga eksternal dan banyak lagi.
Apa yang harus dilakukan
Ada tugas - untuk membuat versi tunggal dokumentasi di satu tempat sehingga setiap pengguna dapat bekerja dengan data menggunakan satu alat visualisasi dan membangun analitik. Dalam opsi Do, kami memiliki pengabdian terliar dari pemasar karena tahap persiapan data. Ternyata secara de facto pemasar kami menghabiskan banyak waktu bekerja sebagai insinyur data. Ini salah.
Sangat sulit untuk bekerja dan menganalisis data dalam konteks lebih dari setahun. Karena bahkan telah menyiapkan dan mengunggah data tertentu untuk tahun itu, mereka harus dibersihkan secara menyeluruh. Dari duplikat, dari kesalahan, dari nama yang salah. Beberapa baris memerlukan penyatuan, misalnya, seseorang di meja memiliki tanah air kami yang luas bernama "Rusia", seseorang - "Federasi Rusia", dan seseorang dengan ringkas memasuki "RF". Semua ini harus direduksi menjadi satu pandangan, dan, seperti yang Anda tahu, contoh dengan nama negara jauh dari satu-satunya dan bukan yang paling jelas.
Dan masalahnya adalah bahwa kita adalah perusahaan induk, kita memiliki banyak organisasi, dan tidak semua orang memiliki kata "SIBUR" dalam nama. Karena itu, mencoba mencari daftar dan ingin memfilter nama dalam beberapa klik sehingga hanya perusahaan induk yang dapat dilihat, mencapai hasil itu tidak mudah.
Selain itu, berapa banyak orang - begitu banyak pendekatan untuk menyelesaikan masalah pekerjaan. Setiap karyawan memiliki metodologi sendiri untuk pemrosesan data, penyaringan, pemetaan, dan penggabungan. Masalahnya adalah bahwa teknik ini ada di kepala seorang karyawan. Karena itu, pada waktu itu banyak yang terikat pada orang tertentu. Ini juga bukan cerita yang paling menyenangkan, karena Anda perlu menurunkan sesuatu - dan orang itu sedang berlibur. Dan duduk, tunggu dia. Karena tanpa itu mereka akan melakukannya lebih lama, atau mereka akan melakukannya dengan salah.
Secara umum, kami memutuskan untuk memastikan bahwa tidak ada ketergantungan pada orang tertentu, bahwa semua informasi bersifat umum dan dapat diakses pada tingkat yang sama untuk setiap pengguna yang mungkin membutuhkannya.
Untuk melakukan ini, kami pertama-tama pergi ke bisnis dan mengklarifikasi dengan mereka sumber data mana yang paling menarik bagi mereka. Kami memilih mereka, menyiapkan gudang data percontohan dengan teknologi data lake (kami menggambarkan danau ini secara terperinci dan dengan diagram
di pos ini ). Dan kemudian, menggunakan sejumlah alat ETL, mereka menuangkan semua sumber yang diperlukan di sana satu kali: arus komoditas, statistik produk, dll., Dengan hati-hati memasukkannya ke dalam basis data (Vertica). Tugasnya adalah membuat integrasi segala sesuatu yang mungkin, yang kami lakukan.
Untuk visualisasi data, kami menggunakan Tableau, versi servernya di-screwed ke repositori dan kami memberi pengguna akses ke semua data sekaligus. Pengguna, saya harus mengatakan, didorong - sebelum Anda duduk dan menatap meja (meja besar), tetapi sekarang Anda memiliki semuanya divisualisasikan dengan indah dan nyaman.
Analisis Aliran Produk
Analisis produk
Analisis pesaingTentu saja, analis kami tidak melihat banyak garis yang tercoreng di layar, tetapi angka dan nama rekanan yang cukup nyata, tetapi kami tidak dapat menunjukkannya.
Lebih jauh dari para pengguna pergi umpan balik yang bermanfaat. Kami diberikan untuk memahami bahwa data mentah (mentah) tidak terlalu menarik bagi mereka, karena masing-masing dari mereka terlibat dalam pra-pelatihan sendiri. Oleh karena itu, kami mulai mengerjakan pemetaan dan penggantian nama yang paling sering, menulis ulang rekanan, dan memperbaiki banyak kesalahan - mungkin ada duplikat dan tanda baca di kolom, seseorang dapat memasukkan rekan-rekannya di sebelah nama perusahaan. Secara umum, ada cukup sampah.
Mereka membawa negara-negara ke pandangan umum, itu membantu untuk runtuh dan membuka mereka dengan wilayah - karyawan dapat melakukan bongkar dalam beberapa klik di CIS, di negara-negara Amerika Selatan atau Utara, yang cukup penting untuk analitik yang tepat. Ciutkan adalah hal yang mudah, jadi kami memutuskan untuk memperluas praktik ini ke badan hukum - seperti halnya negara, hanya skala kepemilikan dan badan hukum individual.
Mengapa analisis penting untuk bekerja dengan pasar
Berkat kerja yang dilakukan, menjadi mungkin untuk menampilkan laporan selama 15-20 tahun terakhir dalam hal impor dan ekspor, dan pada saat yang sama tidak menjadi gila dan tidak membakar beberapa PC yang berfungsi. Sekarang Anda dapat mengambil periode waktu ini dan menggunakannya berdasarkan tahun atau gagal berdasarkan bulan.
Jadi disini. Dalam arus komoditas ada yang namanya TNVED, nomenklatur komoditas dari kegiatan ekonomi asing. Ini maksimum 10 digit. Semakin banyak angka - semakin spesifik indikasi produk tertentu.
Lihatlah contoh kopi.
09 - kopi, teh, mate, teh Paraguay, rempah-rempah. Kategori yang cukup umum.
0901 2 - kita sudah tahu bahwa kita berbicara tentang kopi panggang.
0901 21 - kopi panggang dengan kafein (non-roasted dan tanpa kafein memiliki kode yang berbeda).
0901 21.000 2 - 10 digit terakhir yang sama, ini sudah robusta (Coffea canephora).
Hal yang sama berlaku untuk produk yang penting bagi kami. Itulah - yang kami jual dan hasilkan. Tentu saja, kopi juga penting, tetapi sejauh ini kami tidak mengkonsumsinya dalam jumlah tertentu untuk menurunkan statistik impor.
Dan polimer, plastik, dan bahan baku yang diperlukan untuk pembuatannya penting bagi kami.
Di sini kode sudah terlihat seperti itu.
39-40 - plastik dan barang daripadanya; karet, karet dan barang daripadanya.
3901 - polimer etilen dalam bentuk primer
3901 1 - polietilen dengan gravitasi spesifik kurang dari 0,94
3901 10 100 0 - polietilen linier.
Jadi untuk setiap polimer atau jenis bahan baku, kita gagal dari yang umum ke yang khusus. Kenapa repot-repot menonton ini sama sekali. Dengan menggunakan data arus, dapat dipahami secara rinci bahwa sejumlah polimer diimpor ke Federasi Rusia sepanjang tahun. Atau bahan baku. Artinya, seseorang membeli produk di luar negara yang kami produksi, termasuk kami di Federasi Rusia. Lalu ada kesempatan untuk melihat sejauh mana ia dibeli, dengan bantuan orang-orang dari analitik canggih, Anda dapat membidik harga yang tepat, dan pada akhirnya memungkinkan untuk menjangkau pelanggan seperti itu dengan produk yang sama, tetapi yang kami lakukan di sini, dan menawarkan kepadanya produk seperti itu di harga yang wajar. Mengingat cara yang ia habiskan untuk bea cukai dan transportasi.
Dengan ekspor yang sama. Salah satu produk yang kami minati sering diekspor ke luar negeri. Jadi, ada permintaan untuk itu, dalam skala yang sangat konstan dan baik. Jadi, Anda dapat melihat apa itu, kepada siapa ia pergi dan berapa banyak mereka membayar untuk itu. Kemudian cari tahu apakah kita dapat melakukan hal yang sama, dengan mempertimbangkan biaya logistik, apakah masuk akal atau tidak.
Dan itu juga membantu untuk menonton aktivitas para pesaing di bidang yang sama dan, jika perlu, menyesuaikan jumlah mereka.
Tetapi akan terlalu sederhana jika TNVED selalu memperjelas barang apa yang bepergian, bukan?
Oleh karena itu, beberapa warga negara mengimpor polietilen dengan kode TNVED yang berbeda, tetapi di sini analis kami dapat mempelajari bidang lain dalam data arus komoditas, dan kemudian, dari total tanda, pahami bahwa polietilen itu persis polietilena, dan bukan apa yang ditunjukkan dalam kode. Ini membantu untuk melihat volume tambahan ekspor dan impor, yang, pada pemeriksaan pertama, dapat menghindari perhatian. Berdasarkan data tersebut, kami sudah dapat memperkirakan - dan tiba-tiba masuk akal bagi kami untuk membuka produksi tambahan, yang akan terbayar, dilihat dari jumlah dan volume.
Kami juga dapat memperkaya laporan tersebut dengan bantuan analisis dan keahlian para karyawan itu sendiri - bidang baru muncul dalam database, misalnya, sebuah "produk", dari mana sekarang dimungkinkan untuk membuat sampel dan membuat laporan. Dan untuk setiap produk tertentu (dan ini ditentukan oleh TNVED dan pengetahuan ahli dari rekan kerja), lihatlah bahwa kami memiliki beberapa pelanggan potensial di dalam negeri, dan beberapa lagi di luarnya. Karena itu, Anda dapat mulai membuat bahan baku untuk mereka, atau bahkan produk akhir.
Kita harus masuk lebih dalam
Anda dapat melangkah lebih jauh - dengan memilih penerima seperti itu di dalam negara, kita dapat melihat apa yang masih dipesan orang-orang ini dari barang-barang yang terkait dengan kita. Tiba-tiba, mereka tertarik tidak hanya polietilen, tetapi juga polipropilen, serta beberapa jenis film BOPP? Ternyata lingkup pengetahuan yang agak luas tentang konsumen tertentu, setelah mempelajari mana, Anda dapat langsung menawarkan barang, dan harga yang tepat, dan kondisi yang nyaman.
Apa yang kita miliki sekarangKami terus bekerja secara iteratif - kami memasukkan data, mengumpulkan umpan balik dari pengguna, dan memperbaiki aturan analitik kami. Ternyata semacam kerja tim, kami belajar sesuatu dari mereka, mereka dari kami, karena mereka memiliki pengetahuan ahli yang sangat baik, dan kami memiliki pengetahuan teknis.
Setelah mengunduh sumber paling penting dan persiapan dasar data ini, kami akhirnya beralih dari penyimpanan tes (selama ini kami masih dalam tes, ya) untuk bertempur. Ini akan menghapus banyak masalah, karena combat = bersertifikat, dan menyimpan banyak data yang tidak dapat diumpankan ke pengujian (rahasia komersial dan hal-hal lain yang juga penting untuk analitik). Sekarang sebenarnya akan menjadi satu danau data dengan sejumlah besar sumber. Termasuk data kutipan - kolega kami dari analytics canggih dapat memprediksi harga untuk produk tertentu dengan menganalisis banyak faktor - ini mungkin saham perusahaan, bencana alam di daerah produksi, rumor tentang merger dan akuisisi, dan bahkan tweet yang gagal dari seseorang pemandu
Analitik prediktif menggunakan data dan memberikan perkiraan, ramalan yang sama ini ditambahkan ke dalam danau data, dan pemasaran dapat menggunakannya untuk laporan dan analitik mereka.
Ternyata seperti siklus data dalam satu danau. Sejauh ini semua orang senang - bisnisnya, ulasannya sepositif mungkin, karena mereka mengerti berapa banyak waktu dan upaya yang dihemat proyek ini, dan para analis sendiri.
Jadi kami sedang mengerjakannya. Dan siapa yang ingin mengekstraksi maksimal dengan kami dari data - selamat datang di halaman pekerjaan di
hh.ru.