بحيرة من البيانات التسويقية - من الجداول الوحشية إلى التقارير والتصورات

تحية! امتلاك المعلومات الضرورية ، يمكنك القيام بالكثير من الأشياء المفيدة (أو العديد من الأشياء الضارة) ، ويعتمد ذلك على من لديه هذه المعلومات وما الذي يحفزه. من أجل التعامل مع المعلومات ، قم بالتحميلات التي تحتاجها ، وجمع التقارير ، تحتاج إلى تخزين هذه المعلومات في مكان ما. لذلك أنشأنا بحيرة ضخمة من البيانات التسويقية

اسمي Andrey Naumov ، أعمل في فريق إدارة بيانات الشركة وأنتج منتجًا للتسويق والمبيعات. تتمثل مهمتنا في ملء هذه البحيرة بالبيانات (نظرًا لأن نوع بحيرة البيانات هي بدون بيانات بعد ذلك) حتى يتمكن رجال الأعمال والمستخدمون المباشرون من بين الموظفين الذين يحتاجون إلى بناء تحليلات تفصيلية من العمل بشكل مثمر معها.


تحت الأضواء - حول سبب حاجتنا إلى مثل هذه البحيرة ، وكيفية بنائها ، وكيف تساعد على دخول أسواق مبيعات جديدة داخل وخارج البلاد ، وكذلك حول خططنا للمستقبل.

لماذا هو مطلوب على الإطلاق

قبل إنشاء بحيرة بيانات واحدة ، ترك الموقف مع معالجة المعلومات الكثير مما هو مرغوب فيه. لا ، كل شيء يعمل ، لكن يمكن أن يكون أفضل بكثير. أولاً ، سوف أخبرك كيف يعمل الرجال في التسويق لدينا.

أنها تعمل مع كمية هائلة من المعلومات من العديد من مصادر البيانات. هذه مصادر داخل SIBUR وخارجها ، وهي متاحة مجانًا ومتاحة فقط عن طريق الاشتراك مجانًا ومدفوعة. بشكل عام ، حديقة الحيوان لا تزال هناك. معظم هذه المعلومات ملفات ضخمة مسطحة تتطلب برامج متخصصة للعمل معها. في كثير من الأحيان في نفس الوقت - لكل نوع من البيانات برنامجها الخاص. من الواضح ، غالبًا ما يعمل هذا البرنامج بطريقة غير مستقرة أو حتى بصراحة.

على سبيل المثال ، يرتبط معظم عمل التسويق بدراسة تدفقات السلع (بما في ذلك الاستيراد والتصدير) ، بمساعدتهم يمكنك فهم السلع التي تغادر روسيا والتي ، على العكس من ذلك ، ستأتي. هنا نحن مهتمون تمامًا بالمنتجات التي يمكن أن يبيعها SIBUR مباشرة أو غير مباشرة. المعلومات التي تتم معالجتها بواسطة هذا النظام تأتي على دفعات ، لعدة أشهر. على سبيل المثال ، كان من المستحيل بناء بعض التحليلات الواضحة ، لأننا استندنا إلى قيود البرنامج - في نفس Excel يوجد حد أقصى معين للخطوط. وقمنا باسترداد الجداول لأكثر من مليون صف. أجهزة الكمبيوتر الشخصية العاملة لا تهمم مثل هذه البلطجة.

وهذه مجرد تدفقات سلعية كأحد المصادر ، وهناك العديد من هذه المصادر - هناك أيضًا إحصاءات السكك الحديدية ، ومعلومات من النظم الداخلية عن مبيعات الشركة ، ومصادر الخبراء ، والتقارير المطلوبة من الوكالات الخارجية وأكثر من ذلك بكثير.

ما يجب القيام به

كانت هناك مهمة - لإنشاء إصدار واحد من الوثائق في مكان واحد بحيث يمكن لكل مستخدم التعامل مع البيانات باستخدام أداة مرئية واحدة وإنشاء تحليلات. في خيار "Do" ، كان لدينا أكثر عمليات ضبط التركيز تركيزًا على المسوقين بسبب مرحلة إعداد البيانات ذاتها. اتضح بحكم الواقع أن المسوقين لدينا قضوا الكثير من الوقت في العمل كمهندسين للبيانات. هذا خطأ

كان من الصعب للغاية العمل وتحليل البيانات في سياق أكثر من عام. لأنه حتى بعد إعداد بعض البيانات وتحميلها لهذا العام ، كان لا بد من تنظيفها بدقة. من التكرارات ، من الأخطاء ، من أسماء غير صحيحة. تطلبت بعض الخطوط التوحيد ، على سبيل المثال ، كان لدى شخص ما في الجدول وطننا الواسع يسمى "روسيا" ، شخص ما - "الاتحاد الروسي" ، ودخل شخص ما بإيجاز "التردد اللاسلكي". كل هذا كان لا بد من تقليصه إلى رأي واحد ، وكما تعلمون ، فإن المثال الذي يحمل اسم البلد بعيد عن النظرة الوحيدة وليس الأكثر وضوحًا.

والشيء هو أننا شركة قابضة ، ولدينا العديد من المنظمات ، وليس كل شخص لديه كلمة "سيبور" في الاسم. لذلك ، فإن محاولة البحث في القائمة والرغبة في تصفية الأسماء بعدة نقرات حتى يمكن رؤية الشركة القابضة فقط ، لم يكن تحقيق النتيجة سهلاً.

بالإضافة إلى ذلك ، كم من الناس - الكثير من النهج لحل مشاكل العمل. كل موظف لديه منهجية خاصة بهم لمعالجة البيانات ، والترشيح ، ورسم الخرائط ، والجمع. المشكلة هي أن هذه التقنية موجودة في رأس الموظف. لذلك ، في ذلك الوقت كانت مرتبطة بشخص معين. هذه ليست أيضًا القصة الأكثر متعة ، لأنك تحتاج إلى تفريغ شيء - والشخص في إجازة. والجلوس ، انتظره. لأنه بدونها سيقومون بذلك إما لفترة أطول ، أو سيفعلون ذلك بشكل خاطئ.

بشكل عام ، قررنا التأكد من عدم وجود اعتماد على شخص معين ، وأن جميع المعلومات كانت عامة ويمكن الوصول إليها في نفس المستوى لأي مستخدم قد يحتاج إليها.

للقيام بذلك ، ذهبنا أولاً إلى العمل ونوضح معهم أيًا من مصادر البيانات سيكون الأكثر أهمية بالنسبة لهم. لقد اخترناهم ، وأعدنا لهم مستودعًا تجريبيًا للبيانات مزود بتقنيات بحيرة البيانات (وصفنا هذه البحيرة بالتفصيل ومع المخططات في هذا المنشور ). وبعد ذلك ، باستخدام عدد من أدوات ETL ، سكبوا كل هذه المصادر الضرورية هناك مرة واحدة: تدفقات السلع ، وإحصاءات المنتجات ، وما إلى ذلك ، وضعها بعناية في قاعدة البيانات (Vertica). كانت المهمة لجعل التكامل بين كل ما هو ممكن ، وهو ما فعلناه.

بالنسبة لتصور البيانات ، نستخدم Tableau ، وقد تم ربط إصدار الخادم الخاص به إلى المستودع ومنحنا المستخدمين إمكانية الوصول إلى جميع البيانات في وقت واحد. يجب أن أقول أن المستخدمين تم تشجيعهم - لقد اعتدت على الجلوس والتحديق على الطاولات (الجداول الضخمة) ، ولكن الآن لديك كل شيء مرئي بشكل جميل ومريح.


تحليل تدفق المنتج


تحليل المنتج

تحليل المنافس

بالطبع ، لا يرى محللوننا مجموعة من الخطوط الملطخة على الشاشة ، ولكن هناك أعداد وأسماء حقيقية تمامًا للأطراف المقابلة ، لكن لا يمكننا عرضها.

أبعد من المستخدمين ذهب ردود فعل مفيدة. لقد تم إعطاؤنا أن نفهم أن البيانات الخام (الخام) ليست مهمة للغاية بالنسبة لهم ، لأن كل واحد منهم كان يشارك في التدريب المسبق الخاص به. لذلك ، بدأنا في تحديد أكثر عمليات التعيين وإعادة التسمية شيوعًا ، وأعدنا كتابة الأطراف المقابلة ، وقمنا بإصلاح العديد من الأخطاء - قد يكون هناك تكرار وعلامات الترقيم في الأعمدة ، يمكن لشخص ما أن يدخل نظرائه بجوار اسم الشركة. بشكل عام ، كان هناك ما يكفي من القمامة.

لقد أوصلوا البلدان إلى وجهة نظر مشتركة ، وقد ساعد ذلك على الانهيار وفتحها حسب المنطقة - يمكن للموظفين القيام بالتفريغ في بضع نقرات في رابطة الدول المستقلة ، في بلدان أمريكا الجنوبية أو الشمال ، وهو أمر مهم للغاية لإجراء التحليلات المناسبة. Collapse شيء مناسب ، لذلك قررنا توسيع هذه الممارسة لتشمل الكيانات القانونية - كما هو الحال مع البلدان ، فقط حجم المقتنيات والكيانات القانونية الفردية.

لماذا التحليل مهم للعمل مع السوق

بفضل العمل المنجز ، أصبح من الممكن عرض التقارير على مدار 15-20 عامًا فيما يتعلق بالاستيراد والتصدير ، وفي الوقت نفسه عدم الشعور بالجنون وعدم حرق بعض أجهزة الكمبيوتر الشخصية العاملة. الآن يمكنك أن تأخذ هذه الفترة الزمنية ونشرها حسب السنة أو تفشل كل شهر.

لذلك هنا. في تدفقات السلع ، هناك شيء مثل TNVED ، وهي التسمية السلعية للنشاط الاقتصادي الأجنبي. هذا بحد أقصى 10 أرقام. لمزيد من الأرقام - أكثر تحديدا إشارة إلى منتج معين.

انظر إلى مثال القهوة.

09 - القهوة والشاي والرفيق والشاي باراجواي والتوابل. فئة عامة جميلة.
0901 2 - سوف يعلمنا ذلك بالفعل أننا نتحدث عن القهوة المحمصة.
0901 21 - قهوة محمصة تحتوي على مادة الكافيين (غير محمص ومزيل الكافيين يحتوي على كود مختلف).
0901 21 000 2 - نفس الأرقام العشرة الأخيرة ، هذا بالفعل robusta (Coffea canephora).

الشيء نفسه ينطبق على المنتجات التي تهمنا. هذا هو - الذي نبيع وننتج. بالطبع ، القهوة مهمة أيضًا ، لكن حتى الآن لا نستهلكها بكميات مثل تفريغ إحصاءات الواردات.

والبوليمرات والبلاستيك والمواد الخام اللازمة لتصنيعها مهمة بالنسبة لنا.

هنا الرموز تبدو بالفعل بهذه الطريقة.

39-40 - اللدائن ومصنوعاتها ؛ المطاط والمطاط ومصنوعاته.
3901 - بوليمرات الإيثيلين بأشكالها الأولية
3901 1 - البولي إيثيلين ذو الثقل النوعي الذي يقل عن 0.94
3901 10 100 0 - البولي اثيلين الخطي.

وهكذا لكل بوليمر أو نوع من المواد الخام ، نفشل من عامة إلى خاصة. لماذا عناء مشاهدة هذا على الإطلاق. باستخدام البيانات المتعلقة بالتدفقات ، يمكن فهم بعض التفاصيل أن كمية معينة من البوليمرات تم استيرادها إلى الاتحاد الروسي على مدار العام. أو المواد الخام. أي أن شخصًا ما يشتري منتجات خارج البلاد التي ننتجها ، بما في ذلك نحن هنا في الاتحاد الروسي. علاوة على ذلك ، هناك فرصة لمعرفة مدى شرائها ، وبمساعدة اللاعبين من التحليلات المتقدمة ، يمكنك توجيه الأسعار الصحيحة ، وفي نهاية المطاف إتاحة الوصول إلى مثل هذا العميل مع نفس المنتج ، ولكننا نقوم به هنا ، ونقدم له مثل هذا المنتج في سعر معقول. بالنظر إلى الوسائل التي يقضيها على الرسوم الجمركية والنقل.

مع تصدير نفسه. غالبًا ما يتم تصدير أحد المنتجات التي نهتم بها إلى الخارج. لذلك ، هناك طلب عليه ، على نطاق ثابت وجيد للغاية. لذلك ، يمكنك أن ترى ما هو عليه ولمن يذهب وكم يدفعون مقابل ذلك. ثم اكتشف ما إذا كان بإمكاننا فعل الشيء نفسه ، مع مراعاة تكاليف الخدمات اللوجستية ، سواء كان ذلك منطقيًا أم لا.

كما أنه يساعد على مراقبة نشاط المنافسين في نفس المجال ، وإذا لزم الأمر ، قم بتعديل أعدادهم.

ولكن سيكون الأمر بسيطًا للغاية إذا أوضح TNVED دائمًا ما هي البضائع التي كانت تسافر بها ، أليس كذلك؟

لذلك ، يستورد بعض المواطنين مادة البولي إيثيلين بموجب رمز TNVED مختلف ، لكن هنا يمكن للمحللين لدينا دراسة الحقول الأخرى في بيانات تدفقات السلع ، ومن ثم ، من مجموع العلامات ، يفهمون أنه عبارة عن بولي إيثيلين بالضبط ، وليس ما هو مذكور في الكود. هذا يساعد على رؤية كميات إضافية من الصادرات والواردات ، والتي ، في الشيكات الأولى ، قد تفلت من الاهتمام. استنادًا إلى هذه البيانات ، يمكننا بالفعل أن نفهمها - وفجأة من المنطقي أن نفتح إنتاجًا إضافيًا ، والذي سيؤتي ثماره ، إذا حكمنا من خلال الأرقام والأحجام.

بالإضافة إلى ذلك ، يمكننا إثراء مثل هذه التقارير بمساعدة التحليل والخبرة التي يتمتع بها الموظفون أنفسهم - يظهر حقل جديد في قاعدة البيانات ، على سبيل المثال ، "منتج" ، أصبح من الممكن الآن أيضًا إنشاء عينات وإنشاء تقارير. ولكل منتج محدد (وهذا يتم تحديده من قِبل كل من TNVED ومعرفة الخبراء من الزملاء) ، انظر إلى أن لدينا اثنين من العملاء المحتملين داخل البلد ، والعديد منهم خارجه. لذلك ، يمكنك البدء في صنع المواد الخام لهم ، أو حتى المنتج النهائي.

نحن بحاجة للذهاب أعمق

يمكنك أن تذهب أبعد من ذلك - باختيار هؤلاء المستلمين داخل البلد ، يمكننا أن نرى ما لا يزال هؤلاء الرجال يأمرون بأنفسهم من تلك البضائع التي نرتبط بها. فجأة ، يهتمون ليس فقط بالبولي إيثيلين ، ولكن أيضًا بالبولي بروبيلين ، وكذلك بعض أنواع أفلام BOPP؟ لقد اتضح نطاقًا واسعًا من المعرفة حول مستهلك معين ، بعد أن درس ، والتي يمكنك أن تقدم له على الفور البضائع والسعر المناسب والظروف المريحة.

ما لدينا الآن

نواصل العمل بشكل متكرر - نقوم بإدخال البيانات ، وجمع الملاحظات من المستخدمين ، وتحسين قواعدنا التحليلية. اتضح أنه نوع من العمل الجماعي ، نتعلم شيئًا ما منهم ، ومنهم منا ، لأن لديهم معرفة جيدة جدًا بالخبراء ولدينا معرفة تقنية.

بعد تنزيل أهم المصادر والإعداد الأساسي لهذه البيانات ، ننتقل أخيرًا من تخزين الاختبار (كل هذا الوقت ما زلنا في الاختبار ، نعم) إلى القتال. سيؤدي ذلك إلى إزالة الكثير من المشكلات ، لأن القتال = معتمد ، كما أنه يخزن الكثير من البيانات التي لا يمكن تغذية بها للاختبار (الأسرار التجارية وغيرها من الأمور المهمة أيضًا في التحليلات). الآن ستكون في الواقع بحيرة واحدة من البيانات مع عدد كبير من المصادر. بما في ذلك بيانات الاقتباس - يستطيع زملاؤنا من التحليلات المتقدمة التنبؤ بأسعار منتج معين من خلال تحليل العديد من العوامل - قد تكون هذه هي أسهم الشركة والكوارث الطبيعية في مناطق الإنتاج والشائعات حول عمليات الدمج والاستحواذ وحتى تغريدة غير ناجحة من شخص ما القيادة.

تستخدم التحليلات التنبؤية البيانات وتوفر تنبؤات ، وتُضاف نفس التوقعات إلى بحيرة البيانات ، ويمكن للتسويق استخدامها في تقاريرهم وتحليلاتهم.

اتضح مثل هذه الدورة من البيانات داخل بحيرة واحدة. الجميع حتى الآن سعداء - الأعمال التجارية ، والمراجعات إيجابية قدر الإمكان ، لأنهم يفهمون مقدار الوقت والجهد الذي يوفره هذا المشروع ، والمحللون أنفسهم.

لذلك نحن نعمل على. ومن يريد استخراج الحد الأقصى معنا من البيانات - مرحبًا بك في صفحة الوظائف على hh.ru.