في عام 2008 ، كان BigData مصطلح جديد واتجاه الموضة. في عام 2019 ، BigData هو كائن للبيع ، ومصدر للربح ومناسبة لفواتير جديدة.
في الخريف الماضي ، بدأت الحكومة الروسية مشروع قانون لتنظيم البيانات الضخمة. يحظر التعرف على الأشخاص وفقًا للمعلومات ، لكن يُسمح بذلك بناءً على طلب السلطات الفيدرالية. معالجة BigData للأطراف الثالثة - فقط بعد إخطار Roskomnadzor. الشركات التي لديها أكثر من 100 ألف عنوان للشبكة تخضع للقانون. وبطبيعة الحال ، حيث من دون سجلات - من المفترض أن إنشاء واحدة مع قائمة مشغلي قواعد البيانات. وإذا كان هذا BigData لم يؤخذ على محمل الجد من قبل الجميع ، والآن يجب أن يحسب لها حساب.
لا يمكنني تجاهل قاعدة البيانات وأنا ، كمدير لشركة مطور فوترة تعالج نفس BigData. سوف أفكر في البيانات الضخمة من خلال منظور مشغلي الاتصالات ، من خلال أنظمة الفوترة التي تتدفق يوميا من المعلومات حول الآلاف من المشتركين.
النظرية
لنبدأ ، كما هو الحال في مشكلة الرياضيات: أولاً ، نثبت أن بيانات مشغلي الاتصالات يمكن أن تسمى BigDat. تتميز البيانات الكبيرة القياسية بثلاث علامات على VVV ، على الرغم من أن عدد "V" بلغ سبعة في التفسيرات المجانية.
حجم. تخدم MVNO من Rostelecom وحدها أكثر من مليون مشترك. مشغلي المضيف الرئيسي معالجة البيانات من 44 إلى 78 مليون شخص. تتزايد حركة المرور كل ثانية: خلال الربع الأول من عام 2019 ، تلقى المشتركون بالفعل 3.3 مليار جيجابايت من الهواتف المحمولة.
السرعة. لا يمكن لأحد أن يقول الديناميات بشكل أفضل من الإحصاءات ، لذلك سوف أتصفح توقعات Cisco. بحلول عام 2021 ، ستذهب نسبة 20٪ من حركة مرور بروتوكول الإنترنت إلى حركة مرور الهواتف المحمولة - ستنمو ثلاث مرات تقريبًا في خمس سنوات. سيكون ثلث اتصالات المحمول على M2M - سيؤدي تطوير إنترنت الأشياء إلى زيادة ستة أضعاف في الاتصالات. لن تصبح إنترنت الأشياء مربحة فحسب ، بل ستستهلك أيضًا الموارد ، لذلك سيركز بعض المشغلين عليها فقط. وأولئك الذين يطورون إنترنت الأشياء كخدمة منفصلة سيحصلون على حركة مرور مزدوجة.
متنوعة. التنوع مفهوم شخصي ، لكن مشغلي الاتصالات يعرفون حقًا كل شيء تقريبًا عن مشتركيهم. من الاسم وجواز السفر إلى طراز الهاتف والمشتريات والأماكن التي تمت زيارتها والمصالح. يتم تخزين ملفات الوسائط بموجب قانون الربيع لمدة ستة أشهر. لذلك دعونا نعتبر أنه من البديهي أن تكون البيانات التي يتم جمعها متنوعة.
البرمجيات والمنهجية
يعد المزودون أحد المستهلكين الرئيسيين لـ BigData ، وبالتالي فإن معظم تقنيات تحليل البيانات الكبيرة تنطبق على صناعة الاتصالات. سؤال آخر هو من هو على استعداد للاستثمار في تطوير ML و AI و Deep Learning والاستثمار في مراكز البيانات واستخراج البيانات. يتكون العمل الكامل مع قاعدة البيانات من البنية التحتية والفريق ، والتي لا يستطيع الجميع تحمل تكاليفها. الرهان على BigData يكلف المؤسسات التي لديها بالفعل مستودع للشركة أو تقوم بتطوير منهجية حوكمة البيانات. بالنسبة لأولئك غير المستعدين للاستثمارات طويلة الأجل ، فإنني أنصحك بأن تقوم تدريجياً ببناء بنية البرنامج ووضع المكونات في المقابل. يمكن ترك الوحدات الثقيلة و Hadoop في النهاية. قليل من الناس يشترون حلاً جاهزًا للقيام بمهام مثل جودة البيانات وتعدين البيانات ، وخاصة الشركات التي تصمم النظام وفقًا لتفاصيلهم واحتياجاتهم - إما بأنفسهم أو بمساعدة المطورين.
ولكن ليس كل الفواتير يمكن تعديلها للعمل مع BigData. بدلا من ذلك ، ليس فقط يمكن للجميع تعديل. قليلون يمكنهم فعل هذا.
ثلاث علامات على أن نظام الفواتير لديه فرصة ليصبح أداة معالجة قاعدة بيانات:
- التدرج الأفقي. يجب أن يكون البرنامج مرنا - نحن نتحدث عن البيانات الضخمة. يجب معالجة الزيادة في كمية المعلومات بزيادة متناسبة في "الحديد" في المجموعة.
- خطأ التسامح. عادةً ما تكون أنظمة الدفع المسبق الخطيرة متسامحة مع الخطأ افتراضيًا: يتم نشر الفواتير في كتلة في عدة مواقع جغرافية ، بحيث يتم تأمين بعضها البعض تلقائيًا. يجب أن تكون أجهزة الكمبيوتر الموجودة في مجموعة Hadoop كافية في حالة تعطل واحد أو أكثر منها.
- محلة. يجب تخزين البيانات ومعالجتها على نفس الخادم ، وإلا يمكنك إيقاف نقل البيانات. واحدة من مخططات نهج Map-Reduce الشائعة: مخازن HDFS ، عمليات Spark. من الناحية المثالية ، يجب أن يتم دمج البرنامج بسلاسة في البنية التحتية لمركز البيانات وأن يكون قادرًا على القيام بثلاثة في واحد: جمع المعلومات وتنظيمها وتحليلها.
الفريق
ماذا وكيف ولأي غرض سيعالج البرنامج البيانات الضخمة - يقرر الفريق. في كثير من الأحيان يتكون من شخص واحد - عالم البيانات. على الرغم من أن الحد الأدنى لحزمة الموظفين في BigData ، في رأيي ، يشتمل على مدير منتج ومهندس بيانات ومدير. الأول يفهم الخدمات ، يترجم لغة تقنية إلى إنسان والعكس صحيح. مهندس البيانات يجلب النماذج إلى الحياة باستخدام Java / Scala وتجربة استخدام Machine Learning. ينسق القائد ويضع الأهداف ويتحكم في المراحل.
المشاكل
على وجه التحديد من جانب فريق BigData تنشأ المشاكل عادةً عند جمع البيانات ومعالجتها. يحتاج البرنامج إلى شرح ما يجب جمعه وكيفية معالجته - من أجل شرح ذلك ، عليك أولاً أن تفهمه بنفسك. ومقدمو ليست بهذه البساطة. أنا أتحدث عن مشاكل باستخدام مثال المهمة لتقليل تكرار العملاء - إنه بالتحديد مشغلي الاتصالات الذين يحاولون حلها باستخدام BigData أولاً.
بيان المهام. المعارف التقليدية المكتوبة بشكل صحيح وفهم مختلف للمصطلحات هي آلام عمرها قرون ، ليس فقط لأصحاب الأعمال الحرة. حتى المشتركين "الذين سقطوا" يمكن تفسيرهم بطرق مختلفة - حيث لا يستخدمون خدمات المشغل لمدة شهر أو ستة أشهر أو سنة. لإنشاء MVP على البيانات التاريخية ، تحتاج إلى فهم عدد المشتركين العائدين من التدفق الخارجي - أولئك الذين جربوا التواصل مع المشغلين الآخرين أو غادروا المدينة واستخدموا رقمًا مختلفًا. سؤال مهم آخر: كم من الوقت قبل الرحيل المتوقع للمشترك يجب على مقدم الخدمة تحديد ذلك واتخاذ إجراء؟ لمدة نصف عام - في وقت مبكر ، لمدة أسبوع - بعد فوات الأوان.
استبدال المفاهيم. عادةً ما يحدد المشغلون العميل عن طريق رقم الهاتف ، لذلك من المنطقي أن يتم تفريغ العلامات عليه. ماذا عن الحساب الشخصي أو رقم طلب الخدمة؟ من الضروري تحديد الوحدة التي ينبغي اتخاذها للعميل حتى لا تختلف البيانات الموجودة في نظام المشغل. إن تقييم قيمة العميل أمر مشكوك فيه أيضًا - أي مشترك هو أكثر قيمة للشركة ، وللاحتفاظ بالمستخدم الذي من الضروري بذل المزيد من الجهود فيه ، وأي منها "سوف يسقط" في أي حال ، وليس من المنطقي إنفاق الموارد عليه.
نقص المعلومات. لا يمكن لجميع موظفي المزود أن يشرحوا لفريق BigData ما الذي يؤثر بالضبط على تدفق المشترك وكيفية النظر في العوامل المحتملة في الفوترة. حتى إذا قمت بتسمية أحدهم - ARPU - اتضح أنه يمكنك حسابها بطرق مختلفة: إما عن طريق المدفوعات الدورية للعميل ، أو عن طريق الشحن التلقائي للفواتير. وفي عملية العمل ، يطرح مليون سؤال آخر. ما إذا كان يتم تغطية جميع العملاء من قبل النموذج ، ما هو ثمن الاحتفاظ بالعملاء ، هل من المنطقي التفكير في نماذج بديلة ، وماذا تفعل مع العملاء الذين تم الاحتفاظ بهم عن طريق الخطأ بشكل مصطنع.
تحديد الهدف. أعرف ثلاثة أنواع من الأخطاء المتعلقة بالنتائج التي تجعل المشغلين محبطين في قاعدة البيانات.
- يستثمر الموفر في BigData ، ويعالج غيغا بايت من المعلومات ، لكنه يتلقى نتيجة يمكن الحصول عليها أرخص. مخططات ونماذج بسيطة ، وتستخدم التحليلات البدائية. التكلفة أعلى عدة مرات ، ولكن النتيجة هي نفسها.
- يستقبل المشغل بيانات متعددة الأوجه عند الإخراج ، لكنه لا يفهم كيفية استخدامها. هناك تحليلات - هنا ، مفهومة ومضخمة ، والمعنى منها هو صفر. النتيجة النهائية ، التي لا يمكن أن تتكون من هدف "معالجة البيانات" ، لم يتم التفكير بها. لمعالجة القليل - يجب أن تصبح التحليلات الأساس لتحديث العمليات التجارية.
- يمكن أن تكون عوائق استخدام تحليلات BigData هي عمليات تجارية قديمة وبرامج غير مناسبة لأغراض جديدة. لذلك ، أخطأوا في مرحلة الإعداد - لم يفكروا في خوارزمية الإجراءات ومراحل إدخال BigData في العمل.
لماذا
الحديث عن النتائج. سوف أتناول طرق استخدام BigData واستثمارها ، والتي تستخدم بالفعل من قبل مشغلي الاتصالات.
لا يتوقع مقدمو الخدمات فقط تدفق المشتركين ، ولكن أيضًا الحمل على المحطات الأساسية.
- يتم تحليل المعلومات المتعلقة بحركة المشتركين وخدمات النشاط والتردد. النتيجة: تقليل الحمل الزائد بسبب تحسين وتحديث أقسام مشكلة البنية التحتية.
- يتم استخدام المعلومات حول تحديد الموقع الجغرافي للمشتركين وكثافة التدفق من قبل مشغلي الاتصالات عند فتح منافذ البيع. لذا فإن البيانات التحليلية BigData مستخدمة بالفعل من قبل MTS و Vimpelcom للتخطيط لموقع المكاتب الجديدة.
- يقوم مقدمو الخدمة باستثمار البيانات الكبيرة الخاصة بهم عن طريق تقديمها إلى جهات خارجية. العملاء الرئيسيون لمشغلي BigData هم البنوك التجارية. باستخدام قاعدة البيانات ، يقومون بتتبع النشاط المشبوه لبطاقة SIM الخاصة بالمشترك ، والتي ترتبط بها البطاقات ، ويستخدمون خدمات تسجيل المخاطر والتحقق منها ومراقبتها. وفي عام 2017 ، وفقًا لشركة BigData ، طلبت حكومة موسكو من Tele2 ديناميكيات الحركة لتخطيط البنية التحتية التقنية والنقل.
- تعد BigData analytics منجمًا ذهبًا للمسوقين الذين يمكنهم إنشاء حملات إعلانية مخصصة لما يصل إلى الآلاف من مجموعات المشتركين إن أرادوا. تقوم شركات الاتصالات بتجميع ملفات التعريف الاجتماعية ومصالح المستهلكين والأنماط السلوكية للمشتركين ، ثم استخدام BigData المجمعة لجذب عملاء جدد. ولكن بالنسبة للتخطيط على نطاق واسع للترقية والعلاقات العامة ، لا تحتوي الفواتير دائمًا على وظائف كافية: يجب أن يأخذ البرنامج في الاعتبار في الوقت نفسه العديد من العوامل بالتوازي مع المعلومات التفصيلية حول العملاء.
بينما لا يزال هناك من يعتبر BigData عبارة فارغة ، فإن الأربعة الكبار يجنون المال بالفعل. لمدة ستة أشهر ، تكسب MTS 14 مليار روبل من معالجة البيانات الضخمة ، بينما زادت Tele2 إيراداتها من المشروع ثلاث مرات ونصف. تحول BigData من اتجاه إلى يجب أن يكون ، والذي بموجبه سيتم إعادة بناء هيكل مشغلي الاتصالات بأكمله.