قياس سبع مرات ، مرة واحدة تنفيذ أداة BI

منذ وقت ليس ببعيد ، واجهت مهمة التحول إلى نظام BI جديد لشركتنا. منذ أن اضطررت إلى الغوص بعمق ودقة في هذه المسألة ، قررت مشاركة أفكاري حول هذا الموضوع مع المجتمع ذي السمعة الطيبة.


يوجد على الإنترنت العديد من المقالات حول هذا الموضوع ، لكن لدهشتي الكبيرة ، لم يجيبوا على العديد من أسئلتي حول اختيار الأداة المناسبة وكانوا سطحيين إلى حد ما. خلال 3 أسابيع من الاختبار ، قمنا باختبار 4 أدوات: تحليلات ، تابلوه ، لوكير ، بيريسكوب / سيسنس ، تحليلات الوضع . سيتم مناقشة هذه الأدوات بشكل أساسي في هذه المقالة. يجب أن أقول على الفور أن المقال المقترح هو رأي شخصي للمؤلف ، مما يعكس احتياجات شركة تكنولوجيا المعلومات صغيرة ولكنها سريعة النمو :)

بضع كلمات عن السوق

الآن ، تحدث تغييرات مثيرة للاهتمام في سوق BI ، والتوحيد جاري ، ويحاول لاعبو التكنولوجيا السحابية الكبيرة تعزيز مواقعهم من خلال دمج جميع جوانب العمل مع البيانات رأسياً (تخزين البيانات ومعالجتها وتصورها). خلال الأشهر القليلة الماضية ، كانت هناك 5 عمليات استحواذ رئيسية: اشترت Google Looker ، و Salesforce اشترى Tableau ، و Sisense اشترى Periscope Data ، و Logi Analytics اشترى Zoomdata ، و Alteryx اشترى ClearStory Data. لن نذهب إلى أبعد من ذلك في عالم الشركات من عمليات الاندماج والاستحواذ ، تجدر الإشارة إلى أنه يمكن توقع مزيد من التغييرات في سياسات التسعير والحماية للمالكين الجدد لأدوات استقصاء المعلومات (كما أسعدتنا أداة Alooma ، بعد فترة وجيزة من شرائها من قِبل Google ، التوقف عن دعم جميع مصادر البيانات باستثناء جوجل BigQuery :)).

قليلا من الناحية النظرية

لذلك ، أردت أن أبدأ بجزء نظري صغير ، لأنه الآن حيث بدون نظرية. كما يخبرنا غارتنر ، فإن نظام BI هو مصطلح يجمع بين منتجات البرمجيات والأدوات والبنية التحتية وأفضل الممارسات ، والذي يسمح لنا بتحسين القرارات وتحسينها [1]. يتضمن هذا التعريف أيضًا تخزين البيانات و ETL. في هذه المقالة ، أقترح التركيز على شريحة أضيق ، وهي منتجات البرمجيات لتصور البيانات وتحليلها.

في هرم إنشاء قيمة للشركة (كان لدي الشجاعة لاقتراح عرض تقديمي آخر لهذا الهيكل الواضح في الشكل 0) ، توجد أدوات BI بعد الكتل الخاصة بتخزين السجلات ومعالجة البيانات الأولية (ETL).

من المهم فهم ذلك - أفضل ممارسة في هذه الحالة هي الفصل بين مهام ETL و BI . بالإضافة إلى عملية أكثر شفافية في العمل مع البيانات ، فلن تكون أيضًا مرتبطًا بحل برنامج واحد وستكون قادرًا على اختيار الأداة الأنسب لكل مهمة من مهام ETL و BI. من خلال عملية ETL جيدة التنظيم والبنية المثلى لجداول البيانات ، يمكنك عمومًا إغلاق 80٪ من جميع مشكلات الأعمال الملحة دون استخدام برامج خاصة. هذا ، بالطبع ، سوف يتطلب مشاركة كبيرة من المحللين و DS. لذلك ، نأتي إلى السؤال الرئيسي: ما الذي نحتاجه أولاً قبل كل شيء من منتج برنامج BI؟


التين. 0

المعايير الأساسية لاختيار منتج برنامج BI

كما فهمنا بالفعل ، يمكن أن تؤخذ جميع المقاييس ومؤشرات الأداء الرئيسية للشركة ككل مباشرةً من الجداول التحليلية في قاعدة البيانات المعدة مسبقًا كجزء من عملية ETL (سأخبرك في المقالة التالية كيف تنشئ عملية ETL بالشكل الأمثل في هذه الأثناء ، سأعجبني عن سبب أهمية ذلك: وفقًا لاستطلاع Kaggle ، فإن الصعوبة الرئيسية التي يواجهها نصف DS هي البيانات القذرة [2]). من الواضح أن المشكلة الرئيسية في هذه الحالة هي تعقيد وعدم كفاءة استخدام وقت المحللين. بدلاً من إنشاء منتج كامل ، سيقوم المحللون / DS بإعداد المؤشرات في كل وقت ، وإحصاء المقاييس ، والتحقق من التناقضات في الأرقام ، والبحث عن الأخطاء في كود SQL والقيام بأنشطة أخرى غير مفيدة. أنا هنا مقتنع بأن الشيء الرئيسي الذي ينبغي للمحللين / DS القيام به هو إنشاء منتج يحقق قيمة للشركة على المدى الطويل. يمكن أن تكون هذه إما خدمة تسوية / تنبؤية ، تكون نتاجها جزءًا من المنتج الرئيسي للشركة (على سبيل المثال ، خوارزمية لحساب تكلفة / وقت الرحلة) أو ، على سبيل المثال ، خوارزمية لتوزيع الطلبات بين العملاء ، أو تقرير تحليلي كامل يحدد أسباب التدفق الخارجي للمستخدمين وتقليل في MAU .

لذلك ، ينبغي أن يكون المعيار الرئيسي لاختيار النظام التحليلي هو القدرة على تفريغ المحللين قدر الإمكان من المشاكل والسيولة المخصصة. كيف يمكن تحقيق ذلك؟ في الواقع ، هناك خياران: أ) أتمتة ، ب) مندوب. أعني بالفقرة الثانية عبارة " الخدمة الذاتية" الشائعة الآن - وهي منح الشركات الفرصة للتطرق إلى البيانات نفسها.

أي أن المحللين قاموا بإعداد منتج برنامج مرة واحدة: إنشاء مكعبات البيانات ، وتكوين التحديث التلقائي للمكعبات (على سبيل المثال ، كل ليلة) ، وإرسال التقارير تلقائيًا ، وإعداد العديد من معالجات لوحة المعلومات وتعليم المستخدمين كيفية استخدام المنتج. علاوة على ذلك ، يوفر العمل احتياجاته الإضافية بشكل مستقل ، من خلال حساب المؤشرات اللازمة لذلك في مختلف تجميع البيانات وتصفية باستخدام خيار السحب والإفلات بسيطة ومفهومة.

بالإضافة إلى بساطة عملية إعداد التقارير ، تعد سرعة تنفيذ الاستعلام مهمة أيضًا . لن ينتظر أحد 15 دقيقة للشهر السابق لتحميل البيانات أو المقاييس لمدينة أخرى. لمعالجة هذه المشكلة ، هناك عدة طرق مقبولة بشكل عام. واحد منهم هو إنشاء مكعبات البيانات OLAP (المعالجة التحليلية عبر الإنترنت). في مكعبات OLAP ، يتم تقسيم أنواع البيانات إلى أبعاد (الأبعاد) - هذه هي الحقول التي يمكن من خلالها إجراء التجميعات (على سبيل المثال ، المدينة والبلد والمنتج والمنتج والفترات الزمنية ونوع الدفع ...) ، والقياسات هي مقاييس محسوبة للقياسات (على سبيل المثال عدد الرحلات والإيرادات وعدد المستخدمين الجدد ومتوسط ​​الشيك ...). مكعبات البيانات هي أداة قوية إلى حد ما تسمح لك بإنتاج النتائج بسرعة فائقة باستخدام بيانات مجمعة مسبقًا ومقاييس محسوبة. الجانب الآخر من مكعبات OLAP هو حقيقة أن جميع البيانات يتم تجميعها مسبقًا ولا تتغير حتى بناء المكعب التالي. إذا كنت بحاجة إلى تجميع البيانات أو مقياس لم يتم حسابه في الأصل ، أو إذا كنت بحاجة إلى المزيد من البيانات الحديثة ، فأنت بحاجة إلى إعادة إنشاء مكعب البيانات.

الحل الآخر لزيادة سرعة التعامل مع البيانات هو حلول الذاكرة . في قاعدة بيانات الذاكرة (IMDB) مصمم لتوفير أقصى قدر من الأداء عندما يكون هناك ما يكفي من ذاكرة الوصول العشوائي لتخزين البيانات. بينما تم تصميم قواعد البيانات العلائقية لتوفير أقصى قدر من الأداء عندما لا يتم وضع البيانات بالكامل في ذاكرة الوصول العشوائي ، ويجب تنفيذ الإدخال / الإخراج البطيء للقرص في الوقت الفعلي. تجمع العديد من الأدوات الحديثة بين هذين الحلين (على سبيل المثال ، Sisense و Tableau و IBM Cognos و MicroStrategy ، إلخ).

قبل ذلك ، تحدثنا عن بساطة وسهولة استخدام أدوات BI لمستخدمي الأعمال. من المهم إعداد عملية تطوير وإصدار مريحة للوحة القيادة للمحللين / DS. يشبه الموقف هنا أي منتج آخر لتكنولوجيا المعلومات - فأنت بحاجة إلى عملية نشر سريعة ومريحة ( وقت النشر السريع ) ، بالإضافة إلى عملية التطوير المدروسة والاختبار ومراجعة الكود والإصدار والتحكم في الإصدار والتعاون في الفريق. يتم الجمع بين كل هذا من خلال مفهوم سير العمل.

وبالتالي ، نأتي إلى المتطلبات الرئيسية لمنتج برنامج BI . شكلت نفس المتطلبات أساس خريطة السرعة ، والتي على أساسها قمنا في النهاية باختيار مورد منتج.

الجدول 1. معايير اختيار أداة BI.


الجدول النهائي لنتائج التصويت داخل فريقنا هو كما يلي:

جدول 2. نتائج التصويت لاختيار أداة BI.

من جانب مستخدمي الأعمال (شاركوا أيضًا في اختيار المنتج) ، تم تقسيم الأصوات بالتساوي تقريبًا بين Tableau و Looker. نتيجة لذلك ، تم الاختيار لصالح Looker. لماذا Looker وما هي الاختلافات الأساسية بين الأدوات ، سنناقش الآن.

وصف الأداة مفصل

لذلك ، لنبدأ بوصف أدوات BI.

1. التابلوه لوحة حية

   (هنا سنتحدث عن حزمة خدمة ممتدة: Tableau Online)
   
   1. UX + السحب والإسقاط.
      تعد Tableau أداة قديمة إلى حد ما في السوق منذ عام 2003 ، وهناك شعور بأن الواجهة لم تتغير كثيرًا منذ ذلك الحين. قد تكون خائفًا من النوافذ المنبثقة والخيارات المنسدلة في نمط نظام التشغيل Windows XP (الشكل 1 ، الشكل 2). لكن بسرعة كبيرة ، يمكنك التعود على الوظيفة الأساسية للأداة وإتقانها. يذكر Tableau العديد من الإصدار المتقدم من Excel ، حيث يحتوي على علامات تبويب (أوراق عمل) ولوحات معلومات (Dashboards) - مجموعة من المرئيات التي تم الحصول عليها في أوراق العمل. يعد خيار السحب والإفلات سهل الاستخدام ، حيث يتم بسهولة تغيير المرشحات على الرسوم البيانية وتغييرها (الشكل 3 ، الشكل 4). يحتوي Tableau على نسختين من الخدمة: Desktop و Desktop + Online. سطح المكتب قديم أكثر - إنه في الواقع إكسيل متقدم. كان الإصدار عبر الإنترنت لفترة الاختبار غالبًا ما يكون مدروسًا وينتهي في بعض الأحيان بتحديث الصفحة دون حفظ عملك.
      
      
      التين. 1
      
      
      التين. 2
      
      
      التين. 3
      
      
      التين. 4
      
      
   2. معالجة البيانات.
      يعالج Tableau البيانات بسرعة كبيرة ، ويحدث تغيير عامل تصفية الوقت أو التجميع في غضون ثوانٍ حتى على كميات كبيرة من البيانات (أكثر من 20 مليون سجل). كما قلنا من قبل ، لهذا ، يستخدم Tableau كلاً من مكعبات بيانات OLAP ومحرك البيانات في الذاكرة. يدعي Tableau أنه بفضل حل Hyper الداخلي ، زادت سرعة تنفيذ الاستعلام 5 مرات .
      
      يمكن تكوين مكعبات البيانات على الإصدار المحلي من Tableau Desktop وتنزيلها أو تحديثها على خادم شبكة ، وفي هذه الحالة سيتم تحديث جميع لوحات المعلومات المبنية على الإصدار السابق من مجموعة المكعب تلقائيًا. يمكن تكوين مكعبات التحديث تلقائيًا ، على سبيل المثال ، في الليل. يتم تعيين جميع القياسات والمقاييس (الأبعاد والمقاييس) مسبقًا عند تجميع المكعب ولا تتغير حتى الإصدار التالي من التجميع. جنبا إلى جنب مع استخدام مكعبات البيانات في Tableau ، من الممكن الوصول إلى قاعدة البيانات مباشرة ، وهذا ما يسمى اتصال مباشر ، وفي هذه الحالة ستكون السرعة أقل بكثير ، ولكن ستكون البيانات أكثر صلة. عملية تجميع مكعب بيانات بسيطة للغاية ، والشيء الرئيسي هو اختيار الحقول الصحيحة لتجميع عدة جداول (وصلات) (الشكل 5).
      
      
      التين. 5
      
      
   3. سير العمل.
      وبسبب هذه النقطة لم نختار Tableau في المستقبل. وفقًا لهذه المعلمة ، تأخر Tableau تمامًا عن الصناعة ولم يتمكن من تقديم أي أدوات لتبسيط تطوير وإصدار لوحات المعلومات. لا يوفر Tableau التحكم في الإصدار ، ومراجعة الكود ، والتعاون في الفريق ، ولا توجد بيئة تطوير واختبار مدروسة جيدًا. هذا هو السبب الذي يجعل الشركات غالباً ما تتخلى عن اللوحات لصالح أدوات أكثر تطوراً. بالفعل مع وجود عدد قليل من الموظفين المشاركين في إنشاء مكعبات البيانات ولوحات المعلومات ، يمكن أن يحدث الارتباك - حيث يمكن العثور على أحدث إصدار من البيانات ، والمقاييس التي يمكن استخدامها والتي لا يمكن استخدامها. هناك نقص في تكامل البيانات ، الأمر الذي يؤدي إلى عدم ثقة الشركة في المقاييس التي تراها في النظام.
      
      
   4. التصور.
      فيما يتعلق بتصور البيانات ، تعد Tableau أداة قوية جدًا. يمكنك العثور على المخططات والرسوم البيانية لكل ذوق ولون (الشكل 6). التصور البيانات - الصفحة ، كما في Excel ، يمكنك التبديل بين علامات التبويب.
      
      
      التين. 6
      
      
   5. الدعم.
      من وجهة نظر دعم Tableau ، بدا لي أنه ليس موجهًا إلى العملاء للغاية ، كان علي أن أجد الإجابة بنفسي في معظم الأسئلة. لحسن الحظ ، يحتوي Tableau على مجتمع كبير إلى حد ما حيث يمكنك العثور على إجابات لمعظم الأسئلة.
      
      
   6. الإحصاءات.
      Tableau لديه القدرة على الاندماج مع بيثون ، ويمكن الاطلاع على مزيد من التفاصيل.
      
      
   7. سعر.
      الأسعار قياسية جدا للسوق ، ويمكن الاطلاع على الموقع الرسمي. يعتمد السعر على مستوى المستخدم (مطور ، مستكشف ، عارض) ، يمكن العثور على الوصف هناك . عند حساب 10 مطورين و 25 مستكشفًا و 100 عارض ، يتم إصدار 39000 دولار سنويًا.
      
      
   
   

2. المتفرج

   
   
   1. UX + السحب والإسقاط.
      Looker هي شركة صغيرة نسبيًا ، تأسست عام 2012. UX واضح وبسيط أصلي للمستخدم ، ويتم تنفيذ السحب والإفلات بسهولة (الشكل 7).
      
      
      التين. 7
      
      
   2. معالجة البيانات.
      العمل مع البيانات في Looker أبطأ بشكل ملحوظ من في Tableau . السبب الرئيسي هو أن يقوم Looker بإجراء استعلامات مباشرة إلى قاعدة البيانات دون إنشاء مكعبات OLAP. كما ناقشنا ، فإن لهذا النهج مزاياه - حقيقة أن البيانات حديثة دائمًا ويمكن إجراء أي تجميع للبيانات. يوفر Looker أيضًا أداة لتسريع الاستعلامات المعقدة - الاستعلامات المخبأة ، أي القدرة على استعلامات التخزين المؤقت.
      
      
   3. سير العمل.
      تتمثل الميزة الرئيسية لـ Looker مقارنة بجميع أدوات BI التي قمنا باختبارها في تطوير لوحة المعلومات وعملية الإصدار المدروسة جيدًا . يدمج Looker التحكم في الإصدار باستخدام جيثب . يتم فصل بيئة التطوير ( وضع الإنتاج) والبيئة الإنتاجية (الشكل 8) جيدًا. ميزة أخرى من Looker هي أن الوصول إلى نمذجة البيانات يظل في نفس الأيدي - لا يوجد سوى إصدار رئيسي واحد من نموذج البيانات ، والذي يضمن النزاهة.
      من المنطقي هنا أن نذكر أيضًا أن Looker لديه نظيره الخاص في لغة SQL مع ميزات إضافية لنمذجة البيانات - LookML. هذه أداة بسيطة ومرنة إلى حد ما تسمح لك بتخصيص وظيفة السحب والإفلات وإضافة العديد من الخيارات الجديدة (الشكل 9).
      
      
      التين. 8
      
      
      التين. 9
      
      
   4. التصور.
      من وجهة نظر التصور ، لا يعتبر Looker أدنى من تابلوه ، حيث يمكنك العثور على أي مخططات ومخططات لذوقك. تنظيم المخططات عموديًا ، على عكس Tableau ، حيث يتم ترقيم الصفحات في الصفحة (الشكل 10 ، الشكل 11). إحدى الميزات المفيدة لمستخدمي الأعمال هي التنقل - القدرة على تقسيم البيانات المحددة بأبعاد محددة مسبقًا.
      
      
      التين. 10
      
      
      التين. 11
      
      
   5. الدعم.
      يجب أن أقول إن الدعم المقدم من مستشاري الأعمال والخبراء التقنيين في Looker كان مفاجئًا - فقد نتمكن من جدولة مكالمة فيديو خلال نصف ساعة حول أي مشكلة والحصول على إجابة كاملة. يبدو أن Looker تقدر عملائها حقًا وتحاول تبسيط حياتهم.
      
      
   6. الإحصاءات.
      يحتوي Looker على API - Look API و SDK لـ Python ، بمساعدتهما يمكنك الاتصال بـ Looker من Python وتنزيل المعلومات اللازمة ، ثم إجراء التحويلات والتحليل الإحصائي الضروري في Python وتحميل النتائج مرة أخرى إلى قاعدة البيانات مع الإخراج اللاحق للباحثين في لوحات المعلومات.
      
      
   7. سعر.
      تتكلف Looker تكاليفًا أكبر بكثير من Tableau ، بالنسبة لمجموعة مماثلة من المستخدمين ، كانت تكلفة Looker أعلى مرتين تقريبًا من Tableau - حوالي 60،000 دولار في السنة.
      
      
   
   

3. بيريسكوب

   
   
   1. UX + السحب والإسقاط.
      Periscope هي أداة سهلة الاستخدام إلى حد ما مع وظائف محدودة . هناك أيضًا وظيفة السحب والإفلات ، ولكن يجب إنشاء مرشحات للمخططات المختلفة بشكل منفصل ، وهو أمر غير مريح (الشكل 12). لا يمكنك الاستغناء عن SQL لإنشاء استعلامات أكثر تعقيدًا قليلاً.
      
      
      التين. 12
      
      
   2. معالجة البيانات.
      Periscope يحتوي على تقاطع بين مكعبات OLAP واستعلام التخزين المؤقت. في ذلك ، يمكنك إنشاء طرق عرض وتخزينها مؤقتًا. عرض هو أي استعلام SQL ، للتخزين المؤقت فإنه من الضروري النقر فوق الزر "تجسيد" في إعدادات هذا العرض (الشكل 13). يمكنك أيضًا نشر عرض "نشر" بحيث يمكنك استخدامه للسحب والإفلات.
      
      
      التين. 13
      
      
   3. سير العمل.
      Periscope Pro يدمج التحكم في الإصدار باستخدام بوابة. هناك أيضًا فرصة لرؤية تاريخ التغييرات على أي لوحة معلومات والعودة إلى الإصدار السابق.
      
      
   4. التصور.
      مجموعة المخططات والمخططات محدودة للغاية ؛ لا يمكنك العثور على المجموعة هنا كما في Tableau أو Looker.
      
      
   5. الدعم.
      يتم تشغيل الدعم إلى حد ما ، إذا قمت بإجراء التعديل الذي يعمل به مركز الدعم في توقيت المحيط الهادئ الرسمي. في غضون 24 ساعة ، سوف تتلقى بالتأكيد ردا.
      
      
   6. الإحصاءات.
      Periscope له تكامل مع Python. مزيد من التفاصيل يمكن العثور عليها هنا .
      
      
   7. سعر.
      سوف Periscope Pro يكلف تقريبا مثل تابلوه: 35000 $.
      
      
   
   

4. تحليلات الوضع

   
   
   1. UX + السحب والإسقاط.
      الوضع هو أبسط هذه الأدوات. الفرق الرئيسي هو التكامل مع Python والقدرة على إنشاء تقارير تحليلية على أساس Jupyter Notebook (الشكل 14). إذا لم تقم بتكوين عملية إنشاء تقارير تحليلية باستخدام Jupyter Notebook ، فقد تكون هذه الأداة مفيدة لك. يعد الوضع إضافة إلى نظام BI كامل الوظائف ، وظيفته محدودة للغاية ، ولغرض إنشاء لوحات معلومات ، يمكنك استخدام جداول لا تزيد عن 27 ألف سطر ، مما يحد بشكل كبير من إمكانات الأداة (الشكل 15). , SQL- , (. 16).
      
      
      التين. 14
      
      
      التين. 15
      
      
      التين. 16
      
      
   2. Data handling.
      Mode data handling . , .
      
      
   3. Workflow.
      Mode Github, .
      
      
   4. Visualization.
      , 6-7 .
      
      
   5. Support.
      .
      
      
   6. الإحصاءات.
      كما ذكرنا سابقًا ، تم دمج Mode بشكل جيد مع Python ، والذي يسمح لك بإنشاء تقارير تحليلية سهلة الاستخدام باستخدام Jupyter Notebook.
      
      
   7. سعر.
      الوضع ، الغريب في الأمر ، مكلف للغاية بالنسبة لقدراته - حوالي 50000 دولار في السنة.
      
      
   
   

النتائج

يجب التعامل مع اختيار موفر أداة BI بدقة ، بدعم من مستخدمي الأعمال وتحديد المعايير الرئيسية لاختيار الأداة (يفضل أن تكون في شكل خريطة سرعة). تهدف المعايير الواردة في هذه المقالة بشكل أساسي إلى تحسين كفاءة العمل مع البيانات ، وتبسيط عملية استخراج المعلومات ، وتحسين جودة عرض البيانات وتقليل العبء على المحللين.

مصادر

1. Gartner، Business Intelligence - BI - Gartner IT Glossary
   
2. Kaggle
   
3. تابلوه - فرط
   
4. ZDNet - Salesforce-Tableau ، صفقات BI الأخرى تتدفق
   
5. تابلوه الموقع
   
6. موقع Looker
   
7. موقع الناظور
   
8. وضع تحليلات الموقع