كيف غيرت تقنية الذاكرة ذكاء الأعمال

ينتقل حوالي 5 ميلي ثانية من طلب إلى استجابة إذا تم تخزين البيانات على القرص الصلب. يستجيب SSD أسرع 30 مرة - في 150 ميكروثانية. تتطلب ذاكرة الوصول العشوائي 300000 مرة أقل من الوقت - فقط 15 نانو ثانية. *



يمكنك التحدث لفترة طويلة حول كيفية مساعدة ذكاء الأعمال في التمويل أو اللوجستيات. هناك طرق عديدة لتطبيق المعلومات ، تظهر طرق جديدة طوال الوقت. لكن مبدأ تشغيل الحلول التحليلية المختلفة هو نفسه ، وهو يتألف من الجمع بين البيانات من مصادر مختلفة والنظر إليها معًا - أي بكاملها.

لاستخدام المعلومات من عدة مصادر ، تحتاج إلى الاتصال بها واستخراج البيانات. ولكن تم إنشاء البيانات بطرق مختلفة ، مع تردد مختلف وتخزينها في أشكال مختلفة. لذلك ، قبل عرض البيانات أو نقلها إلى أنظمة أخرى لمزيد من المعالجة ، سيتعين دمجها باستخدام بعض العمليات الحسابية - التحويل.

تتكون تقنية الذاكرة من حقيقة أن جميع البيانات من مصادر مختلفة يتم تحميلها مرة واحدة في ذاكرة الوصول العشوائي. بعد ذلك ، يمكن إجراء التحويل "سريعًا" ، دون الاستعلام عن القرص. على سبيل المثال ، انقر لتحديد بُعد واحصل فورًا على رسم بياني يعرض قيم المؤشرات في القسم المطلوب. نظرًا لأن جميع البيانات موجودة بالفعل في ذاكرة الوصول العشوائي ، فإن التطبيق التحليلي لا يحتاج إلى تقديم طلبات إلى القرص الثابت للحصول على معلومات جديدة.

ينبغي أن تساعدني هذه المقدمة في التحدث عن كيف ولماذا تغيرت التقنيات التي تقوم عليها الحلول التحليلية الحديثة.

كانت مكلفة في البداية

قال الباحث جيم جيم غراي من مايكروسوفت في أوائل العقد الأول من القرن العشرين "الذاكرة هي المحرك الجديد". في عام 2003 ، نشر مقالًا بعنوان "اقتصاديات الحوسبة الموزعة" ** حيث قارن تكلفة المراحل المختلفة من معالجة بيانات الكمبيوتر. أظهر جيم جراي أن الحسابات يجب أن تكون في نفس مكان البيانات - حتى لا يتم نقلها مرة أخرى. وقد نصح بنقل الحسابات إلى أقرب قدر ممكن من مصادر البيانات. وهذا هو ، تصفية البيانات في أقرب وقت ممكن وحفظ نتيجة لذلك.

على مدار السنوات القليلة المقبلة ، ظهرت أنظمة إدارة قواعد البيانات (DBMS) في السوق من العديد من رواد الصناعة ، بما في ذلك Oracle و IBM و SAP ، بالإضافة إلى العديد من مشاريع المصادر المفتوحة - على سبيل المثال ، Redis و MemcacheDB.

لم تكن المهمة الأولى التي تم حلها في نظام إدارة قواعد البيانات (DBMS) تحليلات الأعمال أو حتى تطبيقات الأعمال ، بل فرص التجارة الإلكترونية التي تفتح في اتصال مع استخراج المعلومات الفورية. على سبيل المثال ، قد يسمح نظام إدارة قواعد البيانات في الذاكرة لمتجر على الإنترنت في الوقت الفعلي بتقديم منتجات للعملاء بناءً على تفضيلاتهم أو لعرض الإعلانات.

تطور سوق حلول تحليل بيانات المؤسسات على مسار مختلف. ترتبط معظم الشركات ارتباطًا لا ينفصم بالأنظمة التي تستخدم قواعد بيانات المعاملات (DBMS) للمعاملات ، والتي تستند إلى مبادئ تم تطويرها في الثمانينات من القرن الماضي. تتمثل مهمتها في حفظ أجزاء صغيرة من البيانات باستمرار إلى الدفق إلى القرص وتأكيد سلامتها على الفور (سيناريو عمل OLTP). من بين الأنظمة التي تستخدم نظم إدارة قواعد البيانات مثل ERP-solutions ، الأنظمة المصرفية الآلية ، الفواتير ، محطات نقاط البيع.

لكن المهام التحليلية تتطلب قاعدة بيانات مختلفة تماما. تحتاج هنا إلى استرداد المعلومات المحفوظة مسبقًا بسرعة. علاوة على ذلك ، في أجزاء كبيرة - لكل تقرير تحليلي ، ستكون هناك حاجة مطلقة لجميع البيانات التي ينبغي أن تنعكس فيها. حتى لو كان التقرير نفسه يتكون من رقم واحد.

علاوة على ذلك ، سيكون من الجيد تحميل البيانات في حالات نادرة قدر الإمكان ، لأن حجمها يمكن أن يكون كبيرًا ، وسيواجه تحميل مجموعة كبيرة من البيانات باستخدام استفسارات تحليلية عدة عقبات.

أولاً ، القرص الصلب الذي يخزن المعلومات هو محرك بطيء. ثانياً ، لن تسمح بنية تخزين البيانات في نظام إدارة قواعد البيانات التقليدية بأداء استعلام تحليلي بسرعة. تم تخزين البيانات سطراً سطراً - عند استلامها ، لذلك فإن القيم التي تنتمي إلى صف واحد قريبة من الناحية المادية. استجابةً لاستعلام تحليلي ، تحتاج قاعدة البيانات إلى إرجاع قيم عمود واحد ، ولكن من صفوف مختلفة. لذلك ، تكون هذه الطلبات بطيئة وتخلق حمولة كبيرة على نظام التخزين. وهذا هو ، يتم تنظيم موقع المعلومات على القرص بطريقة غير مناسبة.

وبالتالي ، كانت قواعد بيانات إدارة قواعد البيانات التقليدية ، والتي تم تخزين كل المعلومات الأولية للتحليل في البداية ، غير مناسبة للعب دور مصدر البيانات الذي يرتبط به النظام التحليلي مباشرةً. لذلك ، في القرن الماضي ، بالنسبة للمهام التحليلية ، كانت الممارسة المعتادة تتمثل في استخدام نموذج بيانات وسيط يتم فيه احتساب جميع القيم بالفعل في وقت ما. كان يطلق على نموذج البيانات هذا "مكعب تحليلي" أو مكعب OLAP. لإنشاء مكعب OLAP ، تم تطوير ما يسمى عمليات ETL (استخراج وتحويل وتحميل) - استعلامات قاعدة البيانات في أنظمة المصدر والقواعد التي يجب أن يتم تنفيذ تحويلات البيانات وفقًا لها. من الواضح ، إذا لم تكن هناك معلومات في مكعب OLAP ، فلن تظهر في التقرير.

كانت المشكلة في هذا النهج هي التكلفة العالية للحل. أولاً ، يلزم وجود مستودع بيانات ، حيث يتم وضع المؤشرات المحسوبة مسبقًا. ثانياً ، إذا احتجنا إلى مؤشر معين في سياق مختلف ، ثم من أجل الحصول عليه ، يجب إعادة إنشاء جميع عمليات تحويل البيانات في الطريق من النظام المصدر إلى مكعب OLAP من خلال إعادة كتابة الاستعلامات التحليلية. ثم أعد حساب مكعب OLAP بأكمله ، والذي استغرق عدة ساعات.

افترض أن مكعب OLAP يحتوي على معلومات المبيعات لمختلف البلدان. لكن المدير المالي أراد فجأة أن يرى المبيعات حسب المدينة ، ثم قام بتجميعها حسب متوسط ​​الفاتورة. لتلقي هذا التقرير ، كان عليه الاتصال بقسم تكنولوجيا المعلومات لإعادة بناء مكعب OLAP. أو يمكنه أن يجبر الأشياء ويجذب متذوق برنامج MS Excel ، الذي يقوم بإنشاء مثل هذا التقرير يدويًا. للقيام بذلك ، اضطر إلى تفريغ البيانات من أنظمة المصدر إلى جداول باستخدام استعلامات تحليلية وإجراء عدد من التلاعب الشاق وغير المعلن معهم.

في الحالة الأولى ، كان على المدير المالي الانتظار. في الثانية ، حصل على أرقام يصعب الوثوق بها.

بالإضافة إلى ذلك ، تبين أن الحل مكلف للغاية. كان من الضروري إنفاق الأموال على إنشاء مستودع ، والذي يجب إدارته. كان من الضروري توظيف متخصصين في نظام إدارة قواعد البيانات للقيام ببرنامج ETL - إعادة إنشاء مكعبات OLAP لكل مهمة. في موازاة ذلك ، يظهر محللون خاصون عادة في الشركة ، الذين قاموا بإنشاء تقارير عند الطلب (ما يسمى التقارير المخصصة). في الواقع ، ابتكروا طرقًا مختلفة للحصول على التقرير المرغوب فيه باستخدام برنامج MS Excel والتغلب على الصعوبات المرتبطة بحقيقة أن هذا البرنامج مصمم لمهام أخرى.

نتيجة لذلك ، كان مسار الإبلاغ مكلفًا حتى بالنسبة للشركات الكبيرة. كان على مدراء الشركات الصغيرة والمتوسطة أن يكونوا راضين بالفرص المتاحة في برنامج MS Excel.

تم العثور على الحل في مكان آخر.

في عام 1994 ، أصدرت الشركة السويدية آنذاك QlikTech من بلدة Lund الصغيرة برنامج QuikView ، الذي أعيدت تسميته فيما بعد باسم QlikView. تم تصميم التطبيق لتحسين الإنتاج. لقد مكن من معرفة استخدام الأجزاء والمواد المترابطة وغير الموجودة. أي أن البرنامج كان مطلوبًا لتصور العلاقات المنطقية بين الأجزاء والمواد والتجمعات والمنتجات. للقيام بذلك ، تم تحميلها في مجموعات بيانات ذاكرة الوصول العشوائي من مصادر مختلفة ، ومقارنتها وأظهرت الاتصال على الفور.

على سبيل المثال ، هناك العديد من الجداول مع الممثلين ، وأدوارهم في الأفلام والمخرجين والأنواع ومواعيد الإصدار والرسوم - مع أي شيء. يتم تحميل كل منهم في ذاكرة الوصول العشوائي. يمكنك الآن النقر فوق أي معلمة لتحديدها ومشاهدة جميع المعلمات المرتبطة بها على الفور. نضغط على Brad Pitt - نحصل على شباك التذاكر لجميع الأفلام التي قام ببطولتها. اختر أفلام كوميدية - احصل على مقدار كوميديا ​​شباك التذاكر مع براد بيت. كل هذا يحدث على الفور ، في الوقت الحقيقي.

على الرغم من أنه في تلك السنوات في سوق نظم المعلومات المؤسسية ، تم حل المهام التحليلية باستخدام نماذج البيانات الوسيطة - مكعبات OLAP ، إلا أن منهج QlikTech أصبح أكثر ملاءمة. سمح للتخلي عن المرحلة المتوسطة في شكل حساب مكعب OLAP ونتيجة لذلك حفظ الكثير.

تم ربط التطبيق التحليلي مباشرة بالمصادر وتحميله بشكل دوري جميع البيانات اللازمة للتقرير في ذاكرة الوصول العشوائي. اختفت الحاجة إلى تغيير عمليات ETL في كل مرة من أجل الحصول على قيم المؤشرات في أقسام جديدة - والآن يتم حسابها في الوقت الفعلي في وقت الطلب. لم تعد هناك حاجة لإنشاء وإدارة مستودع بيانات. انخفضت تكلفة ملكية الحل التحليلي.

مع انتشار خوادم 64 بت التي مكنت من العمل مع كميات كبيرة من ذاكرة الوصول العشوائي ، سرعان ما بدأت تقنية الذاكرة في تغيير ذكاء الأعمال. يتضح هذا بشكل جيد من خلال تقارير من شركة الأبحاث ماجيك كوادرانت غارتنر. في عام 2016 ، ترك ستة من مطوري المنصات BI رباع القادة في وقت واحد ، بما في ذلك قدامى المحاربين في الصناعة مثل IBM و Oracle و SAP. لم يتبق سوى ثلاثة لاعبين اعتمدوا على تقنية الذاكرة وتجاهلوا مكعبات OLAP. هذه هي Microsoft و Qlik و Tableau.


مكانة اللاعبين في Gartner's Magic Quadrant للتحليلات وأنظمة ذكاء الأعمال ***

يمكننا القول أن كليك أصبحت رائدة ورائدة في تحول السوق. بحلول عام 2016 ، تم استخدام منصة تحليل بيانات QlikView من قبل العملاء في جميع أنحاء العالم ، وتجاوزت المبيعات السنوية 600 مليون دولار.

من التقارير إلى الإدارة القائمة على البيانات

مع انتشار الحلول التحليلية القائمة على تقنية الذاكرة ، فتح عدد كبير من الشركات طرقًا لم يكن من الممكن الوصول إليها من قبل لاستخدام بيانات الشركة. كانت هناك فرصة لا تقتصر على تقارير الإدارة ، والتي هي المعيار لكل من الصناعات. بدأت مجموعة متنوعة من العمليات في "القياس" - لإدخال المقاييس واستخدامها لوصف العمليات. أصبح استخدام المعلومات الموضوعية أسهل بكثير لاتخاذ قرارات أكثر استنارة. ارتفع عدد مستخدمي الأعمال الذين يعملون مع البيانات بشكل حاد.

كان هناك تأثير كبير على الاهتمام باستخدام البيانات من خلال التغييرات في سلوك المستهلك والتسويق ، والتي أصبحت رقمية - أي بناءً على المقاييس. تم جذب العديد من الأشخاص الجدد إلى قسم علوم البيانات من خلال توقعات حول كيفية تغيير العالم للبيانات الكبيرة.

نتيجة لكل هذه العمليات ، حدث "دمقرطة" بيانات الشركات بسرعة. في السابق ، كانت البيانات تخص خدمات تكنولوجيا المعلومات. اتصلت التسويق والمبيعات وذكاء الأعمال والمديرين التنفيذيين بقسم تكنولوجيا المعلومات للتقارير. الآن الموظفين يعملون مع البيانات من تلقاء نفسها. اتضح أن وصول الموظف المباشر إلى البيانات يمكن أن يزيد من الإنتاجية ويعطي ميزة تنافسية.

ومع ذلك ، فإن الجيل الأول من الحلول التحليلية القائمة على التكنولوجيا في الذاكرة قد منحت مستخدمي الأعمال فرصًا محدودة جدًا لاستخدام البيانات. يمكن أن تعمل فقط مع لوحات الجاهزة ولوحات المعلومات. سمحت لهم تقنية الذاكرة بأن "تتساقط" في أي مؤشر وتعرف على مكوناتها. ولكن كان دائما حول تلك المؤشرات التي يتم تحديدها مقدما. اقتصرت الدراسة على تصورات بالفعل على لوحة القيادة. كانت طريقة استخدام البيانات هذه تسمى "تحليلات الاتجاه" ، ولم يفترض أن مستخدم الأعمال سيصل بشكل مستقل مصادر جديدة ويخلق مؤشرات وتصورات بنفسه.

كانت الخطوة التالية في دمقرطة البيانات هي الخدمة الذاتية. كانت فكرة الخدمة الذاتية هي أن مستخدمي الأعمال يستكشفون البيانات ويقومون بإنشاء تصورات وتقديم مؤشرات جديدة بمفردهم.

تجدر الإشارة إلى أنه بحلول الوقت الذي بدأت فيه تقنية الذاكرة في تغيير تحليلات الأعمال ، لم تكن هناك عقبات تقنية خطيرة قبل منح المستخدمين إمكانية الوصول إلى جميع البيانات. ربما كان لدى معظم العملاء المحافظين سؤال حول مدى ملاءمة هذه الوظيفة. لكن العالم تحول بالفعل في اتجاه الرغبة في "عد كل شيء". الآن يحتاج المديرون الذين ليس لديهم تعليم رياضي ومهارات برمجة ، إلى أداة تتيح لهم التحدث بلغة البيانات.

فتح الوصول المباشر إلى البيانات لمحللي الأعمال العديد من الفرص الجديدة. يمكنهم طرح واختبار أي فرضيات ، وتطبيق أساليب علم البيانات ، وتحديد هذه التبعيات ، التي يصعب التنبؤ بوجودها مسبقًا. يمكنك الآن دمج بيانات الشركة الداخلية مع البيانات الخارجية التي يتم الحصول عليها من مصادر خارجية.

في سبتمبر 2014 ، أصدرت Qlik الجيل الثاني من برنامجها ، المسمى Qlik Sense. يستخدم كليك سينس نفس العمارة ونفس التكنولوجيا. كان الاختلاف في النهج الجديد لإنشاء تصورات. الآن يمكن إنشاء تصورات قياسية فورًا عن طريق سحب الحقول وإسقاطها بالأبعاد المطلوبة في ورقة العمل. هذا استخراج البيانات المبسطة بسبب انخفاض حاد للغاية في دورة البحث. بدأ اختبار الفرضيات يستغرق بضع ثوانٍ فقط.

ربما كان النمو السريع في مبيعات منصات تحليل الخدمة الذاتية يرجع إلى حد كبير إلى سهولة العرض. إذا كان على العميل في وقت سابق اتخاذ قرار شراء ، مع الأخذ في الاعتبار شرائح العرض التقديمي ، فيمكنه الآن تثبيت البرنامج على جهاز الكمبيوتر الخاص به ، والاتصال بالمصادر ، وفي غضون بضع ساعات ، انتقل من إنشاء لوحة معلومات إلى فتحه في بياناته.

هناك بيانات. ماذا الان

كان لتكنولوجيا الذاكرة تأثير كبير على كيفية استخدام الشركات للمعلومات اليوم. أصبح الجمع بين البيانات واستكشافها أسهل ، وكان ذلك بمثابة دفعة قوية للأعمال التجارية نحو التحول الرقمي. ومع ذلك ، من الغباء أن نقول إن التحول الرقمي أصبح شائعًا ، ويمكن لأي شركة الآن تنفيذه بسهولة.

من وجهة نظر تقنية ، كل شيء بسيط طالما أن كمية البيانات التي تمت دراستها محدودة بعدة جداول Excel. إذا كان الأمر يتعلق بدمج مليارات السجلات ، فستظل المهمة على الأرجح صعبة من الناحية الفنية ، وسيتطلب حلها خبرة في مجال استقصاء المعلومات والنتائج الهندسية. خاصة إذا كنت لا تزال بحاجة إلى إدارة جودة البيانات ، وهي مهمة شائعة لمعظم الشركات المتوسطة والكبيرة.

من وجهة نظر العمل ، كل شيء بسيط طالما كنت بحاجة إلى إعداد التقارير أو لوحات المعلومات مع مؤشرات قياسية للصناعة. إذا كنا نتحدث عن نظام تحليلي ، تضاف إليه مصادر جديدة باستمرار ، يتم تقديم مقاييس جديدة ، ويشارك خبراء من مختلف المجالات في كل هذا ، فلا يوجد أيضًا أي بساطة.

ومع ذلك ، هذه ليست الصعوبات التي تغلب عليها العملاء قبل عدة سنوات. مستوى نضج المنصات التحليلية اليوم هو أنه حتى لو كان هناك الكثير من البيانات الأولية ، فلن تحتاج بعد ذلك إلى انتظار حساب المؤشرات ، ويمكنك الوثوق بالأرقام التي تم الحصول عليها. في قلب هذا التحول الحوسبة في الذاكرة.

التكنولوجيا التالية التي ستغير السوق للحلول التحليلية من المرجح أن تكون منصات سحابة. بالفعل ، تتحول البنية التحتية لموفري الخدمات السحابية (CSP) ، إلى جانب مجموعة من الخدمات عليها ، إلى منصة لإدارة البيانات.

---

مصادر:

* IDC ، دليل السوق لتقنيات الحوسبة في الذاكرة ، www.academia.edu/20067779/Market_Guide_for_In-Memory_Computing_Technologies

** Jim Gray "اقتصاديات الحوسبة الموزعة" ، www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-2003-24.doc

*** يمكنك أن ترى كيف تغير وضع مطوري منصات BI في تقارير Gartner Magic Quadrant من 2010 إلى 2019 بشأن التصور التفاعلي: qap.bitmetric.nl/extensions/magicquadrant/index.html