ما هو نظام المعلومات المحملة للغاية مثل هايبر ماركت ضخم؟ ماذا لو حضر 150 مليون شخص إلى هايبر ماركت في نفس الوقت للتسوق؟ ماذا يمكنك معاقبة رئيس هايبرماركت له ولماذا لا؟ لماذا يكون وقت تحميل المستندات في الليل أقل بكثير من النهار؟ لماذا لا يعني وقت تحميل مستند واحد حقًا أي شيء؟

تتميز نظم المعلومات المحملة بدرجة عالية بخصائصها الخاصة ، والتي ليست واضحة للعديد من مؤسسات الموردين. سنخبرك بكيفية ترتيب التحميل الشامل للوثائق (وغيرها من البيانات) وننظر بالتفصيل في هذا السؤال غير المفهوم للكثيرين.

المصدر

عند تطوير أنظمة المعلومات الكبيرة والمحملة (IS) ، تنشأ مهام تحميل البيانات الجماعية. لا يهم نوع البيانات ويعتمد على مجال موضوعك. هذا يمكن أن يكون المدفوعات ، الفواتير ، قراءات أجهزة الاستشعار ، مشاريع المشتريات ، إلخ. ينظم القانون إنشاء وتطوير نظم المعلومات الجغرافية (GIS) ، ويمكن أن يحدث بسهولة أن القانون سيُلزم المنظمات بتحميل ملايين الوثائق إلى النظام لمرة واحدة ، أو حتى الأكثر إثارة للاهتمام ، تحميل ملايين الوثائق على أساس دوري ، على سبيل المثال ، شهريًا.

في مشاريعنا (يمكن قراءة القليل عن عمل LANIT هنا وهنا ) ، نواجه هذه المهام بشكل دوري وقمنا بتطوير كل الحلول اللازمة. ومع ذلك ، فإن خصوصيات الحلول لها بعض الميزات التي ، كما اتضح فيما بعد ، ليست واضحة للعديد من مؤسسات الموردين. لدهشتنا ، تلقينا مثل هذه الطلبات وحتى الشكاوى:

• لقد أرسلنا مستندًا واحدًا للتنزيل ، واستغرق الأمر 10 ثوانٍ. لذلك ، إذا احتاجت منظمتنا إلى تحميل 100 ألف مستند ، فسيستغرق الأمر 100000 * 10/3600 = 277 ساعة بالنسبة لنا! "
• "نقوم بتحميل ، تحميل المستندات ، لكن لا شيء يتم تحميله في النظام."

حقيقة أن تحميل مستند واحد في نظام معلومات يمكن أن يستغرق 10 ثوانٍ لا يدل على أي شيء عن النظام بحد ذاته. هذا المؤشر لا معنى له على الإطلاق إذا كنا نتحدث عن أنظمة قائمة الانتظار. بعد ذلك ، سنخبرك بكيفية ترتيب التحميل الشامل للوثائق (والبيانات الأخرى) وسننظر بالتفصيل في هذا السؤال غير الواضح للكثيرين.

بالنسبة إلى أخطاء التحميل ، ليس كل شيء واضحًا أيضًا: هناك العديد من الأسباب لعدم تحميل البيانات في النظام. قد تكون المشكلات إلى جانب موفري المعلومات وقد تكون بجانب IP. أدناه سوف نحلل المواقف المختلفة ونرى الإحصاءات.

هايبر ماركت صيني

على سبيل المثال ، في مقاطعة صينية نائية ، حيث يعيش حوالي 150 مليون شخص ، يوجد سوبر ماركت كبير يعمل على مدار 24 ساعة حيث يذهب الناس لشراء الأرز مرة واحدة في الشهر. يمكن للمقيمين القدوم إلى الأرز في أي يوم من الشهر. يوجد الكثير من الأرز ، وهناك مكان كثير في قاعة التداول. عنق الزجاجة الرئيسي هو سداد المشتريات عند الخروج ، لأن هذه العملية إلزامية (لا يمكنك تخطي المشترين دون سداد) ، فالأمر يتطلب بعض الوقت واستخدام معدات خاصة - مكاتب النقد. سيكون من الأفضل لمحلات السوبر ماركت للناس أن يتفقوا بطريقة أو بأخرى فيما بينهم وأن يتسوقوا بالتساوي (ليلا ونهارًا) ، وفي هذه الحالة سيكون استخدام المكاتب النقدية بأقصى قدر ممكن من الكفاءة.

ومع ذلك ، كما الحظ ، فإن المشترين لا يتجهون نحو السوق الكبير. أولاً ، إنهم بطريقة ما لا يريدون حقًا الذهاب للتسوق في الليل. ثانياً ، في بعض الأحيان تكون غير محدودة: إما أنه لا يوجد أحد ، ثم يأتي عدة ملايين من الأشخاص في نفس الوقت.

المصدر أكبر مركز تسوق في العالم ، New Century Global Center في مدينة تشنغدو بالصين. لديها 18 طابقا وتبلغ مساحتها 1700،000 متر مربع.

ماذا تفعل في السوبر ماركت؟ لقد حدد الحزب الشيوعي الصيني مهمة خدمة كل الصينيين ، وهذا كل شيء. كل صينى غير محترم هو ناقص لكارما مدير السوبر ماركت. إذا كان هناك الكثير من الصينيين غير راضين ، لا تهدم رأسه من أجله! في الوقت نفسه ، بالطبع ، لا يمكن للمدير تسليم 150 مليون مكتب نقد. إذا حدث فجأة في عام أن وحدة التحكم الماكرة سوف تقدم تقريرًا عن استخدام شباك التذاكر بنسبة 1٪ ، فإن المدير المؤسف سيواجه مصيرًا لا يحسد عليه. إذا كان المشتري العادي ينتظر فترة طويلة جدًا (أكثر من دقيقة واحدة) ، فسوف ينفد من السوق الكبير ويكتب بيانًا للرفيق ماو نفسه ، ويصرخ "خمسمائة وأربعة غشاشون غاتيفينو تامان خان لكم جميعًا".

بعد مشاهدة كيفية عمل المحيط ، قدم صديقنا نظامًا متقدمًا لإدارة قائمة الانتظار. الآن كل شيء يعمل مثل هذا. بعد أخذ حزمة من الأرز ، يذهب المشتري إلى المحطة للحصول على رقم في قائمة الانتظار. يعتمد وقت الانتظار في الطابور على عدد مكاتب النقد. من الناحية التجريبية ، اكتشف المدير المرافق عدد مكاتب النقد التي ينبغي أن تكون بحيث لا يقف المشترون ، من ناحية ، في طوابير طويلة ، ومن ناحية أخرى ، فإن معامل استخدام المكاتب النقدية ليس منخفضًا جدًا.

المصدر

الجميع سعداء نظام التذاكر بسيط جدا وسريع دائما. يتم تحديد عدد سجلات النقد بحيث:

• سمحت نسبة الاستفادة من سجلات النقد للمدير الزميل بالعيش في سعادة دائمة ؛
• طول قائمة الانتظار كان صغيرًا وقضى الصينيون وقتًا طويلاً فيه (95 بالمائة من وقت الانتظار <قيمة معقولة ، على سبيل المثال ، 5 دقائق) ؛
• حتى إذا كان هناك العديد من المتسوقين نتيجة للظروف التي ستأتي إلى المتجر في نفس الوقت ، فسيتم تمديد فترة الانتظار ، ولكن سيتم تقديمها حتى الساعة 11:00 مساءً حتى يتمكنوا من العودة إلى ديارهم ومشاهدة الأخبار قبل النوم.

حول نفسه يجب أن يتم ترتيب IP من حيث الاستقبال الشامل للوثائق. على سبيل المثال ، يجب علينا كل شهر ضمان تحميل ما لا يقل عن 150 مليون مستند من 100 ألف مورد. من أجل أن تكون جودة البيانات التي تم تنزيلها عالية ، من الضروري التحقق من جميع البيانات قبل التنزيل. تم تجاهل البيانات غير الصحيحة. وينبغي أن توضع في الصحيح في شكل منظم في تخزين النظام بحيث يمكن تحليلها واستخدامها في المستقبل.

تؤدي الحاجة إلى التحقق من البيانات قبل التنزيل إلى حقيقة أنك بحاجة إلى تنفيذ عدد من "عناصر التحكم" ، بدءًا من التنسيق وتنتهي بعناصر معقدة (على سبيل المثال ، في بعض الأحيان تكون هناك حاجة إلى التحكم في الأعمال ، مما يثبت أن المؤسسة لديها أساس لتنزيل الكائنات المنقولة).

لا يمكننا عادة التضحية بجودة الشيكات. نعتقد أن المطورين قد قاموا بالفعل بتحسين جميع الخوارزميات وأن التحسين الإضافي يستغرق وقتًا طويلاً للغاية أو يعقد مزيدًا من الصيانة والتطوير للنظام. في مشاريعنا ، يكون وقت معالجة طلب واحد يحتوي على واحد إلى خمسمائة مستند (الدفع ، الفاتورة ، العقد ، مشروع المشتريات ، إلخ) ، في المتوسط ​​، بضع ثوانٍ على الواجهة الخلفية (انظر المثال في الشكل 1). هذه المرة ليست ثابتة ، لكنها تختلف في حدود معينة ، لأنه في النظام المعقد هناك دائمًا الكثير من العوامل المختلفة التي يمكن أن تؤثر على معالجة الحزمة.

الشكل 1. جدول زمني نموذجي لمعالجة حزم المستندات. متوسط ​​الوقت في المنطقة من ثلاث ثوان.

حتى لو كان يتم تنظيم مواعيد التنزيل الخاصة بك وفقًا للقانون ، فإن مقدمي المستندات ، كقاعدة عامة ، لا يوجد جدول زمني واضح للتنزيل. هناك قوالب معينة لأنواع مختلفة من المستندات ، على سبيل المثال ، يمكن إصدار الفواتير في بداية الشهر ، ويمكن تحديد الذروة في تحميل البيانات الأخرى وفقًا لشروط المستندات المعيارية أو قد ترتبط بنهاية العام ، إلخ.

لذلك ، في الممارسة العملية ، في أي لحظة معينة ، يمكن أن تكون شدة تحميل المستندات مختلفة تمامًا - من المستحيل تقريبًا التنبؤ بها بدقة. قد يحدث أن جميع الـ 150 مليون مستند من الموردين الجيدين تقرر تحميلها على النظام في نفس الوقت. وهذا ليس هو الشيء نفسه على الإطلاق ، كما لو أنهم قاموا بتنزيلها بدقة وفقًا لجدول زمني قدره 5 ملايين في اليوم.

الشكل 2. مثال على توزيع عدد الوثائق التي تم تنزيلها حسب اليوم للأشهر الستة الأخيرة.

يوضح الشكل 2 أن عدد المستندات التي يتم تحميلها يوميًا يختلف بشكل كبير. من الواضح أنه يتم تنزيل حوالي 4-5 مليون مستند يوميًا في المتوسط. في الوقت نفسه ، تم إرسال أكثر من 10 ملايين مستند إلى النظام في بعض الأيام. الحد الأقصى لعدد المستندات التي يتم تحميلها يوميًا هو أكثر من 17 مليون.

إذا نظرنا إلى ديناميات كل ساعة في تحميل المستند ، فسوف نشهد تقلبات أكبر في حركة المرور. في بعض الساعات ، يتم تحميل 50 ألف مستند في IS ، وفي بعض الساعات يتجاوز عدد المستندات التي تم تحميلها مليون واحد ، وكلما كانت الفترة الفاصلة التي نتخذها أقصر ، زاد حيز الحمل الذي نراه.

من الواضح أن مستندات اثنين وثلاثة وعشرة ملايين يمكن أن تدخل النظام في وقت واحد. لذلك ، عند تصميم آليات التحميل بالجملة ، نستخدم التخزين المؤقت للاستعلام باستخدام قوائم الانتظار. يتم تخزين أي طلب من المستخدم لأول مرة في قائمة الانتظار. وبالتالي ، يمكننا استلام طلبات استلام المستندات ذات الكثافة العالية جدًا في النظام ، لأن تشغيل تلقي الطلب بسيط للغاية. ولكن يتم التحقق من صحة وتحميل المستند بالفعل بواسطة "معالجات" خاصة ، يتم ضبط مقدارها اعتمادًا على القدرات المتوفرة. كلما زاد عدد الحديد ، زاد عدد "المعالجات" ، زاد عدد الطلبات التي يمكن للنظام معالجتها في نفس الوقت.

يتم تحديد قوة مجمع برامج أجهزة IP بواسطة عرض النطاق الترددي وتكاليف الأجهزة المطلوبة. نحتاج إلى إيجاد توازن حتى نكون (العميل) راضين عن استخدام الحديد خلال فترات الحمل المنخفض ، وفي نفس الوقت ، وخلال فترات الذروة ، لا تنمو قائمة انتظار البيانات للتحميل أكثر من اللازم. بالنظر إلى أنه في الليل في كثير من الأحيان نحصل على انخفاض طبيعي في الحمل ، يمكننا استخدام إرشادات - يجب تنزيل جميع البيانات في نفس اليوم أو بين عشية وضحاها. إذا حدث في كثير من الأحيان أن البيانات ليس لديها وقت لتحميل بين عشية وضحاها ، ثم هذه إشارة لزيادة الإنتاجية عن طريق إضافة الحديد.

الشكل 3. مثال على جدول زمني لتغيير طول قائمة الانتظار لتحميل حزم البيانات.

يوضح الشكل 3 إحصائيات عن طول قائمة الانتظار لتنزيل حزم البيانات. من الضروري الانتباه إلى أنه في النهار لدينا سنام مميز ، وفي الليل تتم إعادة تعيين قائمة الانتظار.

نظرًا لأن وقت تحميل حزمة البيانات هو مجموع وقت الانتظار في قائمة الانتظار ووقت معالجة حزمة البيانات على الواجهة الخلفية ، فإن وقت التحميل في الليل أقل بكثير من النهار (انظر الشكل 4).

الشكل 4. وقت التحميل لحزم البيانات. وكان متوسط ​​الفترة 11.92 دقيقة. يتضمن وقت التمهيد وقت الانتظار ووقت معالجة الواجهة الخلفية.

يمكننا أن نستنتج: إذا أرسل المورد حزمة بيانات في الليل ، فسيكون وقت التنزيل أقل. من ناحية أخرى ، إذا تم تحديد قدرات IC بطريقة تعالج الكمية المتوقعة من البيانات في نفس اليوم أو الحد الأقصى في الليلة ، فلن يكون من المنطقي للمورد الحفاظ على تحميل البيانات - ستحتاج فقط إلى إرسال كامل كمية المستندات ، وستتم معالجتها في أسرع وقت ممكن.

كيفية إطعام قرية بأكملها

دعنا نعود إلى مطالباتنا. لقد أرسلنا مستندًا واحدًا للتنزيل ، واستغرق الأمر 10 ثوانٍ. لذلك ، إذا احتاجت منظمتنا إلى تحميل 100 ألف مستند ، فسوف يستغرق الأمر 100000 * 10/3600 = 277 ساعة بالنسبة لنا! "

كل عميل يصل إلى هايبر ماركت في أوقات مختلفة يمكن تقديمه في أوقات مختلفة. يعتمد الأمر على عدد العملاء الذين جاءوا إلى المتجر. في الليل ، من المحتمل أن تكون المكاتب النقدية فارغة وسيتم تقديم المشتري على الفور. وفي ساعة الذروة ، يمكنك تعليقها لعدة ساعات.

المصدر

ماذا تفعل إذا كنت بحاجة لشراء الأرز في قرية يسكنها 100 ألف نسمة؟ ليس من المنطقي إرسال كل قروي إلى الهايبرماركت واحدة تلو الأخرى (لا يخرج الواحد القادم إلا بعد العودة السابقة). من الواضح ، في هذه الحالة ، فإن شراء الأرز للقرية بأكملها سيمتد لعدة ساعات أو يوم ، حيث يتعين عليك الوقوف في طابور 100 ألف مرة على التوالي. من ناحية أخرى ، إذا جاء جميع القرويين إلى الهايبرماركت في وقت واحد ، يصطفون جميعًا معًا ، فسيظلون في طابور في نفس الوقت. في الواقع ، يقفون في طابور مرة واحدة فقط. يعتمد وقت الانتظار في الطابور أيضًا بشكل كبير على عدد مكاتب النقد.

بمعنى آخر ، يتأثر وقت تحميل كمية كبيرة من البيانات بالحمل الحالي على النظام (عدد الحزم في قائمة الانتظار) وإنتاجية النظام (الكثافة التي تتم بها معالجة هذه الحزم). مؤشر مثل وقت التحميل من حزمة فردية في حد ذاته غير كاف ويؤدي إلى استنتاجات خاطئة.

لتحميل كمية كبيرة من البيانات في IS ، لا تحتاج إلى إرسال طلبات بالتسلسل ، في انتظار معالجة السابقة. من الضروري إرسال جميع الطلبات إلى IS في آن واحد ، وسيتم وضعها في قائمة الانتظار ومعالجتها بواسطة "معالجات" خاصة بكثافة حسب القدرات والقدرات المتاحة. من الواضح ، عادة ما يتجاوز عرض النطاق الترددي لبروتوكول الإنترنت بشكل كبير احتياجات كل مزود بيانات معين.

نتيجة لذلك ، لا تكون الطرق المتزامنة مناسبة للتحميل المجمع - وهذا مضاد للتآكل.

ماذا يمكنك معاقبة زميل مدير ل؟

ما هو الأكثر إثارة للقلق حول زميل المخرج في هذه القصة؟ ماذا يمكن أن يعاقبوا عليه؟

قد يتم رفض خدمة العميل - وهذا دائمًا ما يكون غير سار. ولكن هناك العديد من الأسباب وراء حدوث ذلك ، ولها طبيعة مختلفة. دعونا قائمة.

1. إذا كان نظام إصدار قائمة الانتظار لا يعمل ، فهذا أمر سيء للغاية. إنه لأمر سيء للغاية أن يتم حل مثل هذه الحالات في مكتب الرفيق ماو في اليوم التالي.

2. إذا زاد الخط الموجود في السوق الكبير وبدأ العملاء في التعلق به لفترة طويلة ، فهذا أمر مشبوه ، ولكنه ليس سيئًا على الفور. يجب مراقبة ذلك ، ولكن هناك حالتان:

• قائمة الانتظار تنمو بسبب حقيقة أن الكثير من الصينيين جاءوا في نفس الوقت ، على سبيل المثال ، بسبب الشائعات حول ارتفاع الأسعار ؛
• قائمة الانتظار ينمو بسبب حقيقة أنه لسبب ما كسر العديد من شباك التذاكر. هذا الموقف سيء بالفعل ، وسيتم فهمه في اجتماع تخطيطي وقد يؤدي إلى توبيخ.

3- إذا لم يستطع صيني معين شراء الأرز ، فقد يكون ذلك أيضًا لأسباب مختلفة:

• إذا نسي الصينيون أخذ المال ، فهذا ليس خطأ مدير زميل ؛
• إذا حدث شيء ما عند الخروج أو قام أمين الصندوق بتوبيخ الصينيين ، فهذه مشكلة كبيرة بالفعل. إذا زادت نسبة هذه الحوادث إلى مستوى معين ، فسيصبح ذلك مشكلة كبيرة.

من الواضح أنه بالنسبة لأي عنوان IP ، فإن إحدى الخصائص المهمة لآليات التحميل الشامل هي النسبة المئوية لرفض الخدمة. من الضروري التمييز بين رفض الخدمة لأسباب فنية تتعلق بتشغيل IS (عطل في الجهاز ، خطأ في النظام ، وما إلى ذلك) والإخفاقات لأسباب تتعلق بالمشاكل من جانب المورد (تنسيق حزمة بيانات غير صحيح ، بيانات غير صحيحة من وجهة نظر العمل الضوابط ، وما إلى ذلك).

قد تكون الحالات مختلفة. ولكن إذا تم تطوير IP مع الأخذ في الاعتبار المبادئ المذكورة أعلاه وكان هناك عملية مراقبة مستمرة والقضاء على الأخطاء التقنية ، ثم يستقر الوضع عاجلاً أم آجلاً. في نظام يعمل بشكل جيد ، تبدو إحصائيات تنزيلات الحزمة مثل الجدول 1.

	عدد طلبات التنزيل ، أجهزة الكمبيوتر	حصة٪
تم الرفع بنجاح الحزم	125 977 459	79.94 ٪
الحزم التي لم يتم تحميلها بالكامل أو جزئيًا بسبب مشاكل من جانب المورد (FLC ، التحكم في الأعمال)	29 936 543	19٪
الحزم التي لم يتم تنزيلها بسبب مشكلة على جانب IP	38 805	0.02 ٪
حزم مكررة	1638886	1.04 ٪
المجموع	156 812 782	100٪

جدول 1. قم بتنزيل الإحصائيات لشهر يوليو 2018

يوضح الجدول أن معظم الحزم يتم تحميلها بنجاح. علاوة على ذلك ، هناك نسبة عالية من الأخطاء على جانب مزود المعلومات. قد يكون هذا بسبب العدد الكبير من الموردين ودرجات متفاوتة من استعدادهم لتبادل المعلومات. قد يكون لدى الموردين بيانات منخفضة الجودة ، وقد يواجهون مشكلات في أنظمة المعلومات. قد لا تتوفر بعض البيانات في شكل منظم إلكتروني ، ويستغرق الأمر بعض الوقت لاستلامها.

لسوء الحظ ، يمكن أن تحدث أخطاء IP ، خاصة إذا كان التطوير السريع قيد التنفيذ. من المهم إطلاق عملية مراقبة الأخطاء في البيئة الصناعية وتحليل أسباب حدوثها. نستخدم نظام مراقبة مطور لآليات التكامل في مشاريع LANIT ، وإذا رأينا أن عدد الأخطاء يبدأ في النمو ، فإننا نحدد مصدرها ونحاول اتخاذ الإجراءات التصحيحية بسرعة.

الخاتمة

في الختام ، أود أن أكرر النقاط الرئيسية مرة أخرى.

1. في تطوير وتطوير الملكية الفكرية للدولة أو الشركات ، تنشأ مهام تحميل البيانات الجماعية. تدفق طلبات التنزيل إلى IS ، كقاعدة عامة ، عشوائي. هذا يعني أننا نعرف التوزيع تقريبًا ، ولكن في أي لحظة معينة قد يأتي عدد قليل جدًا من الطلبات.
2. يجب أن يتم إنشاء آليات تلقي البيانات للتحميل المجمع باستخدام قوائم الانتظار. - . , , - , 99% .
3. . – . () , . - . – , . .
4. , .
5. , . ( , ).