في بعض الأحيان ، من أجل حل مشكلة ، تحتاج فقط إلى النظر إليها من زاوية مختلفة. حتى لو تم حل هذه المشكلات على مدار السنوات العشر الماضية بنفس الطريقة مع تأثيرات مختلفة ، فليس من الواقع أن هذه الطريقة هي الطريقة الوحيدة.
هناك موضوع مثل زبد العملاء. الأمر لا مفر منه ، لأن عملاء أي شركة يمكنهم أخذ منتجاتها أو خدماتها والتوقف عن استخدامها لأسباب عديدة. بطبيعة الحال ، بالنسبة إلى الشركة ، يعتبر التدفق الخارجي إجراءً طبيعيًا ، لكنه ليس الإجراء المرغوب فيه ، لذلك يحاول الجميع تقليل هذا التدفق إلى أدنى حد. والأفضل من ذلك - التنبؤ باحتمالية حدوث تدفق خارجي لفئة معينة من المستخدمين ، أو مستخدم معين ، وتقديم بعض خطوات الاستبقاء.
قم بتحليل ومحاولة الحفاظ على العميل ، إن أمكن ، على الأقل للأسباب التالية:
- جذب عملاء جدد أغلى من إجراءات الاستبقاء . لجذب عملاء جدد ، كقاعدة عامة ، تحتاج إلى إنفاق بعض المال (الإعلان) ، في حين يمكن تنشيط العملاء الحاليين بعرض خاص بشروط خاصة ؛
- إن فهم سبب مغادرة العملاء هو مفتاح تحسين المنتجات والخدمات .
هناك طرق قياسية للتنبؤ بتدفقات الخارجة. لكن في إحدى بطولات AI ، قررنا أن نجرب توزيع Weibull ونحاول ذلك. في الغالب يتم استخدامه لتحليل البقاء والتنبؤ بالطقس وتحليل الكوارث الطبيعية والهندسة الصناعية وما شابه. توزيع Weibull هو دالة توزيع خاصة لها معلمتان
و
.
ويكيبيديابشكل عام ، الشيء الممتع ، ولكن للتنبؤ بالتدفق الخارجي ، وبالفعل في التكنولوجيا الفائقة ، يتم استخدامه كثيرًا. تحت القصاصة ، سوف نخبرك كيف فعلنا ذلك (مختبر تعدين البيانات) من خلال الفوز بذهبية في بطولة AI في ترشيح "الذكاء الاصطناعى في البنوك".
حول التدفق بشكل عام
دعنا ننظر قليلاً إلى ما هو تدفق العميل ولماذا هو مهم جدًا. بالنسبة للأعمال التجارية ، تعد قاعدة العملاء مهمة. يأتي عملاء جدد إلى قاعدة البيانات هذه ، على سبيل المثال ، بعد التعرف على منتج أو خدمة ما من الإعلانات ، فإنهم يعيشون لبعض الوقت (يستخدمون المنتجات بنشاط) وبعد فترة من الوقت يتوقفون عن استخدامها. تسمى هذه الفترة "دورة حياة العميل" (دورة حياة المهندس) - وهو مصطلح يصف الخطوات التي يمر بها العميل عند معرفة المنتج ، واتخاذ قرار الشراء ، والدفع ، والاستخدام ، والعملاء المخلصين ، والتوقف في النهاية عن استخدام لسبب أو منتجات أخرى. وفقًا لذلك ، فإن التدفق الخارجي هو المرحلة الأخيرة من دورة حياة العميل عندما يتوقف العميل عن استخدام الخدمات ، وهذا يعني أن العمل توقف عن أن يكون العميل مربحًا وبصفة عامة أي فائدة.
كل عميل للبنك هو شخص محدد يختار بطاقة مصرفية معينة خصيصًا لتلبية احتياجاته. في كثير من الأحيان يسافر - خريطة مع ميل مفيد. انه يشتري الكثير - مرحبا ، بطاقة مع استرداد النقود. يشتري الكثير في متاجر محددة - ولهذا السبب يوجد بالفعل بلاستيك تابع خاص. بالطبع ، يتم أيضًا اختيار بطاقة في بعض الأحيان وفقًا لمعيار "أرخص خدمة". بشكل عام ، هناك متغيرات كافية هنا.
وشخص آخر يختار البنك نفسه - هل يستحق اختيار بطاقة مصرفية ، فروعها موجودة فقط في موسكو والمنطقة عندما تكون من خاباروفسك؟ إذا كانت بطاقة مثل هذا البنك أكثر ربحية على الأقل مرتين ، فإن وجود فروع البنوك القريبة لا يزال يمثل معيارًا مهمًا. نعم ، 2019 هنا بالفعل والرقمية هي كل شيء لدينا ، ولكن يمكن حل عدد من القضايا لبعض البنوك فقط في الفرع. بالإضافة إلى ذلك ، مرة أخرى ، يثق جزء من السكان في بنك مادي أكثر من مجرد تطبيق على هاتف ذكي ، كما يجب أخذ ذلك في الاعتبار.
نتيجة لذلك ، قد يكون لدى الشخص أسباب كثيرة لرفض منتجات البنك (أو البنك نفسه). قام بتغيير وظيفته ، وتغير معدل البطاقة من راتب إلى "لمجرد البشر" ، وهو أقل ربحية. انتقل إلى مدينة أخرى حيث لا توجد فروع للبنوك. لم يعجبني التحدث مع مشغل غير ماهر في القسم. أي أنه قد يكون هناك أسباب لإغلاق الحساب أكثر من استخدام المنتج.
ولا يمكن للعميل التعبير فقط عن نيته صراحة - المجيء إلى البنك وكتابة بيان ، ولكن ببساطة التوقف عن استخدام المنتجات دون كسر العقد. هنا ، لفهم هذه المشاكل ، تقرر استخدام التعلم الآلي و الذكاء الاصطناعي.
علاوة على ذلك ، يمكن أن يحدث التدفق الخارجي للعملاء في أي صناعة (الاتصالات ومزودي الإنترنت وشركات التأمين بشكل عام ، أينما توجد قاعدة عملاء ومعاملات دورية).
ماذا فعلنا
بادئ ذي بدء ، كان من الضروري وصف حدود واضحة - منذ متى بدأنا في اعتبار العميل قد رحل. من وجهة نظر البنك الذي زودنا ببيانات العمل ، كانت حالة نشاط العميل ثنائية - فهي إما نشطة أم لا. كان هناك علامة ACTIVE_FLAG في جدول "النشاط" ، يمكن أن تكون القيمة إما "0" أو "1" (على التوالي ، "غير نشط" و "نشط"). سيكون كل شيء على ما يرام ، لكن الشخص قادر على استخدامه بنشاط لفترة من الوقت ، ثم يخرج عن النشاط لمدة شهر - يمرض ، أو يذهب إلى بلد آخر للراحة ، أو حتى يذهب لاختبار بطاقة بنك آخر. أو ربما بعد فترة طويلة من عدم النشاط ، ابدأ مرة أخرى في استخدام خدمات البنك
لذلك ، قررنا أن نطلق على فترة عدم النشاط فترة زمنية معينة معيّنة تم خلالها تعيين علامة "0".

ينتقل العملاء من غير نشط إلى نشط بعد فترات من عدم النشاط بأطوال مختلفة. نحن قادرون على حساب درجة القيمة العملية "موثوقية فترات عدم النشاط" - أي احتمال أن يبدأ الشخص مرة أخرى في استخدام منتجات البنك بعد عدم النشاط المؤقت.
على سبيل المثال ، يوضح هذا الرسم البياني استئناف النشاط (ACTIVE_FLAG = 1) للعملاء بعد عدة أشهر من عدم النشاط (ACTIVE_FLAG = 0).

سنوضح هنا مجموعة البيانات التي بدأنا العمل بها. لذلك ، قدم البنك معلومات مجمعة لمدة 19 شهرًا في الجداول التالية:
- "النشاط" - معاملات العملاء الشهرية (عن طريق البطاقة ، في الخدمات المصرفية عبر الإنترنت والخدمات المصرفية عبر الهاتف المحمول) ، بما في ذلك كشوف المرتبات ومبيعات المعلومات.
- "البطاقات" - البيانات الموجودة على جميع البطاقات التي يمتلكها العميل ، مع جدول تعريفات مفصل.
- "العقود" - معلومات عن عقود العميل (المفتوحة والمغلقة على حد سواء): القروض والودائع ، إلخ ، مع الإشارة إلى معايير كل منها.
- "العملاء" - مجموعة من البيانات الديموغرافية (الجنس والعمر) وتوافر بيانات الاتصال.
للعمل ، كنا بحاجة إلى جميع الجداول باستثناء "الخريطة".
كانت الصعوبة هنا شيء آخر - في هذه البيانات ، لم يوضح البنك نوع النشاط الذي حدث على البطاقات. وهذا يعني أننا يمكن أن نفهم ما إذا كانت هناك معاملات أم لا ، لكن لم يعد بإمكاننا تحديد نوعها. لذلك ، لم يكن من الواضح ما إذا كان العميل يسحب نقودًا ، أو ما إذا كان قد حصل على راتب ، أو إذا كان قد أنفق أموالًا على المشتريات. ولم يكن لدينا بيانات عن أرصدة الحسابات ، والتي ستكون مفيدة.
كانت العينة نفسها غير منحازة - بالنسبة لهذا القسم لمدة 19 شهرًا ، لم يقم البنك بأي محاولة للاحتفاظ بالعملاء وتقليل التدفق الخارجي إلى أدنى حد.
لذلك ، عن فترات الخمول.
لصياغة تعريف التدفق الخارجي ، تحتاج إلى اختيار فترة من عدم النشاط. لإنشاء توقعات التدفق في وقت واحد
، يجب أن يكون لديك سجل عميل لا يقل عن 3 أشهر في الفاصل الزمني
. كان تاريخنا محددًا بـ 19 شهرًا ، لذلك قررنا أن نأخذ فترة من عدم النشاط لمدة 6 أشهر ، إن وجدت. وللحد الأدنى من الوقت لتوقعات نوعية استغرقوا 3 أشهر. الأرقام في 3 و 6 أشهر اتخذناها تجريبيا على أساس تحليل لسلوك بيانات العملاء.
تعريف التدفق الخارجي الذي قمنا بصياغته على النحو التالي: الشهر الخارجي للعميل
هذا هو الشهر الأول مع ACTIVE_FLAG = 0 ، حيث ينتقل ستة أصفار على التوالي في حقل ACTIVE_FLAG من هذا الشهر ، بمعنى آخر ، الشهر الذي كان العميل غير نشط فيه لمدة 6 أشهر.
عدد العملاء المغادرين
عدد العملاء الباقينكما يعتبر التدفق الخارجي
في مثل هذه المسابقات ، وفي الواقع العملي ، غالباً ما يتم التنبؤ بالتدفقات الخارجية بهذه الطريقة. يستخدم العميل المنتجات والخدمات على فترات زمنية مختلفة ؛ يتم تقديم البيانات المتعلقة بالتفاعل معه في شكل متجه مميز ذي طول ثابت n. غالبًا ما تتضمن هذه المعلومات:
- البيانات الخاصة بالمستخدم (البيانات الديموغرافية ، قطاع التسويق).
- تاريخ استخدام المنتجات والخدمات المصرفية (هذه هي إجراءات العملاء التي ترتبط دائمًا بفترة زمنية محددة أو فترة محددة نحتاجها).
- البيانات الخارجية ، إن أمكن الحصول عليها - على سبيل المثال ، المراجعات من الشبكات الاجتماعية.
وبعد ذلك يستمدون تعريف التدفق الخارجي الخاص به لكل مهمة. ثم يستخدمون خوارزمية التعلم الآلي التي تتنبأ باحتمالية مغادرة العميل
بناء على ناقلات العوامل
. لمعرفة الخوارزمية ، يتم استخدام أحد الأطر المعروفة لبناء مجموعات من أشجار القرار أو
XGBoost أو
LightGBM أو
CatBoost أو تعديلاتها.
الخوارزمية نفسها ليست سيئة ، ولكن من حيث التنبؤ بالتدفق إلى الخارج ، لها عدة عيوب خطيرة.
- ليس لديه ما يسمى "الذاكرة" . يتلقى إدخال النموذج عددًا معينًا من الميزات التي تتوافق مع اللحظة الحالية في الوقت المناسب. من أجل وضع معلومات حول تاريخ التغييرات في المعلمات ، من الضروري حساب الميزات الخاصة التي تميز التغييرات في المعلمات مع مرور الوقت ، على سبيل المثال ، عدد المعاملات المصرفية أو مقدارها على مدار 1.2.3 شهرًا الماضية. يمكن لمثل هذا النهج أن يعكس جزئيًا فقط طبيعة التغييرات المؤقتة.
- أفق ثابت للتنبؤ. لا يمكن للنموذج أن يتنبأ بتدفق العملاء إلا لفترة محددة سلفًا ، على سبيل المثال ، التنبؤ قبل شهر واحد. إذا كنت بحاجة إلى التنبؤ لفترة زمنية أخرى ، على سبيل المثال ، لمدة ثلاثة أشهر ، فأنت بحاجة إلى إعادة إنشاء مجموعة التدريب وإعادة تدريب النموذج الجديد.
نهجنا
قررنا على الفور أننا لن نستخدم النهج القياسية. بالإضافة إلى ذلك ، سجل 497 شخصًا في البطولة ، وكان لكل منهم تجربة جيدة. لذا ، فإن محاولة القيام بشيء ما بطريقة معيارية في ظل هذه الظروف ليست فكرة جيدة.
وبدأنا في حل المشكلات التي تواجه نموذج التصنيف الثنائي من خلال التنبؤ بالتوزيع الاحتمالي لأوقات تدفق العملاء. يمكن رؤية نهج مماثل
هنا ؛ فهو يتيح تنبؤًا أكثر مرونة للتدفق الخارجي واختبار فرضيات أكثر تعقيدًا من النهج التقليدي. كأسرة من التوزيعات التي تحاكي وقت التدفق الخارجي ، اخترنا
توزيع Weibull لاستخدامه على نطاق واسع في تحليل البقاء على قيد الحياة. يمكن اعتبار سلوك العملاء كنوع من البقاء.
فيما يلي أمثلة لتوزيعات كثافة احتمال Weibull اعتمادًا على المعلمات
و
:

هذا هو توزيع الكثافة الاحتمالية لعنف العملاء من ثلاثة عملاء مختلفين مع مرور الوقت. يتم تقديم الوقت في أشهر. بمعنى آخر ، يظهر هذا الرسم البياني عندما يكون من المرجح أن يتدفق العميل خلال الشهرين المقبلين ، كما ترون ، لدى العميل ذي التوزيع إمكانية كبيرة للمغادرة قبل العملاء مع توزيع Weibull (2 ، 0.5) و Weibull (3.1).
والنتيجة هي نموذج لكل عميل لأي
من الشهر تتنبأ بمعلمات توزيع Weibull ، والتي تعكس بشكل أفضل بداية احتمال التدفق الخارجي بمرور الوقت. إذا مزيد من التفاصيل:
- الخصائص المستهدفة في عينة التدريب - الوقت المتبقي قبل التدفق الخارجي في شهر معين لعميل معين.
- إذا لم يكن هناك مؤشر للخارج للعميل ، فإننا نفترض أن وقت التدفق الخارجي أطول من عدد الأشهر ، بدءًا من الحالي ونهاية تاريخنا.
- النموذج المستخدم: شبكة عصبية متكررة مع طبقة LSTM.
- كدالة خسارة ، نستخدم دالة الاحتمالية السلبية اللوغاريتمية لتوزيع Weibull.
فيما يلي مزايا هذه الطريقة:
- يتيح لك التوزيع الاحتمالي ، بالإضافة إلى الإمكانية الواضحة للتصنيف الثنائي ، التنبؤ بمختلف الأحداث بمرونة ، على سبيل المثال ، ما إذا كان العميل يتوقف عن استخدام خدمات البنك في غضون 3 أشهر. أيضًا ، إذا لزم الأمر ، يمكن حساب متوسط المقاييس المختلفة على هذا التوزيع.
- تحتوي الشبكة العصبية المتكررة LSTM على ذاكرة وتستخدم التاريخ بالكامل بكفاءة. مع توسيع أو صقل التاريخ ، تزداد الدقة.
- يمكن تغيير المقاربة بدون مشاكل عند تقسيم الفواصل الزمنية إلى فواصل أصغر (على سبيل المثال ، عند تقسيم الأشهر إلى أسابيع).
لكن لا يكفي إنشاء نموذج جيد ، فأنت بحاجة أيضًا إلى تقييم جودته بشكل صحيح.
كيفية تقييم الجودة
كمقياس ، اخترنا رفع المنحنى. يتم استخدامه في الأعمال التجارية لمثل هذه الحالات بسبب تفسير مفهوم ؛ وهو موصوف جيدًا
هنا وهنا . إذا وصفت معنى هذا المقياس في جملة واحدة ، فستحصل على "كم مرة تقوم الخوارزمية بعمل أفضل تنبؤ في الأول
٪ من عشوائيا. "
نحن ندرب النماذج
لم تحدد ظروف المنافسة مقياس جودة محددًا يمكن من خلاله مقارنة النماذج والنُهج المختلفة. علاوة على ذلك ، قد يكون تعريف مفهوم التدفق الخارجي مختلفًا وقد يعتمد على بيان المشكلة ، والذي بدوره يحدده أهداف العمل. لذلك ، من أجل فهم الطريقة الأفضل ، قمنا بتدريب نموذجين:
- نهج تصنيف ثنائي يستخدم بشكل متكرر باستخدام خوارزمية التعلم الآلي لمجموعة شجرة القرارات ( LightGBM ) ؛
- نموذج Weibull-LSTM
تكونت عينة الاختبار من 500 عميل تم اختيارهم مسبقًا ولم يكونوا في عينة التدريب. للنموذج ، تم اختيار المعلمات المفرطة باستخدام التحقق من صحة العميل. لتدريب كل طراز ، تم استخدام نفس مجموعات السمات.
نظرًا لحقيقة أن النموذج لا يحتوي على ذاكرة ، فقد تم أخذ علامات خاصة عليه ، حيث تبين نسبة التغييرات في معلمات شهر واحد إلى متوسط قيمة المعلمات خلال الأشهر الثلاثة الماضية. ما تميز معدل تغير القيم خلال الفترة الأخيرة من ثلاثة أشهر. بدون هذا ، سيكون النموذج القائم على Random Forest في موقف خاسر سابقًا بالنسبة إلى Weibull-LSTM.
لماذا LSTM مع توزيع Weibull أفضل من النهج القائم على مجموعة أشجار القرار
هنا ، كل شيء واضح حرفيا بضع صور.
مقارنة بين منحنى الرفع للخوارزمية الكلاسيكية و Weibull-LSTM
مقارنة قياس منحنى الرفع الشهري للخوارزمية الكلاسيكية و Weibull-LSTMبشكل عام ، تقوم LSTM بالخوارزمية الكلاسيكية في جميع الحالات تقريبًا.
التنبؤ التدفق
يمكن للنموذج القائم على شبكة عصبية متكررة مع خلايا LSTM مع توزيع Weibull أن يتنبأ بالتدفق الخارجي مقدمًا ، على سبيل المثال ، التنبؤ برحيل العميل خلال الأشهر n القادمة. النظر في القضية ل n = 3. في هذه الحالة ، لكل شهر ، يجب أن تحدد الشبكة العصبية بشكل صحيح ما إذا كان العميل سوف يغادر من الشهر المقبل حتى الشهر التاسع. بمعنى آخر ، يجب عليها أن تحدد بشكل صحيح ما إذا كان العميل سيبقى بعد أشهر. يمكن اعتبار ذلك بمثابة تنبؤ مسبق: توقع اللحظة التي بدأ فيها العميل التفكير في كيفية المغادرة.
قارن منحنى الرفع مع Weibull-LSTM 1 و 2 و 3 أشهر قبل التدفق الخارجي:

لقد سبق أن كتبنا أعلاه أن التوقعات التي يتم إعدادها للعملاء غير النشطين لبعض الوقت مهمة أيضًا. لذلك ، سنضيف هنا إلى العينة مثل هذه الحالات عندما يكون العميل المغادر غير نشط بالفعل لمدة شهر أو شهرين ، ونتحقق من أن Weibull-LSTM يصنف مثل هذه الحالات بشكل صحيح كتدفق خارجي. نظرًا لوجود مثل هذه الحالات في العينة ، نتوقع أن تتعامل الشبكة جيدًا معها:

الاحتفاظ العملاء
في الواقع ، هذا هو الشيء الرئيسي الذي يمكن القيام به من خلال المعلومات المتوفرة التي يستعد هؤلاء العملاء للتوقف عن استخدام المنتج. عند الحديث عن بناء نموذج يمكن أن يقدم شيئًا مفيدًا للعملاء للحفاظ عليه ، لن ينجح هذا إذا لم يكن لديك تاريخ من هذه المحاولات التي من شأنها أن تنتهي جيدًا.
لم يكن لدينا مثل هذه القصة ، لذلك قررنا مثل هذا.
- نحن نبني نموذجًا يحدد المنتجات المثيرة للاهتمام لكل عميل.
- في كل شهر ، نقوم بتشغيل مصنف وتحديد العملاء الخارجين المحتملين.
- يقدم بعض العملاء منتجًا ، وفقًا لنموذج الفقرة 1 ، تذكر تصرفاتهم.
- بعد بضعة أشهر ، ننظر إلى أي من هؤلاء العملاء الخارجين على قيد الحياة وقد بقي. وبالتالي ، نحن تشكيل عينة التدريب.
- نقوم بتدريب النموذج على القصة التي تم الحصول عليها في الفقرة 4.
- اختياريا ، كرر الإجراء ، واستبدل النموذج من الفقرة 1 بالنموذج الذي تم الحصول عليه في الفقرة 5.
يمكن أن يكون اختبار A / B المعتاد بمثابة فحص لجودة هذا الاستبقاء - نقسم العملاء الذين يحتمل أن يتركوا إلى مجموعتين. نحن نقدم منتجات تستند إلى نموذج الاحتفاظ لدينا إلى واحد ، ولا نقدم أي شيء للطراز الثاني. قررنا تدريب نموذج يمكن أن يستفيد بالفعل في النقطة 1 من مثالنا.
أردنا أن نجعل التجزئة قابلة للتفسير قدر الإمكان. للقيام بذلك ، اخترنا العديد من العلامات التي يمكن تفسيرها بسهولة: إجمالي عدد المعاملات ، الراتب ، إجمالي حجم الحساب ، العمر ، الجنس. لم تؤخذ العلامات من جدول "البطاقات" في الاعتبار على أنها غير معلوماتية ، والإشارات من الجدول 3 "العقود" - بسبب تعقيد المعالجة من أجل تجنب تسرب البيانات بين مجموعة التحقق من الصحة ومجموعة التدريب.
تم تنفيذ التجميع باستخدام نماذج خليط غاوسي.
جعل معيار معلومات Akaike من الممكن تحديد 2 الأمثل. الأمثل الأول يتوافق مع مجموعة واحدة. الأمثل الثاني ، أقل وضوحا ، يتوافق مع 80 مجموعات. يمكن استخلاص النتيجة التالية من هذه النتيجة: من الصعب للغاية تقسيم البيانات إلى مجموعات دون تقديم معلومات مسبقة. للحصول على مجموعات أفضل ، تحتاج إلى بيانات تصف كل عميل بالتفصيل.لذلك ، تم النظر في مهمة التدريب مع المعلم من أجل تقديم منتج لكل عميل على حدة. تم اعتبار المنتجات التالية: "وديعة لأجل" ، "بطاقة ائتمان" ، "سحب على المكشوف" ، "قرض استهلاكي" ، "قرض سيارة" ، "رهن عقاري".كان هناك نوع آخر من المنتجات الموجودة في البيانات: "الحساب الجاري". لكننا لم نفكر في ذلك بسبب انخفاض محتوى المعلومات. من قبل المستخدمين الذين هم عملاء البنك ، أي لم يتوقفوا عن استخدام منتجاته ، فقد تم بناء نموذج تنبأ بالمنتج الذي قد يثير اهتمامهم. تم اختيار الانحدار اللوجستي كنموذج ، وتم استخدام قيمة الرفع للنسب العشرة الأولى كمقياس لتقييم الجودة.يمكن تقدير جودة النموذج في الشكل.
نتائج نموذج توصية العملاءيؤدي
وضعنا هذا النهج في المرتبة الأولى في ترشيح "الذكاء الاصطناعى في البنوك" في بطولة RAIF-Challenge 2017 AI
، على ما يبدو ، كان الشيء الرئيسي هو معالجة المشكلة من جانب غير عادي واستخدام طريقة شائعة الاستخدام في المواقف الأخرى.على الرغم من أن التدفق الهائل للمستخدمين قد يكون كارثة طبيعية للخدمات.يمكن أيضًا ملاحظة هذه الطريقة في أي مجال آخر حيث من المهم التفكير في التدفق الخارجي ، وليس عن طريق البنوك ككل. على سبيل المثال ، استخدمناها لحساب التدفق الخارجي الخاص بنا - في فرعي سيبيريا وسان بطرسبرغ في روستيليكوم."مختبر استخراج البيانات" شركة "بوابة البحث" سبوتنيك "