تجربة تطوير المتطلبات لعالم البيانات الصفات المهنية

اليوم ، تشعر كل الأعمال تقريبًا بالحاجة إلى استخراج البيانات. لا يُنظر إلى علم البيانات على أنه شيء جديد. ومع ذلك ، فليس من الواضح للجميع ما يجب أن يكون عليه أخصائي معين.

لم يتم كتابة هذه المقالة بواسطة أحد المتخصصين في الموارد البشرية ، ولكن تاريخًا من قِبل عالِم ، وبالتالي فإن أسلوب العرض التقديمي محدد للغاية ، ولكن هناك ميزة - هذه نظرة داخلية تسمح لك بفهم الصفات التي يحتاج إليها عالم البيانات للمهنة ، بحيث يمكن للشركة الاعتماد عليها شخص.

فاتحة

لقد حان الوقت عندما نمت بدء تشغيل علم البيانات من الحفاضات - زاد عدد مهام التحليل بسرعة غير متوقعة ، وتوقفت هذه السرعة على الفور عن طريق الأتمتة. أصبح من الواضح أننا نحتاج إلى أدمغة جديدة في الفريق ...

كما بدا لي في البداية ، كان الشخص مطلوبًا تمامًا: مجرد تاريخ عادي - هناك - مبرمج ، محلل ، إحصائي. إذن ما هي صعوبة تجميع قائمة المتطلبات؟

"في مجال الهندسة ، إذا كنت لا تعرف ما تفعله ، فيجب ألا تفعل ذلك."
ريتشارد هامينج

لقد تناولت الأمر كالمعتاد. أخرج ورقتين. واحد بعنوان "المهارات الفنية" ، والآخر - "المهارات المهنية". بعد ذلك ، كانت هناك رغبة في الصعود إلى أي مورد ، والعثور على مجموعة من السير الذاتية هناك ، وكتابة قوائم من الصفات ، واختيار تلك التي تريدها. لكن شيئا ما أوقفني. "هذا ليس طريقي ،" قلت لنفسي. "أنا لا أفهم هذا." أنا أفهم المهام .. "

حاولت أن أذهب من المهمة. مهامنا بسيطة. يتم منحك CRM لا يستجيب للمحتوى المشكوك فيه ويطلب منك التنبؤ بالمبيعات لبضعة أشهر مقدما. بسيط جدا. يمكن لأي شخص التعامل مع ... إخلاء المسئولية: إذا كنت تستطيع فهم عمل العميل. من الناحية المثالية ، يتم تشكيل مجموعة عمل لهذا الغرض ، والتي تستخلص كل المهام الأخرى وتكرس نفسها لتحليل هذه المهمة بعينها. عند المدخل - رغبات العميل ، عند الخروج - حل يمكن التحقق منه دون الخوض في التفاصيل ودون تكرار العمل المنجز.

من هنا قمت بتجميع أول شرط رسمي بطريقة أو بأخرى - يجب أن يكون الشخص قادراً على القيام بمهمة منفصلة وعدم جذب أي شخص بشكل خاص حتى اللحظة التي يتم فيها تلقي القرار الأول الوقح. ثم يمكن تحسين هذا القرار من خلال جذب المتخصصين للمساعدة. ولكن في المرحلة الأولى ، فإن استخدام شخص آخر هو نفسه وضع مراقب على شخص. ويمكن للمشرف في أي وقت دفع الوافد الجديد والبدء في فعل كل شيء له ، مما يجعل التوظيف بلا معنى على الإطلاق.

بناءً على هذا المطلب الأول ، قمت بسرعة بملء الورقة الأولى: تعرف على python ، وكن قادرًا على استخراج المعلومات من مصادر مختلفة ، وتخزين المعلومات ، واستخدام AWS ، ومعرفة الخادم والإحصاءات ، وتكون قادرة على العمليات العشوائية. بعد ذلك بقليل أضفت الاقتصاد هناك في الإصدار الأساسي. والنتيجة قائمة بالمهارات اللازمة لضمان تلبية الشرط الأول.

ولكن ، مع قائمة الصفات المهنية ، لم تنجح. حتى googling ، لم أجد أي متطلبات مهنية لعالم البيانات الذي بدا مناسبًا.

ظهرت إما الصياغات العامة لشكل "المسؤولية" ، أو تم فهم الصفات كمهارات ، والتي تنتمي إلى قائمة أخرى.

تم خلط أفكاره في العصيدة ، والتي كان من الصعب تنظيمها. تم مزج العالمي مع محددة ، تنطبق فقط على مهام معينة. بدا لي من الخطأ للغاية أن أتحمل في كومة واحدة مثل هذه الصفات التي كانت عامة للغاية ، إلى جانب الصفات التي لا يمكن للمرشح استخدامها في وقت لاحق.

في مكان ما هنا ، ولدت فكرة المشكلة. بدا لي طريقة جيدة وأنيقة لسداد الحاجة إلى الفلسفه على قوائم المتطلبات ، وفي الوقت نفسه جمع القائمة اللازمة ، والنظر في الأخطاء في الحلول.

بيان المهام

قرر رجل الأعمال فتح متجر في ملاعب تنس الريشة ، حتى لا يضطر الزوار إلى الذهاب إلى السوبر ماركت لممارسة رياضة كرة الريشة والمضرب.

على مدار العام ، احتفظ رجل الأعمال بجميع الإيصالات من عمليات الشراء لفهم لاحقًا للقرارات التي يجب اتخاذها لزيادة الأرباح. المعلومات من الشيكات موجودة في ملف train_dataset.csv المرفق.

قام بتعبئة الكرات والمضارب وبيعها حصريًا في مجموعات من ثلاثة أنواع:

1. مضرب واثنين من الكرات
2. مضرب وخمس ريشة
3. عشرة ريشة

من وقت لآخر ، اضطر صاحب المشروع إلى تغيير الأسعار مع مراعاة أسعار السوبر ماركت ومعدلات الضرائب.

يعمل المتجر والمحكمة دون أيام العطلات والإجازات. كان تدفق العملاء محدودًا إلى حد ما نظرًا لحقيقة أنه لا يُسمح إلا بأربعة أشخاص فقط في الملعب ، ويتم حجز المحكمة مسبقًا مسبقًا لمدة جلسة مدتها ساعتان ، وهناك ثلاثة ملاعب فقط في الاستاد. ومع ذلك ، لم يمر يوم واحد دون بيع ، كما جاء من وقت لآخر إما أشخاص غير مستعدين تمامًا للمثول أمام المحكمة ، أو قام أحدهم بتمزيق المضرب أو فقد الريشة.

بعد مرور عام ، قرر رجل الأعمال ترتيب عملية بيع ، والتي يجب أن تستمر من 1 يناير إلى 31 يناير ، شاملة. أعاد توزيع مجموعات من السلع وخصص لهم الأسعار التالية:

1. مضرب واحد فقط - 11 دولار 80 سنتا
2. خمسة ريشة - 5 دولارات 90 سنتا
3. مضرب واحد وريشة واحدة - 12 دولار 98 سنتا

يجب تحديد حجم دخل منظم المشروع في شهر يناير.

حساسية الاحتمالات

أعتقد أن أفضل التوقعات تستند إلى الفهم
المشاركة في عملية القوى الأساسية. "
ريتشارد هامينج

وضعت المهمة في تقليد المهام الحقيقية للحياة ، ولكن بطريقة مصطنعة لم تكن مخفية عن المرشحين. وبالتالي ، تم تطبيق بعض الصيغ لإنشاء مجموعة البيانات. افترض ، بنكهة متغيرات عشوائية ، ولكن الصيغ. في أي حال ، كان من المفترض أن عالم البيانات كان قادرا على اكتشاف واستخدام هذه الصيغ للتنبؤ.

بالطبع ، لا ينبغي للمرء أن يتجاهل احتمال أن مجموعة البيانات لا توفر صورة كاملة تسمح للمرء باستعادة الصيغ بالدقة اللازمة. لكن بالنسبة لهذه الحالة في الحياة الواقعية ، توصلنا إلى المعلومات الإضافية التي يجب أن تكون وأين يمكن الحصول عليها.

بشكل عام ، فإن الرغبة في العثور على "قانون الكون" هي نوعية مهنية جيدة. القدرة على فهم ما الذي تبحث عنه وأين تبحث عنه أيضًا. كان السيد هامينغ يعرف ما الذي يتحدث عنه. وبفضله ، ظهر السطر الأول في قائمة المتطلبات الخاصة بي:

القدرة على اكتشاف العلاقات بين السبب والسبب ، ووصفها ، وصياغة الشروط التي بموجبها يمكن تحويل العلاقات إلى صيغة مفيدة لرجال الأعمال.

ليس من قبيل الصدفة أنني استخدمت عبارة "مفيدة للأعمال" هنا. في ممارستي الشخصية ، اتضح غالبًا أنه لم يكن الحل للمشكلة هو الذي جلب ربح العمل ، ولكنه نوع من المنتجات الثانوية التي تم الحصول عليها عن طريق فتح نوع من التبعيات الداخلية. في بعض الحالات ، أدى ذلك إلى جلب أموال إضافية للشركات الناشئة وعقود جديدة وزيادة مقدار المعرفة والمنتجات الثانوية.

لذلك ، عند تحليل القرارات المرسلة إليّ ، راقبت بعناية كيف سيستخدم المرشح المعرفة حول مدى تماسك مجموعة البيانات ، سواء كان سيطلب معلومات إضافية في مرحلة ما أو يثبت كفاية مجموعة البيانات للمهمة.

الثقة بالنفس

"إذا جذب الحدث انتباهنا ، تبدأ الذاكرة الترابطية في البحث عن السبب ، أو بالأحرى ، يتم تنشيط أي سبب تم تخزينه بالفعل في الذاكرة."
دانيال كانيمان

لن أقول أن الذاكرة النقابية سيئة. إنها مصدر ووقود خيالنا. يتيح لك Fantasy إنشاء فرضيات ووضع افتراضات إلى الأمام بشكل سريع ، وسرعان ما تجد أزواج المتغيرات التي يمكن الاتصال بينها.

وتضعنا على عربة في شكل تأكيد التحيز.

نحن معتادون على تجربتنا الخاصة ومعرفتنا الخاصة حتى نبدأ في نشرها في مواقف جديدة. في العالم الحي ، هذا مفيد في كثير من الأحيان. قل ، الاعتقاد بأن جميع الثعابين سامة ، تنقذ أرواح أكثر مما لا شك فيه أن هذا الثعبان بعينه ليس سامًا. ولكن في مكتب آمن ، وبعد وقت كافٍ ، من الأفضل إدراك أي حكم كفرضية.

تم تصميم مجموعة بيانات المهام خصيصًا بحيث لا يغطي الفاصل الزمني سوى سنة من الملاحظات. من الجيد أن المرشحين في مرحلة النظر في الرسوم البيانية طرحوا فرضية حول وجود التقلبات الموسمية. إنه لأمر سيء نادراً ما ذكر أي شخص الحاجة إلى التحقق من ذلك. إنه لأمر سيء للغاية أن البعض ، دون التحقق ، أصر على وجود الموسمية.

لذلك أدخلت ما يلي في قائمة الصفات:

أهمية التفكير ، بما في ذلك فيما يتعلق بتجربتهم الخاصة.

أردت حقًا إضافة "والمعرفة" هنا ، ولكن بعد ذلك بدا لي أن هذا الحاشية تفتح موضوعًا جديدًا كبيرًا.

العصابية

"بعد أن طورت هذه أو تلك النظرية ، ننتقل مرة أخرى إلى الملاحظات ،
لفحصها. "
غريغوري مانكيو

يفحص أدب علم البيانات طرقًا لأتمتة اختبار الفرضيات. ومع ذلك ، نادراً ما التقيت المبادئ التوجيهية لاستخدامها. وبسبب هذا ، صدق أو لا تصدق ، بمجرد الخلط بين نشاطين مختلفين تمامًا - التحقق من الفرضيات الإحصائية والتحقق من النموذج.

في الوقت نفسه ، وهو أمر أكثر إرباكًا ، يتم التغاضي عن الفرق بين مفاهيم الفرضية الإحصائية والفرضية بشكل عام. لتجنب مثل هذا الالتباس في مقالتنا ، اسمحوا لي أن استخدم مصطلح الافتراض للمفهوم العام للفرضية.

في الفقرة السابقة ، تم تقديم أحد هذه الافتراضات فيما يتعلق بمجموعة البيانات ، وهي وجود الموسمية. من الممكن حدسيًا تحديد المكون الموسمي على أنه متكرر دوريًا. وهنا يجب أن تسأل نفسك على الفور السؤال التالي: كم مرة يجب تكرار المكون حتى يمكن اعتباره موسميًا؟ علاوة على ذلك ، هل يمكننا ، على أساس التكرار الدوري ، تأكيد وجود عنصر موسمي في مجموعة البيانات ، والفاصل الزمني هو فقط عام واحد.

كما ذكر بالفعل ، تم اختيار طول الفاصل الزمني بشكل خاص. أردت أن يكون لدى المرشحين الحاجة والفرصة لعرض طرقهم الخاصة للتحقق من توفر الموسمية للمهمة المعنية. وأضفت هذه الجودة أيضًا إلى قائمة الصفات المهنية المطلوبة:

القدرة على اختبار الافتراضات بطرق قياسية والتوصل إلى طرق جديدة للتحقق.

ربما "ابتكار طرق جديدة" يبدو مرتفعًا جدًا. نادراً ما أواجه الحاجة إلى الخروج بشيء جديد. طريقة الاعتبارات البسيطة التالية للسؤال "ماذا لو؟" مناسبة تمامًا.

في المقال الجميل "هذا صحيح ، لكنه خاطئ" ، قدم ألكساندر تشيرنوكي أمثلة على حلول سريعة وبديهية للعديد من المشاكل الاحتمالية. يبدو لي أن هناك آلية مماثلة مناسبة تمامًا لاختبار الافتراضات.

أولاً ، سنفكر في نوع الموسمية التي نريد العثور عليها. قد تكون الموسمية عاملاً خارجياً غير معروف لنا ، ويمثل تكرارًا خوارقًا معينًا في البيانات. من الممكن وصف هذه الموسمية دون تجاوز مجموعة البيانات عن طريق كتابة المكون الموسمي بشكل منفصل وإظهار درجة ثباته. ويمكن إخفاء الموسمية داخل البيانات المعروفة. على سبيل المثال ، إذا كانت الموسمية تؤثر على عدد المشترين ، وعدد المشترين على حجم المبيعات ، فإذا علمنا مسبقًا والموعد الذي سيأتي فيه المشتري ، فمن غير المرجح أن نحتاج إلى الموسمية كظاهرة منفصلة. وبالتالي ، سوف نسعى على وجه التحديد إلى موسمية خوارق ، لأننا لا نعرف ونحتاج إليها.

لنفترض الآن أن هذه الموسمية لا تؤثر على المبيعات. ثم تكون كل التقلبات في المبيعات إما عشوائية ، أو يمكنك أن تجد بعض العلاقة بينها وبين التغييرات في المتغيرات الأخرى. إلى أي مدى يصف هذا الاعتماد ما يحدث؟ هل لا يزال هناك مجال لموسمية خوارق؟

أي للتحقق من وجود موسمية ، يمكننا أن نجد كل التبعيات على المتغيرات المعروفة ، وبعد ذلك ، بطرح هذه التبعيات من التقلبات ، انظر إلى الباقي. علاوة على ذلك ، إذا كان انتشار الباقي صغيرًا بما فيه الكفاية ، فلن يكون هناك أي معنى على الإطلاق في البحث عن قيم خوارق.

لذلك لدينا طريقة بسيطة للتحقق من الموسمية في غياب فاصل بيانات طويل بما فيه الكفاية.

الحذر

"أذهاننا ليست مستعدة لفهم الأحداث النادرة".
روبرت بانر

بالانتقال إلى البحث عن العلاقة بين الكميتين ، أول شيء نحاول أن نشعر به هو التغيير المتبادل. وربما ، لا توجد طريقة أكثر بساطة وأكثر تفصيلا من الانحدار الخطي. يمكن أن يساعد في تكوين رأي حول العلاقة ، حتى في الحالات التي تكون فيها العلاقة الكمية بين الكميات غير معروفة. حسنا ، لديها عدد من المزايا الأخرى.

والعيوب.

في الواقع ، العلاقة بين الكميتين بعيدة كل البساطة عن الدوام بحيث يمكن تحديدها بواسطة الخصائص العددية. بغض النظر عن مدى جمال التقريب الخطي للعلاقة بين الكميتين ، فهناك دائمًا احتمال أن نتعامل مع شيء أكثر تعقيدًا. أوضح عالم الرياضيات الإنجليزي فرانسيس إنسكومب هذه الظاهرة بأربعة أمثلة ، والتي أصبحت فيما بعد تُعرف باسم الرباعية الإنسكومب .

تبين أن وضع شيء مشابه لعنصر Enscomb الرباعي في المهمة يعد فكرة جيدة وبسيطة للغاية في التنفيذ. على الرغم من شعبية هذه الظاهرة ، سقط الكثير من المرشحين في الطعم.

كان تنفيذ الظاهرة في المشكلة على النحو التالي. دع هناك ثلاث مجموعات من العملاء ، يدرك كل منهم اهتمامًا معينًا عند الشراء. تتصرف المجموعتان بطريقة مماثلة ، ويتم التعبير عن سلوكهما في علاقة خطية بين الطلب والسعر. لكن المجموعة الثالثة تفعل خلاف ذلك. مع انتقال الأسعار أعلى من عتبة معينة ، يتوقف المشترون من هذه المجموعة بشكل حاد عن شراء أكثر من الحد الأدنى الضروري.

مكنت هذه الظاهرة ، الشائعة جدًا في العالم الواقعي ، من محاكاة أحد أمثلة Enscomb وإخفائها بين توزيعتين أخريين.

في الواقع ، "الاختباء" ليس مناسبًا للوضع. أنا فقط وضعت هذا التوزيع بجانب الآخرين ، أكثر دراية ومفهومة. كان الفرق واضحًا في الرسوم البيانية ، كما بدا لي ، لكن لم يلاحظ الجميع. وكانت محاولة أحد المرشحين "لتحسين" التقريب من خلال الانتقال إلى الحدود العليا ذات الترتيب الأعلى مثيرة للاهتمام بشكل خاص.

لذلك قمت بصياغة شرط آخر للصفات المهنية:

لتكون قادرًا على عزل الملاحظات المهمة ، قم ببناء فرضيات تتعلق بأهميتها.

اندفاع

"لقد تم استخدام المقياس على نطاق واسع لمدة خمس سنوات وخضع لثلاثة اختبارات."
تيموثي ليري

لقد وصفت سابقًا موقف تصبح فيه الأرصدة غير المفسرة صغيرة جدًا بحيث يصبح تأثيرها غير قابل للتمييز على خلفية مزايا الأعمال التي يوفرها باقي النموذج.

ومع ذلك ، تحتاج إلى فهم ما قد يكون مخفيًا وراء التعبير "صغير جدًا".

عادة ما يتم ملاحظة العالم وقياسه باستخدام بعض الأدوات. بسيطة ، مثل المسطرة ، أو معقدة ، مثل المجهر الإلكتروني. تتضمن الأجهزة المعقدة جهاز كمبيوتر به بيئة برمجة إحصائية مثبتة عليه.

بمعنى ما ، يمكن ملاحظة أي ملاحظة أو استنتاج نتوصل إليه نتيجة القياس. نحن ننظر إلى ظروف المشكلة وقياس الدخل على فترة زمنية لم يحدث بعد. استبدلت هنا الغامض والسحري للعديد من كلمة "تنبؤ" بكلمة "تدبير". كجزء من عملي اليومي ، يمكنني أن أقول ذلك تمامًا ، حيث يتم استبدال التنبؤ بمستوى عالٍ من الدقة بحساب روتيني.

ولكن أي قياس لا يمكن أن تكون دقيقة للغاية. كل جهاز لديه خطأ القياس الناجم عن النقص. وفي القياسات ، من الضروري الإشارة إلى دقتها ، لذلك ، إلى جانب النتيجة التي تم الحصول عليها ، يشار إلى فاصل الثقة.

إشارة إلى الفاصل الزمني الثقة ليست حتى توصية ، ولكن ضرورة غالباً ما يتم نسيانها. علاوة على ذلك ، على الرغم من أن بعض نقاط الارتداد ستظهر في كلماتي ، إلا أنني أعتقد أن حساب فاصل الثقة هو فعل من احترام الذات ، والجودة التالية هي من بين الصفات اللازمة لعالم البيانات:

الدقة في مراقبة المتطلبات الرسمية للخوارزميات والأساليب ، خاصة عندما يتعلق الأمر بحساب فترات الثقة والتحقق من الشروط الضرورية والكافية.

ليونة

"هذا الحكم ليس صحيحًا تمامًا ، ولكنه صحيح بما يكفي للتطبيق العملي في معظم الحالات."
فرانسيس Enscomb

حتى الآن ، لقد تجنبت مناقشة السمات الأكثر إثارة للانتباه لهذه المهمة. يتميز الفاصل الزمني المتوقع بتغيير قوي في البضائع المباعة. لقد حان الوقت لشرح سبب ظهور هذا التغيير في المهمة.

أعلاه ، لقد أوجزت بالفعل وجهة نظري حول إمكانية التحقق من الافتراضات المختلفة. يجب أن يكون التحقق دائمًا. إذا تعذر التحقق من شيء ما ، أو كانت طريقة التحقق غير معروفة ، فيجب تحديد خيارات مختلفة ؛ قد تكون بمثابة سبب لمزيد من البحث. ولكن في الوقت نفسه ، من الضروري محاولة وصف الموقف قدر المستطاع ، بناءً على معلومات معروفة.

في الواقع ، ماذا نعرف عن المبيعات؟ هناك أشخاص يقومون ، بسبب الأسباب المعروفة والمدرجة ، بإجراء عمليات الشراء. يمكنك محاكاة العملية بالكامل تقريبًا ، حيث وجدنا كل التبعيات ووجدنا أن البقايا غير المفسرة يتم توزيعها عادة ولديها تشتت صغير جدًا.

تبدأ الأسئلة بالظهور: هل يغطي حجم البضائع المشتراة احتياجات الناس؟ ماذا يفعلون عندما تظل الحاجة غير ملباة؟ على سبيل المثال ، ماذا يفعلون إذا كان سعر المنتج مرتفعًا في رأيهم؟ من أين يأتي الاعتماد الخطي على الطلب؟

في الواقع ، هذه هي الأسئلة لرجال الأعمال. وبطبيعة الحال ، ينبغي أن يطلب منهم إلى صاحب العمل كخبير في مجال عملهم.في النهاية ، مجموعة البيانات الأولية بعيدة عن أن تكون ممتلئة دائمًا ، والأعمال ، حتى بوجود طاقم من المحللين المحترفين ، لا تعرف كل شيء. في الواقع ، يتحول العمل إلى علم البيانات على وجه التحديد لأنه لا يعلم الجميع. ولكن ماذا لو ...

ماذا لو كان هناك نموذج يمكن التحقق منه ومتسق يصف الموقف باستخدام بياناتنا المعروفة فقط؟ هذا أيضا يستحق التدقيق بها.

خاتمة

اسمحوا لي أن أقدم قائمة نهائية من الصفات المهنية لعالم البيانات التي كتبت.

1. القدرة على اكتشاف العلاقات بين السبب والسبب ، ووصفها ، وصياغة الشروط التي بموجبها يمكن تحويل العلاقات إلى صيغة مفيدة لرجال الأعمال.
2. أهمية التفكير ، بما في ذلك فيما يتعلق بتجربتهم الخاصة.
3. القدرة على اختبار الافتراضات بطرق قياسية والتوصل إلى طرق جديدة للتحقق.
4. , .
5. , .

في هذا النموذج المجمع ، تبدو القائمة واضحة جدًا بالنسبة لي. ربما لأنه يكرر إلى حد ما قائمة التحيزات المعرفية. والذي ، بالمناسبة ، يقودني إلى فكرة الأدلة الطبيعية للملاحظات الخلفية. ومع ذلك ، أتذكر وقت التأمل في الورقة الفارغة الثانية وأتفهم أنه لم يتم تجميع القائمة بدون القيام بالعمل.

ما زالت مثيرة للاهتمام هي فكرة أن أهمية حقيقة لشخص ما ليست بالضرورة واضحة لآخر. يمكن ملاحظة ذلك بوضوح من خلال حلول المشكلة التي تلقيتها من عشرات المرشحين ...

المؤلف: فاليري كونداكوف ، المؤسس المشارك ومدير قسم التسويق في Uninum
المؤلف المشارك: بافل جيرنوفسكي ، المؤسس المشارك والرئيس التنفيذي لشركة Uninum

PS

إحصاءات عن الوظيفة الشاغرة بتاريخ 26/25/19
تاريخ وضع الشغور: 27/05/19
إجمالي عدد مرات مشاهدة الوظيفة الشاغرة: 2727
مجموع الردود: 94

• أرسلوا حلاً للمشكلة ، لكن تبين أنها خاطئة: 20٪
• اتفقوا على حل المشكلة ، لكنهم لم يرسلوا إجابة: 30 ٪
• الرفض في مرحلة النظر في الاستئناف لأسباب مختلفة: 45٪
• أرسلوا حلاً قريبًا من الحل الصحيح: 5٪