غالبًا ما تصادف المهام الطويلة والرتيبة في العمل ، من أجل الحل الذي يحتاج إليه العديد من الأشخاص. على سبيل المثال ، فك تشفير عدة مئات من التسجيلات الصوتية ، أو ترميز آلاف الصور أو تصفية التعليقات ، التي يتزايد عددها باستمرار. لهذه الأغراض ، يمكنك الاحتفاظ بالعشرات من الموظفين بدوام كامل. ولكن يجب إيجادها جميعًا واختيارها وتحفيزها والتحكم فيها وضمان التنمية والنمو الوظيفي. وإذا تم تقليل حجم العمل ، فيجب إعادة تدريبهم أو فصلهم.
في كثير من الحالات ، خاصة إذا لم يكن التدريب الخاص مطلوبًا ، يمكن تنفيذ مثل هذا العمل من قبل منفذي
Toloka ، منصة Yandex للتعهيد الجماعي. هذا النظام قابل للتوسع بسهولة: إذا كان هناك عدد أقل من المهام من عميل واحد ، فسيذهب المتكلمون إلى آخر ، إذا زاد عدد المهام ، فسيكونون سعداء فقط.
تحت هذا التخفيض أمثلة على كيفية مساعدة Toloka لـ Yandex والشركات الأخرى في تطوير منتجاتها. جميع العناوين قابلة للنقر - تؤدي الروابط إلى التقارير.
استخدمت MIPT Toloka لتقييم جودة برامج الروبوت كجزء من DeepHack.Chat hackathon. تضمنت 6 فرق. كانت المهمة هي تطوير برنامج دردشة يمكنه التحدث عن نفسه بناءً على الملف الشخصي الممنوح له مع وصف موجز للخصائص الشخصية.
تلقى المتسللون والبوتات ملفات تعريف وكان عليهم التظاهر بأنهم شخص في الحوار ، والذي تم وصفه هناك ، وأخبرهم عن أنفسهم وتعلم المزيد عن المحاور. لم يرى المشاركون في الحوار ملامح بعضهم البعض.
يُسمح فقط للمستخدمين الذين اجتازوا اختبار الكفاءة في اللغة الإنجليزية بالمهمة ، نظرًا لأن جميع روبوتات الدردشة داخل الهاكاثون تتحدث الإنجليزية. كان من المستحيل تنظيم حوار مع البوت مباشرة من خلال Toloka ، لذلك في المهمة تم إعطاء رابط لقناة Telegram حيث تم إطلاق برنامج الدردشة.
بعد التحدث مع برنامج التتبُّع ، تلقى المستخدم معرّف حوار تم إدراجه مع تقييم الحوار في Toloka كإجابة.
لاستبعاد المتطفلين غير النزيهين ، كان من الضروري التحقق من مدى جودة المستخدم للتحدث مع البوت. للقيام بذلك ، أنشأنا مهمة منفصلة ، في إطارها يقرأ المؤدون الحوارات ويقيمون سلوك المستخدم ، أي مطلق النار من المهمة السابقة.
خلال الهاكاثون ، قامت الفرق بتحميل روبوتات الدردشة الخاصة بهم. خلال النهار ، اختبرهم المتكلمون ، وحسبوا الجودة وأبلغوا الفرق إلى الفرق ، وبعد ذلك قام المطورون بتحرير سلوك أنظمتهم.
في أربعة أيام ، تحسنت أنظمة الهاكاثون بشكل ملحوظ. في اليوم الأول ، كان لدى الروبوتات إجابات غير مناسبة ومكررة ؛ في اليوم الرابع ، أصبحت الإجابات أكثر ملاءمة وتفصيلاً. تعلمت الروبوتات ليس فقط للإجابة على الأسئلة ، ولكن أيضا لطرح الأسئلة الخاصة بهم.
مثال للحوار في اليوم الأول من هاكاثون:
في اليوم الرابع:
الإحصائيات: استمر التقييم 4 أيام ، وشارك فيه حوالي 200 متداول ، وتمت معالجة 1800 حوار. أنفقوا 180 دولارًا على المهمة الأولى ، و 15 دولارًا على المهمة الثانية. تبين أن النسبة المئوية لمربعات الحوار الصالحة أعلى مما كانت عليه عند العمل مع المتطوعين.
مهمة مهمة لمخترع الطائرة هي تعليمه استخراج معلومات حول الأشياء المحيطة من البيانات التي يتلقاها من أجهزة الاستشعار. أثناء الرحلة ، تسجل السيارة كل ما تراه حولها. يتم سكب هذه البيانات في السحابة ، حيث يتم إجراء التحليلات الأساسية ، ثم الانتقال إلى مرحلة ما بعد المعالجة ، والتي تتضمن الترميز. يتم إرسال البيانات المصنفة إلى خوارزميات التعلم الآلي ، ويتم إرجاع النتيجة إلى الجهاز ، وتكرر الدورة ، مما يحسن جودة التعرف على الكائنات.
تحتوي المدينة على الكثير من الأشياء المختلفة ، ويجب تمييزها جميعًا. تتطلب هذه المهمة مهارات معينة وتستغرق الكثير من الوقت ، وهناك حاجة إلى عشرات الآلاف من الصور لتدريب شبكة عصبية. يمكن أخذها من مجموعات البيانات المفتوحة ، ولكن يتم جمعها في الخارج ، لذلك لا تتوافق الصور مع الواقع الروسي. يمكنك شراء صور ذات علامات بسعر منخفض يصل إلى 4 دولارات ، ولكن الترميز في Tolok كان أرخص بنحو 10 مرات.
نظرًا لأنه في Tolok ، يمكنك تضمين أي واجهة ونقل البيانات عبر واجهة برمجة التطبيقات ، فقد أدرج المطورون محررهم المرئي الخاص بهم ، والذي يحتوي على طبقات ، وشفافية ، واختيار ، وتوسيع ، وتقسيم إلى فئات. أدى ذلك إلى زيادة سرعة وجودة الترميز عدة مرات.
بالإضافة إلى ذلك ، تسمح لك واجهة برمجة التطبيقات بتقسيم المهام تلقائيًا إلى مهام أبسط وجمع النتيجة من القطع. على سبيل المثال ، قبل وضع علامة على صورة ، يمكنك وضع علامة على الكائنات الموجودة عليها. سيعطي هذا فهمًا للفئات التي سيتم وضع علامة على الصورة عليها.
بعد ذلك ، يمكن تصنيف الأشياء الموجودة في الصورة. على سبيل المثال ، لتزويد الرماة بمجموعة مختارة من الصور حيث يوجد أشخاص ، واطلب منهم توضيح ما إذا كان هذا المشاة أو راكبي الدراجات أو راكبي الدراجات النارية أو شخص آخر.
عندما يكمل tolker الترميز ، يجب فحصه. للقيام بذلك ، يتم إنشاء مهام الاختبار التي يتم تقديمها لفناني الأداء الآخرين.
ليس فقط للمتداولين ، ولكن أيضًا الشبكات العصبية تشارك في وضع العلامات. لقد تعلم البعض منهم بالفعل للتعامل مع هذه المهمة ليس أسوأ من الناس. لكن جودة عملهم تحتاج أيضًا إلى تقييم. لذلك ، في المهام ، بالإضافة إلى الصور المميزة بالمتداولين ، يتم أيضًا وضع علامة على شبكة عصبية.
لذا يندمج Toloka مباشرةً في عملية التعلم للشبكات العصبية ويصبح جزءًا من خط الأنابيب في جميع تعلُم الآلة.
يستخدم Ozon تولوكا لإنشاء عينة مرجعية. هذا لأغراض عديدة.
• تقييم جودة محرك البحث الجديد.
• تحديد نموذج التصنيف الأكثر فعالية.
• تحسين جودة خوارزمية البحث باستخدام التعلم الآلي.
تم إجراء أول عينة اختبار يدويًا - حيث تلقينا 100 طلبًا ووضعنا عليها علامة بأنفسنا. حتى هذه العينة الصغيرة ساعدت في تحديد مشاكل البحث وتحديد معايير التقييم. أرادت الشركة إنشاء أداة خاصة بها لتقييم جودة البحث ، وتوظيف خبراء تقييم وتدريبهم ، لكن هذا سيستغرق الكثير من الوقت ، لذلك قررنا اختيار منصة جاهزة للتعهيد الجماعي.
كان التدريب أصعب مرحلة في إعداد المهمة للمتداولين - حتى موظفي الشركة لم يتمكنوا من إجراء أول مهمة اختبار. بعد أن تلقينا تعليقات من الفريق ، طورنا اختبارًا جديدًا: قمنا ببناء تدريب من المهام البسيطة إلى المهام المعقدة والمجمعة مع مراعاة الصفات المهمة للفنان للشركة.
للقضاء على الأخطاء ، أجرى Ozon اختبار تشغيل. كانت المهمة تتكون من ثلاث كتل - التدريب والتحكم بحد أدنى 60٪ من الإجابات الصحيحة والمهمة الرئيسية مع حد 80٪ من الإجابات الصحيحة. لتحسين نوعية العينة ، عرضت مهمة واحدة على خمسة فنانين.
إحصائيات تشغيل الاختبار: 350 مهمة في 40 دقيقة. كانت الميزانية 12 دولارًا. وحضر المرحلة الأولى 147 فناناً ، وتم تدريب 77 منهم ، وحصل 12 منهم على المهارة وأداء المهمة الرئيسية.
أصبح سيناريو الإطلاق الرئيسي أكثر تعقيدًا: لم يشارك فيه فقط الأشخاص المميزون الجدد ، ولكن أيضًا أولئك الذين حصلوا على المهارة اللازمة في مرحلة الاختبار. ذهب الأول على طول السلسلة القياسية ، وتم قبول الثاني على الفور في المهام الرئيسية. في الإطلاق الرئيسي ، تمت إضافة مهارات إضافية - النسبة المئوية للإجابات الصحيحة في العينة الرئيسية ورأي الأغلبية. وقد عرضت المهمة على خمسة فنانين.
إحصائيات الإطلاق الرئيسية: 40000 وظيفة في شهر واحد. وبلغت الميزانية 1150 دولار. جاء 1117 tolkers إلى المشروع ، و 18 حصلوا على المهارات ، و 6 تمكنوا من الوصول إلى أكبر تجمع رئيسي وتقييمه.
الآن وظيفة Ozon Tolok هي كما يلي:
يرى المقاول استعلام البحث و 9 منتجات من نتائج البحث. تتمثل مهمته في اختيار أحد التصنيفات - "مناسب" ، "غير مناسب" ، "مناسب للاستبدال" ، "إضافي" ، "لا يفتح". يساعد التقييم النهائي على تحديد المشكلات الفنية على الموقع. لمحاكاة سلوك المستخدم بأكبر قدر ممكن من الدقة ، قام المطورون من خلال iframe بإعادة إنشاء واجهة المتجر عبر الإنترنت.
بالتوازي مع إطلاق المهمة على Toloka ، تم تنفيذ ترميز استعلامات البحث باستخدام القواعد. كان التركيز على الاستفسارات الشعبية من أجل تحسين إصدارها في المقام الأول.
جعل ترميز القواعد من الممكن الحصول على البيانات بسرعة على عدد صغير من الاستعلامات وأظهر نتائج جيدة في أهم الاستعلامات. ولكن كانت هناك سلبيات أيضًا: لا يمكن تقدير الطلبات الغامضة من خلال القواعد ، فهناك الكثير من المواقف المثيرة للجدل. بالإضافة إلى ذلك ، كانت هذه الطريقة مكلفة للغاية على المدى الطويل.
يغطي الترميز بمساعدة الأشخاص هذه العيوب. في Tolok ، يمكنك جمع آراء عدد كبير من فناني الأداء ، ويكون التقييم أكثر تدرجًا ، مما يسمح لك بالعمل بشكل أعمق مع التسليم. بعد الإعداد الأولي ، تعمل المنصة بثبات وتعالج كميات كبيرة من البيانات.
آليات العمل اليدوي والذكاء الاصطناعي لا تعارض بعضها البعض. كلما تطور الذكاء الاصطناعي ، زادت الحاجة إلى العمل اليدوي لتدريبه. من ناحية أخرى ، كلما كانت الشبكات العصبية المدربة أفضل ، كلما زادت أتمتة المهام الروتينية ، مما أدى إلى إنقاذ شخص منها.
يمكن تقريبًا تقريبًا أي مهمة ، حتى ضخمة ، إلى العديد من المهام الصغيرة وبناءها على أساس التعهيد الجماعي. معظم المهام التي تم حلها في
Tolok هي الخطوة الأولى نحو نماذج التدريب والعمليات الأوتوماتيكية للبيانات التي يجمعها الأشخاص.
في المنشور التالي حول هذا الموضوع ، سنتحدث عن كيفية استخدام التعهيد الجماعي لتدريب أليس ، والإشراف على التعليقات وفرض القواعد في Yandex.Buses.