الفصول السابقة

مقارنة مع جودة الإنسان

33. لماذا تقارن مع مستوى الجودة المتاحة للإنسان

تهدف العديد من أنظمة التعلم الآلي إلى أتمتة المهام التي يؤديها الأشخاص بشكل جيد. ومن الأمثلة على ذلك التعرف على الصور والتعرف على الكلام وتصنيف البريد العشوائي في البريد الإلكتروني. لقد تحسنت خوارزميات التعلم كثيرًا بحيث تمكنت من تجاوز شخص في المزيد والمزيد من هذه المهام.

بالإضافة إلى ذلك ، هناك عدة أسباب تستند إلى تبسيط عملية بناء أنظمة التعلم الآلي إذا كنت تحاول أداء مهمة يمكن للناس القيام بها بشكل جيد:

1. مجرد علامة البيانات مع الملحقات. على سبيل المثال ، نظرًا لأن الأشخاص يتعرفون على صور القطط جيدًا ، فيمكن للمقيمين تحديد العينات اللازمة لتدريب الخوارزمية بدقة.
2. يمكن أن يستند تحليل الخطأ إلى الحدس البشري. لنفترض أن خوارزمية التعرف على الكلام تعمل بشكل أسوأ من أداء الشخص. على سبيل المثال ، تقوم الخوارزمية بفك تشفير الجزء بطريقة غير صحيحة وتعطي: "هذه الوصفة تتطلب مكتبًا تفاحيًا من المدرسة" ، مع الأخذ "زوجين" في "مكتب المدرسة". يمكنك استخدام حدس شخص ما ومحاولة فهم المعلومات التي يستخدمها الشخص للحصول على النسخ الصحيح ، ثم استخدام هذه المعلومات لتغيير خوارزمية التعلم.
3. يمكنك استخدام نوعية حل المشكلة من قبل الشخص كمرجع ، وكذلك تعيين "معدل الخطأ المطلوب". افترض أن جودة الخوارزمية عند تنفيذ مهمة قد وصلت إلى مستوى يتوافق مع 10 ٪ من الأخطاء ، وأن الشخص لا يرتكب سوى 2 ٪ من الأخطاء. ثم نعلم أن معدل الخطأ الأمثل لا يتجاوز 2٪ ، وأن التحيز الممكن تجنبه للخوارزمية هو 8٪ على الأقل. لذلك ، يجب علينا أن نحاول طرق للحد من التحيز.

على الرغم من أن النقطة 3 قد تبدو غير مهمة ، إلا أنني أعتقد أن وجود هدف معقول وقابل للتحقيق يساعد على تسريع تقدم الفريق. إدراك أن الخوارزمية بها تحيز كبير يمكن تجنبه مفيد بشكل لا يصدق ويقترح مجموعة من الطرق التي يمكنك محاولة تطبيقها.

هناك بعض المهام التي لا يمكن حتى للناس التعامل معها. على سبيل المثال ، اختر كتابًا لتوصي به ؛ أو حدد إعلانًا لعرضه على أحد المستخدمين على موقع ويب ؛ أو توقع الوضع في سوق الأوراق المالية. أجهزة الكمبيوتر تتجاوز بالفعل جودة حل هذه المشاكل من قبل معظم الناس. في هذه التطبيقات ، نواجه المشكلات التالية:

• من الأصعب الحصول على عينة مصنفة لخوارزميات التعلم. على سبيل المثال ، يجد المقيمون صعوبة في وضع قاعدة بيانات للمستخدم تشير إلى الكتاب "الأمثل" لكل منهم. إذا كان لديك موقع ويب أو تطبيق يبيع الكتب ، فيمكنك الحصول على بيانات ذات علامات تمييز من خلال إظهار كتب المستخدمين والإشارة إلى الكتب التي يشترونها. إذا كنت لا تستخدم هذا الموقع ، فأنت بحاجة إلى إيجاد طرق أكثر إبداعًا للحصول على البيانات.
• لا يمكن للمرء الاعتماد على الحدس البشري. على سبيل المثال ، لا يمكن لأحد أن يتنبأ بسلوك سوق الأسهم. لذلك ، إذا كانت خوارزمية تنبؤ أسعار الأسهم لدينا لا تعمل بشكل أفضل من الكهانة العشوائية ، فمن الصعب معرفة كيفية تحسينها.
• من الصعب فهم ما هو معدل الخطأ الأمثل ومعدل الخطأ المطلوب المعقول. لنفترض أن نظام توصية الكتاب الحالي يعمل بشكل جيد. كيف يمكن اكتشاف ذلك ، دون أن يكون لديك مستوى أساسي ("بشري") من الجودة وحصة مقابلة من الأخطاء ، إلى أي مدى يمكن تحسينه؟

أن تستمر