جلست بهدوء في حلقة دراسية ، واستمعت إلى تقرير أحد الطلاب عن مقال من CVPR الماضي ، وجوجل الموضوع في نفس الوقت.

- تشمل مزايا المقال توافر شفرة المصدر ....
اضطررت للتدخل:
- وجود ما ، عفوا؟
- اه ... شفرة المصدر ...
"هل شاهدت ذلك؟"
- لا ، ولكن المقال ينص على ...
~~(الأم والدة ... وردد عادة)~~
follow هل اتبعت الرابط؟

هذا المقال مكتوب بشكل مشجع للغاية: "الكود والنموذج متاحان للجمهور على صفحة المشروع ... / imtqy.com / ..." ، ومع ذلك ، في الالتزام قبل عامين ، سيتم وضع رابط "الكود والنموذج الملهما" قريبًا " :

البحث والعثور ، طرق وفتح ... ربما ... أو ربما لا. بناءً على تجربتي المحزنة ، أود أن أضعها في المرتبة الثانية ، حيث إن الموقف قد تكرر مؤخرًا ، أوه ، كثيرًا. حتى على CVPR. وهذا ليس سوى جزء من المشكلة! يمكن أن تكون المصادر متاحة ، ولكن ، على سبيل المثال ، نموذج فقط ، بدون برامج نصية للتدريب. وقد يكون هناك نصوص تعليمية ، لكن لعدة أشهر مع رسائل إلى المؤلفين ، من المستحيل الحصول على نفس النتيجة. أو ، لمدة عام على مجموعة بيانات أخرى مع مكالمات سكايب العادية ، لا يستطيع مؤلف في الولايات المتحدة الأمريكية إنتاج نتيجته ، التي تم الحصول عليها في المختبر الأكثر شهرة في الصناعة حول هذا الموضوع ... نوع من Tryndets.

وعلى ما يبدو ، حتى الآن نرى الزهور فقط. في المستقبل القريب ، سوف يتدهور الوضع بشكل كبير.

من يهتم ~~بما حدث للطالب~~ حيث يتجه العالم العلمي ، بما في ذلك من خلال "خطأ" التعلم العميق ، مرحبًا بك في القط!

استنساخ الأزمة

في عام 2016 ، هل هناك أزمة لإعادة التصنيع؟ (هل هناك أزمة استنساخ الآن)؟ ، التي استشهدت بنتائج استطلاع شمل 1576 باحثًا:

المصدر: هذا والرسوم البيانية التالية في هذا القسم هي مقال في الطبيعة.

وفقًا لنتائج الاستطلاع ، يعتقد 52٪ من الباحثين أن هناك أزمة كبيرة ، 38٪ - أزمة خفيفة (إجمالي 90٪ في المجموع!) ، 3٪ - أنه لا توجد أزمة و 7٪ - لم يتم تحديدها.
النسخة التآمرية للمؤلف - بالنظر إلى حجم الكارثة ، فإن الأخيرة ببساطة لا تريد لفت الانتباه "المفرط" إلى السؤال:

إذا نظرت إلى التخصصات ، اتضح أن الكيمياء في المقام الأول ، والبيولوجيا في المرتبة الثانية ، والفيزياء في المرتبة الثالثة:

ومن المثير للاهتمام ، في الكيمياء ، على سبيل المثال ، وجد أكثر من 60 ٪ من الباحثين أنه من المستحيل إعادة إنتاج أبحاثهم الخاصة. في الفيزياء ، هذه هي أيضا أكثر من 50 ٪.

كما أنه من المثير للاهتمام للغاية ما الذي يمثله بالضبط من وجهة نظر الباحثين أكبر مساهمة في أزمة عدم الإنتاجية:

في المقام الأول هو "التقارير الانتقائية". بالنسبة لعلوم الكمبيوتر ، هذا هو الموقف الذي يختار فيه المؤلف ، على سبيل المثال ، أفضل الأمثلة للنشر التي تعمل عليها الخوارزمية ، ولا يصف بالتفصيل أين وما لا يعمل.

ومن المثير للاهتمام ، والثاني هو "الضغط للنشر". هذا مبدأ معروف جيدًا هو "النشر أو الهلاك". مقال في ويكيبيديا باللغة الإنجليزية يصف المشكلة جيدًا. لا يوجد مقال في ويكيبيديا الروسية حول هذا الموضوع ، على الرغم من أنه في الأماكن ذات الأجر المرتفع للعمل العلمي ، تصبح المشكلة ذات صلة. على سبيل المثال ، في إحدى الجامعات الكبرى التي تتلقى راتبًا جيدًا (للأسف ، لا أتحدث عن جامعة موسكو الحكومية الأصلية) ، تعد درجات المنشورات عالية الأهمية لإعادة التأهيل ، وإذا كنت ترغب في مواصلة العمل ، فيرجى النشر. جثة ، فزاعة ، أيا كان ، ولكن بحيث كانت النقاط.

لاحظ أيضًا أن "الطرق ، الكود غير متوفر" أمر شائع في 45٪ من الحالات ، وفي بعض الأحيان 82٪. حسنًا ، يشار إلى الاحتيال المباشر كسبب في 40٪ من الحالات ، أي في كثير من الأحيان. لقد تحدثت مؤخرًا مع أستاذ صيني يعمل في مجال خوارزميات ضغط الفيديو. وقال إن هناك الكثير من المقالات داخل الصين تزويرها بوعي ، بل أصبحت مجرد آفة. يتم رفض المنشورات الأجنبية المزيفة بسرعة هناك ، لذلك تحاول الامتثال ، ولكن يتم إنشاء كابوس في الداخل (انظر ، على سبيل المثال ، مقال "نشر أو هلك في الصين" في الطبيعة). كابوس ، بما في ذلك للسبب التالي في قائمة "مراجعة النظراء غير الكافية" - لا توجد قوة كافية للمراجعة الشاملة عالية الجودة.

مشكلة كبيرة منفصلة ، سوف أذكرها بإيجاز فقط: إذا تعذر إعادة إنتاج النتيجة ، فمن المستحيل نشر مقال حول هذا الأمر ...

الجميع مهتم بإنجازات جديدة وإسهامات جديدة وأفكار جديدة وما هو قديم لا يعمل - ما الفرق الذي يحدثه. هذا بطبيعة الحال يزيد من حصة نتائج غير قابلة للإنتاج ، بما في ذلك الاحتيال المتعمد. على الأرجح ، لن يفهم أحد ، الأمر غير مقبول. من الواضح أنه عندما يبدأ الآخرون في الاعتماد على نتيجة وهمية واحدة ، يصبح النظام بأكمله غير مستقر ، مما يؤثر في النهاية على الجميع:

الرهانات الخاصة بك - هل لديك الوقت لتفادي أو سحقه؟

المجموع:

وفقًا لمسح شمل 1،576 باحثًا نُشر في مجلة Nature ، يعتقد 52٪ أن هناك الآن أزمة استنساخ كبيرة ، و 90٪ يوافقون على وجود مثل هذه الأزمة.
علاوة على ذلك ، لا يزال الوضع الحالي يزدهر وسرعان ما سيكون كل شيء أسوأ ، خاصة في علوم الكمبيوتر. لماذا؟ اكتشف الآن.

استنساخ في علوم الكمبيوتر

في جامعة ولاية أريزونا (التي ، بالمناسبة ، أكبر مرتين من جامعة موسكو الحكومية من حيث عدد الطلاب) ، تم إنشاء موقع خاص http://repeatability.cs.arizona.edu/ في قسم المبرمجين المخصص لدراسة استنساخ نتائجهم في 601 مقالة من المجلات و ACM المؤتمرات. وكانت النتيجة هي الصورة التالية:

المصدر: التكرار في علوم الكمبيوتر

لم يتحققوا من 106 مقال لأنهم لا يريدون انتهاك نقاء التجربة (كتبوا إلى المؤلفين وطلبوا الكود) ، في ما تبقى:

في 93 مادة (19٪) لا يوجد كود ، أو كان هناك أجهزة لا يمكن مقارنتها ،
في 176 مقالة (35 ٪) ، لم يقدم المؤلفون رمزًا ،
في 226 مادة (46٪) كان الكود ، في 9 (2٪) لم يكن من الممكن جمعها ، وفي 87 (64 + 23) مقالاً (18٪) استغرق الأمر أكثر من نصف ساعة لحل مشاكل تجميع المشروع (في 23 حالة تم حل المشاكل فشل ، ولكن المؤلف أكد أن "بذل المزيد من الجهود" كان كل شيء قد تجمع).

يجب أن أقول أنه في تجربتنا بعد التجمع ، الأكثر إثارة للاهتمام هو مجرد بداية فقط ، ولكن في الدراسة قرروا التوقف في هذه المرحلة ، ومع الكثير منهم يمكنك أن تفهم. على أي حال ، فإن الإحصاءات تكشف كثيرًا ، و 35٪ من حالات الرفض لتوفير الرمز قريبة جدًا من السطر "الأساليب ، الكود غير متوفر" للدراسة السابقة (الرسم البياني الثالث).

بشكل عام ، يتم حفر الموضوع بشكل جيد. على وجه الخصوص ، "المعيار الذهبي" هو توفر الكود والبيانات التي يسهل عليها تكرار النتيجة بالكامل ، والأسوأ هو تقديم المقالات فقط:

المصدر: تصور وقياس ودراسة استنساخ

لماذا يحدث هذا؟

هناك عدة أسباب ، مثل أي ظاهرة معقدة:

في الغرب ، فإن "النشر أو الهلاك" المذكور أعلاه له تأثير كبير. في الندوات وورش العمل ، يتم توجيه طلاب الدراسات العليا الشباب بجدية وبدون أي لبس - "لقد جاءت فكرة ، أولاً ، قم بنشرها! وعندها فقط تحقق! "(من قال الوحشية؟ الواقع القاسي ، أيها السادة!) الأولوية في العلوم مهمة حقًا (بما في ذلك الاقتباس السيئ السمعة) ، لذلك ، عندما تأتي فكرة مثيرة للاهتمام ، يتم نشرها أولاً (مع بيانات مزيفة أحيانًا) ، في بعض الأحيان لا) وعندها فقط يبدأون في برمجة شيء لفترة طويلة بشكل مؤلم ، وغالبًا ما يقومون بسحب بومة على الكرة الأرضية. يبدو أن المقالة التي تم الاستشهاد بها كمثال أول في بداية هذا النص ليست سوى واحدة من تلك (الشبكات العصبية المهلوسة ... أتساءل عما يدخنون؟ ولكن الأمر يتعلق بـ CVPR!). والنتيجة هي وجود حيوان فروي أبيض يعاني من زيادة الوزن ، حيث يستمر الوضع في التدهور:

تقليديًا ، تمنح الدولة نصف أموال البحث (في مكان أكثر ، في مكان أقل). وأموال الحكومة تثير جنون النشر (عند النشر ، فقط للنشر). يأتي النصف الآخر من الأموال من الشركات ، وتتحدث الشركات بوضوح عن قيود النشر. كانت إحدى الشركات الكورية الشعبية ، التي عرضت على العلماء الروس العمل ، وفقًا للتعبير المناسب لزميل ، "للخرز" معروفة بشكل خاص ~~بظروفها الزنوجية~~ في المعاهد والجامعات. نعم ، لقد كسروا السوق الآن في مجال الشبكات العصبية في سباق الرواتب ، ولكن بشكل عام ، فإن أول ما يقدم عقدًا رهيبًا هو الهوية المؤسسية لهذه الشركات الآسيوية. وعندما لا يُسمح بنشر مقال مكتوب جيدًا ، ثم نشر مقال آخر ، وأكثر من ذلك - فهو يثبط من قوة ذلك بالطبع. هذا ، حتى بعد بضع سنوات ، لا ينسى.

ونتيجة لذلك ، فإن النتيجة تذهب إلى براءات الاختراع مع الحد الأدنى من المقالات. من المثير للاهتمام أنني تحدثت مع زملاء من فنلندا والولايات المتحدة وفرنسا وما إلى ذلك. هناك الكثير من الناس يجلسون بإحكام على المنح ، لكن أولئك الذين لديهم العديد من الشركات لا ينشرون جميع النتائج ، وإذا نشروا ، فإنهم يحدون بطريقة أو بأخرى (من الناحية الثقافية) وصف المنهج ، مما يعقد الاستنساخ بشكل طبيعي. لهذا وقد تم بالفعل دفعت.

المجموع:

حتى بعد الطلبات العاجلة ، يتم إرسال الرمز في أكثر من 46 ٪ من الحالات (بالمناسبة ، اقرأ الدراسة ، وهناك أمثلة مثيرة للاهتمام من "الأعذار" ، في تجربتنا بالضبط هذه ترسل أساسا).
يحفز نظام تمويل العلوم نفسه إما نشر نتائج لم يتم التحقق منها في أسرع وقت ممكن ، أو يقيد المنشورات ، بما في ذلك من حيث الكشف الكامل. في كلتا الحالتين ، يقلل التكاثر.

لماذا التعلم الآلي يجعل الأمور أسوأ

لكن هذا ليس كل شيء! في الآونة الأخيرة ، انتشر التعلم الآلي بشكل عام والشبكات العصبية بشكل خاص. هذا رائع. انها تعمل بذهول. أمس المستحيل تماما يصبح ممكنا اليوم! مجرد نوع من عطلة! إلى هذا الحد؟

لا. أضافت الشبكات العصبية علوم الكمبيوتر جولة جديدة من الانغماس في هاوية عدم الإنتاجية.

فيما يلي مثال بسيط: يبدو أنه يشبه وظيفة الفقد لـ ResNet-56 دون تخطي الاتصالات (تصور بضع معلمات من عدة عشرات الملايين). مهمتنا لعدد معقول من التكرارات (العصور) هي العثور على أعمق نقطة:

المصدر: تصور المشهد الفقد للشبكات العصبية

يمكنك أن ترى بوضوح بحر الحد الأدنى المحلي ، والذي ينحدر به بفرحة تدرجنا بفرح و "لا يمكن" الخروج من هناك. نعم ، من الواضح أنه بالنسبة لـ ResNet ، يتم استخدام هذا المثال كتوضيح ممتاز ، يتم توفيره من خلال تخطي الاتصالات (بعد إدخال تحسين التعلم عبر الشبكة بشكل كبير):

لأنه شيء واحد هو محاولة إيجاد حد أدنى في منظر طبيعي معقد (فقط البعد العام الباهظ لمساحة البحث يساعد) ، وهو شيء آخر تمامًا أن نرى حدًا عالميًا يسهل العثور عليه نسبياً مع التدرجات.

القصة جميلة ، ولكن في واقعنا القاسي مع وجود عدد كبير من الطبقات مرارًا وتكرارًا ، علينا مواجهة حقيقة أن الشبكة لا تتعلم. عموما.

والأكثر إثارة للاهتمام - من الممكن في وقت ما تدريبه (ينخفض الخطأ بشكل حاد) ، ولكن بعد مرور بعض الوقت ، عند محاولة إعادة إنتاج النتيجة من نقطة الصفر (على سبيل المثال ، عند فقد هذه المعاملات) ، لا يمكن تكرار التركيز ، وهناك رحلة مؤلمة واضحة للشبكة في المسافة من الحد الأدنى. مئات العصور تنجح بعضها البعض ، والعربة لا تزال في مكانها. لا تخرج زهرة الحجر من دانيلا السيد.

كان من الصعب إلى حد ما تخيل موقف لا يمكن فيه للباحث إنتاج نتائجه الخاصة في علوم الكمبيوتر. أصبح اليوم أمرًا شائعًا ، كما كان منذ فترة طويلة في الفيزياء والكيمياء والبيولوجيا والمزيد في القائمة. مع الشبكات العصبية ، أصبح علوم الكمبيوتر فجأة علمًا تجريبيًا! مرحبا بكم في هذا العالم الرائع. الآن ستواجه بشكل متزايد عدم القدرة على إعادة إنتاج النتائج الخاصة بك (مثل 64 ٪ من الكيميائيين ، 60 ٪ من علماء الأحياء ، انظر الرسم البياني الثاني من هذه المقالة).

ولكن هذا ليس كل أفراح. سيكون أكثر متعة!

بشكل عام ، لبعض الوقت كنت متشككًا جدًا بشأن الشبكات العصبية ، لأن الخوارزميات القائمة عليها لم تنجح. حسنًا ... لقد عملوا بطريقة ما ، بالطبع ، لكنهم فقدوا عينات كبيرة من الخوارزميات الحديثة "الكلاسيكية" (التي لم تمنعهم من النشر على نطاق واسع). حدث هذا لأن الشبكات العصبية مريحة للغاية لجميع أنواع الاحتيال. الشيء الرئيسي هو اختيار عينة تدريب بشكل صحيح للحصول على أمثلة ويمكنك إظهار المعجزات بشكل طبيعي. اتضح صور جميلة (وأحيانا رسومات جميلة) ، والمقال سارت الامور بشكل جيد. يمكنك حتى وضع الكود (يبدو أنه أصبح من المألوف) ، وهذا لا يغير الجوهر. إنه لا يعمل. ولكن عندما يلوح في الأفق ذراع PoP الحمراء الكبيرة ذات المنقار الحاد الكبير ... فإن هذا المقال هو شكل من أشكال التين ويذهب للطباعة.

مشكلة رئيسية منفصلة هي المناطق التي لا توجد فيها عينات تدريب كبيرة. الزملاء من الطب يشكون - كابوس كامل يحدث. لقد تم جمع مجموعات البيانات لسنوات. وهناك حتى عشرات الآلاف من الأمثلة. لكن طلاب الدراسات العليا مع الشبكات العصبية العميقة تأتي. figak figak وتغلب الجميع ... وسيم! عمالقة العلم! ومع وجوه مشرقة سعيدة الإبلاغ عن النتائج. يطلب منهم:
- ماذا فعلت لمنع التحايل؟
- لماذا اسف؟
- لماذا لا يكون لديك تدريب؟

ويحكي الرجل على محمل الجد كيف أخذ الشبكة الصحيحة وقام بتدريبها بدقة وفقا لدليل التدريب ، وبالتالي كل شيء على ما يرام معه. أي الشباب (على نطاق واسع!) لا يفهمون ما هو إعادة التدريب! ليست واحدة ، ولا اثنتين ، ولكن مجرد حصة ملحوظة من تقارير الدراسات العليا. ها هي ، موجة جديدة من الشباب الثوري الشبكة العصبية. نتذكر البروفيسور Preobrazhensky ، ونحن تنهد بشدة حول الأمية التقليدية للثوار الشباب. نستخلص النتائج.

لكن هذا صحيح. في ITIS 2019 الأخيرة ، قدم ميخائيل بيلييف أمثلة رائعة عن كيفية وصول هذا النهج إلى الإنتاج الطبي! في الشركات الحقيقية التي تقدم التحليل باستخدام الشبكات العصبية ، اجتازوا اختبارات التحكم وتلقوا نتائج حزينة بشكل غير متوقع. والسبب هو أن المستثمرين شعروا أيضًا بالثورة ، وإذا وعد شخص ما بآفاق جديدة بناءً على الشبكات العصبية ، فإنهم يقدمون له المال ( حذر أناتولي ليفنشوك الثاقبة من هذا الأمر حتى عام 2015 ، أي بعد نصف عام من اختراع المؤشر ، وقبل نصف عام من ResNet ، عندما العديد من الطبقات لا تزال سيئة التدريب). ودفع لك ذلك ، أيها السادة الأعزاء! ونعم ، سيكون من الأفضل تجربة الفئران أولاً ، لكن الفئران ، كما قال أحد المتهكمين المألوفين ، ليس لديها محافظ! لذلك ، يتم الآن جمع بيانات التدريب (معبرًا عنها ثقافيًا) بأموال المستهلك ، أي على أموالك. الناس ، كن يقظا!

من الواضح أنه ليس الشبكات العصبية هي المسؤولة. السؤال الكبير هو كيفية الحصول على كمية كافية من البيانات المجاورة ، وتثبيتها على عينة صغيرة ، وتجنب النسيان الكارثي ، وهذا كل شيء. لكن ، حتى لو كان لديك باحثون أكفاء ، فسوف يستغرق الأمر بعض الوقت. والمستثمر يريد نتيجة هنا وأمس . لذلك ، فرحت بموجة نجاح الشبكات العصبية؟
نحصل على رغوة كبيرة من موجة كبيرة ، عندما جر الطرق غير العملية في الواقع تصفح الأمواج الكبيرة للاستخدام الحقيقي. دفع الفاتورة ، من فضلك!

المجموع: الشبكات العصبية تدهور الوضع في علوم الكمبيوتر في ثلاثة مجالات:

من خلال تدريب الشبكات العصبية ، يصبح CS of the science علمًا تجريبيًا مع كل العيوب التي تلته.
إن ملاءمة نموذج التدريب للاختبار يسمح لك بإظهار أي نتيجة رائعة بشكل تعسفي (مما يؤدي إلى تفاقم السبب الرئيسي لعدم قابلية الإنتاج - الإبلاغ الانتقائي).
وأخيراً ، في المناطق التي تكون فيها عينات التدريب صغيرة ، من الصعب للغاية تجنب إعادة التدريب ، حيث لا يعرف الكثيرون كيفية اللحاق والعمل (بشكل رسمي ، تكون النتيجة ممتازة في مجموعة البيانات ، ولكن في الواقع لا تعمل الخوارزمية).

ما الذي يمكن عمله؟

إذا كنت (شخصًا سعيدًا!) تعمل في مناطق محفورة جيدًا ، فغالبًا ما يكون كل العمل هو إعداد مجموعات البيانات وإطعامها للشبكات. ما لم يكن الأمر يستحق مشاهدة البنيات. في هذه الحالة ، لا معنى لمشاهدة المقالات بدون كود. وهذه عطلة حقيقية! اشعر بالسعادة ، ليس كل شخص محظوظ!

حتى أن هناك موقعًا مثل PapersWithCode.com ، والذي في مجال التعلم الآلي يجمع المقالات عن قصد ، يقوم تلقائيًا بتوزيع تصنيف مستودعاتهم من GitHub ، ويسرد كل شيء حسب الفئة ويضيف معايير ومجموعات بيانات. بشكل عام - كل شيء للناس! بالمناسبة ، وفقًا لحساباتهم ، أصبح الكود متاحًا الآن فقط لـ 17-19٪ من المقالات:

المصدر: النسبة المئوية للأوراق المنشورة التي تحتوي على تنفيذ كود واحد على الأقل

لكنهم إذا انصرفنا لثانية واحدة (وما زلنا نعلن عن هؤلاء الأشخاص المناسبين) ، فهناك جدول ممتع للغاية لتغيير شعبية أطر عمل ML / DL خلال السنوات الأربع الماضية:

المصدر: تطبيقات ورقة مجمعة حسب الإطار

الشعلة على الحصان ، TF (الذي كان يعتقد في الآونة الأخيرة!) يفقد الأرض. ومع ذلك ، هذه قصة مختلفة ...

من التجربة ، من الواضح أن هذه المقالات من 17 إلى 20٪ من التعليمات البرمجية أيضًا (للأسباب الموضحة) ليست كل شيء سحريًا ، لكن على الأقل يمكنك التحقق من عملهم بترتيب أسرع. وهذا رائع.

وصفة أخرى تعمل حقًا هي إنشاء مجموعات بيانات ومعايير كبيرة إلى حد ما. بدأ ظهور الشبكات العصبية دون جدوى مع ImageNet مع 14 مليون صورة ، مقسمة إلى 20،000+ الطبقات. نعم ، هذا صعب ، لكن مع التعلم العميق ، يمكنك العمل فقط مع مجموعات كبيرة حقًا . حتى لو كان خلقهم مؤلمًا وصعبًا.

على سبيل المثال ، منذ بعض الوقت أنشأنا معيارًا لتسليط الضوء على الأشياء الشفافة في مقطع فيديو (الصوف والشعر والأقمشة والدخان وغيرها من أفراح الحياة غير التافهة). في البداية ، كان من المخطط أن تبقي في الداخل عندما تم إنشاؤه في 3 أشهر. تم العثور على محركات مؤازرة ، وشاشة ، وكاميرا جيدة ~~، وشراء شريط كهربائي أزرق ، وتم~~ طلب مليون لعبة لينة من جميع أصدقاء الفتيات ، وتم العثور على عارضة أزياء ذات شعر حقيقي يقوم مصففو الشعر بتدريب تصفيف الشعر. و ...

المصدر: مواد المؤلف ... الشريط الكهربائي الأزرق ، كما يمكن رؤيته بوضوح ، يلعب دورًا رئيسيًا في الدعم

كل شيء (لا ، ليس كذلك ... كل شيء!) ذهب خطأ. , ( ), ( ), ( , ). .. إلخ ( ), , . , ! , - , , .

— . , . , , , (. , 25 Kaggle).

المجموع: