موضوع تحليل البيانات وعلوم البيانات يتطور بمعدل مذهل هذه الأيام. من أجل فهم أهمية أساليبها ومناهجها ، من الضروري مواكبة عمل الزملاء ، ومن الممكن في المؤتمرات الحصول على معلومات حول الاتجاهات الحديثة. لسوء الحظ ، لا يمكن زيارة جميع الأحداث ، وبالتالي فإن المقالات المتعلقة بالمؤتمرات السابقة تهم المتخصصين الذين لم يجدوا الوقت والفرصة للحضور الشخصي. يسرنا أن نقدم لكم ترجمة
لمقال Chip Huyen عن مؤتمر
ICLR 2019 حول الاتجاهات والمناهج المتطورة في مجال علوم البيانات.
تمثل "تمثيلات التعلم" مجموعة من الأساليب والتقنيات والمناهج التي تكتشف التمثيلات المطلوبة تلقائيًا لتحديد الميزات من البيانات الأولية. تحل عمليات تقديم التقديمات محل الاختراع اليدوي للميزات وتتيح لك دراسة الخصائص الأساسية للكائنات بناءً على سماتها واستخدامها لحل مشاكل محددة.
المقالة يعطي نظرة ذاتية على عدد من مشاكل الصناعة. ومع ذلك ، يأمل المرء أنه حتى المراجعة الذاتية ستوفر ما يكفي من الغذاء للتفكير لأحد المتخصصين المهتمين. كذلك سنناقش ما يلي:
- تثير الطرق الاصطناعية لتصحيح التركيبة الاجتماعية والديموغرافية للمؤتمر مجموعة من المشاعر في المجتمع: من السخط العدواني إلى الجهل الجبان. سيكون اختيار السلوك الأمثل في مثل هذه البيئة مهمة شيقة للمتخصص في نظرية اللعبة.
- تزداد شعبية الأعمال في مجال التمثيل وتعلم النقل وتسبب اهتمامًا كبيرًا من المجتمع.
- تستمر الشبكات العصبية التكرارية في فقدان شعبيتها بين الباحثين ، لكن في الممارسة العملية لن يتم التخلص منها قريبًا.
- تستمر منطقة GANs في التطور بسرعة ، على الرغم من أن جميع الباحثين لا يحبون هذه الحقيقة. يتم الكشف عن إمكانات شبكات GAN فقط ويمكن توقع عدد من الأعمال المثيرة للاهتمام في هذا الاتجاه في المستقبل القريب.
- يواصل التعلم المعزز إثارة عقول الباحثين ، ويبقى الموضوع الأكثر شعبية في المؤتمر. يقترب المتخصصون من إمكانية تطبيق أساليب RL على المهام الحقيقية ، والتي تفتقر إلى الأتباع في هذا المجال.
- والمثير للدهشة أنه لم يكن هناك اهتمام كبير في الآونة الأخيرة بالاستخدامات البيولوجية والجينية للتعلم الآلي. فرصة جيدة تفتح للباحثين الذين يبحثون عن موضوع لمزيد من النمو.
- لا تزال المقالات والمقالات المقبولة عمومًا حول الأساليب الرجعية قادرة على الوصول إلى المؤتمر ، ومع ذلك ، فإن المنافسة بينهم أعلى ويجب على الباحثين بذل المزيد من الجهود للحصول على نتائج مثيرة للاهتمام أكثر من الاتجاهات العصرية والشعبية. في ذلك الوقت ، فكر في حقيقة أن المواد اللازمة لتطبيق التعلم الآلي الكلاسيكي قد استنفدت.
يمكن الاطلاع على مراجعة مفصلة للمؤتمر من تشيب هيون أدناه.
1. الشمولية
أكد منظمو [
المؤتمر الدولي لممثلي التعلم 2019 - محرر] على أهمية الشمولية في مجال الذكاء الاصطناعي. أول خطابين رئيسيين - كلمة افتتاحية ألكساندر راش
والمتحدث الضيف سينثيا دفورك - كانت مكرسة للعدالة والمساواة.
بعض الإحصاءات المثيرة للقلق من ICLR 2019:
- النساء فقط 8.6 ٪ من المتحدثين و 15 ٪ من المشاركين ،
- 2/3 من جميع الباحثين في LGBTQ + لا يكشفون عن توجههم في العمل ،
- جميع المتحدثين المدعوين الثمانية ممثلون لسباق القوقاز.
لسوء الحظ [صاحبة البلاغ] ، فإن معظم الباحثين في مجال الذكاء الاصطناعي لا يهتمون مطلقًا بقضية المساواة. إذا كانت الندوات التي
تدور حول مواضيع أخرى مزدحمة ،
فإن ورشة عمل منظمة العفو الدولية من أجل الصالح الاجتماعي كانت فارغة إلى حد ما حتى ظهر Yoshua Benjio . خلال المحادثات العديدة التي أجريتها في ICLR ، لم يذكر أحد "التنوع". إحدى الحالات كانت استثناء: دعيت لحضور حدث فني غير مناسب ، فوجئت به بشدة ، وأجاب صديقي العزيز: "إجابة مهينة قليلاً: لقد دعيت لأنك امرأة."
سبب الحالة المرصودة هو أن موضوع التنوع ليس "تقنيًا" ، وبالتالي لن يساعد في تعزيز مهنة علمية. سبب آخر هو وجود رفض للدعاية الاجتماعية والعامة. نصحني أحد أصدقائي ذات يوم بعدم الانتباه إلى المتأنق الذي سرقني في دردشة جماعية ، لأنه "يحب أن يسخر من أشخاص يتحدثون عن المساواة والتنوع". لدي أصدقاء لا يحبون مناقشة التنوع على الإنترنت لأنهم لا يريدون أن يكونوا "مرتبطين بهذا الموضوع".
2. تمثيل التعلم ونقل التعلم
الغرض الرئيسي من تعلم التمثيل غير الخاضع للرقابة هو اكتشاف السمات في البيانات غير المخصصة المفيدة في المهام اللاحقة. في مجال معالجة اللغات الطبيعية ، غالبًا ما يتم التدريب على الأداء من خلال نمذجة اللغة. ثم يتم استخدام التمثيلات الناتجة لمهام مثل تحليل المشاعر والتعرف على الأسماء والترجمة الآلية.
تبدأ بعض دراسات الأداء غير المتعلقة
بالمدارس الأكثر أهمية في العام الماضي بـ
ELMo (Peters et al.) و
ULMFiT (Howard et al.) و
GPT OpenAI (Radford et al.) و
BERT. (Devlin et al.) وبطبيعة الحال ،
GPT-2 شديد الخطورة
(Radford et al.) .
تم عرض GPT-2 الكامل في ICLR ، إنه لأمر مدهش. يمكنك إدخال رسم تعسفي لبداية النص ، وسوف يكتب النموذج باقي المقالة. يمكن للنموذج كتابة مقالات إخبارية ، وخيال معجب ، ومقالات علمية ، وحتى تعاريف الكلمات الوهمية. حتى الآن ، لا تزال النتيجة غير إنسانية ، لكن الفريق يعمل بجد على GPT-3. إنني أتطلع إلى النظر في قدرات النموذج الجديد.
اعتمد نهج التعلم في مجال النقل بشكل أساسي من قبل مجتمع أخصائيي رؤية الكمبيوتر. ومع ذلك ، لا يزال التدريب على نموذج تصنيف ImageNet يجري في وضع تدريب المعلمين. والسؤال الذي يمكن سماعه باستمرار من ممثلي كلتا الطائفتين هو: "كيف نستخدم تدريبًا تقديميًا لغير المعلمين في العمل مع الصور؟"
على الرغم من أن معظم مختبرات الأبحاث المعروفة تعمل بالفعل على هذه المهمة ، فقد تم تقديم مقال واحد فقط بعنوان
"تحديث قواعد التعليم التلوي لتعليمات تقديم
غير المعلمين " في ICLR
(Metz et al.) بدلاً من تحديث الأوزان ، تقوم الخوارزمية بتحديث قاعدة التعلم. يتم بعد ذلك عرض طرق العرض التي تم الحصول عليها من قاعدة التعلم على عينة صغيرة من البيانات ذات العلامات في وضع تصنيف الصور. تمكن الباحثون من العثور على قواعد التعلم التي سمحت لهم بتحقيق دقة أكثر من 70 ٪ على MNIST و Fashion MNIST.
اكتشف المؤلفون
جزءًا من الكود ، ولكن ليس جميعًا ، لأنه "مرتبط بالحوسبة". تتطلب الدورة الخارجية حوالي 100 ألف خطوة تدريبية و 200 ساعة على 256 معالجات.
لدي شعور بأنه في المستقبل القريب سوف نرى الكثير من هذه الأعمال. من الممكن استخدام التدريس بدون معلم في مهام مثل
الترميز التلقائي والتنبؤ بتدوير الصورة (كانت
الوثيقة Gidaris et al. حققت نجاحًا في ICLR 2018) وتوقع الإطار التالي في مقطع فيديو وما إلى ذلك.
3. الرجعية ML
الأفكار في التعلم الآلي تشبه الموضة: فهي دورية. إن مشاهدة جلسة الملصقات الآن يشبه المشي في متحف تاريخي. حتى النقاش الذي طال انتظاره حول ICLR انتهى بنقاش حول قضية "priors vs structure" ، التي عادت
إلى مناقشة Yann LeKun و Christopher Manning العام الماضي وتشبه
النقاش المستمر منذ قرون بين دعاة نظرية بايز ونهج Freventy (التردد) إلى الاحتمالات.
تم إيقاف مشروع "تعلم اللغة المؤسس وفهمها" في مختبر معهد ماساتشوستس للتكنولوجيا وسائل الإعلام في عام 2001 ، ولكن هذا العام قدم تعليم اللغة أسس عملين ملفوفة في غلاف "التعلم التعزيز".
- DOM-Q-NET: خوارزمية RL على لغة مهيكلة (Jia et al.) - خوارزمية RL للتنقل في صفحات الويب من خلال النقر على الروابط وملء الحقول ، في حين يتم التعبير عن الغرض من التنقل بلغة طبيعية.
- BabyAI: منصة لدراسة كفاءة نموذج تعلم اللغة المستندة (Chevalier-Boisvert et al.) هي عبارة عن منصة متوافقة مع OpenAI Gym مع وكيل روبوت من صنع الإنسان يحاكي المعلم البشري الذي يساعد الوكلاء على تعلم لغة اصطناعية.
تم تلخيص أفكاري حول هاتين المادتين تمامًا بواسطة AnonReviewer4:
"... الأساليب المقترحة هنا تشبه إلى حد بعيد الطرق التي طالما تم بحثها في الأدبيات الخاصة بالتحليل الدلالي. يستشهد هذا العمل فقط بمقالات عن RL العميق. أعتقد أنه سيكون من المفيد جدًا للمؤلفين التعرف على هذا الأدب. أعتقد أن مجتمع التحليل الدلالي سوف يستفيد أيضًا من هذا ... لكن هاتين الطائفتين ، على ما يبدو ، لديهما اتصال قليل مع بعضهما البعض ، رغم أنهما في بعض الحالات يعملان على حل مشكلات متشابهة للغاية. "
وجدت DFA (Deterministic Finite Automata) أيضًا مكانها في عالم التعلم العميق هذا العام في مقالتين:
- تمثيل اللغات الرسمية: مقارنة بين الشبكات التلقائية المحدودة والشبكات العصبية المتكررة (ميخالينكو وآخرون) ،
- تعلم تمثيل الدول المحدودة لشبكات السياسات المتكررة (Koul et al.) .
الدافع الرئيسي لكلا العملين هو على النحو التالي: فيما يتعلق بالمساحة الهائلة للحالات الخفية في شبكات RNN ، هل من الممكن تقليل عدد الحالات إلى الحالة النهائية؟ أنا متشكك في أن DFA سيكون قادرًا على تمثيل RNN بشكل فعال في مشاكل اللغة ، لكني أحب فكرة تدريس RNN أثناء التدريب ، ثم تحويله إلى DFA للاستنتاجات المنطقية ، كما هو موضح في Koul et al. تتطلب العروض النهائية النهائية ثلاث حالات ذاكرة منفصلة و 10 ملاحظات فقط للعب كرة الطاولة. يساعد DFA أيضًا في تفسير RNN.
4. RNN يفقد شعبية بين الباحثين
عند النظر في جدول نمو المقالات حول مواضيع مختلفة في عام 2019 مقارنة بعام 2018 ، يصبح من الواضح أن RNN يتميز بأكبر انخفاض. هذا ليس مفاجئًا ، لأنه على الرغم من أن استخدام RNNs بديهي لأنواع البيانات التسلسلية ، فإنها تعاني من خلل خطير: لا يمكن موازنتها. وبالتالي ، من المستحيل الاستفادة من أهم عامل يحفز التقدم في البحث منذ عام 2012: القدرة الحاسوبية. لم تكن RNNs شائعة على الإطلاق في السيرة الذاتية أو RL ، ويتم استبدالها بنماذج مبنية على الاهتمام من NLP.
هل هذا يعني أن RNN قد مات؟ في الواقع ، لا. مقال "الخلايا العصبية المرتبة: دمج هياكل الأشجار في الشبكات العصبية المتكررة"
(شين وآخرون). حصل على واحدة من أعلى الجوائز هذا العام. بالإضافة إلى هذا والمقالين حول الأتمتة المذكورة أعلاه ، تمت مراجعة تسع أوراق RNN أخرى هذا العام ، معظمها تتعمق أكثر في الأسس الرياضية بدلاً من فتح إمكانيات جديدة.
تظل شبكات RNN مليئة بالحياة وتشكل محركًا في الصناعة ، خاصة بالنسبة للشركات التي تتعامل مع السلاسل الزمنية مثل الشركات التجارية. لسوء الحظ ، لا تنشر الشركات التجارية عادة تفاصيل أعمالها. حتى إذا لم تكن RNN جذابة للغاية للباحثين في الوقت الحالي ، فيمكنهم استعادة شعبيتها في المستقبل.
5. لا تزال GANs في المقدمة
على الرغم من حقيقة أن موضوع GAN في المقياس النسبي مقارنة بالعام السابق يظهر نموًا سلبيًا ، إلا أنه في الحجم المطلق زاد عدد الأعمال من 70 إلى 100 ~ تقريبًا.
ألقى إيان جودفيلو حديثًا عن GAN وكان دائمًا محاطًا بالجماهير. في اليوم الأخير ، اضطر إلى تسليم شارته حتى لا يتمكن الأشخاص من رؤية اسمه.
تم تخصيص جلسة الملصق الأولى بالكامل لشبكة GAN. هناك تصميمات جديدة لـ GAN ، وإدخال تحسينات على بنية GAN القديمة ، وتحليل GAN ، وتطبيقات GAN من إنشاء الصور إلى إنشاء النصوص وتوليف الصوت. هناك PATE-GAN و GANSynth و ProbGAN و InstaGAN و RelGAN و MisGAN و SPIGAN و LayoutGAN و KnockoffGAN وغيرها ، وليس لدي أي فكرة عما يعنيه ذلك. لسوء الحظ ،
دعا أندرو بروك نموذجه العملاق BigGAN ، وليس giGANtic :)
أظهرت جلسة الملصقات مدى انحياز المجتمع عندما يتعلق الأمر بـ GAN. تبدو بعض التعليقات التي سمعتها من معارضي GAN كما يلي: "لا يمكنني الانتظار حتى تهدأ كل هذه الضجة مع GAN ،" "عندما يذكر شخص ما مصطلح" الخصومة "، يتوقف ذهني فقط." في رأيي ، هم ببساطة حسود.
6. نقص الموضوعات البيولوجية في دراسة متعمقة
بالنظر إلى الإثارة الكبيرة التي يسببها الجمهور من خلال تحديد تسلسل الجينات في الحمض النووي ، وكذلك ظهور الأطفال الذين تم تعديلهم باستخدام تقنية كريسبر ، [كان] من المستغرب بالنسبة لي أنه لم يكن هناك زيادة في العمل على استخدام التعلم العميق في علم الأحياء على ICLR. كانت هناك ست مقالات حول هذا الموضوع.
اثنان حول قضايا العمارة المستعارة من علم الأحياء:
- يمكن لوغاريتمات التعلم المعقولة من الناحية البيولوجية توسيع نطاق مجموعات البيانات الكبيرة (Xiao et al.) ،
- نظرية موحدة للتمثيل البصري المبكر من شبكية العين إلى اللحاء من خلال شبكات سي إن إن المقيدة تشريحيا (ليندسي وآخرون).
وظيفة واحدة
في التدريب على تصميم RNA (Runge et al.) .
ثلاث وظائف لمعالجة البروتين:
- توطين البروتين على المستوى البشري مع الشبكات العصبية التلافيفية (Rumetshofer et al.) ،
- تعلم بنية البروتين باستخدام محاكي يمكن تمييزه (Ingraham et al.) ،
- تعلم حفلات تسلسل البروتين باستخدام معلومات من البنية (Bepler et al.).
لم تكن هناك مقالات حول موضوع الجينوم ، ولم تعقد أي ندوات. بغض النظر عن مدى الحزن الذي قد يبدو عليه هذا ، ومع ذلك ، فإن الفرص العظيمة تفتح أمام الباحثين في مجال التعليم العميق في علم الأحياء وعلماء الأحياء في التعليم العميق.
حقيقة واحدة:
جاك ليندساي ، أول مؤلف للمقالة المذكورة أعلاه عن بصمة الإصبع ، لم يتخرج بعد من كلية ستانفورد.
7. لا يزال التعلم المعزز هو الموضوع الأكثر شعبية.
توضح الأوراق المقدمة في المؤتمر أن مجتمع RL ينتقل من الأساليب الخالية من النماذج إلى الخوارزميات المستندة إلى النماذج مع خوارزميات فعالة لأخذ العينات والتعلم الفوقية. ربما كان هذا التحول بسبب النتائج المرتفعة للغاية على معايير Mujoco التي
وضعها TD3 (Fujimoto et al.، 2018) و
SAC (Haarnoja et al.، 2018) ، وكذلك على مساحة العمليات المنفصلة في Atari التي وضعتها
R2D2 (Kapturowski et al. ، ICLR 2019) .
الخوارزميات القائمة على النموذج في عملية التعلم على أساس البيانات المتاحة تحصل على نموذج بيئي وتستخدمه لتخطيط استراتيجيات الوكلاء في هذه البيئة أو لتوليد بيانات جديدة. حققت الخوارزميات المستندة إلى النماذج أخيرًا الدقة التقاربية لنظرائها الخالية من النماذج ، باستخدام بيانات أقل بمعدل 10-100 مرة
(MB-MPO (Rothfuss et al.) ). الميزة الجديدة تجعل الأساليب القائمة على النماذج مناسبة للمهام ذات المستوى الحقيقي من التعقيد. إذا كان لدى محاكي البيئة عيوب بعد التدريب ، وهو أمر محتمل للغاية ، فيمكن تعويض أوجه القصور الخاصة به باستخدام نماذج أكثر تعقيدًا ، مثل مجموعة المحاكاة
(Rajeswaran et al.) . هناك طريقة أخرى لاستخدام RL في حل المشكلات ذات المستوى الحقيقي من التعقيد وهي السماح للمحاكي بدعم مخططات التوزيع العشوائي المعقدة. يمكن للإستراتيجية التي تم الحصول عليها على مجموعة متنوعة من أجهزة المحاكاة البيئية أن تعتبر العالم الحقيقي "عشوائية أخرى" ويمكن أن تنجح في مهام ذات مستوى حقيقي من التعقيد
(OpenAI) .
كما تم تحسين خوارزميات التعلم التلوي التي تتيح لك الحصول على نقل سريع للتعلم إلى مهام جديدة سواء من حيث الأداء ومن حيث كفاءة العينة (
ProMP (Rothfuss et al.) ،
PEARL (Rakelly et al.) ). تقربنا هذه التحسينات من "ImageNet for RL moment" ، حيث يمكننا استخدام استراتيجيات القرار المستفادة من المهام الأخرى ، بدلاً من تدريبهم من نقطة الصفر (وهو أمر مستحيل بالنسبة للمهام المعقدة).
تم تخصيص جزء مثير للإعجاب من العمل المقبول ، إلى جانب حلقة دراسية حول الهيكل واحتمال مسبق في RL ، لدمج المعرفة البيئية في خوارزميات التعلم. إذا كانت إحدى نقاط القوة الرئيسية لخوارزميات RL العميقة المبكرة هي التعميم (على سبيل المثال ، تستخدم DQN نفس البنية لجميع ألعاب Atari ، دون معرفة أي شيء عن أي لعبة معينة) ، تستخدم الخوارزميات الجديدة الآن دمج المعرفة المسبقة لحل أكثر تعقيدًا المهام. على سبيل المثال ، في
شبكة النقل (Jakab et al.) ، يستخدم الوكيل معرفة مسبقة لإجراء أعمال استكشاف أكثر إفادة.
بإيجاز ، يمكننا القول أنه على مدار السنوات الخمس الماضية ، طور مجتمع RL العديد من الأدوات الفعالة لحل مشاكل التدريب التعزيز في الوضع الخالي من النماذج. حان الوقت الآن للتوصل إلى خوارزميات أكثر قابلية للنقل وعالية الكفاءة لتطبيق RL على المهام الواقعية.
إحدى الحقائق: سيرجي ليفين هو على الأرجح الشخص الأكثر عملًا في ICLR هذا العام ، على وجه الخصوص ، تم قبول 15 من مقالاته للنشر.
8. المواد المشتركة تتلاشى بسرعة في الخلفية
عندما سألت الباحث الشهير عن رأيه في العمل المقبول هذا العام ، سخر منه: "سيتم نسيان معظمهم بمجرد انتهاء المؤتمر". في مجال سريع الخطى مثل التعلم الآلي ، يتم دحض النتائج في غضون أسابيع ، إن لم يكن في أيام. ليس من المستغرب أن تكون معظم الأوراق المقبولة قد عفا عليها الزمن بالفعل وقت تقديمها. على سبيل المثال ، وفقًا لـ Borealis AI لـ ICLR 2018 ، "
تم دحض سبع مقالات من أصل ثماني مقالات حول الدفاع ضد الهجمات العدائية حتى قبل بدء ICLR ، وهذا يدل على أن الأساليب التجريبية دون أي أساس نظري أبعد ما تكون عن الموثوقية التي قد تبدو عليها. "
كثيرا ما سمعت تعليقات خلال المؤتمر ، مع الإشارة إلى المساهمة الملموسة للفرصة في قرار قبول / رفض العمل. لن اسم مقالات محددة ، ومع ذلك ، فقد تم رفض بعض من أكثر الأوراق التي نوقشت والأكثر استشهد في السنوات القليلة الماضية من قبل المؤتمرات على المشاركة الأولى. ومع ذلك ، فإن العديد من الأوراق المقبولة ستكون ذات صلة لسنوات ، دون حتى ذكرها.
باعتباري شخصًا يقوم بالبحث في هذا المجال ، غالبًا ما واجهت أزمة وجودية. أيا كانت الفكرة التي تأتي إلي ، يبدو أن شخصًا آخر يدرك هذا بالفعل ، وأفضل وأسرع. ما هي الفائدة من نشر مقال إذا كان لا أحد يحتاج إليها؟
استنتاج
بالطبع ، لا تزال هناك اتجاهات أود تغطيتها.
- التحسين والتنظيم: يستمر جدال آدم ضد SGD. تم اقتراح العديد من الأساليب الجديدة ، وبعضها مثير للغاية. يبدو أن كل مختبر يقوم في الوقت الحالي بتطوير أداة تحسين خاصة به - حتى أن فريقنا يعمل على تحسين مُحسّن جديد ، والذي يجب إصداره في المستقبل القريب.
- : , - . , , . , , GAN , .
, . ,
(55 ) . ICLR 2019 , , .
ICLR. , , , . . NeurIPS , : « , , ».
, , — , . , , . , . 10 10, [ICLR — .].
- , , , , . « » (Oleksii Hrinchuk)
بهذا تنتهي المقالة الأصلية. من جانب موظفينا في CleverDATA ، أود أن أتفق مع المؤلف على أن مؤتمرات التعلم الآلي توفر بالفعل حافزًا لمزيد من العمل ، وتسمح لك بمقارنة نتائجك والحصول على تعليقات احترافية من الزملاء. المشاركة في مثل هذه الفعاليات ضرورية للنمو المهني. معدل تطور علوم البيانات في تزايد ، والعمل عفا عليه الزمن حتى قبل لحظة عرضها في المؤتمر ، ومعظم العمل منسي بعد المؤتمر. تحتاج إلى الجري بأسرع وقت ممكن للبقاء في مكانك ، ولكن للوصول إلى مكان ما ، يجب عليك الجري مرتين على الأقل!