NeurIPS (
نظم معالجة المعلومات العصبية ) هو أكبر مؤتمر في العالم حول التعلم الآلي والذكاء الاصطناعي والحدث الرئيسي في عالم التعلم العميق.
في العقد الجديد ، هل سيتقن مهندسو DS أيضًا علم الأحياء واللغويات وعلم النفس؟ سوف نقول في مراجعتنا.
هذا العام ، جمع المؤتمر أكثر من 13500 شخص من 80 دولة في فانكوفر (كندا). ليست هذه هي السنة الأولى التي يمثل فيها سبيربنك روسيا في المؤتمر - تحدث فريق DS عن إدخال ML في العمليات المصرفية ، ومنافسة ML وقدرات منصة DS Sberbank. ما هي الاتجاهات الرئيسية لعام 2019 في مجتمع ML؟ يقول المشاركون في المؤتمر:
أندريه تشيرتوك وتاتيانا شافرينا .
هذا العام ، تم قبول أكثر من 1400 مقالة في NeurIPS - الخوارزميات والنماذج الجديدة والتطبيقات الجديدة للبيانات الجديدة.
رابط لجميع الموادالمحتويات:
- اتجاهات
- نموذج التفسير
- التخصصات
- منطق
- RL
- GAN
- المحادثات الرئيسية المدعوة
- "الذكاء الاجتماعي" ، Blaise Aguera y Arcas (Google)
- "علم البيانات الواقعية" ، بن يو (بيركلي)
- "نمذجة سلوك الإنسان مع التعلم الآلي: الفرص والتحديات" ، نوريا م أوليفر ، ألبرت علي صلاح
- "من النظام 1 إلى النظام 2 التعلم العميق" ، يوشوا بنجو
اتجاهات 2019
1. نموذج التفسير ومنهجية ML الجديدةالموضوع الرئيسي للمؤتمر هو التفسير وإثبات لماذا نحصل على هذه النتائج أو تلك. يمكنك التحدث لفترة طويلة عن الأهمية الفلسفية لتفسير "الصندوق الأسود" ، ولكن كان هناك المزيد من الأساليب والتطورات التقنية الحقيقية في هذا المجال.
منهجية استنساخ النماذج واستخراج المعرفة منها هي مجموعة أدوات جديدة للعلوم. يمكن أن تعمل النماذج كأداة لاكتساب معرفة جديدة واختبارها ، وينبغي أن تكون كل مرحلة من مراحل المعالجة المسبقة والتدريب وتطبيق النموذج قابلة للتكرار.
تكرس نسبة كبيرة من المنشورات ليس لبناء نماذج وأدوات ، ولكن لمشكلات ضمان الأمن والشفافية والتحقق من النتائج. على وجه الخصوص ، ظهر دفق منفصل حول الهجمات على النموذج (الهجمات العدائية) ، ويتم النظر في خيارات الهجمات على التدريب والهجمات على التطبيقات.
مقالات:
يعرض ExBert.net تفسير النموذج لمهام معالجة النصوص
2. متعدد التخصصاتلضمان تحقق موثوق وتطوير آليات لاختبار المعرفة وتجديدها ، نحتاج إلى متخصصين من المجالات ذات الصلة والذين لديهم في نفس الوقت كفاءات في ML وفي مجال الموضوع (الطب واللغويات وعلم الأعصاب والتعليم وغيرها). وتجدر الإشارة بوجه خاص إلى الوجود الأكثر أهمية للأعمال والعروض التقديمية حول علوم الأعصاب والعلوم المعرفية - هناك تقارب بين المتخصصين والأفكار المستعارة.
بالإضافة إلى هذا التقارب ، يتم التخطيط متعدد التخصصات في المعالجة المشتركة للمعلومات من مصادر مختلفة: النص والصور والنصوص والألعاب وقواعد بيانات الرسم البياني + النص والصور.
مقالات:
يلعب نموذجان - أحد الاستراتيجيين والأداء - استنادًا إلى RL و NLP ، استراتيجية عبر الإنترنت3. المنطقتقوية الذكاء الاصطناعي - حركة نحو أنظمة التعلم الذاتي ، "واعية" ، التفكير والحجج (التفكير). على وجه الخصوص ، يتطور الاستدلال السببي والتفكير المنطقي. يتم تخصيص جزء من التقارير للتعلم التلوي (كيفية تعلم التعلم) والجمع بين تقنيات DL مع منطق الترتيب الأول والثاني - يصبح مصطلح الذكاء العام الاصطناعي (AGI) مصطلحًا شائعًا في خطابات المتحدثين.
مقالات:
4. تعزيز التعلمتستمر معظم الأعمال في تطوير المناطق التقليدية في RL - DOTA2 ، Starcraft ، حيث تجمع بين البنى مع رؤية الكمبيوتر و NLP وقواعد بيانات الرسم البياني.
تم تخصيص يوم منفصل من المؤتمر لورشة العمل RL ، التي قدمت بنية النموذج الناقد للممثل المتفوق ، متجاوزة جميع النماذج السابقة ، وخاصةً Soft Softoror Critic.
مقالات:
لاعبو StarCraft يقاتلون Alphastar (DeepMind)5. قانلا تزال الشبكات الفرعية محور الاهتمام: تستخدم العديد من الأعمال شبكات GAN الفانوية للبراهين الرياضية ، وتطبقها أيضًا في إصدارات جديدة غير معتادة (نماذج بيانية عامة ، تعمل مع سلاسل ، تطبيقات لإحداث العلاقات في البيانات والتأثير عليها ، إلخ).
مقالات:
منذ أن تم
الانتهاء من العمل أكثر من
1400 أدناه ، سنتحدث عن أهم العروض.
المحادثات المدعوة
"الذكاء الاجتماعي" ، Blaise Aguera y Arcas (Google)
صلةالشرائح ومقاطع الفيديوهذا التقرير مخصص لمنهجية التعلم الآلي العامة والآفاق التي تغير الصناعة الآن - ما هي مفترق الطرق التي نواجهها؟ كيف يعمل الدماغ والتطور ، ولماذا نستخدم القليل جدًا بحيث نعرف بالفعل جيدًا عن تطور النظم الطبيعية؟
يتزامن التطور الصناعي لـ ML إلى حد كبير مع معالم تطور Google ، التي تنشر بحثها على NeurIPS من سنة إلى أخرى:
- 1997 - إطلاق قدرات البحث ، الخوادم الأولى ، قوة الحوسبة الصغيرة
- 2010 - أطلق Jeff Dean مشروع Google Brain ، وهو طفرة في الشبكة العصبية في البداية
- 2015 - التنفيذ الصناعي للشبكات العصبية ، التعرف على الوجوه بسرعة مباشرة على الجهاز المحلي ، معالجات منخفضة المستوى شحذها بواسطة الحوسبة التينسور - TPU. جوجل تطلق Coral ai - وهو تناظرية التوت بي ، كمبيوتر صغير لإدخال الشبكات العصبية في المنشآت التجريبية
- 2017 - تبدأ Google في تطوير التدريب اللامركزي والجمع بين نتائج تدريب الشبكات العصبية من أجهزة مختلفة إلى نموذج واحد - على Android
اليوم ، تهتم صناعة بأكملها بأمان البيانات ، والجمع بين نتائج التعلم وإعادة إنتاجها على الأجهزة المحلية.
التعلم الموحد - اتجاه ML الذي تدرس فيه النماذج الفردية بشكل مستقل ، ثم يتم دمجها في نموذج واحد (دون تركيز البيانات المصدر) ، مع ضبطها للأحداث النادرة ، والشذوذ ، والتخصيص ، إلخ. جميع أجهزة أندرويد هي في الأساس حاسوب فائق للحوسبة لجوجل.
تعد النماذج التوليفية القائمة على التعلم الفدرالي مجالًا واعداً في المستقبل ، وفقًا لشركة Google ، والتي "في المراحل المبكرة من النمو الأسي" وفقًا لما ذكره المحاضر ، فإن شبكات GAN قادرة على تعلم كيفية إنتاج السلوك الشامل لعشائر الكائنات الحية ، خوارزميات التفكير.
باستخدام اثنين من أبعاد GAN البسيطة كمثال ، يتضح أنه في داخلها يتم البحث عن مسار التحسين في دائرة ، مما يعني أن التحسين لا يحدث على هذا النحو. علاوة على ذلك ، نجحت هذه النماذج في تصميم التجارب التي أجراها علماء الأحياء على المجموعات البكتيرية ، مما أجبرهم على تعلم استراتيجيات جديدة للسلوك بحثًا عن الغذاء. يمكننا أن نستنتج أن الحياة تعمل بشكل مختلف عن وظيفة التحسين.
تجول الأمثل جانكل ما نقوم به في إطار التعلم الآلي الآن هو مهام ضيقة وذات طابع رسمي للغاية ، في حين أن هذه الإجراءات سيئة التعميم ولا تتوافق مع معرفتنا بالموضوع في مجالات مثل الفيزيولوجيا العصبية والبيولوجيا.
إن ما يستحق حقًا الاقتراض من مجال الفيزيولوجيا العصبية في المستقبل القريب هو البنية الجديدة للخلايا العصبية وتنقيح بسيط لآليات انتشار الظهر للخطأ.
الدماغ البشري نفسه لا يتعلم كيفية استخدام الشبكة العصبية:
- ليس لديه أي شخص تمهيدي أولي عشوائي ، بما في ذلك تلك التي وضعت من خلال الحواس والطفولة
- لديه اتجاهات ثابتة للنمو الغريزي (الرغبة في تعلم لغة من وضع رضيع ، وضع مستقيم)
تعلم الدماغ الفردي هو مهمة منخفضة المستوى ، ربما ينبغي لنا أن ننظر في "مستعمرات" الأفراد المتغيرة بسرعة ، ونقل المعرفة إلى بعضهم البعض من أجل إعادة إنتاج آليات تطور المجموعة.
ماذا يمكننا أن نأخذ في خوارزميات ML الآن:
- طبق نماذج سلالات الخلايا التي توفر التدريب للسكان ، ولكن العمر القصير للفرد ("الدماغ الفردي")
- بضع طلقات التعلم على بعض الأمثلة
- هياكل الخلايا العصبية أكثر تعقيدا ، وظائف التنشيط مختلفة قليلا
- تمرير "الجينوم" إلى الأجيال القادمة - خوارزمية الانتشار الخلفي
- بمجرد توصيل الفيزيولوجيا العصبية والشبكات العصبية ، سوف نتعلم كيفية بناء دماغ متعدد الوظائف من العديد من المكونات.
من وجهة النظر هذه ، تعتبر ممارسة حلول SOTA ضارة ويجب مراجعتها من أجل تطوير مهام مشتركة (علامات مرجعية).
"علم البيانات الواقعية" ، بن يو (بيركلي)
أشرطة الفيديو والشرائحيكرس التقرير لمشكلة تفسير نماذج التعلم الآلي ومنهجية التحقق والتحقق المباشر. يمكن أن ينظر إلى أي نموذج ML المدربين كمصدر للمعرفة التي تحتاج إلى استخراج منه.
في العديد من المجالات ، لا سيما في الطب ، يكون تطبيق النموذج مستحيلًا دون استخراج هذه المعرفة المخفية وتفسير نتائج النموذج - وإلا فلن نكون متأكدين من أن النتائج ستكون مستقرة وغير عشوائية وموثوقة ولن تقتل المريض. يتطور الاتجاه العام لمنهجية العمل داخل نموذج التعلم العميق ويتجاوز حدوده - علم البيانات الواقعي. ما هذا
نريد تحقيق جودة المنشورات العلمية واستنساخ النماذج بحيث تكون:
- قابل للتنبؤ
- محسوب
- مستقر
هذه المبادئ الثلاثة تشكل أساس المنهجية الجديدة. كيف يمكن اختبار نماذج ML مقابل هذه المعايير؟ أسهل طريقة هي بناء نماذج قابلة للتفسير على الفور (الانحدارات ، أشجار القرار). ومع ذلك ، نريد الحصول على مزايا فورية للتعلم العميق.
عدة طرق موجودة للتعامل مع المشكلة:
- تفسير النموذج
- استخدام الأساليب القائمة على الاهتمام
- استخدام مجموعات الخوارزميات للتدريب ، والتأكد من أن النماذج الخطية القابلة للتفسير تتعلم التنبؤ بنفس الإجابات مثل الشبكة العصبية ، وتفسير الميزات من نموذج خطي ؛
- تغيير وزيادة بيانات التدريب. ويشمل ذلك إضافة الضوضاء والتداخل وزيادة البيانات ؛
- أي طرق تتأكد من أن نتائج النموذج ليست عشوائية ولا تعتمد على تداخل صغير غير مرغوب فيه (هجمات عدائية) ؛
- تفسير نموذج ما بعد الوقوع بعد التدريب ؛
- دراسة الأوزان علامة بطرق مختلفة.
- دراسة احتمالات جميع الفرضيات ، وتوزيع الطبقات.
هجوم عدائي على خنزيرأخطاء النمذجة مكلفة للجميع: مثال حي - عمل رينهارت وروغوف "
النمو في زمن الديون " أثر على السياسات الاقتصادية للعديد من البلدان الأوروبية وأجبرهم على اتباع سياسة ادخار ، لكن التدقيق الدقيق في البيانات وبعد سنوات المعالجة أظهرت النتيجة العكسية!
أي تقنية ML لها دورة حياة خاصة بها من التنفيذ إلى التنفيذ. تتمثل مهمة المنهجية الجديدة في التحقق من ثلاثة مبادئ أساسية في كل مرحلة من مراحل حياة النموذج.
النتائج:
- يتم تطوير العديد من المشاريع لمساعدة نموذج ML في أن يكون أكثر موثوقية. هذا ، على سبيل المثال ، deeptune (رابط إلى: github.com/ChrisCummins/paper-end2end-dl) ؛
- لمزيد من التطوير للمنهجية ، من الضروري تحسين جودة المنشورات في مجال ML ؛
- يحتاج التعلم الآلي إلى قادة يتمتعون بتدريب متعدد التخصصات وخبرات في المجالين التقني والإنساني.
"نمذجة سلوك الإنسان مع التعلم الآلي: الفرص والتحديات" نوريا م أوليفر ، ألبرت علي صلاح
محاضرة عن نمذجة السلوك البشري وأسسه التكنولوجية وآفاق التطبيق.
نمذجة السلوك البشري يمكن تقسيمها إلى:
- السلوك الفردي
- سلوك مجموعة صغيرة
- السلوك الجماعي
يمكن تصميم كل نوع من هذه الأنواع باستخدام ML ، ولكن بمعلومات وميزات إدخال مختلفة تمامًا. لكل نوع أيضًا مشكلات أخلاقية خاصة به يمر بها كل مشروع:
- السلوك الفردي - سرقة الهوية ، deepfake ؛
- سلوك مجموعات من الأشخاص - تحديد الهوية ، الحصول على معلومات حول الحركات ، والمكالمات الهاتفية ، وما إلى ذلك ؛
السلوك الفرديإلى حد كبير ، موضوع رؤية الكمبيوتر - التعرف على المشاعر الإنسانية ، ردود أفعاله. هذا ممكن فقط في السياق ، في الوقت المناسب أو على نطاق نسبي من تباين المشاعر. على الشريحة ، يتم التعرف على مشاعر الموناليزا باستخدام السياق من الطيف العاطفي للمرأة المتوسطية. النتيجة: ابتسامة فرحة ، ولكن بازدراء واشمئزاز. السبب على الأرجح في الطريقة التقنية لتحديد المشاعر "المحايدة".
سلوك مجموعة صغيرةحتى الآن ، الأسوأ على غرار بسبب نقص المعلومات. تم عرض أعمال 2018 - 2019 كمثال. على العشرات من الأشخاص X العشرات من مقاطع الفيديو (راجع مجموعات بيانات الصور 100 كيلو ++). للحصول على أفضل محاكاة في هذه المهمة ، يلزم توفر معلومات متعددة الوسائط ، ويفضل أن يكون ذلك من المستشعرات إلى مقياس الارتفاع عن بُعد ومقياس الحرارة وتسجيل الميكروفون وما إلى ذلك.
السلوك الجماهيريأكثر المناطق تطوراً ، حيث أن العميل هو الأمم المتحدة والعديد من الدول. كاميرات المراقبة في الهواء الطلق ، والبيانات من أبراج الهاتف - الفواتير ، والرسائل النصية القصيرة ، والمكالمات ، وبيانات الحركة بين حدود الدول - كل هذا يعطي فكرة موثوقة للغاية عن حركة تدفق الناس ، من عدم الاستقرار الاجتماعي. التطبيقات المحتملة للتكنولوجيا: تحسين عمليات الإنقاذ والمساعدة والإجلاء في الوقت المناسب للسكان في حالة الطوارئ. النماذج المستخدمة يتم تفسيرها بشكل سيء في الغالب حتى الآن - هذه هي LSTMs المختلفة والشبكات التلافيفية. كانت هناك ملاحظة مختصرة مفادها أن الأمم المتحدة تضغط من أجل قانون جديد يلزم الشركات الأوروبية بمشاركة البيانات مجهولة المصدر اللازمة لأي بحث.
"من النظام 1 إلى النظام 2 التعلم العميق" ، يوشوا بنجو
عرض الشرائحفي محاضرة لـ Joshua ، يلتقي التعلم العميق Benjio بعلم الأعصاب على مستوى تحديد الأهداف.
يحدد بنجيو نوعين رئيسيين من المهام وفقًا لمنهجية الحائز على جائزة نوبل ، دانييل كانيمان (كتاب "
فكر ببطء ، حل سريعًا ")
النوع 1 - النظام 1 ، الإجراءات اللاواعية التي نقوم بها "على الجهاز" (الدماغ القديم): قيادة سيارة في أماكن مألوفة ، والمشي ، والتعرف على الوجوه.
النوع 2 - النظام 2 ، الإجراءات الواعية (القشرة الدماغية) ، تحديد الأهداف ، التحليل ، التفكير ، المهام المركبة.
لا تصل الذكاء الاصطناعى إلى مستويات كافية حتى الآن إلا في مهام من النوع الأول - بينما مهمتنا هي الوصول بها إلى النوع الثاني ، بعد أن تعلمت كيفية إجراء عمليات متعددة التخصصات والعمل بمهارات منطقية رفيعة المستوى.
لتحقيق هذا الهدف ، يقترح:
- استخدام الانتباه كآلية رئيسية لنمذجة التفكير في مهام البرمجة اللغوية العصبية
- استخدم التعلم التلوي والتعلم التمثيلي لنمذجة أفضل للعلامات التي تؤثر على الوعي وتوطينها - وبناءً عليها ، انتقل إلى العمل بمفاهيم المستوى الأعلى.
بدلاً من الاستنتاج ، نترك إدخال الحديث المدعو: Benjio هو واحد من العديد من العلماء الذين يحاولون توسيع مجال ML بعد مشاكل التحسين ، SOTA والمعماريات الجديدة.
يبقى السؤال مفتوحًا إلى أي مدى مزيج من مشاكل الوعي وتأثير اللغة على التفكير وعلم الأحياء العصبي والخوارزميات هو ما ينتظرنا في المستقبل وسيسمح لنا بالانتقال إلى آلات "تفكر" مثل الناس.
شكرا لك