تقوم إحدى الفرش بإزالة / إضافة الأشجار ، والأخرى - من الأشخاص ، إلخ.تقوم شبكات التنافس العامة (GANs) بإنشاء صور واقعية مذهلة ، غالبًا ما لا يمكن تمييزها عن الصور الحقيقية. منذ اختراع هذه الشبكات في عام 2014 ، تم إجراء الكثير من الأبحاث في هذا المجال وتم إنشاء عدد من التطبيقات ، بما في ذلك
لمعالجة الصور والتنبؤ بالفيديو . تم تطوير العديد من متغيرات GAN ، ولا تزال التجارب جارية.
على الرغم من هذا النجاح الهائل ، لا تزال هناك أسئلة كثيرة. ليس من الواضح ما هي بالضبط الأسباب وراء هذه التحف غير الواقعية الرهيبة ، ما هو الحد الأدنى من المعرفة اللازمة لإنشاء كائنات محددة ، لماذا يعمل متغير GAN أفضل من الآخر ، ما الاختلافات الأساسية التي يتم ترميزها في موازينها؟ لفهم الإجراءات الداخلية لشبكة GAN بشكل أفضل ، طور باحثون من معهد ماساتشوستس للتكنولوجيا و MIT-IBM Watson AI و IBM Research إطار عمل
GANDissection وبرنامج
GANpaint ، وهو محرر رسوم بيانية على شبكة
خصومات عام .
يرافق العمل
مقالة علمية تشرح بالتفصيل وظيفة الإطار وتناقش الأسئلة التي يحاول الباحثون إيجاد إجابات عنها. على وجه الخصوص ، يحاولون دراسة
التمثيلات الداخلية لشبكات التنافسية التوليدية. يجب أن يساعد "الهيكل التحليلي لتصور GAN وفهمها على مستوى الوحدات والأشياء والمشاهد" ، أي إطار GANDissection.
من خلال طريقة تقسيم الصورة إلى أجزاء (تشريح الشبكة المستند إلى التجزئة) ، يحدد النظام مجموعات من "الوحدات التي يتم تفسيرها" والتي ترتبط ارتباطًا وثيقًا بمفاهيم الكائنات. ثم يتم إجراء تقييم كمي للأسباب التي تسبب تغييرات في الوحدات التي تم تفسيرها. يتم ذلك "عن طريق قياس قدرة التدخلات على التحكم في الأشياء عند الخروج". ببساطة ، يدرس الباحثون العلاقة السياقية بين كائنات محددة وبيئتها من خلال إدخال الكائنات المكتشفة في صور جديدة.
يوضح إطار تشريح GAN أن الخلايا العصبية المحددة في GAN يتم تدريبها اعتمادًا على نوع المشهد الذي يتعلم رسمه: على سبيل المثال ، تظهر الخلايا العصبية ذات السترات الواقية عند دراسة قاعات المؤتمرات ، وتظهر الخلايا العصبية ذات اللوحة عند رسم المطابخللتأكد من أن مجموعات الخلايا العصبية تتحكم في رسم الكائنات ، وليس فقط الارتباط ، يتدخل الإطار في الشبكة وينشط الخلايا العصبية وتنشطها مباشرة. هذه هي الطريقة التي يعمل بها المحرر الرسومي GANpaint - هذا عرض مرئي للإطار التحليلي.
يقوم GANpaint بتنشيط وإلغاء تنشيط الخلايا العصبية في شبكة مدربة على إنشاء الصور. يتوافق كل زر في اللوحة اليسرى مع مجموعة من 20 خلية عصبية. سبعة أزرار فقط:
- شجرة
- العشب
- الباب
- السماء
- سحابة
- قرميد
- القبة.
يمكن لـ GANpaint إضافة أو إزالة هذه الكائنات.
عن طريق التبديل بين الخلايا العصبية مباشرة ، يمكنك مراقبة هيكل العالم المرئي الذي تعلمته الشبكة العصبية.
عند دراسة نتائج عمل شبكات التنافسية التوليدية الأخرى ، قد يسأل شخص خارجي سؤالاً: هل تنشئ GAN حقًا صورة جديدة أم أنها تشكل مجرد مشهد من الأشياء التي قابلتها أثناء التدريب؟ ربما تتذكر الشبكة الصور ثم تقوم بتشغيلها بنفس الطريقة؟ يقول الباحثون إن هذا العمل البحثي ومحرر GANpaint يظهر أن الشبكات قد تعلمت بالفعل بعض جوانب التكوين.
أحد الاكتشافات المثيرة للاهتمام هو أن الخلايا العصبية نفسها تتحكم في فئة معينة من الكائنات في سياقات مختلفة ، حتى لو كان المظهر النهائي للكائن يختلف اختلافًا كبيرًا. يمكن لنفس الخلايا العصبية التحول إلى مفهوم "الباب" بغض النظر عما إذا كنت بحاجة إلى إضافة باب ثقيل على جدار حجري كبير أو باب صغير على كوخ صغير. يفهم GAN أيضًا متى ومتى لا يمكن إنشاء الكائنات. على سبيل المثال ، عندما يتم تنشيط الخلايا العصبية الباب ، يظهر الباب حقا في المكان المناسب في المبنى. ولكن إذا فعلت الشيء نفسه في السماء أو على شجرة ، فعادةً ما يكون لهذه المحاولة أي تأثير.
تم نشر المقال العلمي
"تشريح GAN: تصور وفهم شبكات الخصومة التوليدية" في 26 نوفمبر 2018 على موقع ما قبل الطباعة arXiv.org (arXiv: 1811.10597v2).
يتم نشر عروض توضيحية تفاعلية ومقاطع فيديو ورمز وبيانات
على Github وعلى
موقع MIT الإلكتروني .