ارسم ما تبقى من البومة على أساس الشبكات العصبية

تم تحقيق فكرة إكمال بومة من الدوائر بمساعدة الشبكات العصبية.



استنادًا إلى التعلم الآلي والشبكة العصبية ، ابتكر المطور كريستوفر هيس خدمة عبر الإنترنت يمكنها "رسم" الرسومات للصور الملونة الكاملة.

يقدم الموقع http://affinelayer.com/pixsrv/index.html كريستوفر هيس شبكة عصبية يمكنها إنهاء القطط.

المستخدم مدعو لرسم رسم للقط في النافذة اليسرى ، انقر على "معالجة" وانظر كيف ترسم الشبكة العصبية الرسم التوضيحي. تعرض الصفحة مثل هذا المثال الجميل:



من الواضح أنه كلما تم استخدام المزيد من الخطوط في الرسم وكلما كان الرسم يبدو مثل قطة من مجموعة تدريب ، كلما كانت الشبكة العصبية أفضل في إنشاء رسم كامل بناءً على ذلك.

هذا ما يكتبه المؤلف نفسه:

في الآونة الأخيرة ، قمت بإنشاء منفذ Tensorflow pix2pix على Isola et al ، الذي تمت مناقشته في المقالة ترجمة صورة إلى صورة في Tensorflow . أخذت بعض النماذج التي تم إنشاؤها مسبقًا وقمت بإنشاء صفحة ويب تفاعلية للاختبار. يوصى باستخدام متصفح Chrome للعرض.
يعمل نموذج pix2pix من خلال التدريب على أزواج من الصور ، مثل رسم تخطيطي لواجهة المبنى وصورة كاملة لواجهات المبنى ، ثم يحاول إنشاء صورة الإخراج المناسبة لأي صورة يتم إدخالها. تنبع هذه الفكرة من مقال pix2pix الموصى به للقراءة.

الواجهات
تم تدريب النموذج على عينات من اسكتشات واجهات المباني إلى صور كاملة للواجهات. من غير المحتمل أن يعمل هذا النموذج على الرسومات مع مساحة فارغة كبيرة ، ولكن إذا قمت برسم عدد كافٍ من النوافذ في الرسم ، فغالبًا ما يعطي النموذج نتائج جيدة. في الصورة التخطيطية ، يتم رسم عناصر الواجهة بمستطيلات ملونة للإشارة ليس فقط إلى الحدود ، ولكن أيضًا إلى العناصر بأكملها.

لم يكن لدي اسم الأجزاء المختلفة من واجهات المبنى ، لذلك قمت بتعيينها تقريبًا.

القطط
تم التدريب على ما يقرب من 2000 صورة للقطط والرسومات مع حدود تم إنشاؤها تلقائيًا لهذه الصور. يخلق النموذج صورًا ملونة للقطط من الرسومات ، لكن بعض النتائج الكابوسية. رأيت واحدة من هذه هنا .
بعض الصور تبدو زاحفة بشكل خاص ، على ما أعتقد ، لأن القطط لم ترسم بشكل صحيح ، خاصة من وراء العينين. لم يكن إجراء التوليد التلقائي للحدود عالي الجودة للغاية ، وفي كثير من الحالات لم يكشف عن عيون القط ، مما يؤثر على جودة قاعدة بيانات الصور المعدة لتدريب النموذج.

الحواف
تم إجراء التدريب على أساس ما يقرب من 50 ألف صورة للأحذية التي تم جمعها من Zappos ، وكذلك مع حدود الخطوط التي تم إنشاؤها تلقائيًا لهذه الصور. إذا كنت ترسم حدود الحذاء جيدًا ، فيمكنك تجربة تصميم جديد. ضع في اعتبارك أن النموذج تم تدريبه على كائنات حقيقية ، لذلك إذا كان بإمكانك رسم رسم ثلاثي الأبعاد أفضل ، فستبدو النتيجة أفضل.

حواف 2 حقائب اليد
قياسا على تلك السابقة ، تم إجراء التدريب على أساس ما يقرب من 137 ألف صورة من الحقائب التي تم جمعها من أمازون ، مع حدود خارجية يتم إنشاؤها تلقائيًا لهذه الصور. إذا قمت برسم حذاء هنا بدلاً من حقيبة يد ، فستحصل على نسيج حذاء غريب للغاية.

التنفيذ
تم تنفيذ التدريب على النماذج وتصديرها باستخدام البرنامج النصي pix2pix.py من pix2pix-tensorflow . يتم إجراء عرض توضيحي تفاعلي على أساس JavaScript باستخدام Canvas API ، الذي يتفاعل مع خادم ينقل صور Tensorflow. يمكن للخادم بدء Tensorflow نفسه أو إعادة توجيه الطلبات إلى خدمات Tensorflow Cloud Cloud Google.
تتوفر نماذج مدربة في قسم مجموعات البيانات في GitHub. يجب أن تكون النماذج التي تأتي مع تنفيذ pix2pix الأصلي متاحة أيضًا. يمكن تصدير النماذج من الأمثلة المدربة باستخدام البرنامج النصي pix2pix.py والروابط إلى النماذج المصدرة في ملف README على خادم GitHub.
تم الحصول على حدود لصور القطط باستخدام خوارزمية اكتشاف الحواف المتداخلة شموليًا وتمت إضافة هذه الوظيفة إلى البرنامج النصي process.py وتمت إضافة التبعيات المقابلة إلى صورة Docker .