في يوم من الأيام ، سنكون قادرين على ارتداء النظارات - ونتجول في المدينة ، والتي يتم تقديمها في الوقت الحقيقي بالأسلوب الذي نحبه. ضوء الشمس أو الضباب الخفيف ، غروب الشمس في المساء ، أيا كان. مهما كانت العمارة مملة ، مع النظارات ستكون جميلة. يتم فتح إمكانيات العرض مع نقل الأنماط من خلال برنامج
Deep Photo Style Transfer المذهل ، والذي تم نشره في المجال العام ، بالإضافة إلى
العمل العلمي الذي يقوم عليه (arXiv: 1703.07511).
يعد نقل النمط من صورة إلى أخرى مشكلة قديمة حاول المطورون حلها بنجاح نسبيًا في الماضي. من خلال اختيار النموذج المناسب لنقل النمط ، يمكنك تحويل صورتك بشكل جميل - كما لو تم التقاطها في وقت آخر من اليوم ، تحت إضاءة مختلفة ، في طقس مختلف أو بطريقة خاصة ، معالجتها فنياً. حتى الآن ، كانت تقنيات نقل الأنماط باستخدام الشبكات العصبية محدودة نسبيًا - إما أنها يمكن أن تعمل فقط مع مشاهد معينة ، أو معقولية أنماط النقل التي عانت. حاول مؤلفو البرنامج الجديد
Deep Photo Style Transfer حل جميع هذه المشاكل.
تم بناء شبكة Deep Photo Style Transfer للشبكة العصبية وفقًا لتقنية نقل النمط العصبي التي وصفها
Gatis ، ولكن تم إعادة تصميمها وتحسينها بشكل ملحوظ. التحسين الرئيسي هو الصورة الواقعية. جاتيس حتى إذا كانت الصورة الأصلية والعينة هي صور فوتوغرافية ، فإن الصورة النهائية لا تزال تشبه صورة حيث تصبح الخطوط والحدود الواضحة ضبابية ويتم تركيب القوام على الكائنات المجاورة. تبدو جميلة ، لكنها ليست حقيقية للغاية.
مساحة اللون فقط
نتيجة Deep Style Style Transfer هي صور واقعية للغاية. تم القضاء على "آثار الطلاء" بسبب حظر التشويه المكاني. هنا ، يقتصر نقل الأنماط فقط على مساحة اللون. بمعنى آخر ، تظل أشكال الكائنات كما هي بالضبط في الأصل. ولهذا السبب ستصبح في المستقبل "النقاط" التي تم ذكرها في بداية المقالة ممكنة. ستحتفظ جميع الأشياء في الواقع المحيط بشكلها ، وسوف تبدو فقط بأسلوب مختلف.
حقق المؤلفون هذه المهمة باستخدام طبقة محددة من الشبكة العصبية بروح
مصفوفة Kirchhoff (مصفوفة Laplacian) - تمثل الرسم البياني في شكل مصفوفة. كما يتضح من التحقق في الصور الفوتوغرافية بمختلف المشاهد ، فإن هذا النهج يكبح التشويه بنجاح ، بينما يمارس في نفس الوقت الحد الأدنى من التأثير على صحة الصور.
يتجلى المبدأ الأكثر وضوحا في مثالين مختارين خصيصا.
كما ترون ، يتم الحفاظ على حدود الأشياء بشكل واضح. يتم التحويل فقط في مساحة اللون. في الحالة الأولى ، يتم نقل نمط النار إلى زجاجة العطر ، وفي الحالة الثانية ، يتغير نسيج التفاح وفقًا للنمط.
التجزئة الدلالي
الإنجاز الثاني لمؤلفي البرنامج هو حل مشكلة نقل النمط بين الأشياء غير الملائمة في الصورة الأصلية وعينة النمط. يتم ذلك من خلال التجزئة الدلالية. لذلك ، يتم نقل أنماط المنزل فقط بين المنازل ، ويؤثر نمط السماء على السماء فقط. في كثير من الحالات ، يعمل التجزئة الدلالي بكفاءة عالية ، شريطة أن يكون لعينة النمط نفس الكائنات الدلالية كما في الصورة الأصلية.
قدم اثنان من الأساليب المذكورة أعلاه تحويل صور واقعي للغاية.
الأصل
نمط النمط
الصورة النهائية
هنا بعض الأمثلة الأخرى.
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
الأصل
نمط النمط
الصورة النهائية
لا يمكن تحديد جودة هذه الخوارزمية إلا من خلال مسح للمستخدمين الذين يقيمون الواقعية الواقعية وموثوقية انتقال النمط. سيتم إجراء مثل هذا المسح. وأوضح أنه من حيث الواقعية الواقعية ، فإن Deep Deep Style Transfer تفوق بشكل كبير التطورات التي تم تقديمها مسبقًا من خلال النمط العصبي و CNNMRF ، ولكنها أقل شأناً
من نظام عرض
الألوان Pete . إن موثوقية نقل النمط Deep Photo Style Transfer أفضل بكثير من الطرق الأخرى.
يعتزم مؤلفو العمل العلمي مواصلة البحث من أجل التغلب على القيود الموجودة على تجزئة الصورة. كما يفكرون في معالجة الصور في الوقت الفعلي باستخدام شبكة عصبية مدربة مسبقًا واعدة.