Pix2pix का उपयोग करके स्नैपचैट के लिए लेंस बनाएं

मेरे पिछले लेख में लगभग एक ही शीर्षक है, एकमात्र अंतर यह है कि मैंने स्नैपचैट के लिए लेंस को dlib और openCV का उपयोग करके बनाया है, और आज मैं यह दिखाना चाहता हूं कि आप मशीन लर्निंग का उपयोग करके परिणाम कैसे प्राप्त कर सकते हैं। यह दृष्टिकोण एल्गोरिदम के मैनुअल डिज़ाइन में संलग्न नहीं होने की अनुमति देगा, लेकिन तंत्रिका नेटवर्क से सीधे अंतिम छवि प्राप्त करने के लिए।

यहाँ हम क्या है:

Pix2pix क्या है?

यह विवाद नेटवर्क (आमतौर पर Pix2pix के रूप में जाना जाता है) का उपयोग करके एक छवि को एक छवि में बदलने का एक तरीका है।

"Pix2pix" नाम का अर्थ है कि इनपुट छवि को अपनी संबंधित आउटपुट छवि में बदलने के लिए नेटवर्क को प्रशिक्षित किया गया है। इस तरह के परिवर्तनों के उदाहरण इस प्रकार हैं:

Pix2pix की सबसे अच्छी विशेषता इसकी बहुमुखी प्रतिभा है । ऊपर दिए गए प्रत्येक कार्य के लिए एक नया एल्गोरिथ्म या एक नया मॉडल बनाने के बजाय, यह नेटवर्क को प्रशिक्षित करने के लिए विभिन्न डेटासेट का उपयोग करने के लिए पर्याप्त है।

पहले इस्तेमाल किए गए दृष्टिकोणों के विपरीत, pix2pix समस्याओं को बहुत तेज़ी से और छोटे प्रशिक्षण सेट के साथ हल करना सीखता है। उदाहरण के लिए, 400 जोड़ी छवियों के डेटासेट पर और दो घंटे से कम समय में पास्कल टाइटन एक्स जीपीयू का उपयोग करते समय नीचे दिए गए परिणाम प्राप्त किए गए थे।

Pix2pix कैसे काम करता है?

pix2pix समानांतर में सीखने वाले दो तंत्रिका नेटवर्क का उपयोग करता है:

1. जनक
2. discriminator

जनरेटर इनपुट प्रशिक्षण डेटा से एक आउटपुट छवि उत्पन्न करने की कोशिश करता है, और विवेचक यह निर्धारित करने की कोशिश करता है कि परिणाम वास्तविक है या उत्पन्न।

जब जनरेटर वास्तविक लोगों से अप्रभेद्य (भेदभावपूर्ण) चित्र बनाता है, तो हम उन पर और वास्तविक छवियों पर भेदभाव करने वाले को प्रशिक्षित करना शुरू करते हैं। जब विवेचक जनित चित्रों से वास्तविक छवियों को अलग करने में सफल होता है, तो हम फिर से जनरेटर को प्रशिक्षित करना शुरू करते हैं ताकि यह फिर से विवेचक को धोखा देने के लिए सीखे।

इस तरह की "हथियारों की दौड़" इस तथ्य की ओर ले जाती है कि किसी व्यक्ति के लिए वास्तविक छवियों को उत्पन्न करने वालों से अलग करना मुश्किल हो जाता है।

अभ्यास

हम स्नैपचैट के लिए अपने फ़िल्टर जनरेटर को 256x256 छवियों पर प्रशिक्षित करेंगे (बड़े आकारों में अधिक वीडियो मेमोरी की आवश्यकता होगी)। डेटासेट बनाने के लिए, पिछले ट्यूटोरियल के कोड का उपयोग करें।

मैंने कई चेहरे की छवियां डाउनलोड कीं और प्रत्येक को "ठग जीवन चश्मा" फ़िल्टर लागू किया। यह इन जोड़ों की तरह कुछ बाहर कर देगा:

मॉडल बनाने के लिए, TensorFlow के आधार पर Pix2pix रिपॉजिटरी लें। इसे क्लोन करें और Tensorflow स्थापित करें।

प्रशिक्षण शुरू करने की कमान इस प्रकार होगी:

python pix2pix.py --mode train --output_dir dir_to_save_checkpoint --max_epochs 200 --input_dir dir_with_training_data --which_direction AtoB 

पैरामीटर जो_नयन प्रशिक्षण की दिशा निर्धारित करता है। AtoB का मतलब है कि हम छवि A (बाएं, बिना चश्मे) को छवि B (दाएं, चश्मे के साथ) में बदलना चाहते हैं। वैसे, ध्यान दें कि pix2pix सफलतापूर्वक एक फिल्टर के साथ एक छवि से मूल छवि को पुनर्स्थापित करने का तरीका सीख सकता है, बस प्रशिक्षण की दिशा बदल सकता है।

आप टेंसरबोर्ड का उपयोग करके प्रशिक्षण प्रगति की निगरानी कर सकते हैं, जिसके लिए आपको कमांड चलाने की आवश्यकता है:

 tensorboard --logdir=dir_to_save_checkpoint 

जैसे ही आप देखते हैं कि प्रशिक्षण डेटा पर परिणाम काफी अच्छे हो गए हैं, आप प्रशिक्षण रोक सकते हैं और मनमाने डेटा पर मॉडल का परीक्षण कर सकते हैं। आप निम्न नियंत्रण बिंदु से प्रशिक्षण जारी रख सकते हैं:

 python pix2pix.py --mode train --output_dir dir_to_save_checkpoint --max_epochs 200 --input_dir dir_with_training_data --which_direction AtoB --checkpoint dir_of_saved_checkpoint 

निष्कर्ष

Pix2pix-type जेनेरिक नेटवर्कों के आगमन से सभी प्रकार के इमेज प्रोसेसिंग कार्यों के लिए एक सार्वभौमिक और सरल समाधान की काफी संभावनाएं खुल जाती हैं।