कैसे एक बॉट बनाने के लिए जो एक तस्वीर को एक कॉमिक बुक में बदल देता है: डमी के लिए चरण-दर-चरण निर्देश

भाग एक, पूरक।

कोटंस, हाय।
मैं साशा हूं और मैं न्यूरॉन्स में लिप्त हूं।

श्रमिकों के अनुरोध पर, मैंने अंततः अपने विचारों को इकट्ठा किया और छोटे और लगभग चरण-दर-चरण निर्देशों की एक श्रृंखला को प्राप्त करने का निर्णय लिया।

अपने तंत्रिका नेटवर्क को खरोंच से प्रशिक्षित और तैनात करने के तरीके के बारे में निर्देश, उसी समय टेलीग्राम बॉट के साथ दोस्त बनाना।

मेरी तरह डमी के लिए निर्देश।

आज हम अपने तंत्रिका नेटवर्क की वास्तुकला का चयन करेंगे, इसका परीक्षण करेंगे, और हमारे पहले प्रशिक्षण डेटासेट को एकत्र करेंगे।

वास्तुकला का विकल्प

Selfie2anime बॉट के अपेक्षाकृत सफल लॉन्च (रेडी-मेड UGATIT मॉडल का उपयोग करके) के बाद, मैं भी यही करना चाहता था, लेकिन मेरा। उदाहरण के लिए, एक मॉडल जो आपकी तस्वीरों को कॉमिक्स में बदल देता है।

यहाँ मेरे photo2comicsbot के कुछ उदाहरण हैं, और हम कुछ ऐसा ही करेंगे।





चूंकि यूजीएटीआईटी मॉडल मेरे वीडियो कार्ड के लिए बहुत भारी था, इसलिए मैंने एक पुराने, लेकिन कम अस्पष्ट सादृश्य पर ध्यान आकर्षित किया - CycleGAN

इस कार्यान्वयन में, कई मॉडल आर्किटेक्चर और ब्राउज़र में सीखने की प्रक्रिया का एक सुविधाजनक दृश्य प्रदर्शन है।

CycleGAN, एक ही छवि में शैलियों को स्थानांतरित करने के लिए आर्किटेक्चर की तरह, प्रशिक्षण के लिए युग्मित छवियों की आवश्यकता नहीं है। यह महत्वपूर्ण है, क्योंकि अन्यथा हमें प्रशिक्षण सेट बनाने के लिए सभी तस्वीरों को कॉमिक्स में खुद को फिर से बनाना होगा।

हमारे एल्गोरिथ्म के लिए हम जो कार्य निर्धारित करेंगे, उसमें दो भाग शामिल हैं।
आउटपुट पर, हमें एक चित्र प्राप्त करना चाहिए:

a) कॉमिक बुक के समान
b) मूल छवि के समान

प्वाइंट "ए" को सामान्य जीएएन का उपयोग करके लागू किया जा सकता है, जहां प्रशिक्षित आलोचक "कॉमिक्स जैसा दिखता है" के लिए जिम्मेदार होगा।


दूसरा भाग कुछ अधिक जटिल है। अगर हमने चित्र बनाए होते, जहाँ सेट "ए" में तस्वीरें होतीं, और सेट "बी" में वे होते, लेकिन कॉमिक्स में फिर से जोड़ा जाता है (जो कि हम मॉडल से प्राप्त करना चाहते हैं), हम कर सकते थे हमारे प्रशिक्षण सेट के "बी" सेट से युग्मित छवि के साथ जनरेटर द्वारा उत्पादित परिणाम की तुलना करने के लिए।

हमारे मामले में, सेट "ए" और "बी" किसी भी तरह से एक दूसरे से जुड़े नहीं हैं। सेट "ए" में - यादृच्छिक फोटो, सेट में "बी" - यादृच्छिक कॉमिक्स।

सेट "बी" से कुछ यादृच्छिक कॉमिक के साथ नकली कॉमिक की तुलना करना व्यर्थ है, क्योंकि यह कम से कम आलोचक के कार्य का दोहराव करेगा, न कि अप्रत्याशित परिणाम का उल्लेख करने के लिए।

यह वह जगह है जहाँ CycleGAN वास्तुकला बचाव के लिए आता है।

संक्षेप में, यह एक जीएएन जोड़ी है, जिसमें से पहला "ए" (उदाहरण के लिए, एक फोटो) श्रेणी से एक छवि को "बी" (उदाहरण के लिए, एक कॉमिक बुक) और दूसरी "बैक" श्रेणी से "ए" श्रेणी में परिवर्तित करता है।



मॉडल को मूल फोटो की तुलना एक पुनर्निर्मित एक (चक्र "ए" - "बी" - "ए", "फोटो-कॉमिक-फोटो), और आलोचकों के डेटा के रूप में एक नियमित जीएएन के रूप में किया जाता है।

यह हमारे कार्य के दोनों हिस्सों को पूरा करने के लिए संभव बनाता है: एक हास्य पुस्तक बनाने के लिए जो अन्य कॉमिक्स से अप्रभेद्य है, और एक ही समय में मूल फोटो जैसा दिखता है।

मॉडल की स्थापना और सत्यापन

हमारी चालाक योजना को लागू करने के लिए, हमें चाहिए:

• 8GB रैम के साथ CUDA- सक्षम ग्राफिक्स कार्ड
• लिनक्स ओएस
• पायथन 3.5+ के साथ मिनिकोंडा / एनाकोंडा

8 जीबी से कम रैम वाले वीडियो कार्ड भी काम कर सकते हैं यदि आप सेटिंग्स के साथ जुड़ते हैं। यह विंडोज पर भी काम करेगा, लेकिन अधिक धीरे-धीरे, मेरे पास कम से कम 1.5-2 बार का अंतर था।

यदि आपके पास CUDA समर्थन वाला GPU नहीं है, या आप इसे पूरी तरह से सेट करने के लिए बहुत आलसी हैं, तो आप हमेशा Google टैब का उपयोग कर सकते हैं। यदि पर्याप्त संख्या में लोग हैं, जो मैं चाहता हूं कि मैं ट्यूटोरियल को भर दूं और Google क्लाउड में निम्नलिखित सभी को क्रैंक कैसे करूं।

यहां मिनिकोंडा लिया जा सकता है
स्थापना निर्देश

एनाकोंडा / मिनिकोंडा (इसके बाद कोंडा के रूप में संदर्भित) स्थापित करने के बाद, हमारे प्रयोगों के लिए एक नया वातावरण बनाएं और इसे सक्रिय करें:

(विंडोज उपयोगकर्ताओं को प्रारंभ मेनू से पहले एनाकोंडा प्रॉम्प्ट शुरू करने की आवश्यकता है)

conda create --name cyclegan conda activate cyclegan 

अब सभी पैकेज सक्रिय वातावरण में बाकी पर्यावरण को प्रभावित किए बिना स्थापित किए जाएंगे। यह सुविधाजनक है यदि आपको विभिन्न पैकेजों के संस्करणों के कुछ संयोजनों की आवश्यकता है, उदाहरण के लिए, यदि आप किसी और के पुराने कोड का उपयोग कर रहे हैं और आपको अपने जीवन और मुख्य काम के माहौल को खराब किए बिना अप्रचलित पैकेज स्थापित करने की आवश्यकता है।

अगला, बस वितरण से README.MD निर्देशों का पालन करें:

CycleGAN वितरण सहेजें:

(या सिर्फ GitHub से संग्रह डाउनलोड करें)

 git clone https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix cd pytorch-CycleGAN-and-pix2pix 

आवश्यक पैकेज स्थापित करें:

 conda install numpy pyyaml mkl mkl-include setuptools cmake cffi typing conda install pytorch torchvision -c pytorch conda install visdom dominate -c conda-forge 

तैयार डेटासेट और संबंधित मॉडल डाउनलोड करें:

 bash ./datasets/download_cyclegan_dataset.sh horse2zebra bash ./scripts/download_cyclegan_model.sh horse2zebra 

डाउनलोड किए गए डेटासेट में क्या तस्वीरें हैं, इस पर ध्यान दें।

यदि आप पिछले पैराग्राफ से स्क्रिप्ट फ़ाइलों को खोलते हैं, तो आप देख सकते हैं कि उनके लिए अन्य तैयार किए गए डेटासेट और मॉडल हैं।

अंत में, डाउनलोड किए गए डेटासेट पर मॉडल का परीक्षण करें:

 python test.py --dataroot datasets/horse2zebra/testA --name horse2zebra_pretrained --model test --no_dropout 

परिणाम / परिणाम / घोड़े 2z96_pretrained / फ़ोल्डर में सहेजे जाएंगे

प्रशिक्षण सेट बनाना

भविष्य के मॉडल की वास्तुकला को चुनने के बाद एक समान रूप से महत्वपूर्ण कदम (और जीथब पर एक कार्यान्वयन के लिए खोज) एक डेटासेट, या एक डेटा सेट को संकलित करना है, जिस पर हम अपने मॉडल को प्रशिक्षित करेंगे और परीक्षण करेंगे।

लगभग सब कुछ इस बात पर निर्भर करता है कि हम किस डेटा का उपयोग करते हैं। उदाहरण के लिए, सेल्फी 2anime बॉट के लिए UGATIT एनीमे से महिला सेल्फी और महिला चेहरे पर प्रशिक्षित किया गया था। इसलिए, पुरुष तस्वीरों के साथ, वह कम से कम मजाकिया व्यवहार करती है, एक उच्च कॉलर वाली छोटी लड़कियों के साथ क्रूर दाढ़ी वाले पुरुषों की जगह। फोटो में, आपका विनम्र सेवक यह जानने के बाद कि वह एक मोबाइल फोनों को देख रहा है।



जैसा कि आप पहले से ही समझ चुके हैं, यह उन तस्वीरों / कॉमिक्स को चुनने के लायक है जिन्हें आप इनपुट पर उपयोग करना चाहते हैं और आउटपुट पर प्राप्त करना चाहते हैं। क्या आप सेल्फी को प्रोसेस करने की योजना बना रहे हैं - कॉमिक्स से सेल्फी और क्लोज़-अप, इमारतों की तस्वीरें - इमारतों के फोटो और कॉमिक्स से इमारतों के पेज जोड़ें।

नमूना तस्वीरों के रूप में, मैंने विविधता को बढ़ाने के लिए Google सितारों की तस्वीरों के साथ सुगंधित DIV2K और Urban100 का उपयोग किया।

मैंने मार्वल ब्रह्मांड से कॉमिक्स लिया, पूरे पृष्ठ, विज्ञापनों और घोषणाओं को फेंक दिया जहां चित्र एक कॉमिक बुक की तरह नहीं दिखता है। मैं स्पष्ट कारणों के लिए लिंक संलग्न नहीं कर सकता, लेकिन मार्वल कॉमिक्स के अनुरोध पर आप आसानी से कॉमिक्स के साथ अपनी पसंदीदा साइटों पर स्कैन किए गए विकल्प पा सकते हैं, यदि आप जानते हैं कि मेरा क्या मतलब है।

ड्राइंग पर ध्यान देना महत्वपूर्ण है, यह अलग-अलग श्रृंखलाओं और रंग योजना में भिन्न होता है।



मेरे पास बहुत सारे डेडपूल और स्पाइडरमैन थे, इसलिए त्वचा बहुत लाल हो जाती है।

अन्य सार्वजनिक डेटासेट की एक अधूरी सूची यहां पाई जा सकती है ।

हमारे डेटासेट में फ़ोल्डर की संरचना इस प्रकार होनी चाहिए:

selfie2comics
├── ट्रेनए
├── ट्रेनबी
├── टेस्टा
└── टेस्टबी

ट्रेनए - हमारी तस्वीरें (लगभग 1000 पीसी)
टेस्टा - मॉडल परीक्षण के लिए कुछ तस्वीरें (30 पीसी पर्याप्त होगी)
ट्रेनबी - हमारी कॉमिक्स (लगभग 1000 पीसी।)
टेस्टबी - परीक्षण के लिए कॉमिक्स (30 पीसी।)

यदि संभव हो तो डेटासेट को SSD पर रखना उचित है।

आज के लिए बस इतना ही, अगले अंक में हम मॉडल को प्रशिक्षित करना और पहले परिणाम प्राप्त करना शुरू करेंगे!

यह लिखना सुनिश्चित करें कि क्या आपके साथ कुछ गलत हुआ है, यह नेतृत्व को बेहतर बनाने और बाद के पाठकों की पीड़ा को कम करने में मदद करेगा।

यदि आपने पहले ही मॉडल को प्रशिक्षित करने की कोशिश की है, तो टिप्पणियों में परिणाम साझा करने के लिए स्वतंत्र महसूस करें। जल्द मिलते हैं!

⇨ अगला भाग