कैसे एक बॉट बनाने के लिए जो एक फोटो को कॉमिक में बदल देता है। भाग दो मॉडल प्रशिक्षण

Part पहला भाग
⇨ तीसरा भाग

फिर से नमस्कार!

जैसा कि आप देख सकते हैं, छुट्टियों ने कुछ समय के लिए लेखों को अपंग कर दिया है।
मुझे लगता है कि इस दौरान कई लोग कामयाब रहे, अगर उनके मॉडल को पूरी तरह से प्रशिक्षित नहीं किया गया है, तो कम से कम विभिन्न डेटा सेट के साथ प्रयोग करें।

1. वितरण रखो
2. चित्रों को डाउनलोड करना
3. ???
4. लाभ!

यदि आप हमारे इन तंत्रिका नेटवर्क के लिए नहीं थे, या आप इस लेख से पढ़ना शुरू करते हैं, तो, जैसा कि वे कहते हैं, समझाने का समय नहीं है, हम वितरण किट लेते हैं, आवश्यक चित्र डाउनलोड करते हैं, और चलते हैं!

विस्तृत निर्देश श्रृंखला के पिछले लेख में हैं ।

पहला पैनकेक गांठदार है

जब मैंने पहली बार @ photo2comicsbot के लिए मॉडल को प्रशिक्षित किया, तो आगे की हलचल के बिना, मैंने कॉमिक्स के लगभग 1000 पृष्ठों को डेटासेट में भर दिया।
हां, कवर, घोषणाओं और अन्य फिलर्स के साथ।

प्रवेश द्वार पर यह इस तरह दिखता था:



परिणाम इसी है:








मॉडल पूरी तरह से कॉमिक्स और तस्वीरों के बीच सामान्य अंतर बताती है:

• विशिष्ट रंग ग्रेडिंग
• चयन की रूपरेखा
• टूटने ब्लॉक
• पाठ मेघ

सिद्धांत रूप में, यह विकल्प उत्पादन के लिए काफी पर्याप्त हो सकता है।

लेकिन मैं सोच रहा था कि अधिक "स्वच्छ" डेटासेट पर क्या परिणाम प्राप्त किए जा सकते हैं।

दो ले लो

अगले प्रयोग के लिए, मैंने पृष्ठों को एक ब्लॉक के साथ छोड़ दिया, और बाकी से मैंने सबसे बड़े टुकड़ों को काट दिया, जिसमें एक ब्लॉक शामिल था, ताकि अंतिम मॉडल में ऊर्ध्वाधर और क्षैतिज विभाजन लाइनों से छुटकारा मिल सके।

यदि आप अपने डेटासेट में परिवर्तन करते हैं, उदाहरण के लिए, फ़ोटो हटाएं या जोड़ें, तो पिछले संस्करण को सहेजना न भूलें। कुछ गलत होने पर आपके पास लौटने की जगह होगी।

दूसरा डेटासेट इस तरह दिखता है:



परिणाम, जैसा कि वे कहते हैं, स्पष्ट है:








डिवाइडिंग लाइनें गायब हो गईं, लेकिन उनके साथ पाठ में बादलों में अभिव्यक्तता को छोड़ दिया गया: वे डेटासेट में बहुत कम मिलने लगे और मुख्य विशेषता होना बंद हो गए।

खाली जगह जो पाठ से भरा जाता था, अब साइकेडेलिक शोर से भर गया है।

तीसरी बार का आकर्षण

मैंने पूरी तरह से पाठ से छुटकारा पाने का फैसला किया, कॉमिक्स के केवल उन हिस्सों को छोड़कर जहां यह नहीं है। कोई भी जीवित नहीं रहा: कोई बादल, कोई सुर्खियाँ, या श्रृंखला के नाम नहीं।

"भाषाई नरसंहार" के बाद डेटासेट:



अंतिम परिणाम:








एक तरफ, कम कलाकृतियां हैं, दूसरी तरफ, अभिव्यक्तता चली गई है। चूंकि GAN प्रशिक्षण में परिणाम की गुणवत्ता काफी हद तक आपके और मेरे द्वारा निर्धारित की जाती है, इसलिए अच्छे मॉडल के लिए कोई एकल नुस्खा नहीं है।

सौंदर्य देखने वाले की आंखों में है, इसलिए प्रयोग करने में डर नहींें और जो आपको पसंद है उसे चुनें।

हथियार के लिए!

खैर, हमने पहले ही मुख्य नुकसान और उनके साथ निपटने के तरीकों के बारे में बात की है, यह व्यापार के लिए नीचे उतरने का समय है।

उस फ़ोल्डर पर जाएं जहां हमने वितरण डाउनलोड किया है। आपको याद दिला दूं कि इसे pytorch-CycleGAN-and-pix2pix कहा जाता था

चूंकि हमारे पास डमीज़ के लिए निर्देश हैं, हम वितरण कोड को नहीं छूएंगे, क्योंकि सभी आवश्यक पैरामीटर कमांड लाइन से सेट किए जा सकते हैं।

इस वितरण में, सौवें युग के बाद सीखने की दर के रैखिक क्षीणन के साथ, डिफ़ॉल्ट प्रशिक्षण दो सौ से अधिक युगों में होता है।

अधिकतम संकल्प जो मेरा आठ-गीगाबाइट कार्ड था वह 400x400 मास्टर करने में सक्षम था। पूर्ण प्रशिक्षण में मुझे लगभग 33 घंटे लगे, इसलिए हम एक छोटे से जीवन हैक का उपयोग करेंगे। सबसे पहले, हम 128x128 चित्रों में मॉडल को प्रशिक्षित करेंगे, फिर 256x256, और केवल अंतिम चरण में हम उसे अपनी भव्य 400x400 दिखाएंगे।
पहला चरण 100 युग तक चलेगा, दूसरा और तीसरा - 50 प्रत्येक, जो हमें प्रशिक्षण के समय को लगभग आधे से कम करने की अनुमति देगा।

जैसा कि अभ्यास से पता चलता है, इस दृष्टिकोण के साथ परिणाम बदतर नहीं है, और कभी-कभी बेहतर होता है, अधिकतम रिज़ॉल्यूशन पर तुरंत प्रशिक्षण के साथ।

शायद पर्याप्त सिद्धांत, यह अभ्यास करने के लिए आगे बढ़ने का समय है।

कमांड प्रॉम्प्ट पर, दर्ज करें।

स्टेज एक

python train.py --dataroot {dataset root folder} --name {model name} --model cycle_gan --crop_size 128 --load_size 180 --init_type kaiming --netG resnet_9blocks --no_dropout --batch_size 4 

अपने स्वयं के मूल्यों के साथ ब्रेसिज़ को बदलने के लिए मत भूलना।

हम अधिक विस्तार से कुछ मापदंडों का विश्लेषण करेंगे:

 --batch_size {number} 

यह पैरामीटर प्रति चक्र संसाधित छवियों की संख्या के लिए ज़िम्मेदार है, सकारात्मक रूप से गति को प्रभावित करता है और मॉडल की लोलुपता पर नकारात्मक प्रभाव डालता है।

प्रत्येक चरण में, अधिकतम संभव --batch_size का चयन करें, जो GPU मेमोरी की कमी के कारण त्रुटियों का कारण नहीं बनता है।

 -- dataroot {dataset root folder} 

- हमारे डेटासेट के साथ फ़ोल्डर। इसके अंदर पिछले लेख में वर्णित फ़ोल्डर्स ट्रेनए, ट्रेनबी, टेस्टा, टेस्टबी होना चाहिए।

 --name {model name} 

- आपके प्रोजेक्ट का नाम। यह मनमाना हो सकता है, लेकिन मैं मॉडल आर्किटेक्चर, अधिकतम रिज़ॉल्यूशन और नाम में डेटासेट के नाम सहित सलाह देता हूं।
उदाहरण के लिए: "resnet9_128to400_comics8"
तो आप विभिन्न मापदंडों और डेटा के साथ प्रयोगों के बीच अंतर कर सकते हैं।

प्रशिक्षण के पहले चरण को सौवें युग में रोका जा सकता है।

आप ब्राउज़र से प्रगति देख सकते हैं: लोकलहोस्ट : 8097 /
(या एक अन्य लिंक जो कंसोल में दिखाई देगा)

स्टेज दो

 python train.py --dataroot {dataset root folder} --name {model name} --model cycle_gan --crop_size 256 --load_size 290 --init_type kaiming --netG resnet_9blocks --no_dropout --batch_size 2 --epoch 100 --epoch_count 0 --continue_train 

उस युग को इंगित करना महत्वपूर्ण है जिस पर हमने पहले चरण में अपनी पढ़ाई समाप्त की थी।
"100 ईपॉच" का अर्थ है कि हम मॉडल को सौवें युग के चेकपॉइंट से लोड करेंगे
"-ईपॉच_काउंट 0" का मतलब है कि हम अधिकतम सीखने की गति के साथ, खरोंच से प्रशिक्षण शुरू करेंगे।

प्रशिक्षण के दूसरे चरण को 50 वें युग में रोका जा सकता है।

स्टेज तीन

 python train.py --dataroot {dataset root folder} --name {model name} --model cycle_gan --crop_size 400 --load_size 430 --init_type kaiming --netG resnet_9blocks --no_dropout --batch_size 1 --epoch 50 --epoch_count 0 --continue_train 

प्रशिक्षण के तीसरे चरण को 50 वें युग में रोका जा सकता है, लेकिन यह स्वाद का विषय है। आप अंत तक खत्म कर सकते हैं, और मध्यवर्ती परिणाम चुन सकते हैं जिसे आप पसंद करते हैं। यह याद रखना महत्वपूर्ण है कि 200 वें युग में परिणाम 150 वें की तुलना में खराब हो सकता है।

अब बाहर जाकर देखें कि आपने क्या किया है

प्रशिक्षण के दौरान, मॉडल और मध्यवर्ती परिणाम एक फ़ोल्डर में सहेजे जाएंगे
/ pytorch-CycleGAN-and-pix2pix / चौकियों / {मॉडल नाम}

मॉडल का परीक्षण करने के लिए, बस कमांड लाइन दर्ज करें:

 python test.py --dataroot {dataset root folder} --name {model name} --model cycle_gan --netG resnet_9blocks --crop_size 512 --load_size 580 --epoch {epoch name} 

आप किसी भी चेकपॉइंट के लिए एक परीक्षण डाटासेट पर परिणाम देख सकते हैं, बस इसे {epoch नाम} के रूप में निर्दिष्ट करें। यदि {युग नाम} निर्दिष्ट नहीं है, तो अंतिम चेकपॉइंट लिया जाएगा।

परिणाम फ़ोल्डर में सहेजा जाएगा:
/pytorch-CycleGAN-and-pix2pix/results/{model name}/test_{epoch name}

आदेश में भ्रमित न होने के लिए कि कौन सा मॉडल किस डेटासेट पर परिणाम देता है,
एक छोटी डायरी रखना शुरू करें। आधारभूत डेटा और सीखने के परिणामों को रिकॉर्ड करें।

उदाहरण के लिए, कमांड लाइन और जिस युग तक आप पहुंच चुके हैं। यह डेटा प्रशिक्षण मापदंडों और डेटासेट को बचाने के लिए पर्याप्त है, जिस पर हमने प्रशिक्षण दिया था।

आखिर वैज्ञानिक प्रयोग और मूर्ख बनाने में क्या अंतर है? तथ्य यह है कि सब कुछ हमारे साथ प्रलेखित है!

आज के लिए बस इतना ही! अगले लेख में, हम सीखेंगे कि एक तैयार मॉडल कैसे निर्यात करें और इसे क्लाउड में होस्ट करें।

प्रयोग करने से डरो मत। कई अलग-अलग डेटा सेट की कोशिश करना सुनिश्चित करें, परिणामों की तुलना करें और उन्हें टिप्पणियों में साझा करें!

जल्द मिलते हैं!

⇨ अगला भाग