संक्षेप में, इस परियोजना का कार्य पुरानी तस्वीरों को रंगीन करना और पुनर्स्थापित करना है। मैं विवरण में थोड़ा गहराई से जाऊंगा, लेकिन पहले, आइए तस्वीरें देखें! वैसे, अधिकांश स्रोत चित्र सबरडिट आर / थेवेयवेयर से लिए गए हैं, मैं सभी को उच्च गुणवत्ता वाली बड़ी छवियों के लिए धन्यवाद देता हूं।

ये केवल कुछ उदाहरण हैं, और वे काफी विशिष्ट हैं!

लिटिल परी के रूप में मारिया एंडरसन और उनके पेज ह्युसॉव रिबात्सोवा के बैले स्लीपिंग ब्यूटी इन द इम्पीरियल थिएटर, सेंट पीटर्सबर्ग, रूस, 1890



एक महिला अपने लिविंग रूम में आराम करती है (1920, स्वीडन)



एक लाश के पास पोज़ करते मेडिकल छात्र, 1890 के लगभग



1890 में हवाई में सर्फर



स्पिनिंग हॉर्स, 1898



बार मिलर और शूमेकर का इंटीरियर, 1899



1880 के दशक में पेरिस



1920 के दशक में एडिनबर्ग हवाई दृश्य



1938 में टेक्सास की महिला



वाटरलू स्टेशन पर लोग पहली बार टीवी देखते हैं, लंदन, 1936



1850 में भूगोल पाठ



1880 में चीनी अफीम धूम्रपान करने वालों



कृपया ध्यान दें कि वास्तव में पुरानी और / या खराब गुणवत्ता वाली तस्वीरें अभी भी बहुत अच्छी लगती हैं:

डेडवुड, साउथ डकोटा, 1877



1877 में भाई-बहन (डेडवुड)



सैन फ्रांसिस्को में पोर्ट्समाउथ स्क्वायर, 1851



समुराई, 1860 के दशक में



बेशक, मॉडल सही नहीं है। यह लाल हाथ मुझे पागल कर देता है, लेकिन अन्यथा यह काल्पनिक रूप से काम करता है:

सेनेका इरोकॉइस गर्ल, 1908



वह काले और सफेद रंग को भी चित्रित कर सकती है:

तकनीकी विवरण

यह एक गहन शिक्षण मॉडल है। विशेष रूप से, मैंने निम्नलिखित दृष्टिकोणों को संयुक्त किया:

• स्व-ध्यान गण । केवल एक चीज यह है कि पूर्व-प्रशिक्षित यूनेट एक जनरेटर के रूप में उपयोग किया जाता है और मैंने इसे वर्णक्रमीय सामान्यीकरण के लिए बदल दिया है और वास्तव में, सेल्फ अटेंशन तंत्र। यह एक काफी सरल संशोधन है। मैं आपको बताऊंगा कि वासेरस्टीन जीएएन के पिछले संस्करण की तुलना में यह अंतर हड़ताली है, जिसे मैंने काम करने की कोशिश की थी। मुझे वासेरस्टीन जीएएन सिद्धांत पसंद आया, लेकिन व्यवहार में यह काम नहीं करता है। लेकिन मुझे सिर्फ सेल्फ अटेंशन गैन नेटवर्क से प्यार हो गया।
• एक GAN के प्रगतिशील विकास की तरह एक सीखने की संरचना (लेकिन बिल्कुल समान नहीं)। अंतर यह है कि परतों की संख्या स्थिर रहती है: मैंने बस इनपुट डेटा के आकार को बदल दिया और सीखने की गति को समायोजित कर दिया ताकि आकारों के बीच संक्रमण सफल रहे। ऐसा लगता है कि यह एक ही अंतिम परिणाम पैदा करता है, लेकिन तेजी से सीखता है, अधिक स्थिर होता है और सामान्यीकरण बेहतर करता है।
• TTUR नियम (दो टाइम-स्केल अपडेट नियम)। यहाँ यह बिल्कुल स्पष्ट है: जनरेटर / विभेदक (आलोचना) का केवल एक-से-एक पुनरावृत्ति और उच्चतर विवेचक अधिगम गति।
• जनरेटर हानि फ़ंक्शन में दो भाग होते हैं: उनमें से एक वीजीजी 16 पर आधारित अवधारणात्मक हानि (या फ़ीचर लॉस) का मुख्य कार्य है - यह इनपुट छवि को दोहराने के लिए जनरेटर मॉडल को केवल धक्का देता है। दूसरा भाग विवेचक (आलोचना) से नुकसान का अनुमान है। जिज्ञासु के लिए: अच्छे परिणाम के लिए केवल अवधारणात्मक हानि फ़ंक्शन पर्याप्त नहीं है। यह केवल भूरे / हरे / नीले रंग के एक गुच्छा को प्रोत्साहित करने के लिए जाता है - आप जानते हैं, परीक्षण को चकमा देकर, क्या तंत्रिका नेटवर्क वास्तव में अच्छे हैं! मुख्य बिंदु यह है कि गण स्वयं आपके लिए अनिवार्य रूप से हानि कार्य सीखते हैं, जो वास्तव में आदर्श के लिए एक बड़ा कदम है जिसे हम मशीन सीखने के लिए प्रयास कर रहे हैं। और निश्चित रूप से, परिणाम में काफी सुधार होगा जब मशीन खुद सीखती है कि आपने पहले मैन्युअल रूप से क्या एन्कोड किया था। बेशक, यह यहाँ मामला है।

इस मॉडल की सुंदरता यह है कि यह विभिन्न प्रकार के छवि संशोधनों में बहुत अच्छा है। ऊपर जो आप देख रहे हैं वह कलरिंग मॉडल के परिणाम हैं, लेकिन पाइपलाइन में यह केवल एक घटक है जिसे मैं उसी मॉडल के साथ विकसित करना चाहता हूं।

अगला, मैं पुरानी छवियों को सही करने की कोशिश करूंगा, और एजेंडे पर अगला आइटम संतृप्ति और समृद्धि (अवहेलना) में सुधार के लिए एक मॉडल है। अब वह प्रशिक्षण के शुरुआती चरण में है। यह मूल रूप से एक ही मॉडल है, लेकिन फीके फोटो और पुराने / खराब उपकरणों के साथ ली गई तस्वीरों के अनुकरण के रूप में कुछ विपरीत / चमक सेटिंग्स के साथ। मुझे पहले से ही कुछ उत्साहजनक परिणाम मिले हैं:

परियोजना का विवरण

इस परियोजना का सार क्या है? मैं सिर्फ GAN लगाना चाहता हूं ताकि पुरानी तस्वीरें बहुत अच्छी लगें। और अधिक महत्वपूर्ण बात, यह परियोजना को उपयोगी बना देगा। और हाँ, मुझे वीडियो के साथ काम करने में निश्चित रूप से दिलचस्पी है, लेकिन पहले मुझे यह पता लगाने की आवश्यकता है कि इस मॉडल को मेमोरी खपत के नियंत्रण में कैसे ले जाना है (यह एक वास्तविक जानवर है)। यह अच्छा होगा यदि मॉडल 1080Ti (दुर्भाग्य से, GAN के लिए विशिष्ट) पर दो से तीन दिनों से नहीं सीखे। हालांकि यह मेरा बच्चा है और मैं भविष्य में कोड को सक्रिय रूप से अपडेट और सुधार करूंगा, लेकिन मैं इस कार्यक्रम को यथासंभव उपयोगकर्ता के अनुकूल बनाने की कोशिश करूंगा, हालांकि इसके साथ कुछ कठिनाइयां होंगी।

और मैं कसम खाता हूं कि मैं कोड को ठीक से दस्तावेज करूंगा ... किसी दिन। बेशक, मैं उन लोगों में से एक हूं जो "स्व-दस्तावेजीकरण कोड" (एलओएल) में विश्वास करते हैं।

स्व-लॉन्च मॉडल

परियोजना अद्भुत पुस्तकालय Fast.AI पर बनाया गया है। दुर्भाग्य से, यह एक पुराना संस्करण है, और इसे नए सिरे से अपडेट किया जाना है (यह निश्चित रूप से एजेंडा पर है)। इसलिए, आवश्यक शर्तें, संक्षेप में:

• पुरानी लाइब्रेरी Fast.AI. दो महीने तक इस परियोजना में खुद को दफन करने के बाद, मैं थोड़ा चूक गया कि इसका क्या हुआ, क्योंकि जो अब "पुराने" के रूप में चिह्नित है वह वास्तव में मेरे जैसा नहीं दिखता है। पिछले दो महीनों में सब कुछ बदल गया है। इसलिए, यदि अन्य संस्करणों के साथ कुछ भी काम नहीं करता है, तो मैंने इसे यहां कांटा । फिर से, नवीनतम संस्करण को अपडेट करना एजेंडे पर है, मैं पहले से माफी मांगता हूं।
• सभी Fast.AI निर्भरताएँ : वहां सुविधाजनक आवश्यकताएँ हैं। txt और environment.yml फाइलें।
• Pytorch 0.4.1 (स्पेक्ट्रल_नॉर्म की आवश्यकता है, इसलिए आपको नवीनतम स्थिर रिलीज की आवश्यकता है)।
• जपयटरलब ।
• Tensorboard (यानी Tensorflow स्थापित करना) और TensorboardX । मुझे लगता है कि यह कड़ाई से आवश्यक नहीं है, लेकिन यह बहुत आसान है। आपकी सुविधा के लिए, मैंने पहले से ही Tensorboard में सभी आवश्यक हुक / कॉलबैक प्रदान किए हैं! उनके उपयोग के उदाहरण हैं। यह उल्लेखनीय है कि डिफ़ॉल्ट रूप से, प्रसंस्करण के दौरान छवियां हर 200 पुनरावृत्तियों में टेन्सरबोर्ड में दर्ज की जाती हैं, इसलिए आपको एक निरंतर और सुविधाजनक दृश्य मिलेगा कि मॉडल क्या करता है।
• ImageNet : प्रशिक्षण के लिए एक उत्कृष्ट डेटासेट।
• शक्तिशाली ग्राफिक्स कार्ड । मैं वास्तव में अपने GeForce 1080Ti में 11 जीबी से अधिक मेमोरी रखना चाहूंगा। यदि आपके पास कुछ कमजोर है, तो यह मुश्किल होगा। यूनेट और क्रिटिक बेतुके रूप से महान हैं, लेकिन वे जितने बड़े हैं, परिणाम बेहतर हैं।

यदि आप मॉडल का प्रशिक्षण लिए बिना अपने दम पर इमेज प्रोसेसिंग शुरू करना चाहते हैं , तो आप यहां तैयार वेट डाउनलोड कर सकते हैं । फिर जुपाइटरलैब में ColorizationVisualization.ipynb खोलें। सुनिश्चित करें कि भार के लिंक के साथ एक पंक्ति है:

colorizer_path = Path('/path/to/colorizer_gen_192.h5') 

नेटली इनिशियलाइज़ होने के बाद आपको कलरलाइज़र मॉडल लोड करना होगा:

 load_model(netG, colorizer_path) 

फिर बस / test_images / फ़ोल्डर में कोई भी चित्र डालें, जहाँ से आप प्रोग्राम शुरू करते हैं। आप निम्न लाइनों के साथ Jupyter नोटबुक में परिणामों की कल्पना कर सकते हैं:

 vis.plot_transformed_image("test_images/derp.jpg", netG, md.val_ds, tfms=x_tfms, sz=500) 

यदि आप GPU पर प्रोग्राम को बहुत अधिक मेमोरी (उदाहरण के लिए, GeForce 1080Ti 11 GB) के साथ चलाते हैं, तो मैं लगभग 500px, प्लस या माइनस का आकार बचा सकता हूं। यदि कम मेमोरी है, तो आपको चित्रों के आकार को कम करना होगा या सीपीयू पर चलाने की कोशिश करनी होगी। मैंने वास्तव में उत्तरार्द्ध करने की कोशिश की, लेकिन किसी कारण से मॉडल ने बहुत ही बेतुका ढंग से काम किया, और मुझे समस्या की जांच करने का समय नहीं मिला। Connoisseurs ने सूत्रों से पाइटोरेक बनाने की सिफारिश की, फिर एक बड़े प्रदर्शन में वृद्धि होगी। हम्म ... उस पल से पहले यह नहीं था।

अतिरिक्त जानकारी

उत्पन्न छवियों का विज़ुअलाइज़ेशन जैसा कि आप सीखते हैं , जुपिटर में भी किया जा सकता है: आपको इस विज़ुअलाइज़ेशन हुक का एक उदाहरण बनाते समय इसे सही पर सेट करने की आवश्यकता है:

GANVisualizationHook(TENSORBOARD_PATH, trainer, 'trainer', jupyter=True, visual_iters=100

मैं झूठा छोड़ना पसंद करता हूं और सिर्फ Tensorboard का उपयोग करता हूं। मेरा विश्वास करो, तुम भी बस यही करना चाहते हो। इसके अलावा, यदि आप इसे बहुत लंबे समय तक काम करने के लिए छोड़ देते हैं, तो बृहस्पति ऐसी छवियों के साथ बहुत सारी मेमोरी खाएगा।

गैंट्रेनर प्रशिक्षण रन के दौरान मॉडल वेट भी स्वचालित रूप से सहेजे जाते हैं। डिफ़ॉल्ट रूप से, वे हर 1000 पुनरावृत्तियों को सहेजते हैं (यह एक महंगा ऑपरेशन है)। उन्हें रूट फ़ोल्डर में संग्रहीत किया जाता है जिसे आपने प्रशिक्षण के लिए निर्दिष्ट किया था, और नाम प्रशिक्षण अनुसूची में निर्दिष्ट save_base_name से मेल खाता है। प्रत्येक कसरत के आकार के लिए वज़न अलग-अलग संग्रहीत किया जाता है।

मैं ज्यूपिटर नोटबुक के साथ शुरू करके कोड को ऊपर से नीचे तक नेविगेट करने की सलाह दूंगा। मैं इन नोटों को केवल प्रोटोटाइप और विज़ुअलाइज़ेशन के लिए एक सुविधाजनक इंटरफ़ेस के रूप में लेता हूं, जैसे ही मैं उनके लिए जगह ढूंढता हूं, बाकी सब कुछ .py फाइलों में चले जाएंगे। मेरे पास पहले से ही विज़ुअलाइज़ेशन के उदाहरण हैं जो आप आसानी से चालू कर सकते हैं और देख सकते हैं: बस नोटबुक में xVisualization खोलें, यह प्रोजेक्ट में शामिल परीक्षण छवियों को दिखाता है (वे test_images में हैं)।

यदि आप GAN अनुसूचियों को देखते हैं, तो यह प्रोजेक्ट में सबसे बदसूरत चीज है, प्रगतिशील सीखने GAN कार्यान्वयन का मेरा संस्करण, यूनेट जनरेटर के लिए उपयुक्त है।

Colorizer जनरेटर के लिए पूर्व प्रशिक्षित भार भी यहाँ हैं । डीफैड परियोजना अभी भी काम में है, मैं कुछ दिनों में अच्छा वजन निकालने की कोशिश करूंगा।

आमतौर पर प्रशिक्षण के दौरान आप पहले अच्छे परिणाम आधे रास्ते में देखेंगे, जो कि 192px के आकार के साथ होगा (यदि आप दिए गए प्रशिक्षण उदाहरणों का उपयोग करते हैं)।

मुझे यकीन है कि मैंने कहीं पंगा लिया है, तो कृपया मुझे बताएं कि क्या ऐसा है।

ज्ञात मुद्दे

• आपको सर्वश्रेष्ठ परिणाम प्राप्त करने के लिए छवि के आकार के साथ थोड़ा खेलना होगा । चित्र बनाते समय मॉडल स्पष्ट रूप से कुछ पहलू अनुपात और पहलू अनुपात से ग्रस्त होता है। यह बहुत खराब हुआ करता था, लेकिन प्रकाश व्यवस्था / विपरीत वृद्धि और प्रगतिशील सीखने की शुरूआत के साथ स्थिति में काफी सुधार हुआ। मैं इस समस्या को पूरी तरह से समाप्त करना चाहता हूं और इस पर ध्यान केंद्रित करना चाहता हूं, लेकिन अभी तक निराशा नहीं है अगर छवि अत्यधिक संतृप्त या अजीब चमक के साथ दिखती है। सबसे अधिक संभावना है, एक छोटे आकार बदलने के बाद सब कुछ सामान्य हो जाएगा। एक नियम के रूप में, ओवरसैट किए गए चित्रों के लिए आपको आकार बढ़ाने की आवश्यकता है।
• उपरोक्त के अलावा: सबसे अच्छा चित्र प्राप्त करना वास्तव में इष्टतम मापदंडों को चुनने की कला के लिए नीचे आता है। हां, परिणाम मैन्युअल रूप से चुने गए हैं। मैं गुणवत्ता से बहुत खुश हूं, और मॉडल काफी मज़बूती से काम करता है, लेकिन पूरी तरह से नहीं। परियोजना अभी भी जारी है! मुझे लगता है कि उपकरण का उपयोग "एआई कलाकार" के रूप में किया जा सकता है, लेकिन यह अभी तक आम जनता के लिए तैयार नहीं है। बस समय नहीं है।
• स्थिति को जटिल बनाने के लिए: वर्तमान में, मॉडल बेरहमी से मेमोरी खा रहा है , इसलिए मेरे 1080Ti कार्ड पर यह अधिकतम 500-600px चित्रों के साथ प्रक्रिया करने के लिए निकलता है। मुझे यकीन है कि यहां कई अनुकूलन विकल्प हैं, लेकिन मैंने अभी तक ऐसा नहीं किया है।
• मैंने यूनेट जनरेटर के लिए शून्य पैडिंग को जोड़ा, जो अपेक्षित आकार में फिट नहीं है (कि मैं मनमाने आकार की छवि कैसे लोड कर सकता हूं)। यह एक बहुत तेज़ हैक था, और यह मनमाने आकार की परीक्षण छवियों के उत्पादन में सही और निचली सीमाओं को बेवकूफ बनाता है। मुझे यकीन है कि एक बेहतर तरीका है, लेकिन अभी तक यह नहीं मिला है।
• मॉडल को नीले कपड़े पसंद हैं। बिलकुल निश्चित नहीं कि क्यों, समाधान खोज में है!

अधिक चाहते हैं?

मैं ट्विटर पर नए परिणाम पोस्ट करूंगा।

अनुवादक से जुड़ाव।
ट्विटर पर बाद से:

राष्ट्रीय स्तर के प्रतिनिधि अपने डगआउट में, 1880


( मूल )

लंदन अंडरग्राउंड का निर्माण, 1860


( मूल )

बाल्टीमोर की मलिन बस्तियां, 1938



1912 में टाइटैनिक पर जिम


( मूल )