👩🏻 📪 🚭 ResNet50। खुद के कार्यान्वयन 🔆 👩🏻‍🍳 👩🏿‍🎨

सभी को नमस्कार। तंत्रिका नेटवर्क लाइब्रेरी का वर्णन मेरे आखिरी लेख में किया गया है । यहाँ मैंने यह दिखाने का निर्णय लिया कि आप अपने निर्णय में TF (Tensorflow) से प्रशिक्षित नेटवर्क का उपयोग कैसे कर सकते हैं, और क्या यह इसके लायक है।

कट के तहत, TF के मूल कार्यान्वयन के साथ तुलना, चित्रों को पहचानने के लिए एक डेमो एप्लिकेशन, अच्छी तरह से ... निष्कर्ष। कौन परवाह करता है, कृपया।

आप यह जान सकते हैं कि ResNet कैसे काम करता है, उदाहरण के लिए, यहाँ ।

यहाँ संख्या में नेटवर्क संरचना है:

कोड कोई सरल नहीं था और अजगर से अधिक जटिल नहीं था।

नेटवर्क बनाने के लिए C ++ कोड:

auto net = sn::Net(); net.addNode("In", sn::Input(), "conv1") .addNode("conv1", sn::Convolution(64, 7, 3, 2, sn::batchNormType::beforeActive, sn::active::none, mode), "pool1_pad") .addNode("pool1_pad", sn::Pooling(3, 2, sn::poolType::max, mode), "res2a_branch1 res2a_branch2a"); convBlock(net, vector<uint32_t>{ 64, 64, 256 }, 3, 1, "res2a_branch", "res2b_branch2a res2b_branchSum", mode); idntBlock(net, vector<uint32_t>{ 64, 64, 256 }, 3, "res2b_branch", "res2c_branch2a res2c_branchSum", mode); idntBlock(net, vector<uint32_t>{ 64, 64, 256}, 3, "res2c_branch", "res3a_branch1 res3a_branch2a", mode); convBlock(net, vector<uint32_t>{ 128, 128, 512 }, 3, 2, "res3a_branch", "res3b_branch2a res3b_branchSum", mode); idntBlock(net, vector<uint32_t>{ 128, 128, 512 }, 3, "res3b_branch", "res3c_branch2a res3c_branchSum", mode); idntBlock(net, vector<uint32_t>{ 128, 128, 512 }, 3, "res3c_branch", "res3d_branch2a res3d_branchSum", mode); idntBlock(net, vector<uint32_t>{ 128, 128, 512 }, 3, "res3d_branch", "res4a_branch1 res4a_branch2a", mode); convBlock(net, vector<uint32_t>{ 256, 256, 1024 }, 3, 2, "res4a_branch", "res4b_branch2a res4b_branchSum", mode); idntBlock(net, vector<uint32_t>{ 256, 256, 1024 }, 3, "res4b_branch", "res4c_branch2a res4c_branchSum", mode); idntBlock(net, vector<uint32_t>{ 256, 256, 1024 }, 3, "res4c_branch", "res4d_branch2a res4d_branchSum", mode); idntBlock(net, vector<uint32_t>{ 256, 256, 1024 }, 3, "res4d_branch", "res4e_branch2a res4e_branchSum", mode); idntBlock(net, vector<uint32_t>{ 256, 256, 1024 }, 3, "res4e_branch", "res4f_branch2a res4f_branchSum", mode); idntBlock(net, vector<uint32_t>{ 256, 256, 1024 }, 3, "res4f_branch", "res5a_branch1 res5a_branch2a", mode); convBlock(net, vector<uint32_t>{ 512, 512, 2048 }, 3, 2, "res5a_branch", "res5b_branch2a res5b_branchSum", mode); idntBlock(net, vector<uint32_t>{ 512, 512, 2048 }, 3, "res5b_branch", "res5c_branch2a res5c_branchSum", mode); idntBlock(net, vector<uint32_t>{ 512, 512, 2048 }, 3, "res5c_branch", "avg_pool", mode); net.addNode("avg_pool", sn::Pooling(7, 7, sn::poolType::avg, mode), "fc1000") .addNode("fc1000", sn::FullyConnected(1000, sn::active::none, mode), "LS") .addNode("LS", sn::LossFunction(sn::lossType::softMaxToCrossEntropy), "Output");

→ पूरा कोड यहाँ उपलब्ध है

आप इसे आसान कर सकते हैं, फाइलों से नेटवर्क आर्किटेक्चर और वेट लोड कर सकते हैं,

इस तरह:

  string archPath = "c:/cpp/other/skyNet/example/resnet50/resNet50Struct.json", weightPath = "c:/cpp/other/skyNet/example/resnet50/resNet50Weights.dat"; std::ifstream ifs; ifs.open(archPath, std::ifstream::in); if (!ifs.good()){ cout << "error open file : " + archPath << endl; system("pause"); return false; } ifs.seekg(0, ifs.end); size_t length = ifs.tellg(); ifs.seekg(0, ifs.beg); string jnArch; jnArch.resize(length); ifs.read((char*)jnArch.data(), length); // Create net sn::Net snet(jnArch, weightPath);

ब्याज के लिए एक आवेदन किया। आप यहाँ से डाउनलोड कर सकते हैं । नेटवर्क वेट के कारण वॉल्यूम बड़ा है। स्रोत हैं, आप एक उदाहरण के रूप में उपयोग कर सकते हैं।

आवेदन केवल लेख के लिए बनाया गया था, इसका समर्थन नहीं किया जाएगा, इसलिए इसे परियोजना रिपॉजिटरी में शामिल नहीं किया गया था।

अब, टीएफ की तुलना में क्या हुआ।

औसतन, 100 छवियों के चलने के बाद संकेत। मशीन: i5-2400, GF1050, Win7, MSVC12।

मान्यता परिणामों के मान 3 वर्ण तक मेल खाते हैं।

→ टेस्ट कोड

	CPU: समय / img, एमएस	GPU: समय / img, एमएस	सीपीयू: रैम, एमबी	GPU: रैम, एमबी
स्काईनेट	410	120	600	1200
Tensorflow	250	25	400	1400

वास्तव में, सब कुछ निश्चित रूप से निंदनीय है।

सीपीयू के लिए, मैंने एमकेएल-डीएनएन का उपयोग नहीं करने का फैसला किया, मैंने खुद इसे खत्म करने के लिए सोचा: अनुक्रमिक पढ़ने के लिए मेमोरी को पुनर्वितरित किया, वेक्टर रजिस्टरों को अधिकतम पर लोड किया। शायद मैट्रिक्स गुणा, और / या कुछ अन्य हैक के लिए नेतृत्व करना आवश्यक था। यहां आराम किया, पहले तो यह बदतर था, एमकेएल का उपयोग करना अधिक सही होगा।

GPU पर, समय को वीडियो कार्ड की मेमोरी से / तक मेमोरी को कॉपी करने में खर्च किया जाता है, और सभी ऑपरेशन GPU पर नहीं किए जाते हैं।

इस सारे उपद्रव से क्या निष्कर्ष निकाला जा सकता है:

- दिखावा करने के लिए नहीं, बल्कि प्रसिद्ध सिद्ध समाधानों का उपयोग करने के लिए, वे पहले से ही कम या ज्यादा पसंद करने का मन बना चुके हैं। वह खुद एक बार mxnet पर बैठे, और देशी उपयोग के साथ, उस पर और अधिक नीचे;

- एमएल फ्रेमवर्क के मूल सी इंटरफेस का उपयोग करने की कोशिश न करें। और उन्हें उस भाषा में उपयोग करें जिस पर डेवलपर्स ने ध्यान केंद्रित किया, वह है, अजगर।

अपनी भाषा से एमएल कार्यक्षमता का उपयोग करने का एक आसान तरीका अजगर पर एक सेवा प्रक्रिया बनाना और सॉकेट पर इसे चित्र भेजना है, आपको जिम्मेदारी का विभाजन और भारी कोड की अनुपस्थिति मिलती है।

शायद सब कुछ। लेख छोटा था, लेकिन निष्कर्ष, मुझे लगता है, मूल्यवान हैं, और न केवल एमएल पर लागू होते हैं।

आपका धन्यवाद

पुनश्च:
अगर किसी के पास अभी भी टीएफ को पकड़ने की कोशिश करने की इच्छा और ताकत है, तो आपका स्वागत है ! "

पीएस 2:
अपने हाथों को जल्दी नीचे उतारा। उन्होंने एक धूम्रपान विराम लिया, फिर से लिया और सब कुछ काम किया।
सीपीयू के लिए, मैट्रिक्स गुणा करने के लिए कास्टिंग में मदद मिली, जैसा कि मैंने सोचा था।
जीपीयू के लिए, मैंने सभी कार्यों को एक अलग परिवाद में चुना, ताकि सीपीयू और इसके विपरीत कॉपी किए बिना, इस दृष्टिकोण का एकमात्र शून्य यह था कि मुझे सभी ऑपरेटरों को फिर से लिखना (डुप्लिकेट करना) था, हालांकि कुछ चीजें मेल खाती थीं, लेकिन उन्हें कनेक्ट नहीं किया था।
सामान्य तौर पर, अब यहाँ कैसे:

	CPU: समय / img, एमएस	GPU: समय / img, एमएस	सीपीयू: रैम, एमबी	GPU: रैम, एमबी
स्काईनेट	195	15	600	800
Tensorflow	250	25	400	1400

यही है, कम से कम इंफेक्शन तो टीएफ पर भी तेजी से निकला।
परीक्षण कोड नहीं बदला है।

ResNet50। खुद के कार्यान्वयन

More articles: