🙌🏽 🛣️ 🍤 जेडी कन्वेंशन नेटवर्क कमी तकनीक

आपके सामने फिर से, वस्तुओं का पता लगाने का कार्य। प्राथमिकता - स्वीकार्य सटीकता के साथ गति। आप YOLOv3 के आर्किटेक्चर को लें और इसे प्रशिक्षित करें। सटीकता (mAp75) 0.95 से अधिक है। लेकिन रन गति अभी भी कम है। अरे।

आज हम परिमाणीकरण को दरकिनार करेंगे। और कटौती के तहत, मॉडल प्रूनिंग पर विचार करें - सटीकता को खोए बिना इन्वेंशन को तेज करने के लिए अनावश्यक नेटवर्क भागों को ट्रिम करना। दृष्टिगत - कहाँ, कितना और कैसे कटना है। आइए जानें कि इसे मैन्युअल रूप से कैसे किया जाता है और आप इसे कहां से स्वचालित कर सकते हैं अंत में केर पर एक भंडार है।

परिचय

काम के अंतिम स्थान पर, परम मैक्रोस्कोप, मुझे एक आदत मिली - हमेशा एल्गोरिदम के निष्पादन समय की निगरानी करने के लिए। और नेटवर्क रन टाइम को हमेशा पर्याप्तता फिल्टर के माध्यम से जांचना चाहिए। आमतौर पर उत्पादों में अत्याधुनिक इस फिल्टर को पारित नहीं किया जाता है, जिसने मुझे प्रूनिंग के लिए प्रेरित किया।

प्रूनिंग एक पुराना विषय है जिसके बारे में 2017 के स्टैनफोर्ड व्याख्यान में बात की गई थी। मुख्य विचार विभिन्न नोड्स को हटाकर सटीकता को खोए बिना प्रशिक्षित नेटवर्क के आकार को कम करना है। शांत लगता है, लेकिन मैं शायद ही कभी इसके उपयोग के बारे में सुनता हूं। संभवतः, पर्याप्त कार्यान्वयन नहीं हैं, कोई रूसी-भाषा के लेख नहीं हैं, या बस हर कोई जानता है कि कैसे-कैसे और मौन पर विचार करता है।
लेकिन अलग ले जाओ

जीव विज्ञान में एक नज़र

मुझे अच्छा लगता है जब बायोलॉजी से डीप लर्निंग के आइडिया आते हैं। वे, जैसे विकास, पर भरोसा किया जा सकता है (क्या आप जानते हैं कि ReLU मस्तिष्क में न्यूरॉन्स को सक्रिय करने के कार्य के समान है ?)

मॉडल प्रूनिंग प्रक्रिया भी जीव विज्ञान के करीब है। यहां नेटवर्क प्रतिक्रिया की तुलना मस्तिष्क की प्लास्टिसिटी से की जा सकती है। नॉर्मन डॉज की पुस्तक में कुछ दिलचस्प उदाहरण हैं:

एक महिला का मस्तिष्क जो जन्म से केवल एक आधा था, ने लापता आधे के कार्यों को करने के लिए खुद को फिर से संगठित किया
आदमी ने खुद को मस्तिष्क के उस हिस्से को गोली मार दी जो दृष्टि के लिए जिम्मेदार है। समय के साथ, मस्तिष्क के अन्य हिस्सों ने इन कार्यों को संभाला। (फिर से कोशिश मत करो)

तो अपने मॉडल से आप कुछ कमजोर बंडलों को काट सकते हैं। चरम मामलों में, शेष बंडलों में कटौती वालों को बदलने में मदद मिलेगी।

क्या आप स्थानांतरण सीखना पसंद करते हैं या खरोंच से सीखते हैं?

विकल्प नंबर एक। आप Yolov3 पर Transfer Learning का उपयोग कर रहे हैं। रेटिना, मास्क-आरसीएनएन या यू-नेट। लेकिन अधिक बार नहीं, हमें 80 वर्गों की वस्तुओं को पहचानने की आवश्यकता नहीं है, जैसा कि COCO में है। मेरे अभ्यास में, सब कुछ 1-2 वर्गों तक सीमित है। यह माना जा सकता है कि 80 वर्गों के लिए वास्तुकला यहां बेमानी है। यह सोचता है कि वास्तुकला को कम करने की आवश्यकता है। इसके अलावा, मैं मौजूदा पूर्व प्रशिक्षित भार को खोए बिना ऐसा करना चाहूंगा।

विकल्प संख्या दो। हो सकता है कि आपके पास बहुत सारे डेटा और कंप्यूटिंग संसाधन हों, या आपको बस एक सुपर-कस्टम वास्तुकला की आवश्यकता हो। इससे कोई फर्क नहीं पड़ता लेकिन आप स्क्रैच से नेटवर्क सीखते हैं। डेटा संरचना को देखने के लिए सामान्य आदेश है, एक आर्किटेक्चर का चयन करें जो शक्ति के संदर्भ में REDUCED है और ड्रॉपआउट को पीछे हटने से धक्का देता है। मैंने ड्रॉपआउट्स 0.6, कार्ल को देखा।

दोनों ही मामलों में, नेटवर्क को कम किया जा सकता है। Promotivirovali। अब आइए जानें कि किस तरह का है ~~खतना~~ छंटाई

सामान्य एल्गोरिथ्म

हमने तय किया कि हम सजा को हटा सकते हैं। यह बहुत सरल लगता है:

किसी भी दृढ़ संकल्प को हटाना नेटवर्क के लिए एक तनाव है, जो आमतौर पर त्रुटि में कुछ वृद्धि की ओर जाता है। एक ओर, यह त्रुटि वृद्धि इस बात का सूचक है कि हम सही तरीके से कनविक्शन को कैसे हटाते हैं (उदाहरण के लिए, एक बड़ी वृद्धि दर्शाती है कि हम कुछ गलत कर रहे हैं)। लेकिन छोटी वृद्धि काफी स्वीकार्य है और अक्सर एक छोटे एलआर के साथ बाद के आसान आगे के प्रशिक्षण द्वारा इसे समाप्त कर दिया जाता है। हम पुन: प्रयास का एक चरण जोड़ते हैं:

अब हमें यह समझने की जरूरत है कि कब हम अपनी लर्निंग को रोकना चाहते हैं <-> प्रूनिंग साइकिल। विदेशी विकल्प हो सकते हैं जब हमें नेटवर्क को एक निश्चित आकार और चलाने की गति को कम करने की आवश्यकता होती है (उदाहरण के लिए, मोबाइल उपकरणों के लिए)। हालांकि, सबसे आम विकल्प चक्र जारी रखना है जब तक कि त्रुटि स्वीकार्य एक से अधिक न हो जाए। शर्त जोड़ें:

तो, एल्गोरिथ्म स्पष्ट हो जाता है। यह हटाया जाना बाकी है कि हटाए गए संकल्पों को कैसे निर्धारित किया जाए।

विलोपन के लिए खोज के लिए खोज

हमें कुछ दृढ़ संकल्पों को हटाने की जरूरत है। आगे फाड़ और "शूटिंग" किसी भी एक बुरा विचार है, हालांकि यह काम करेगा। लेकिन अगर आपके पास एक सिर है, तो आप सोच सकते हैं और हटाने के लिए "कमजोर" निष्कर्षों का चयन करने का प्रयास कर सकते हैं। कई विकल्प हैं:

सबसे छोटा L1 उपाय या low_magnitude_pruning । यह विचार कि छोटे वजन के साथ संकल्प अंतिम निर्णय में एक छोटा सा योगदान करते हैं
औसत और मानक विचलन को ध्यान में रखते हुए सबसे छोटा एल 1-माप। हम वितरण की प्रकृति के मूल्यांकन के पूरक हैं।
दोषों को मास्क करना और परिणामी सटीकता को कम से कम प्रभावित करना । तुच्छ संकल्पों की एक अधिक सटीक परिभाषा, लेकिन बहुत समय लेने वाली और संसाधन-गहन।
अन्य

प्रत्येक विकल्प में जीवन का अधिकार और इसके कार्यान्वयन की विशेषताएं हैं। यहां हम सबसे छोटे एल 1-माप के साथ संस्करण पर विचार करते हैं

YOLOv3 के लिए मैनुअल प्रक्रिया

मूल वास्तुकला में अवशिष्ट ब्लॉक शामिल हैं। कोई फर्क नहीं पड़ता कि वे गहरे नेटवर्क के लिए कितने शांत हैं, वे कुछ हद तक हमें बाधा देंगे। कठिनाई यह है कि आप इन परतों में विभिन्न सूचकांकों के साथ सामंजस्य नहीं हटा सकते हैं:

इसलिए, हम उन परतों का चयन करते हैं जिनसे हम स्वतंत्र रूप से सामंजस्य हटा सकते हैं:

अब एक कार्य चक्र का निर्माण करते हैं:

सक्रियण अनलोड करें
हमें आश्चर्य है कि कितना कटौती करना है
काट दो
LR = 1e-4 के साथ 10 युग जानें
परीक्षण

एक निश्चित कदम पर हम किस भाग को हटा सकते हैं, इसका मूल्यांकन करने के लिए अनलोडिंग कन्वेंशन उपयोगी है। उतराई के उदाहरण:

हम देखते हैं कि लगभग हर जगह 5% दृढ़ संकल्पों में एल 1-मानदंड बहुत कम है और हम उन्हें हटा सकते हैं। प्रत्येक चरण में, इस तरह के उतराई को दोहराया गया और एक आकलन किया गया कि कौन सी परतें और कितनी कटौती की जा सकती हैं।

पूरी प्रक्रिया 4 चरणों में पूरी हुई (यहां और हर जगह आरटीएक्स 2060 सुपर के लिए नंबर):

कदम	mAp75	मापदंडों की संख्या, मिलियन	नेटवर्क आकार, एमबी	मूल से,%	भागो समय, एमएस	खतना की स्थिति
0	0.9656	60	241	100	180	-
1	0.9622	55	218	91	175	सभी का 5%
2	0.9625	50	197	83	168	सभी का 5%
3	0.9633	39	155	64	155	400+ कनवल्शन के साथ परतों के लिए 15%
4	~~0.9555~~	31	~~124~~	51	~~146~~	~~100+ कनवल्शन के साथ परतों के लिए 10%~~

चरण 2 के लिए, एक सकारात्मक प्रभाव जोड़ा गया था - पैच-आकार 4 मेमोरी में मिला, जिसने रिट्रेनिंग की प्रक्रिया को बहुत तेज कर दिया।
चरण 4 पर, प्रक्रिया रोक दी गई थी, क्योंकि यहां तक कि आगे की शिक्षा ने पुराने मूल्यों को mAp75 नहीं बढ़ाया।
नतीजतन, हम 15% की कमी से अनुमान में तेजी लाने में कामयाब रहे, आकार को 35% तक कम किया और सटीकता में नहीं खो दिया।

सरल आर्किटेक्चर के लिए स्वचालन

सरल नेटवर्क आर्किटेक्चर के लिए (सशर्त जोड़ के बिना, कंकरीट और अवशिष्ट ब्लॉक), यह सभी कंफर्टेबल लेयर्स के प्रसंस्करण पर ध्यान केंद्रित करने और कटाव के समाधान की प्रक्रिया को स्वचालित करने के लिए काफी संभव है।

मैंने इस विकल्प को यहां लागू किया है ।
यह सरल है: आपके पास केवल एक हानि फ़ंक्शन, एक अनुकूलक और बैच जनरेटर हैं:

import pruning from keras.optimizers import Adam from keras.utils import Sequence train_batch_generator = BatchGenerator... score_batch_generator = BatchGenerator... opt = Adam(lr=1e-4) pruner = pruning.Pruner("config.json", "categorical_crossentropy", opt) pruner.prune(train_batch, valid_batch)

यदि आवश्यक हो, तो आप कॉन्फ़िगरेशन पैरामीटर बदल सकते हैं:

 { "input_model_path": "model.h5", "output_model_path": "model_pruned.h5", "finetuning_epochs": 10, # the number of epochs for train between pruning steps "stop_loss": 0.1, # loss for stopping process "pruning_percent_step": 0.05, # part of convs for delete on every pruning step "pruning_standart_deviation_part": 0.2 # shift for limit pruning part }

इसके अतिरिक्त, मानक विचलन पर आधारित प्रतिबंध लागू किया जाता है। लक्ष्य पहले से ही "पर्याप्त" L1- उपायों के साथ संकल्पों को छोड़कर, हटाए गए लोगों के एक हिस्से को सीमित करना है:

इस प्रकार, हम वितरण के समान कमजोरों को केवल दाईं ओर से हटा सकते हैं और बाईं ओर के वितरण से हटाने को प्रभावित नहीं कर सकते हैं:

जब वितरण सामान्य होता है, तो गुणांक pruning_standart_deviation_part से चुना जा सकता है:

मैं 2 सिग्मा धारण की सलाह देता हूं। या आप इस सुविधा पर ध्यान केंद्रित नहीं कर सकते हैं, मूल्य छोड़कर <1.0।

आउटपुट नेटवर्क आकार, हानि और पूरे परीक्षण के लिए नेटवर्क रन समय का एक ग्राफ है, जिसे सामान्य रूप से 1.0 किया गया है। उदाहरण के लिए, यहां गुणवत्ता में हानि के बिना नेटवर्क का आकार लगभग 2 गुना कम हो गया था (100k वजन के लिए एक छोटा कनवल्शन नेटवर्क):

रन गति सामान्य उतार-चढ़ाव के अधीन है और बहुत कुछ नहीं बदला है। इसके लिए एक स्पष्टीकरण है:

वीडियो कार्डों के लिए सबसे सुविधाजनक नहीं (32, 64, 128) से कन्वेंशनों की संख्या बदल जाती है - 27, 51, आदि। यहां मुझे गलत किया जा सकता है, लेकिन सबसे अधिक संभावना है कि यह प्रभावित करता है।
वास्तुकला व्यापक नहीं है, लेकिन सुसंगत है। चौड़ाई कम करते हुए, हम गहराई को नहीं छूते हैं। इस प्रकार, हम लोड को कम करते हैं, लेकिन गति को नहीं बदलते हैं।

इसलिए, सुधार के दौरान CUDA के भार में 20-30% की कमी आई है, लेकिन रन समय में कमी नहीं हुई है

परिणाम

Porefleksiruem। हमने 2 pruning विकल्पों पर विचार किया - YOLOv3 के लिए (जब आपको अपने हाथों से काम करना है) और आर्किटेक्चर के साथ नेटवर्क के लिए आसान है। यह देखा जा सकता है कि दोनों मामलों में सटीकता की हानि के बिना नेटवर्क आकार और त्वरण में कमी को प्राप्त करना संभव है। परिणाम:

के आकार को कम
त्वरण चलाएं
CUDA लोड में कमी
नतीजतन, पर्यावरण मित्रता (हम कंप्यूटिंग संसाधनों के भविष्य के उपयोग को अनुकूलित करते हैं। कहीं अकेले ग्रेटा ट्यूनबर्ग आनन्दित हैं)

परिशिष्ट

प्रुनिंग चरण के बाद, आप परिमाणीकरण को भी मोड़ सकते हैं (उदाहरण के लिए, TensorRT के साथ)
Tensorflow low_magnitude_pruning के लिए सुविधाएँ प्रदान करता है। यह काम करता है।
मैं भंडार को विकसित करना चाहता हूं और मुझे मदद करने में खुशी होगी

जेडी कन्वेंशन नेटवर्क कमी तकनीक - छंटाई