कंप्यूटर विज़न एनोटेशन टूल: वन-स्टॉप डेटा मार्कअप

अन्य चीजों के साथ इंटेल का निज़नी नोवगोरोड कार्यालय, गहरे तंत्रिका नेटवर्क पर आधारित कंप्यूटर विज़न एल्गोरिदम विकसित कर रहा है। हमारे कई एल्गोरिदम ओपन मॉडल ज़ू रिपॉजिटरी में प्रकाशित हुए हैं। मॉडल प्रशिक्षण के लिए बड़ी संख्या में टैग किए गए डेटा की आवश्यकता होती है। सैद्धांतिक रूप से, उन्हें तैयार करने के कई तरीके हैं, लेकिन विशेष सॉफ़्टवेयर की उपलब्धता इस प्रक्रिया को कई बार तेज करती है। इसलिए, मार्कअप की दक्षता और गुणवत्ता में सुधार करने के लिए, हमने अपना स्वयं का उपकरण विकसित किया है - कंप्यूटर विज़न एनोटेशन टूल (सीवीएटी) ।



बेशक, इंटरनेट पर आप बहुत सारे एनोटेट डेटा पा सकते हैं, लेकिन कुछ समस्याएं हैं। उदाहरण के लिए, नए कार्य लगातार उत्पन्न होते हैं, जिसके लिए ऐसा कोई डेटा नहीं है। एक और मुद्दा यह है कि सभी डेटा वाणिज्यिक उत्पादों के विकास में उपयोग के लिए उपयुक्त नहीं हैं, क्योंकि उनके लाइसेंस समझौतों के कारण। इस प्रकार, एल्गोरिदम के विकास और प्रशिक्षण के अलावा, हमारी गतिविधि में डेटा मार्कअप भी शामिल है। यह एक लंबी और समय लेने वाली प्रक्रिया है, जो डेवलपर्स के कंधों पर रखना अनुचित होगा। उदाहरण के लिए, हमारे एक एल्गोरिदम को प्रशिक्षित करने के लिए, 3,100 से अधिक मानव-घंटों के लिए लगभग 769,000 वस्तुओं को चिह्नित किया गया था।

समस्या के दो समाधान हैं:

• पहला मार्कअप डेटा को तीसरे पक्ष की कंपनियों को उचित विशेषज्ञता के साथ स्थानांतरित करना है। हमें भी ऐसा ही अनुभव हुआ। यह डेटा सत्यापन और पुन: विभाजन की जटिल प्रक्रिया के साथ-साथ नौकरशाही की उपस्थिति पर ध्यान देने योग्य है।
• दूसरा, हमारे लिए अधिक सुविधाजनक, हमारी अपनी एनोटेशन टीम का निर्माण और समर्थन है। सुविधा नए कार्यों को जल्दी से निर्धारित करने की क्षमता में निहित है, उनके कार्यान्वयन की प्रगति और मूल्य और गुणवत्ता के बीच सुविधाजनक संतुलन का प्रबंधन। इसके अलावा, कस्टम स्वचालन एल्गोरिदम को लागू करना और मार्कअप गुणवत्ता में सुधार करना संभव है।

प्रारंभ में, कंप्यूटर विज़न एनोटेशन टूल विशेष रूप से हमारी एनोटेशन टीम के लिए विकसित किया गया था।



बेशक, हमारा लक्ष्य "15 वीं कक्षा" बनाना नहीं था। सबसे पहले, हमने एक तैयार समाधान का उपयोग किया - वेटिक , लेकिन इस प्रक्रिया में, एनोटेशन और एल्गोरिथम टीमों ने इसके लिए नई आवश्यकताएं प्रस्तुत कीं , जिसके कार्यान्वयन ने अंततः कार्यक्रम कोड का एक पूर्ण पुनर्लेखन किया।

लेख में आगे:

• सामान्य जानकारी (कार्यक्षमता, अनुप्रयोग, फायदे और उपकरण के नुकसान)
• इतिहास और विकास (सीवीएटी के रहने और विकसित होने के बारे में एक छोटी कहानी)
• आंतरिक उपकरण (उच्च-स्तरीय वास्तुकला विवरण)
• विकास की दिशाएं (उन लक्ष्यों के बारे में थोड़ा सा जिन्हें मैं प्राप्त करना चाहूंगा, और उनके लिए संभव तरीके)

सामान्य जानकारी

कंप्यूटर विज़न एनोटेशन टूल (CVAT) डिजिटल छवियों और वीडियो को चिह्नित करने के लिए एक खुला स्रोत उपकरण है। इसका मुख्य कार्य उपयोगकर्ता को डेटा सेट को चिह्नित करने के सुविधाजनक और प्रभावी साधन प्रदान करना है। हम CVAT को एक सार्वभौमिक सेवा के रूप में बनाते हैं जो मार्कअप के विभिन्न प्रकारों और प्रारूपों का समर्थन करता है।

अंतिम उपयोगकर्ताओं के लिए, CVAT एक ब्राउज़र-आधारित वेब अनुप्रयोग है। यह विभिन्न कार्य परिदृश्यों का समर्थन करता है और व्यक्तिगत और टीम वर्क दोनों के लिए उपयोग किया जा सकता है। छवि प्रसंस्करण के क्षेत्र में एक शिक्षक के साथ मशीन सीखने के मुख्य कार्यों को तीन समूहों में विभाजित किया जा सकता है:

• ऑब्जेक्ट डिटेक्शन
• छवि वर्गीकरण
• छवि विभाजन

CVAT इन सभी परिदृश्यों में उपयुक्त है।

फायदे:

• अंत उपयोगकर्ताओं द्वारा स्थापना का अभाव। कार्य बनाने या डेटा को चिह्नित करने के लिए, बस ब्राउज़र में एक विशिष्ट लिंक खोलें।
• साथ काम करने की क्षमता। उपयोगकर्ताओं को कार्य को सार्वजनिक रूप से उपलब्ध कराने और उस पर काम को समानांतर करने का एक अवसर है।
• तैनाती के लिए आसान है। स्थानीय नेटवर्क पर सीवीएटी स्थापित करना डॉकर के उपयोग के माध्यम से कुछ कमांड है।
• मार्कअप प्रक्रिया का स्वचालन। उदाहरण के लिए, इंटरपोलेशन आपको कई फ़्रेमों पर मार्कअप प्राप्त करने की अनुमति देता है, केवल कुछ प्रमुख लोगों पर वास्तविक काम के साथ।
• पेशेवरों का अनुभव। उपकरण को एनोटेशन और कई एल्गोरिथम टीमों की भागीदारी के साथ विकसित किया गया था।
• एकीकृत करने की क्षमता। सीवीएटी एक व्यापक मंच में एकीकरण के लिए उपयुक्त है। उदाहरण के लिए, ओनैपानेल ।
• विभिन्न उपकरणों के लिए वैकल्पिक समर्थन:
  
  
  • डीप लर्निंग डिप्लॉयमेंट टूलकिट (OpenVINO के भाग के रूप में घटक)
  • Tensorflow Object Detection API (TF OD API)
  • ईएलके (एलेस्टेसर्च + लॉगस्टैश + किबाना) एनालिटिक्स सिस्टम
  • NVIDIA CUDA टूलकिट
• विभिन्न एनोटेशन परिदृश्यों के लिए समर्थन।
• एक सरल और मुफ्त एमआईटी लाइसेंस के तहत खुला स्रोत।

नुकसान:

• सीमित ब्राउज़र समर्थन। क्लाइंट पार्ट के प्रदर्शन की गारंटी केवल Google Chrome ब्राउज़र में है। हम अन्य ब्राउज़रों में सीवीएटी का परीक्षण नहीं करते हैं, लेकिन सैद्धांतिक रूप से, टूल ओपेरा, यैंडेक्स ब्राउज़र और अन्य क्रोमियम इंजन के साथ काम कर सकता है।
• स्वचालित परीक्षणों की प्रणाली विकसित नहीं की गई है। सभी स्वास्थ्य जांच मैन्युअल रूप से की जाती हैं, जो विकास को काफी धीमा कर देती हैं। हालाँकि, हम पहले से ही UNN के छात्रों के साथ मिलकर इस समस्या के समाधान पर काम कर रहे हैं। Lobachevsky आईटी लैब परियोजना के हिस्से के रूप में।
• कोई स्रोत कोड प्रलेखन उपलब्ध नहीं है। विकास में शामिल होना काफी मुश्किल हो सकता है।
• प्रदर्शन की सीमाएँ। मार्कअप की मात्रा पर बढ़ती मांगों के साथ, हमें विभिन्न समस्याओं का सामना करना पड़ा, जैसे कि रैम के उपयोग पर क्रोम सैंडबॉक्स की सीमा।

बेशक, ये सूचियाँ संपूर्ण नहीं हैं, लेकिन इसमें मूलभूत प्रावधान हैं।

जैसा कि पहले उल्लेख किया गया है, सीवीएटी कई अतिरिक्त घटकों का समर्थन करता है। उनमें से हैं:

OpenVINO टूलकिट के भाग के रूप में डीप लर्निंग डिप्लॉयमेंट टूलकिट - का उपयोग GPU के अभाव में TF OD API मॉडल के लॉन्च को तेज करने के लिए किया जाता है। हम इस घटक के लिए कुछ अन्य उपयोगी उपयोगों पर काम कर रहे हैं।

Tensorflow Object Detection API - वस्तुओं को स्वचालित रूप से चिह्नित करने के लिए उपयोग किया जाता है। डिफ़ॉल्ट रूप से, हम कोस्टो (80 वर्ग) पर प्रशिक्षित फास्टर आरसीएन इंसेप्शन रेसनेट वी 2 मॉडल का उपयोग करते हैं, लेकिन अन्य मॉडलों को जोड़ने में कोई कठिनाई नहीं होनी चाहिए।

Logstash, Elasticsearch, Kibana - आपको ग्राहकों द्वारा संचित लॉग की कल्पना और विश्लेषण करने की अनुमति देता है। इसका उपयोग, उदाहरण के लिए, मार्कअप प्रक्रिया की निगरानी करने या त्रुटियों और उनकी घटना के कारणों की खोज करने के लिए किया जा सकता है।



NVIDIA CUDA टूलकिट - ग्राफिक्स प्रोसेसर (GPU) पर गणना करने के लिए उपकरणों का एक सेट। इसका उपयोग TF OD API या अन्य कस्टम ऐड-ऑन के साथ स्वचालित लेआउट को गति देने के लिए किया जा सकता है।

डेटा मार्कअप

1. प्रक्रिया लेआउट के लिए समस्या के बयान से शुरू होती है। मंचन में शामिल हैं:
   
   • किसी कार्य का नाम निर्दिष्ट करना
   • चिह्नित किए जाने वाले वर्गों की गणना और उनकी विशेषताएं
   • डाउनलोड करने के लिए फ़ाइलें निर्दिष्ट करना
     
     • डेटा स्थानीय फ़ाइल सिस्टम से, या किसी कंटेनर में माउंट की गई वितरित फ़ाइल सिस्टम से डाउनलोड किया जाता है
     • किसी कार्य में चित्र, एक वीडियो, छवियों का एक सेट और यहां तक ​​कि वितरित संग्रहण के माध्यम से डाउनलोड करने वाली छवियों के साथ निर्देशिका संरचना भी हो सकती है
     
     
   • वैकल्पिक रूप से सेट करें:
     
     • विस्तृत मार्कअप विनिर्देशों, साथ ही किसी भी अन्य अतिरिक्त जानकारी (बग ट्रैकर) से लिंक करें
     • स्टोरिंग एनोटेशन (डेटासेट रिपॉजिटरी) के लिए एक दूरस्थ गेट रिपॉजिटरी से लिंक करें
     • सभी छवियों को 180 डिग्री घुमाएँ (फ्लिप छवियाँ)
     • विभाजन कार्यों के लिए परत समर्थन (जेड-ऑर्डर)
     • खंड आकार एक डाउनलोड करने योग्य कार्य को समानांतर कार्य के लिए कई उप-प्रकारों में विभाजित किया जा सकता है
     • खंड अंतर्ग्रहण क्षेत्र (ओवरलैप)। विभिन्न खंडों में एनोटेशन को मर्ज करने के लिए वीडियो में उपयोग किया जाता है
     • छवियों को परिवर्तित करते समय गुणवत्ता स्तर (छवि गुणवत्ता)
     
     
   
   
   
2. अनुरोध को संसाधित करने के बाद, बनाया गया कार्य कार्य सूची में दिखाई देगा।
   
   
   
3. नौकरियां अनुभाग में प्रत्येक लिंक एक सेगमेंट से मेल खाती है। इस मामले में, कार्य पहले खंडित नहीं था। किसी भी लिंक पर क्लिक करने से मार्कअप पेज खुल जाता है।
   
   
   
4. इसके बाद, डेटा को सीधे चिह्नित किया जाता है। आयताकार, बहुभुज (मुख्य रूप से विभाजन कार्यों के लिए), पॉलीइन्स (उदाहरण के लिए, सड़क अंकन के लिए उपयोगी हो सकते हैं) और कई बिंदुओं (उदाहरण के लिए, चेहरे के स्थलों या मुद्रा अनुमान को चिह्नित) को आदिम के रूप में प्रदान किया जाता है।
   
   
   
   विभिन्न स्वचालन उपकरण भी उपलब्ध हैं (कॉपी करना, अन्य फ़्रेमों को गुणा करना, प्रक्षेप करना, TF OD API के साथ प्रारंभिक अंकन), दृश्य सेटिंग्स, कई हॉट कुंजियाँ, खोज, फ़िल्टरिंग और अन्य उपयोगी कार्यक्षमता। सेटिंग्स विंडो में, आप अधिक आरामदायक काम के लिए कई मापदंडों को बदल सकते हैं।
   
   
   
   सहायता संवाद बॉक्स में कई समर्थित कीबोर्ड शॉर्टकट और कुछ अन्य युक्तियां हैं।
   
   
   
   मार्कअप प्रक्रिया को नीचे दिए गए उदाहरणों में देखा जा सकता है।
   
   सीवीएटी वीडियो में कीफ़्रेम के बीच आयतों और विशेषताओं को रैखिक रूप से प्रक्षेपित कर सकता है। इसके कारण, फ़्रेम के सेट पर एनोटेशन स्वचालित रूप से प्रदर्शित होता है।
   
   
   विशेषता एनोटेशन मोड को वर्गीकरण परिदृश्य के लिए विकसित किया गया था, जो आपको विशिष्ट संपत्ति पर मार्कअप को केंद्रित करके विशेषताओं के एनोटेशन में तेजी लाने की अनुमति देता है। इसके अलावा, यहां मार्कअप "हॉट की" के उपयोग के माध्यम से होता है।
   
   
   बहुभुज शब्दार्थ विभाजन और उदाहरण विभाजन स्क्रिप्ट का समर्थन करते हैं। विभिन्न दृश्य सेटिंग्स सत्यापन प्रक्रिया को सुविधाजनक बनाती हैं।
   
   
   
5. एनोटेशन प्राप्त करें
   "डंप एनोटेशन" बटन दबाने से एक ही फाइल के रूप में मार्कअप परिणाम तैयार करने और लोड करने की प्रक्रिया शुरू होती है। एनोटेशन फ़ाइल एक निर्दिष्ट .xml फ़ाइल होती है जिसमें कुछ कार्य मेटाडेटा और संपूर्ण एनोटेशन होते हैं। मार्कअप को सीधे जीआईटी रिपॉजिटरी में डाउनलोड किया जा सकता है, अगर बाद वाले को टास्क क्रिएशन स्टेज पर जोड़ा गया हो।

इतिहास और विकास

सबसे पहले, हमारे पास कोई एकीकरण नहीं था, और प्रत्येक मार्कअप कार्य अपने स्वयं के उपकरणों के साथ किया गया था, जो मुख्य रूप से OpenCV लाइब्रेरी का उपयोग करके C ++ में लिखा गया था। ये उपकरण स्थानीय रूप से एंड-यूज़र मशीनों पर स्थापित किए गए थे, डेटा साझा करने के लिए कोई तंत्र नहीं था, कार्यों को स्थापित करने और चिह्नित करने के लिए एक आम पाइपलाइन, कई चीजों को मैन्युअल रूप से किया जाना था।

सीवीएटी इतिहास के शुरुआती बिंदु को 2016 के अंत में माना जा सकता है, जब वेटिक को एक लेआउट टूल के रूप में पेश किया गया था, जिसका इंटरफ़ेस नीचे प्रस्तुत किया गया है। वेटिक खुला स्रोत था और उसने कुछ बेहतरीन, सामान्य विचारों को पेश किया, जैसे कि वीडियो या क्लाइंट-सर्वर एप्लिकेशन आर्किटेक्चर में कीफ्रेम के बीच मार्कअप को अंजाम देना। हालांकि, सामान्य तौर पर, यह मामूली मार्कअप कार्यक्षमता प्रदान करता है, और हमने अपने दम पर बहुत काम किया।



इसलिए, उदाहरण के लिए, पहले छह महीनों के लिए, छवियों को एनोटेट करने की क्षमता को लागू किया गया था, वस्तुओं की उपयोगकर्ता विशेषताओं को जोड़ा गया था, एक पृष्ठ को मौजूदा कार्यों की सूची और वेब इंटरफ़ेस के माध्यम से नए जोड़ने की क्षमता के साथ विकसित किया गया था।

2017 की दूसरी छमाही के दौरान, हमने प्रारंभिक मार्कअप प्राप्त करने के लिए एक विधि के रूप में Tensorflow Object Detection API पेश किया। क्लाइंट के लिए कई छोटे सुधार हुए, लेकिन अंत में हमें इस तथ्य का सामना करना पड़ा कि क्लाइंट का हिस्सा बहुत धीरे-धीरे काम करना शुरू कर दिया। तथ्य यह था कि कार्यों का आकार बढ़ गया, उनके खुलने का समय फ्रेम और टैग किए गए डेटा की संख्या के अनुपात में बढ़ गया, टैग की गई वस्तुओं की अक्षम प्रस्तुति के कारण यूआई धीमा हो गया, प्रगति अक्सर काम के घंटों में खो गई थी। उत्पादकता ज्यादातर छवियों के साथ कार्यों पर आधारित थी, क्योंकि उस समय की वास्तुकला की नींव मूल रूप से वीडियो के साथ काम करने के लिए डिज़ाइन की गई थी। क्लाइंट आर्किटेक्चर में पूर्ण परिवर्तन की आवश्यकता थी, जिसके साथ हमने सफलतापूर्वक मुकाबला किया। उस समय अधिकांश प्रदर्शन समस्याएं चली गईं। वेब इंटरफ़ेस बहुत तेज़ और अधिक स्थिर हो गया है। बड़े कार्यों को चिह्नित करना संभव हो गया है। उसी अवधि में, कुछ हद तक, परिवर्तनों के दौरान जाँच के स्वचालन को प्रदान करने के लिए इकाई परीक्षण शुरू करने का प्रयास किया गया था। यह कार्य इतनी सफलतापूर्वक हल नहीं किया गया है। हमने क्विकर, कर्मा, हेडलेस क्रोम को डॉकटर कंटेनर में कॉन्फ़िगर किया, कुछ परीक्षण लिखे, यह सब CI पर लॉन्च किया। हालांकि, कोड का एक बड़ा हिस्सा बना रहा, और अभी भी बना हुआ है, परीक्षणों द्वारा उजागर किया गया है। एक और नवाचार ईएलके स्टैक पर आधारित बाद की खोज और विज़ुअलाइज़ेशन के साथ उपयोगकर्ता कार्यों को लॉग करने की एक प्रणाली थी। यह आपको एनोटेटर्स की प्रक्रिया की निगरानी करने और एक्शन परिदृश्यों की तलाश करने की अनुमति देता है जो सॉफ़्टवेयर अपवादों का नेतृत्व करते हैं।

2018 की पहली छमाही में, हमने अपनी क्लाइंट कार्यक्षमता का विस्तार किया। विशेषता एनोटेशन मोड जोड़ा गया था, जो विशेषताओं को चिह्नित करने के लिए एक प्रभावी स्क्रिप्ट को लागू करता है, जिसका विचार हमने सहकर्मियों से उधार लिया और सामान्यीकृत किया; अब आप कई संकेतों के अनुसार वस्तुओं को फ़िल्टर कर सकते हैं, एक ब्राउज़र के माध्यम से इसे देखने के साथ कार्यों को सेट करते समय डेटा डाउनलोड करने के लिए एक सामान्य भंडारण को कनेक्ट करें। कार्य अधिक मात्रा में हो गए और प्रदर्शन की समस्याएं फिर से उत्पन्न होने लगीं, लेकिन इस बार सर्वर का हिस्सा अड़चन था। वेटिक के साथ समस्या यह थी कि इसमें उन कार्यों के लिए बहुत सारे स्व-लिखित कोड थे जो तैयार किए गए समाधानों का उपयोग करके अधिक आसानी से और कुशलता से हल किए जा सकते थे। इसलिए हमने सर्वर साइड को फिर से बनाने का फैसला किया। हमने Django को सर्वर फ्रेमवर्क के रूप में चुना, मोटे तौर पर इसकी लोकप्रियता और कई चीजों की उपलब्धता के कारण, जैसा कि वे कहते हैं, बॉक्स से बाहर। सर्वर भाग के परिवर्तन के बाद, जब वेटिक के पास कुछ भी नहीं बचा था, हमने फैसला किया कि हमने पहले से ही काफी काम किया था, जिसे समुदाय के साथ साझा किया जा सकता है। इसलिए ओपन सोर्स पर जाने का फैसला किया गया। एक बड़ी कंपनी के अंदर इसके लिए अनुमति प्राप्त करना एक कांटेदार प्रक्रिया है। इसके लिए आवश्यकताओं की एक बड़ी सूची है। सहित, एक नाम के साथ आने के लिए आवश्यक था। हमने विकल्पों पर ध्यान दिया और सहयोगियों के बीच सर्वेक्षण की एक श्रृंखला का संचालन किया। परिणामस्वरूप, हमारे आंतरिक उपकरण का नाम सीवीएटी रखा गया, और 29 जून, 2018 को, एमआईटी लाइसेंस के तहत ओपनसीवी संगठन में गीथहब पर स्रोत कोड प्रकाशित किया गया था और प्रारंभिक संस्करण 0.1.0 के साथ। आगे का विकास एक सार्वजनिक भंडार में हुआ।

सितंबर 2018 के अंत में, प्रमुख संस्करण 0.2.0 जारी किया गया था। बहुत सारे छोटे बदलाव और सुधार हुए, लेकिन मुख्य ध्यान नए प्रकार के एनोटेशन का समर्थन करने पर था। तो विभाजन को चिह्नित करने और मान्य करने के लिए कई उपकरण दिखाई दिए, साथ ही साथ पॉलीलाइन या डॉट्स के साथ एनोटेट करने की क्षमता।

क्रिसमस की तरह ही अगली रिलीज़, 31 दिसंबर, 2018 के लिए निर्धारित है। यहां सबसे महत्वपूर्ण बिंदु OpenVino के हिस्से के रूप में डीप लर्निंग डिप्लॉयमेंट टूलकिट का वैकल्पिक एकीकरण है, जिसका उपयोग NVIDIA ग्राफिक्स कार्ड की अनुपस्थिति में TF OD API के लॉन्च में तेजी लाने के लिए किया जाता है; उपयोगकर्ता लॉग एनालिटिक्स सिस्टम जो पहले सार्वजनिक संस्करण में उपलब्ध नहीं था; ग्राहक पक्ष में कई सुधार।

हमने आज (दिसंबर 2018) सीवीएटी इतिहास को संक्षेप में प्रस्तुत किया है और सबसे महत्वपूर्ण घटनाओं की समीक्षा की है। आप हमेशा चेंजगॉग में इतिहास बदलने के बारे में अधिक पढ़ सकते हैं।

आंतरिक उपकरण

स्थापना और परिनियोजन को सरल बनाने के लिए, सीवीएटी डॉकर कंटेनरों का उपयोग करता है। सिस्टम में कई कंटेनर होते हैं। एक पर्यवेक्षण प्रक्रिया CVAT कंटेनर में निष्पादित की जाती है, जो Django वातावरण में कई पायथन प्रक्रियाओं को जन्म देती है। उनमें से एक wsgi सर्वर है, जो क्लाइंट अनुरोधों को संभालता है। अन्य प्रक्रियाएं, आरके कार्यकर्ता, का उपयोग रेडिस कतारों से "लंबे" कार्यों को करने के लिए किया जाता है: डिफ़ॉल्ट और निम्न। ऐसे कार्यों में वे शामिल हैं जिन्हें एक एकल उपयोगकर्ता अनुरोध के भीतर संसाधित नहीं किया जा सकता है (कार्य सेट करना, एनोटेशन फ़ाइल तैयार करना, TF OD API और अन्य के साथ मार्कअप)। श्रमिकों की संख्या पर्यवेक्षक विन्यास फाइल में कॉन्फ़िगर की जा सकती है।

Django वातावरण दो डेटाबेस सर्वर के साथ इंटरैक्ट करता है। Redis सर्वर कार्य कतारों की स्थिति को संग्रहीत करता है, और CVAT डेटाबेस में कार्यों, उपयोगकर्ताओं, एनोटेशन, आदि के बारे में सभी जानकारी होती है। PostgreSQL (और विकास के तहत SQLite 3) का उपयोग सीवीएटी के लिए डीबीएमएस के रूप में किया जाता है। सभी डेटा एक प्लग करने योग्य विभाजन (cvat db वॉल्यूम) पर संग्रहीत किया जाता है। अनुभागों का उपयोग किया जाता है जहां कंटेनर को अपडेट करते समय डेटा हानि से बचने के लिए आवश्यक है। इस प्रकार, निम्नलिखित CVAT कंटेनर में मुहिम की जाती है:

• वीडियो और छवियों के साथ अनुभाग (cvat डेटा वॉल्यूम)
• कुंजियों के साथ अनुभाग (cvat कुंजियाँ वॉल्यूम)
• लॉग के साथ अनुभाग (cvat लॉग वॉल्यूम)
• साझा फ़ाइल संग्रहण (साझा मात्रा)

एनालिटिक्स सिस्टम में डॉकटर कंटेनरों में लिपटे एलिटिक्स, लॉगस्टैश और किबाना शामिल हैं। क्लाइंट पर काम की बचत करते समय, लॉग सहित सभी डेटा सर्वर पर स्थानांतरित कर दिया जाता है। सर्वर, बदले में, उन्हें फ़िल्टर करने के लिए लॉगस्टैश पर भेजता है। इसके अलावा, किसी भी त्रुटि के होने पर ई-मेल को स्वचालित रूप से सूचनाएं भेजने की क्षमता है। अगला, लॉग एलीटेसर्च में आते हैं। उत्तरार्द्ध उन्हें एक प्लग करने योग्य विभाजन (cvat इवेंट वॉल्यूम) पर सहेजता है। फिर, उपयोगकर्ता सांख्यिकी और लॉग देखने के लिए किबाना इंटरफ़ेस का उपयोग कर सकता है। उसी समय, किबना एलीटेसर्च के साथ सक्रिय रूप से बातचीत करेगी।

स्रोत स्तर पर, CVAT में कई Django एप्लिकेशन शामिल हैं:

• प्रमाणीकरण - सिस्टम में उपयोगकर्ताओं का प्रमाणीकरण (मूल और LDAP)
• इंजन - एक प्रमुख अनुप्रयोग (मूल डेटाबेस मॉडल; लोडिंग और सेविंग टास्क; लोडिंग और अनलोडिंग एनोटेशन; मार्कअप क्लाइंट इंटरफ़ेस; कार्यों को बनाने, बदलने और हटाने के लिए सर्वर इंटरफ़ेस)
• dashboard – , ,
• documentation –
• tf_annotation – Tensorflow Object Detection API
• log_viewer – Logstash
• log_proxy – CVAT → Kibana
• git – Git-

. (hardcode) . , , , , .

JavaScript Django. JavaScript , , - ( ) model-view-controller. , (, , ) , . ( - UI), (, , : , , models, views controllers).

open source, . , . . , CVAT. , , . :

• CVAT , , , , . UI .
• . , .
• , . , .
• . deep learning , . , Deep Learning Deployment Toolkit OpenVINO - . , . , .
• demo- CVAT, , , . demo- Onepanel, CVAT .
• Amazon Mechanical Turk CVAT . SDK .

, . , , . open source . – , . , PR . , , Gitter . , ! !

संदर्भ

• GitHub CVAT
• Gitter Chat
• Changelog
• Contributing
• OpenVINO
• Pretrained models