पॉइंट क्लाउड्स में पॉइंट विभाजन विधियाँ

परिचय

कुछ समय पहले, मुझे पॉइंट क्लाउड में सेगमेंटिंग पॉइंट्स की समस्या को हल करने की आवश्यकता थी (पॉइंट क्लाउड लिडार से प्राप्त डेटा हैं)।

उदाहरण डेटा और हल किए जाने वाले कार्य:

मौजूदा तरीकों के सामान्य अवलोकन की खोज असफल रही, इसलिए मुझे स्वयं जानकारी एकत्र करनी पड़ी। आप परिणाम देख सकते हैं: यहां पिछले कुछ वर्षों में सबसे महत्वपूर्ण और दिलचस्प (मेरी राय में) लेख एकत्र किए गए हैं। सभी विचार किए गए मॉडल एक पॉइंट क्लाउड को सेगमेंट करने की समस्या को हल करते हैं (प्रत्येक बिंदु किस क्लास का है)।

यह लेख उन लोगों के लिए उपयोगी होगा जो तंत्रिका नेटवर्क से परिचित हैं और यह समझना चाहते हैं कि उन्हें असंरचित डेटा (उदाहरण के लिए, ग्राफ़) पर कैसे लागू किया जाए।

मौजूदा डेटासेट

अब सार्वजनिक डोमेन में इस विषय पर निम्नलिखित डेटासेट हैं:

• स्टैनफोर्ड लार्ज-स्केल 3DIndoor Spaces Dataset (S3DIS) - लेबलेड सीन्स इनसाइड बिल्डिंग्स
• स्कैननेट - बिल्डिंग के अंदर लेबल वाले दृश्य
• NYUV2 - भवन के अंदर के दृश्यों को चिह्नित किया गया
• शेपनेट - विभिन्न आकृतियों की वस्तुएं
• मॉडलनेट 40 - विभिन्न आकृतियों की वस्तुएं
• SHREC15 - जानवरों और मनुष्यों के विभिन्न प्रकार

प्वाइंट क्लाउड्स के साथ काम की विशेषताएं

तंत्रिका नेटवर्क इस क्षेत्र में हाल ही में आए हैं। और इस समस्या को हल करने के लिए मानक आर्किटेक्चर जैसे पूरी तरह से जुड़े हुए और जटिल नेटवर्क लागू नहीं हैं। क्यों?

क्योंकि यहां अंकों का क्रम महत्वपूर्ण नहीं है। ऑब्जेक्ट बिंदुओं का एक समूह है और यह मायने नहीं रखता कि उन्हें किस क्रम में देखा गया है। यदि प्रत्येक पिक्सेल की छवि में अपना स्थान है, तो हम सुरक्षित रूप से डॉट्स को मिला सकते हैं और ऑब्जेक्ट नहीं बदलता है। मानक तंत्रिका नेटवर्क का परिणाम, इसके विपरीत, डेटा के स्थान पर निर्भर करता है। यदि आप चित्र में पिक्सेल मिलाते हैं, तो आपको एक नई वस्तु मिलती है।

अब देखते हैं कि तंत्रिका नेटवर्क ने इस समस्या को हल करने के लिए कैसे अनुकूलित किया।

सबसे महत्वपूर्ण लेख

इस क्षेत्र में कई बुनियादी आर्किटेक्चर नहीं हैं। यदि आप रेखांकन या असंरचित डेटा के साथ काम करने का इरादा रखते हैं, तो आपको निम्नलिखित मॉडलों का विचार करने की आवश्यकता है:

• PointNet
• पॉइंटनेट ++
• DGCNN

आइए उन पर अधिक विस्तार से विचार करें।

• पॉइंटनेट: 3 डी क्लासिफिकेशन और सेगमेंटेशन के लिए पॉइंट सेट्स पर डीप लर्निंग
  असंरचित डेटा के साथ काम करने में पायनियर्स।
  
  • वे कैसे तय करते हैं: लेख दो मॉडलों का वर्णन करता है: किसी वस्तु के विभाजन और वर्गीकरण के लिए। सामान्य भाग में निम्नलिखित ब्लॉक होते हैं:
    
    • परिवर्तन (समन्वय प्रणाली का अनुवाद) के निर्धारण के लिए एक नेटवर्क, जो तब सभी बिंदुओं पर लागू होता है
    • परिवर्तन प्रत्येक बिंदु पर व्यक्तिगत रूप से लागू होता है (नियमित बोधक)
    • अधिकतमकरण, जो विभिन्न बिंदुओं से जानकारी को जोड़ता है और संपूर्ण वस्तु के लिए एक वैश्विक विशेषता वेक्टर बनाता है।
    • तब मॉडल के बीच अंतर शुरू होता है:
      
      1. वर्गीकरण मॉडल: एक वैश्विक विशेषता वेक्टर पूरे बिंदु बादल के वर्ग को निर्धारित करने के लिए एक पूरी तरह से जुड़े परत के इनपुट पर जाता है
      2. विभाजन के लिए मॉडल: वैश्विक सुविधा वेक्टर और प्रत्येक बिंदु के लिए गणना की गई विशेषताएं पूरी तरह से जुड़े परत के इनपुट पर जाती हैं जो प्रत्येक बिंदु पर वर्ग को परिभाषित करता है।
  • कोड

• पॉइंटनेट ++: एक मैट्रिक स्पेस में प्वाइंट सेट्स पर डीप हायरार्चिकल फीचर लर्निंग
  स्टैनफोर्ड के वही लोग जिन्होंने पॉइंटनेट का वर्णन किया है।
  
  • वे कैसे तय करते हैं: पॉइंटनेट पुनरावृत्ति को छोटे उप-बादलों पर लागू किया जाता है, जो कि कन्वेंशन नेटवर्क के समान है। यही है, क्यूब्स अंतरिक्ष को विभाजित करते हैं, पॉइंटनेट को प्रत्येक पर लागू किया जाता है, फिर नए क्यूब्स इन क्यूब्स से बने होते हैं। यह आपको स्थानीय संकेतों को उजागर करने की अनुमति देता है जो नेटवर्क का पिछला संस्करण खो रहा था।
  • कोड

• प्वाइंट क्लाउड्स पर सीखने के लिए डायनेमिक ग्राफ सीएनएन

  
  

  • वे कैसे तय करते हैं: उपलब्ध बिंदुओं के आधार पर, एक ग्राफ बनाया जाता है: कोने बिंदु होते हैं, किनारों पर केवल वर्तमान बिंदु और इसके निकटतम के बिंदु होते हैं। अगला, एज कनैक्ट को परिभाषित किया गया है - वर्तमान बिंदु से आने वाले किनारों पर एक विशेष कनवल्शन। इस कन्वेंशन के लिए लेख कई विकल्प प्रदान करता है। परिणामस्वरूप, हमने निम्नलिखित का उपयोग किया: प्रत्येक बिंदु के लिए x [i] इसके सभी J पड़ोसी बिंदुओं के साथ, M संकेतों को विशेषता माना गया [i, m] = max_j (Relu (θ [m] ∗ (x [i] [x (j]) + φ [m] ∗ x [i])) । प्राप्त मूल्य को एक बिंदु के नए एम्बेडिंग के रूप में याद किया जाता है। यहां, स्थानीय (x [j] [x [i]) और ग्लोबल (x [j]) निर्देशांक का उपयोग कनवल्शन के इनपुट के रूप में किया जाता है।
    कनवल्शन को ग्राफ पर परिभाषित करने के बाद, एक कनवल्शन नेटवर्क का निर्माण किया जाता है। आप पॉइंटनेट की तरह, प्रत्येक बिंदु पर परिवर्तनों की संख्या और उनके आवेदन को भी नोटिस कर सकते हैं।
    इस लेख में आपको अन्य समाधान विधियों का एक उत्कृष्ट अवलोकन मिलेगा।

    
    

  • कोड

    
    
  
  

पॉइंटनेट और पॉइंटनेट ++ पर आधारित लेख:

अधिकांश लेख त्रुटि गणना या गहराई और जटिल ब्लॉकों की जटिलता के संदर्भ में भिन्न होते हैं।

• पॉइंट वाइज: अनसुपरवाइज्ड पॉइंट-वार फ़ीचर लर्निंग नेटवर्क
  कार्य की विशेषता - एक शिक्षक के बिना प्रशिक्षण

  
  
  • वे कैसे तय करते हैं: प्रत्येक बिंदु के लिए, एम्बेडिंग के वेक्टर को प्रशिक्षित किया जाता है, जिसके द्वारा उन्हें तब खंडित किया जाता है।
    लेख का मुख्य संकेत यह है कि समान वस्तुओं में उनकी निर्लिप्तता के बावजूद समान एम्बेडिंग (उदाहरण के लिए, कुर्सी के दो अलग-अलग पैर) होने चाहिए। प्वाइंट नेट का उपयोग आधार मॉडल के रूप में किया जाता है। मुख्य नवाचार त्रुटि फ़ंक्शन है। इसमें दो भाग होते हैं: पुनर्निर्माण त्रुटियाँ और चिकनाई त्रुटियाँ।
    पुनर्निर्माण त्रुटि बिंदु संदर्भ जानकारी का उपयोग करती है। उसका कार्य समान ज्यामितीय संदर्भ के समान बिंदुओं के एम्बेडिंग बनाना है। इसकी गणना करने के लिए, चयनित बिंदु के लिए एम्बेडिंग वेक्टर के आधार पर, इसके पास नए बिंदु उत्पन्न होते हैं। यही है, बिंदु के फीचर विवरण में बिंदु के चारों ओर वस्तु के आकार के बारे में जानकारी होनी चाहिए। इसके बाद, विचार करें कि उत्पन्न अंक वस्तु के वास्तविक आकार से कितना नीचे आते हैं।
    चिकनाई त्रुटि की आवश्यकता है ताकि एम्बेड आसन्न बिंदुओं के समान हों और दूर के बिंदुओं के विपरीत हों। यहां सबसे सुंदर चीज निकटता का माप है, न केवल यूक्लिडियन अंतरिक्ष में दो बिंदुओं के बीच के मानक के रूप में, बल्कि वस्तु के बिंदुओं के माध्यम से दूरी की गणना करना। प्रत्येक बिंदु के लिए, एक बिंदु k निकटतम से और k आगे से चुना जाता है।
    वर्तमान एम्बेडिंग को पहले की तुलना में एक निश्चित मार्जिन द्वारा निकटतम न्यूनतम के करीब होना चाहिए।
  
  

• SGPN: 3D प्वाइंट क्लाउड इंस्टेंस सेगमेंटेशन के लिए समानता समूह प्रस्ताव नेटवर्क

  
  
  • वे कैसे तय करते हैं: प्वाइंट वाइज में, त्रुटि की गणना करने में सबसे दिलचस्प बात यहां है। पॉइंटनेट ++ आधार है, पहले हम फीचर वेक्टर पर विचार करते हैं और ऑब्जेक्ट पॉइंटनेट ++ के साथ सादृश्य द्वारा, व्यक्तिगत रूप से प्रत्येक बिंदु के होते हैं।
    अगला, विशेषताओं के आधार पर, हम 3 मैट्रिक्स (समानता, आत्मविश्वास और विभाजन) पर विचार करते हैं।
    सीखने की त्रुटि संगत मैट्रिक्स द्वारा गणना की गई तीन त्रुटियों का योग होगी: एल = एल 1 + एल 2 + एल 3
    आज्ञा देना अंक की संख्या हो
    समानता मैट्रिक्स - वर्ग, आकार एन * एन। I-th पंक्ति और j-th कॉलम के चौराहे पर मौजूद तत्व इंगित करता है कि ये बिंदु एक ही वस्तु के हैं या नहीं। एक ही वस्तु से संबंधित बिंदुओं में समान सुविधा वाले वैक्टर होने चाहिए। मैट्रिक्स के तत्व तीन मानों में से एक ले सकते हैं: पॉइंट्स i और j एक ऑब्जेक्ट से संबंधित हैं, पॉइंट्स ऑब्जेक्ट्स के एक वर्ग से संबंधित हैं, लेकिन अलग-अलग ऑब्जेक्ट्स (यह और उस कुर्सी दोनों, लेकिन कुर्सियां ​​अलग-अलग हैं), या ये आम तौर पर अलग-अलग क्लास की वस्तुओं से पॉइंट होते हैं। इस मैट्रिक्स की गणना सच्चे मूल्यों के अनुसार की जाती है।
    
    आत्मविश्वास मैट्रिक्स लंबाई एन का एक वेक्टर है। प्रत्येक बिंदु के लिए, बिंदु के सेट के बीच संघ (IoU) पर चौराहे जो हमारे एल्गोरिथ्म के काम के अनुसार वस्तु के हैं और उन बिंदुओं के सेट के हैं जो वास्तव में वर्तमान बिंदु के साथ वस्तु से संबंधित हैं। सच्चाई और गणना की गई मैट्रिक्स के बीच त्रुटि केवल L2 मानदंड है। यही है, नेटवर्क यह अनुमान लगाने की कोशिश कर रहा है कि किसी वस्तु पर बिंदुओं के लिए कक्षा की भविष्यवाणी में कितना आत्मविश्वास है।
    विभाजन मैट्रिक्स का आकार - एन * वर्गों की संख्या है। यहाँ त्रुटि को मल्टीस्कलैस वर्गीकरण समस्या में क्रॉस-एंट्रोपी के रूप में माना जाता है।
  • कोड
  
  

• जानिए आपके पड़ोसी क्या करते हैं: प्वाइंट क्लाउड्स का 3 डी सिमेंटिक सेगमेंटेशन
  
  • वे कैसे तय करते हैं: सबसे पहले, वे एक लंबे समय के लिए संकेतों पर विचार करते हैं, पॉइंटनेट की तुलना में अधिक जटिल, अवशिष्ट कनेक्शन का एक गुच्छा, और रकम के साथ, लेकिन सामान्य तौर पर - एक ही बात। एक मामूली अंतर - वे वैश्विक और स्थानीय निर्देशांक में प्रत्येक बिंदु के लिए संकेत गिनते हैं।
    यहां मुख्य अंतर फिर से त्रुटि गणना है। यह मानक क्रॉसेंट्रोपी नहीं है, लेकिन दो त्रुटियों का योग है:
    
    1. जोड़ीदार दूरी का नुकसान - एक वस्तु से अंक ear_near की तुलना में करीब होना चाहिए और विभिन्न वस्तुओं से बिंदु f_far से अधिक होना चाहिए।
       
    2. केन्द्रक हानि - एक वस्तु से बिंदु एक दूसरे के करीब होना चाहिए

DGCNN आधारित लेख:

DGCNN हाल ही में (2018) प्रकाशित हुआ था, इसलिए इस वास्तुकला पर आधारित कुछ लेख हैं। मैं एक बात पर आपका ध्यान आकर्षित करना चाहता हूं:

• लिंक्ड डायनेमिक ग्राफ CNN: पदानुक्रमिक करतब करने के माध्यम से प्वाइंट क्लाउड पर सीखना
  
  • वे कैसे तय करते हैं: मूल वास्तुकला को जटिल करते हैं, इसमें अवशिष्ट कनेक्शन जोड़ते हैं

निष्कर्ष

यहां आप प्वाइंट क्लाउड्स में वर्गीकरण और विभाजन की समस्याओं के समाधान के लिए आधुनिक तरीकों के बारे में संक्षिप्त जानकारी पा सकते हैं। दो मुख्य मॉडल (पॉइंटनेट ++, डीजीसीएनएन) हैं, जिनमें से संशोधनों का उपयोग अब इन समस्याओं को हल करने के लिए किया जाता है। सबसे अधिक बार, संशोधन के लिए, त्रुटि फ़ंक्शन को बदल दिया जाता है और ये आर्किटेक्चर परतों और लिंक को जोड़कर जटिल होते हैं।