मानव मुद्रा मूल्यांकन

कुछ महीने पहले मैं इंटरनेट पर एक दिलचस्प ओपन सोर्स प्रोजेक्ट में आया था - जिसका उद्देश्य एक वीडियो स्ट्रीम पर वास्तविक समय में एक मानव मुद्रा का अनुमान लगाना है। मेरी व्यावसायिक गतिविधियों के कारण, मुझे यह देखने के लिए Apple से नवीनतम iOS डिवाइस को चलाने के लिए दिलचस्पी थी कि यदि यह संभव है तो यह पता लगा सके। यह भी देखना दिलचस्प था कि पिछले वर्षों में आईओएस के लिए तंत्रिका नेटवर्क ढांचे का प्रदर्शन कैसे बदला गया है।

मूल ओपनपोज प्रोजेक्ट C ++ में लिखा गया है और यह कोरएमएल - आईओएस पर तंत्रिका नेटवर्क ढांचे का उपयोग नहीं करता है। इसलिए मुझे स्विफ्ट में एक मुख्य भाग को फिर से लिखना पड़ा और इनफॉरमेशन जॉब करने के लिए CoreML का उपयोग करना पड़ा। आइए निम्नलिखित छवि पर एक नज़र डालें कि मानव शरीर का प्रतिनिधित्व कैसे किया जाता है:

मानव मुद्रा मॉडल के बारे में अधिक जानकारी यहाँ मिल सकती है: MPI-pose

परिणाम नीचे दी गई छवि में दिखाया गया है:

डेमो उद्देश्यों के लिए मैंने खुद के साथ चित्र लिए)	परिणामी मानव मुद्रा का अनुमान मूल छवि पर खींचा गया है

मॉडल तैयार करना

ढांचे का उपयोग शुरू करने के लिए एक कोर एमएल मॉडल बनाने की आवश्यकता है। यह मॉडल ओपनपोज प्रोजेक्ट से एक पर आधारित है। एक मॉडल तैयार करने के लिए निम्न चरण करें:
1) पायथन और कोरएमएल उपकरण स्थापित करें
2) रन मॉडल / getModels.sh ओपन पोज से मूल ओपनपोज मॉडल प्राप्त करने के लिए
3) मॉडल / पोज / मॉडल के लिए कॉपी करें
4) फ़ाइल pose_deploy_linevec_faster_4_stages_fixed_size.prototxt में निम्नलिखित बदलें:

input_dim: 1 # This value will be defined at runtime -> input_dim: 512 input_dim: 1 # This value will be defined at runtime -> input_dim: 512 

5) मॉडल निर्देशिका के लिए एक लिंक बनाएँ। मान लें कि पोज़ फ्रेमवर्क प्रोजेक्ट और ओपनपोज़ प्रोजेक्ट होम डायरेक्टरी में हैं, तो लिंक बनाने का कमांड निम्नलिखित होगा:

ln -s ~/openpose/models ~/models

6) ~ / pose / pose / CoreMLModels पर जाएं और निम्न कमांड चलाएँ:

python convertModel.py

उपर्युक्त स्क्रिप्ट में फ़ाइल pose_deploy_linevec_faster_4_stages_fixed_size.prototxt और मॉडल फ़ाइल pose_iter_160000.caffemodel में हार्डकोड किए गए मान शामिल हैं।
उन्हें किसी अन्य मॉडल में बदला जा सकता है लेकिन कृपया .prototxt फ़ाइल को बदलने के लिए मत भूलना इनपुट का निश्चित आकार है:
input_dim: XXX - एनएन इनपुट के साथ मेल खाता है।
input_dim: XXX - एनएन इनपुट की ऊंचाई से मेल खाती है।
इसके अलावा मॉडल कॉन्फ़िगरेशन को बदलने के लिए मत भूलना PoseModelConfigurationMPI15.input निर्दिष्ट इनपुट मान पर जाएं और इस कॉन्फ़िगरेशन का उपयोग मौजूदा ढांचे के बजाय फ्रेमवर्क में 512x512 सेट करने के लिए करें।

कोई भी मान काम करेगा लेकिन सबसे अच्छा परिणाम प्राप्त किया जा सकता है यदि एक पहलू अनुपात उस से मेल खाता है जो एक मूल छवि है। इसके अलावा, यह ध्यान में रखा जाना चाहिए कि बड़े मूल्य प्रदर्शन को काफी प्रभावित करेंगे जो प्रदर्शन अनुभाग में दिखाया गया है।

तंत्रिका नेटवर्क आउटपुट विवरण

आइए एनएन के आउटपुट पर करीब से नज़र डालें। MPI15 मॉडल का आउटपुट मैट्रिस व्हिट आयामों का एक समूह है (input_image_width / 8, input_image_height / 8) । मैट्रिक्स में प्रत्येक तत्व फ्लोट प्रकार है। आउटपुट और बॉडी पार्ट में मैट्रिक्स इंडेक्स के बीच मैपिंग:

 POSE_MPI_BODY_PARTS { {0, "Head"}, {1, "Neck"}, {2, "RShoulder"}, {3, "RElbow"}, {4, "RWrist"}, {5, "LShoulder"}, {6, "LElbow"}, {7, "LWrist"}, {8, "RHip"}, {9, "RKnee"}, {10, "RAnkle"}, {11, "LHip"}, {12, "LKnee"}, {13, "LAnkle"}, {14, "Chest"}, {15, "Background"} }; 

चूँकि प्रत्येक मैट्रिक्स में एक निश्चित आकार की पहुँच होती है, जो ऑफसेट ऑपरेशन द्वारा पढ़ी जाने वाली एक त्रिकोणीय है: [पृष्ठभूमि] = NNOutput [sizeOfTheMatrix * 15]

हीटमैप्स और पीएएफ

MPI15 मॉडल में दो प्रकार के आउटपुट मैट्रिसेस हैं। जो हीटमैप्स का प्रतिनिधित्व करते हैं और अन्य जो पीएएफ का प्रतिनिधित्व करते हैं। प्रत्येक हीट मैट्रिक्स एक संयुक्त भाग से मेल खाता है जो कुल 15 है। पीएएफ मैट्रिस शरीर कनेक्शन का प्रतिनिधित्व करते हैं। प्रत्येक शरीर कनेक्शन के लिए, एक्स और वाई मैट्रिक्स है जो कुल 28 (14 + 14) है। एक पृष्ठभूमि एक सहित मेट्रिसेस की कुल राशि 44 है।

डेमो प्रोजेक्ट

परियोजना के भंडार में एक डेमो प्रोजेक्ट 'पोसडेमो' भी शामिल है जो फ्रेमवर्क के उपयोग को प्रदर्शित करता है। एक विशेष इनपुट छवि के लिए एनएन परिणाम मैट्रिक्स नीचे दिखाए गए हैं:

नमूना	छवियाँ
मानव मुद्रा परिणाम:	हीटमैप एक छवि में संयुक्त। प्रत्येक संयुक्त का अपना रंग होता है:
PAFs एक छवि में संयुक्त हैं:	सभी हीटमैप उम्मीदवार। प्रत्येक उम्मीदवार का अपना आत्मविश्वास होता है जो छवि पर अपनी अस्पष्टता को परिभाषित करता है:
समरूप उम्मीदवारों को एक सिर के करीब देखो:	एक गर्दन के अनुरूप हीटमैप उम्मीदवारों पर करीब से नज़र डालें:
पीएएफ मैट्रिक्स जो एक सिर-गर्दन कनेक्शन उम्मीदवार से मेल खाती है। सिर, गर्दन के हीटमैप जोड़ों को भी छवि पर दिखाया गया है:	PAF मैट्रिक्स जो एक LShoulder, LElbow कनेक्शन के उम्मीदवार से मेल खाती है। LShoulder-LElbow हीटमैप जोड़ों को छवि पर भी दिखाया गया है:

प्रदर्शन

प्रदर्शन माप के बिना लक्ष्य परियोजना बेकार होगी। नीचे दिए गए परिणामों में यह स्पष्ट रूप से देखा गया है कि Apple ने पिछले मॉडल में NN इंजन की जबरदस्त प्रदर्शन वृद्धि की थी। इसके अलावा, विश्लेषक की भविष्यवाणियों के अनुसार, Apple आने वाले iPhone में NN हार्डवेयर को और भी तेज करेगा। प्रदर्शन माप परिणाम नीचे दिखाए गए हैं:

एक फ्रेम को संसाधित करने का समय (देखने में 1-2 व्यक्ति)

यह ध्यान देने योग्य है कि ऊपर दिखाए गए सभी नंबर प्रत्येक विशेष रन के लिए भिन्न हो सकते हैं। मुझे लगता है कि CoreML आंतरिक अनुकूलन के कारण हो रहा है।

NN इनपुट आकार के आधार पर परिणामी मुद्रा (छोटा और तेज़ कम सटीक परिणाम है)

512 x 512	256 x 256

कोड के स्रोत

GitHub रिपॉजिटरी का लिंक: इसे चेक करने के लिए क्लिक करें

आवेदन

यह ध्यान रखना महत्वपूर्ण है कि नीचे वर्णित सभी एप्लिकेशन सिर से बाहर आ गए और आधिकारिक तौर पर एप्पल या कुछ प्राधिकरण द्वारा पुष्टि नहीं की गई है।

हेल्थकेयर

1) अभी भी छवियों पर मानव रीढ़ में विसंगतियों का पता लगाना:

2) स्वास्थ्य और फिटनेस गाइड।

गृह सुरक्षा और स्वचालन (मोबाइल फोन से संबंधित नहीं)

1) का पता लगाने अगर घर पर लोग और जाँच करें कि क्या सभी उपकरण बंद है (लोहे / ओवेन)।
2) रहने वाले क्षेत्र के अंदर लोगों का पता लगाना और स्वचालन करना (रोशनी / संगीत / टीवी चालू करना)

कला स्टूडियो अनुप्रयोगों के लिए प्लगइन्स

1) 2 डी -> 3 डी मानचित्रण और मुद्रा 2 डी स्रोत के आधार पर एक 3 डी मुद्रा को फिर से संगठित करने के लिए मुद्रा

सुधार और आगे के घटनाक्रम

प्रसंस्करण के बाद के कदम के प्रदर्शन को बढ़ाने और इसे और अधिक सटीक बनाने के लिए कई सुधार किए जा सकते हैं। साथ ही, 3D पोज़ को फिर से बनाने के लिए इसे 2D-> 3D मैपिंग के साथ जोड़ना दिलचस्प हो सकता है। संभावित सुधारों की सूची नीचे दी गई है:
1) एनएमएस अनुकूलन। METAL API का उपयोग करके एक समानांतर GPU कार्यान्वयन।
2) जोड़ों के कनेक्शन के लिए एक अलग सन्निकटन का उपयोग करें जो वास्तविक जीवन कंकाल की हड्डियों के करीब है। हड्डियां सीधी नहीं होतीं।
3) कलाकृतियों से छुटकारा पाने के लिए आउटपुट पोज के लिए अधिक मजबूत फ़िल्टरिंग को लागू करें।
4) एक वीडियो स्ट्रीम पर एक मुद्रा अनुमान लागू करें
5) 2 डी -> 3 डी मैपिंग

गहराई से जानकारी

जो लोग इस परियोजना की पृष्ठभूमि में रुचि रखते हैं और ओपन के लिए नीचे उपयोगी जानकारी पा सकते हैं:
1) http://posefs1.perception.cs.cmu.edu/Users/ZheCao/Multi-person%20pose%20estimation-CMU.pdf
2) https://www.ri.cmu.edu/wp-content/uploads/2017/04/thesis.pdf
3) https://pose.mpi-inf.mpg.de/

कुछ मज़ा

यह देखना हमेशा दिलचस्प होता है कि तकनीक का अनुप्रयोग असामान्य इनपुट के साथ कैसे काम करेगा। कुछ मजेदार परिणाम नीचे दिखाए गए हैं। कृपया ध्यान दें कि एनएन ने उस पैर की भविष्यवाणी कैसे की, जहां वह वास्तव में छिपा हुआ है:

छवि को मैजिक पॉसर से लिया गया था

निष्कर्ष

इस लेख में, मानव मुद्रा को संदर्भित करने के लिए iOS एप्लिकेशन का वर्णन किया गया है। प्रदर्शन के परिणामों के अनुसार यह स्पष्ट रूप से देखा गया है कि Apple ने तंत्रिका नेटवर्क इंजन के प्रदर्शन में एक विशाल छलांग लगाई थी। इसके अलावा अगले iPhone मॉडल अत्यधिक शायद realtime में infering करने की अनुमति देगा। 2 डी के साथ संयोजन-> 3 डी पोज़ पुनर्निर्माण एक वीडियो स्ट्रीम पर वास्तविक समय में 3 डी मानव पोज़ का अनुमान लगाने की संभावना को खोलता है!