मैंने कंप्यूटर विज़न और मशीन लर्निंग प्रोजेक्ट्स, जैसे ऑब्जेक्ट रिकॉग्निशन सिस्टम और फेस रिकग्निशन प्रोजेक्ट्स के बारे में बहुत कुछ लिखा। मेरे पास एक ओपन सोर्स पायथन फेस रिकग्निशन लाइब्रेरी भी है, जिसने किसी तरह इसे जीथब पर शीर्ष 10 सबसे लोकप्रिय मशीन लर्निंग लाइब्रेरी बना दिया । इस सब ने मुझे बहुत से प्रश्न पूछने के लिए नए लोगों को पायथन और मशीन विजन के लिए प्रेरित किया।



अनुभव से, एक विशिष्ट तकनीकी समस्या है जो लोगों को अक्सर भ्रमित करती है। नहीं, यह एक कठिन सैद्धांतिक प्रश्न या महंगे GPU के साथ कोई समस्या नहीं है। तथ्य यह है कि लगभग हर कोई छवियों को घुमाए गए मेमोरी में लोड करता है, इसके बारे में भी जानने के बिना। और कंप्यूटर बहुत अच्छी तरह से वस्तुओं का पता नहीं लगाते हैं या घुमाए गए चित्रों में चेहरे को पहचानते हैं।

कैसे डिजिटल कैमरे स्वचालित रूप से छवियों को घुमाते हैं

जब आप एक तस्वीर लेते हैं, तो कैमरा फोन की स्थिति को पंजीकृत करता है, ताकि एक अन्य कार्यक्रम में चित्र को सही अभिविन्यास में प्रदर्शित किया जाएगा:



लेकिन कैमरा वास्तव में फ़ाइल के अंदर पिक्सेल डेटा को घुमाता नहीं है। चूंकि डिजिटल कैमरों में छवि सेंसर लाइन द्वारा पिक्सेल जानकारी की एक सतत स्ट्रीम के रूप में लाइन से पढ़े जाते हैं, इसलिए कैमरे के लिए हमेशा एक ही क्रम में पिक्सेल डेटा स्टोर करना आसान होता है, फोन की वास्तविक स्थिति की परवाह किए बिना।



यह देखने के लिए कार्यक्रम की चिंता है - स्क्रीन पर प्रदर्शित करने से पहले तस्वीर को सही ढंग से घुमाएं। छवि के डेटा के साथ ही, कैमरा मेटाडेटा - लेंस सेटिंग्स, स्थान डेटा और निश्चित रूप से, कैमरे के रोटेशन के कोण को भी बचाता है। दर्शक को इस जानकारी का उपयोग सही तरीके से प्रदर्शित करने के लिए करना चाहिए।

सबसे आम छवि मेटाडेटा प्रारूप को EXIF कहा जाता है (विनिमेय छवि फ़ाइल प्रारूप के लिए संक्षिप्त)। EXIF मेटाडेटा प्रत्येक jpeg फ़ाइल में एम्बेडेड है। आप उन्हें स्क्रीन पर नहीं देख सकते हैं, लेकिन वे किसी भी प्रोग्राम द्वारा पढ़े जाते हैं जो जानता है कि कहां देखना है।

यहां एक्सफ़ॉल टूल से हमारे हंस की JPEG छवि के अंदर EXIF ​​मेटाडेटा है:



'ओरिएंटेशन' तत्व देखें? वह दर्शक को बताता है कि स्क्रीन पर प्रदर्शित करने से पहले, तस्वीर को 90 डिग्री पर दक्षिणावर्त घुमाया जाना चाहिए। यदि प्रोग्राम ऐसा करना भूल जाता है, तो छवि उसकी तरफ होगी!

यह पायथन में इतने सारे मशीन दृष्टि अनुप्रयोगों को क्यों तोड़ता है?

EXIF मेटाडेटा मूल रूप से JPEG फॉर्मेट का हिस्सा नहीं था। TIFF प्रारूप से विचार उधार लेते हुए, उन्हें बहुत बाद में पेश किया गया था। पश्चगामी संगतता के लिए, यह मेटाडेटा वैकल्पिक है, और कुछ कार्यक्रम इसे पार्स करने के लिए परेशान नहीं करते हैं।

अधिकांश पायथन छवि पुस्तकालय, जैसे कि सुपी, स्कैपी, टेन्सरफ्लो, केरस, आदि, खुद को गंभीर लोगों के लिए वैज्ञानिक उपकरण मानते हैं जो साझा डेटासेट के साथ काम करते हैं। वे उपभोक्ता स्तर के मुद्दों की परवाह नहीं करते हैं, जैसे कि स्वचालित छवि रोटेशन, हालांकि आधुनिक कैमरों के साथ ली गई दुनिया में लगभग सभी तस्वीरों के लिए यह आवश्यक है।

इसका मतलब यह है कि जब लगभग किसी भी पायथन लाइब्रेरी के साथ एक छवि संसाधित होती है, तो आपको रोटेशन के बिना मूल छवि डेटा मिलता है। और अनुमान लगाएं कि जब आप अपने पक्ष में फोटो अपलोड करने की कोशिश करते हैं या चेहरा या ऑब्जेक्ट डिटेक्शन मॉडल में उल्टा होता है तो क्या होता है? डिटेक्टर फायर नहीं करता है क्योंकि आपने इसे खराब डेटा दिया है।

आप सोच सकते हैं कि शुरुआती और छात्रों के कार्यक्रमों में ही समस्याएँ आती हैं, लेकिन ऐसा नहीं है! यहां तक ​​कि Google के प्रमुख विज़न एपीआई का डेमो संस्करण भी EXIF ​​अभिविन्यास को सही ढंग से नहीं संभालता है:


डेमो Google विज़न एपीआई एक मानक मोबाइल फोन से ली गई पोर्ट्रेट-ओरिएंटेड इमेज को घुमाना नहीं जानता है

हालाँकि Google विज़न कुछ जानवरों को अपनी तरफ से पहचानता है, लेकिन यह उन्हें सामान्य लेबल "एनिमल" के साथ चिह्नित करता है, क्योंकि मशीन विज़न मॉडल को एक ऊर्ध्वाधर हंस की तुलना में एक हंस को पहचानना अधिक कठिन होता है। यहां परिणाम है, यदि आप मॉडल को सबमिट करने से पहले छवि को सही तरीके से घुमाते हैं:



सही अभिविन्यास के साथ, Google पक्षियों को एक अधिक विशिष्ट हंस के निशान और एक उच्च विश्वास सूचक के साथ पहचानता है। बहुत बेहतर!

यह एक सुपर स्पष्ट समस्या है जब आप स्पष्ट रूप से देखते हैं कि छवि इस तरफ है , जैसा कि इस डेमो में है। लेकिन यह वह जगह है जहां सब कुछ कपटी हो जाता है - आमतौर पर आप इसे नहीं देखते हैं! आपके कंप्यूटर पर सभी सामान्य कार्यक्रम छवि को सही अभिविन्यास में प्रदर्शित करेंगे, न कि यह वास्तव में डिस्क पर कैसे संग्रहीत किया जाता है। इसलिए, जब आप यह देखने के लिए एक छवि देखने की कोशिश करते हैं कि आपका मॉडल क्यों काम नहीं कर रहा है, तो इसे सही ढंग से प्रदर्शित किया जाएगा, और आप यह नहीं समझ पाएंगे कि मॉडल क्यों काम नहीं कर रहा है!


मैक पर खोजक हमेशा EXIF ​​से सही ढंग से घुमाए गए फ़ोटो प्रदर्शित करता है। यह देखने का कोई तरीका नहीं है कि छवि वास्तव में इसके किनारे पर संग्रहीत है

यह अनिवार्य रूप से जीथब पर बहुत सारे खुले टिकटों की ओर जाता है: लोग शिकायत करते हैं कि ओपन सोर्स प्रोजेक्ट टूट गए हैं और मॉडल बहुत सटीक नहीं हैं। लेकिन समस्या बहुत सरल है - वे प्रवेश द्वार को केवल घुमाए गए या उल्टे फोटो खिलाते हैं!

सुधार

समाधान यह है कि हर बार जब आप छवियों को पायथन कार्यक्रमों में लोड करते हैं, तो आपको EXIF ​​अभिविन्यास मेटाडेटा की जांच करनी चाहिए और यदि आवश्यक हो तो छवियों को घुमाएं। यह करना बहुत आसान है, लेकिन इंटरनेट पर कोड उदाहरणों को खोजना आश्चर्यजनक रूप से कठिन है जो इसे सभी झुकावों के लिए सही करते हैं।

यहां किसी भी छवि को सही अभिविन्यास के साथ किसी भी संख्या में लोड करने के लिए कोड है:

import PIL.Image import PIL.ImageOps import numpy as np def exif_transpose(img): if not img: return img exif_orientation_tag = 274 # Check for EXIF data (only present on some files) if hasattr(img, "_getexif") and isinstance(img._getexif(), dict) and exif_orientation_tag in img._getexif(): exif_data = img._getexif() orientation = exif_data[exif_orientation_tag] # Handle EXIF Orientation if orientation == 1: # Normal image - nothing to do! pass elif orientation == 2: # Mirrored left to right img = img.transpose(PIL.Image.FLIP_LEFT_RIGHT) elif orientation == 3: # Rotated 180 degrees img = img.rotate(180) elif orientation == 4: # Mirrored top to bottom img = img.rotate(180).transpose(PIL.Image.FLIP_LEFT_RIGHT) elif orientation == 5: # Mirrored along top-left diagonal img = img.rotate(-90, expand=True).transpose(PIL.Image.FLIP_LEFT_RIGHT) elif orientation == 6: # Rotated 90 degrees img = img.rotate(-90, expand=True) elif orientation == 7: # Mirrored along top-right diagonal img = img.rotate(90, expand=True).transpose(PIL.Image.FLIP_LEFT_RIGHT) elif orientation == 8: # Rotated 270 degrees img = img.rotate(90, expand=True) return img def load_image_file(file, mode='RGB'): # Load the image with PIL img = PIL.Image.open(file) if hasattr(PIL.ImageOps, 'exif_transpose'): # Very recent versions of PIL can do exit transpose internally img = PIL.ImageOps.exif_transpose(img) else: # Otherwise, do the exif transpose ourselves img = exif_transpose(img) img = img.convert(mode) return np.array(img) 

यहां से, आप किसी भी मानक पायथन मशीन विज़न लाइब्रेरी में छवि डेटा की एक सरणी स्थानांतरित कर सकते हैं, जो इनपुट सरणी की अपेक्षा करता है: उदाहरण के लिए, केरस या टेन्सरफ्लो।

चूंकि समस्या सर्वव्यापी है, इसलिए मैंने इस फ़ंक्शन को image_to_numpy नामक पाइप लाइब्रेरी के रूप में प्रकाशित किया। आप इसे इस प्रकार स्थापित कर सकते हैं:

  pip3 स्थापित image_to_numpy 

यह किसी भी पायथन प्रोग्राम के साथ काम करता है, उदाहरण के लिए इमेज लोडिंग को ठीक करना:

 import matplotlib.pyplot as plt import image_to_numpy # Load your image file img = image_to_numpy.load_image_file("my_file.jpg") # Show it on the screen (or whatever you want to do) plt.imshow(img) plt.show() 

अधिक विवरण के लिए रीडमी फ़ाइल देखें।

इसका आनंद लें!