छवि को ध्वनि में परिवर्तित करें - आप क्या सुन सकते हैं?

हाय हमर।

साइट पर हाल ही में एक प्रकाशन ने एक उपकरण का वर्णन किया है जो नेत्रहीन लोगों को एक छवि को "देखने" की अनुमति देता है, इसे ध्वनि तरंगों का उपयोग करके बदल देता है। एक तकनीकी दृष्टिकोण से, उस लेख में कोई विवरण नहीं था ( यदि एक मिलियन के लिए विचार चोरी हो गया था ), लेकिन अवधारणा ही दिलचस्प लग रही थी। सिग्नल प्रोसेसिंग के साथ कुछ अनुभव होने के बाद, मैंने अपने दम पर प्रयोग करने का फैसला किया।



यह क्या आया, विवरण और बिल्ली के नीचे फाइलों के उदाहरण।

2 डी को 1 डी में बदलें

पहला स्पष्ट कार्य जो हमारा इंतजार करता है, वह है दो आयामी "फ्लैट" छवि को "एक आयामी" ध्वनि तरंग में बदलना। जैसा कि उस लेख में टिप्पणियों में सुझाया गया है, इसके लिए हिल्बर्ट वक्र का उपयोग करना सुविधाजनक है।

यह अनिवार्य रूप से एक भग्न जैसा दिखता है, और विचार यह है कि छवि रिज़ॉल्यूशन में वृद्धि के साथ, वस्तुओं की सापेक्ष स्थिति नहीं बदलती है (यदि छवि के ऊपरी बाएं कोने में ऑब्जेक्ट था, तो यह वहीं रहेगा )। हिल्बर्ट घटता के विभिन्न आयाम हमें अलग-अलग चित्र दे सकते हैं: एन = 5 के लिए 32x32, एन = 6 के लिए 64x64, और इसी तरह। इस वक्र के साथ "घूमने" वाली छवि से, हमें एक रेखा, एक आयामी वस्तु मिलती है।

अगला प्रश्न चित्र के आकार का है। मैं सहज रूप से एक बड़ी छवि लेना चाहता हूं, लेकिन एक बड़ी "लेकिन" है: यहां तक ​​कि तस्वीर 512x512 है, यह 262144 पिक्सेल है। यदि हम प्रत्येक बिंदु को एक ऑडियो पल्स में परिवर्तित करते हैं, तो 44100 की सैंपलिंग आवृत्ति पर, हमें 6 सेकंड तक का एक क्रम मिलता है, और यह बहुत लंबा है - छवियों को जल्दी से अपडेट किया जाना चाहिए, उदाहरण के लिए वेब कैमरा का उपयोग करना। इसका कोई मतलब नहीं है कि सैंपलिंग रेट अधिक हो; हम अल्ट्रासोनिक आवृत्तियों को प्राप्त करते हैं जो कि कान के पास अश्रव्य हैं (हालांकि यह उल्लू या चमगादड़ के लिए काम कर सकता है)। नतीजतन, वैज्ञानिक प्रहार की विधि द्वारा एक 128x128 संकल्प चुना गया , जो आवेगों को 0.37c लंबा देगा - एक तरफ, यह वास्तविक समय में नेविगेट करने के लिए पर्याप्त तेज़ है, दूसरी तरफ यह कान द्वारा संकेत के आकार में किसी भी बदलाव को पकड़ने के लिए पर्याप्त है।

छवि प्रसंस्करण

पहला चरण छवि को डाउनलोड करना है, इसे b / w में रूपांतरित करें और इसे वांछित आकार में स्केल करें। छवि का आकार हिल्बर्ट वक्र के आयाम पर निर्भर करता है।

from PIL import Image from hilbertcurve.hilbertcurve import HilbertCurve import numpy as np from scipy.signal import butter, filtfilt # Create Hilbert curve dimension = 7 hilbert = HilbertCurve(dimension, n=2) print("Hilbert curve dimension:", dimension) # Maximum distance along curve print("Max_dist:", hilbert.max_h) # Maximum distance along curve print("Max_coord:", hilbert.max_x) # Maximum coordinate value in any dimension # Load PIL image f_name = "image01.png" img = Image.open(f_name) width, height = img.size out_size = hilbert_curve.max_x + 1 if width != out_size: img = img.resize((out_size, out_size), Image.ANTIALIAS) # Get image as grayscale numpy array img_grayscale = img.convert(mode='L') img_data = np.array(img_grayscale) 

अगला कदम ध्वनि तरंग बनाना है। यहाँ, ज़ाहिर है, एक महान कई एल्गोरिदम और पता हो सकता है, परीक्षण के लिए मैंने सिर्फ चमक घटक लिया। बेशक, वहाँ शायद बेहतर तरीके हैं।

 width, height = img_grayscale.size sound_data = np.zeros(width*height) for ii in range(width*height): coord_x, coord_y = hilbert_curve.coordinates_from_distance(ii) pixel_l = img_data[coord_x][coord_y] # Inverse colors (paper-like, white = 0, black = 255) pixel_l = 255 - pixel_l # Adjust values 0..255 to 0..8192 ampl = pixel_l*32 sound_data[ii] = ampl 

कोड से, मुझे आशा है कि सब कुछ स्पष्ट है। निर्देशांक_फ्रॉम_डिस्टेंस फ़ंक्शन हमारे लिए सभी कार्यों को निर्देशांक (x, y) को हिल्बर्ट वक्र पर दूरी में परिवर्तित करने पर करता है, हम उलटा करते हैं और चमक मान एल को रंग में परिवर्तित करते हैं।

वह सब नहीं है। क्योंकि छवि में एक ही रंग के बड़े ब्लॉक हो सकते हैं, इससे ध्वनि में "डीसी घटक" की उपस्थिति हो सकती है - गैर-शून्य मानों की एक लंबी श्रृंखला, उदाहरण के लिए [100,100,100, ...]। उन्हें निकालने के लिए, हम अपने सरणी में 50 हर्ट्ज की कटऑफ आवृत्ति (नेटवर्क आवृत्ति के साथ संयोग यादृच्छिक) के साथ एक उच्च-पास फिल्टर ( बटरवर्थ फिल्टर ) लगाते हैं। स्कैपी लाइब्रेरी में फिल्टर का एक संश्लेषण होता है, जिसे हम उपयोग करेंगे।

 def butter_highpass(cutoff, fs, order=5): nyq = 0.5 * fs normal_cutoff = cutoff / nyq b, a = butter(order, normal_cutoff, btype='high', analog=False) return b, a def butter_highpass_filter(data, cutoff, fs, order=5): b, a = butter_highpass(cutoff, fs, order) y = filtfilt(b, a, data) return y # Apply high pass filter to remove dc component cutoff_hz = 50 sample_rate = 44100 order = 5 wav_data = butter_highpass_filter(sound_data, cutoff_hz, sample_rate, order) 

अंतिम चरण छवि को सहेजना है। क्योंकि एक आवेग की लंबाई कम होती है, हम इसे 10 बार दोहराते हैं, यह वास्तविक रूप से एक दोहराई जाने वाली छवि के करीब होगा, उदाहरण के लिए, एक वेब कैमरा से।

 # Clip data to int16 range sound_output = np.clip(wav_data, -32000, 32000).astype(np.int16) # Save repeat = 10 sound_output_ntimes = np.tile(sound_output, repeat) wav_name = "ouput.wav" scipy.io.wavfile.write(wav_name, sample_rate, sound_output_ntimes) 

परिणाम

उपरोक्त एल्गोरिथ्म, ज़ाहिर है, काफी आदिम है। मैं तीन बिंदुओं की जांच करना चाहता था - आप विभिन्न सरल आकृतियों के बीच कितना अंतर कर सकते हैं, और आप आकृतियों की दूरी का अनुमान लगा सकते हैं।

परीक्षण 1



छवि निम्न ध्वनि संकेत से मेल खाती है:


WAV: cloud.mail.ru/public/nt2R/2kwBvyRup

परीक्षण २



इस परीक्षण का विचार एक अलग आकार की वस्तु की "ध्वनि" की तुलना करना है। ध्वनि संकेत:


WAV: cloud.mail.ru/public/2rLu/4fCNRxCG2

आप देख सकते हैं कि ध्वनि वास्तव में अलग है, और कान से अंतर है।

परीक्षण ३



परीक्षण का विचार एक छोटी वस्तु का परीक्षण करना है। ध्वनि संकेत:


WAV: cloud.mail.ru/public/5GLV/2HoCHvoaY

सिद्धांत रूप में, वस्तु का आकार जितना छोटा होगा, ध्वनि में "फट" उतना ही कम होगा, इसलिए यहां निर्भरता काफी प्रत्यक्ष है।

संपादित करें:

जैसा कि टिप्पणियों में सुझाव दिया गया है, आप फूरियर ट्रांसफॉर्म का उपयोग करके तस्वीरों को सीधे ध्वनि में परिवर्तित कर सकते हैं। एक त्वरित परीक्षण निम्न परिणाम दिखाता है (चित्र समान हैं):
टेस्ट 1: cloud.mail.ru/public/2C5Z/5MEQ8Swjo
टेस्ट 2: मेघ.मेल.कोव / रिपब्लिक / 2 डीएक्सपी / 3 एसज़ 8 एमजेएब
टेस्ट 3: cloud.mail.ru/public/3NjJ/ZYrfdTYrk

टेस्ट दिलचस्प लगते हैं, कम से कम छोटे और बड़े वर्गों (फाइल 1 और 3) के लिए, सुनने में अंतर ध्यान देने योग्य है। लेकिन आंकड़ों का आकार (1 और 2) व्यावहारिक रूप से भिन्न नहीं है, इसलिए सोचने के लिए भी कुछ है। लेकिन सामान्य तौर पर, एफएफ का उपयोग करके प्राप्त ध्वनि, कान द्वारा मुझे अधिक पसंद है।

निष्कर्ष

यह परीक्षण, ज़ाहिर है, एक शोध प्रबंध नहीं है, लेकिन बस कुछ घंटों के खाली समय में बनाई गई अवधारणा का प्रमाण है। लेकिन फिर भी, यह मूल रूप से काम करता है, और कान से अंतर महसूस करना संभव है। मुझे पता नहीं है कि संभवत: कुछ प्रशिक्षणों के बाद, ऐसी ध्वनियों द्वारा अंतरिक्ष में नेविगेट करना सीखना संभव है या नहीं। यद्यपि सुधार और प्रयोगों के लिए एक बहुत बड़ा क्षेत्र है, उदाहरण के लिए, आप स्टीरियो साउंड का उपयोग कर सकते हैं, जो आपको विभिन्न पक्षों से अलग-अलग वस्तुओं को बेहतर बनाने की अनुमति देगा, आप छवियों को ध्वनि में परिवर्तित करने के अन्य तरीकों के साथ प्रयोग कर सकते हैं, उदाहरण के लिए, विभिन्न आवृत्तियों पर रंग सांकेतिक शब्दों में बदलना, आदि। अंत में, यह आशाजनक है। गहराई को समझने में सक्षम 3 डी कैमरों का उपयोग (अफसोस, ऐसा कैमरा उपलब्ध नहीं है)। वैसे, एक सरल OpenCV कोड की मदद से, उपरोक्त एल्गोरिथ्म को वेब-कैमरा का उपयोग करने के लिए अनुकूलित किया जा सकता है, जो आपको गतिशील छवियों के साथ प्रयोग करने की अनुमति देगा।

खैर, हमेशा की तरह, सभी सफल प्रयोग।