उदाहरण के रूप में Korg .SNG फ़ाइलों का उपयोग करके द्विआधारी प्रारूप रिवर्स इंजीनियरिंग

हम एक अद्भुत समय में रहते हैं। हमारे आस-पास तकनीक की एक बहुतायत है: टेलीफोन, कंप्यूटर, स्मार्ट घड़ियों और अन्य गैजेट्स। हर दिन, निर्माता बाजार में अधिक से अधिक उपकरणों को जारी कर रहे हैं। उनमें से ज्यादातर एक छोटी और उज्ज्वल (या ऐसा नहीं) जीवन के लिए किस्मत में हैं: रिलीज के समय एक शक्तिशाली विपणन कंपनी, निर्माता द्वारा पूर्ण समर्थन के 1-2 साल, और फिर धीमी गुमनामी। आधिकारिक समर्थन अवधि की समाप्ति के बाद सरल डिवाइस वर्षों तक काम कर सकते हैं। स्मार्ट उपकरणों के साथ, यह कठिन हो रहा है। यह अच्छा है यदि कम से कम गैजेट निर्माता के सर्वर / सेवाओं को डिस्कनेक्ट करने के बाद काम करना जारी रखता है। और यह भाग्यशाली है अगर ओएस, ड्राइवर या अन्य सॉफ़्टवेयर का अगला अपडेट संगतता को हरा नहीं करता है।

दुर्भाग्य से, घटनाओं में निराशावादी परिदृश्य के अनुसार तेजी से विकास हो रहा है। और खरीद के 5-10 साल बाद, हमारे हाथ में तकनीकी रूप से ध्वनि उपकरण हैं, जो सॉफ्टवेयर समर्थन की कमी के कारण उपयोग नहीं किए जा सकते हैं। बेशक, एक टूटा हुआ गैजेट अप्रिय है। लेकिन बहुत अधिक अप्रिय अगर कुछ के साथ एक असंगत प्रारूप में उपयोगकर्ता डेटा है। यदि डिवाइस काम करना बंद कर देता है तो यह डेटा खो गया माना जा सकता है। मेरे मामले में, सबसे खराब अभी तक नहीं हुआ है, लेकिन अलार्म की घंटी पहले से ही बज रही है।

तो, कुख्यात कंपनी कॉर्ग है, जो बहुत उच्च गुणवत्ता वाले संगीत उपकरण का उत्पादन करती है। 2010 में, मैंने एक शौक के रूप में संगीत का अभ्यास करने के लिए इस कंपनी से एक सिंथेसाइज़र खरीदा। Korg microstation एक काफी उन्नत मॉडल है। अन्य बातों के अलावा, इसकी पटरियों को रिकॉर्ड करने के लिए बोर्ड पर एक सीक्वेंसर है और मालिकाना एसएनजी प्रारूप में मेमोरी कार्ड में डेटा लिख ​​सकता है। एक सामान्य मिडी प्रारूप में निर्यात करना संभव है, लेकिन लगभग सभी मेटाडेटा खो गया है: सुपरइम्पोज्ड प्रभाव और फिल्टर, वर्चुअल इंस्ट्रूमेंट्स की विभिन्न सेटिंग्स आदि के बारे में जानकारी। मेरे लिए मुख्य समस्या व्यक्तिगत रूप से संगीत विचारों को रिकॉर्ड करने के लिए संक्रमण की गति है। म्यूज एक सनकी रचना है, और ज्यादातर समय मैं एक दिलचस्प विचार भर में आता हूं जिसमें केवल कुछ को सुधारना या खेलना आसान होता है। जितनी तेजी से मैं मेनू के चारों ओर घूमने के बिना रिकॉर्ड बटन दबाता हूं, उतनी ही संभावना है कि मैं एक दिलचस्प टुकड़ा दोहरा सकता हूं और रिकॉर्ड कर सकता हूं, जो भविष्य में एक पूर्ण काम का हिस्सा बन सकता है। बेशक, यह दृष्टिकोण अपूर्ण है, लेकिन हम एक शौक के बारे में बात कर रहे हैं। एक रास्ता या दूसरा, लगभग दस वर्षों के लिए, मैंने एसएनजी प्रारूप में लगभग एक हजार संगीतमय रेखाचित्र और रेखाचित्र संचित किए हैं।

बेलेंस सिंथेसाइज़र की एक श्रृंखला के रूप में बजता है, जिसके लिए डिवाइस की चमकती आवश्यकता होती है। और मैंने अपने सभी संचित डेटा को मिडी प्रारूप में परिवर्तित करने के बारे में सोचा, सभी और अधिक चूंकि यह स्टोर करना, व्यवस्थित करना और उन्हें संपादित करना बहुत आसान बना देगा। Google में कनवर्टर की खोज ने कुछ भी नहीं दिया। सभी प्रकार के मंचों पर कई अनुरोध हैं, इतिहास 20 वर्षों से चल रहा है, यदि अधिक नहीं। मैंने पाया कि मेरी फ़ाइलों के साथ स्वाभाविक रूप से असंगत किसी और की प्राचीन विंडोज उपयोगिता थी।

और फिर मैंने यह देखने की कोशिश करने का फैसला किया कि यह एसएनजी प्रारूप क्या है? शायद कहीं अंदर सामान्य मिडी डेटा है जिसे आप आसानी से बाहर निकाल सकते हैं और बचा सकते हैं?

समस्या को "माथे" हल करने का प्रयास

तो, सिंथेसाइज़र के निर्देशों से, आप पता कर सकते हैं कि एसएनजी प्रारूप एक कंटेनर है जिसमें तथाकथित "गाने" संग्रहीत किए जाते हैं। प्रत्येक गीत में संगीत डेटा के साथ 16 सीक्वेंसर ट्रैक हैं, साथ ही ध्वनियों और प्रभावों के लिए सेटिंग्स भी हैं। सिंथेसाइज़र मेनू के माध्यम से मिडी प्रारूप में निर्यात करते समय, प्रत्येक "गीत" को एक अलग .MID फ़ाइल में निर्यात किया जाता है, और ध्वनियों और प्रभावों के लिए सभी सेटिंग्स खो जाती हैं। क्योंकि मैं अपने विचारों को सरलतम रूप में और बिना प्रभावों के निभाता हूं, समस्या ठीक बड़ी संख्या में एसएनजी फाइलें और मैनुअल रूपांतरण प्रक्रिया की असुविधा है। आइए देखें कि क्या इस प्रक्रिया को तेज या स्वचालित किया जा सकता है।

सबसे पहले, आइए याद रखें कि मिडी डेटा क्या है। सीधे शब्दों में कहें, तो यह संगीत की घटनाओं की एक धारा है: एक कुंजी को दबाने और जारी करने, एक स्थिर पेडल को दबाने और जारी करने, टेम्पो, पैच (वर्चुअल इंस्ट्रूमेंट) और अन्य मापदंडों को बदलते हुए। प्रत्येक घटना में पिछली घटना और डेटा के क्षण से एक समय डेल्टा होता है, उदाहरण के लिए, नोट की तीव्रता और पिच। मिडी फ़ाइल प्रारूप बहुत सरल है: हेडर और डेटा के अलावा, वहाँ व्यावहारिक रूप से कुछ भी नहीं है।

पिंक एक नोट ऑन इवेंट है। पीला पीला समय का एक डेल्टा है। ब्लू - नोट ऑफ ईवेंट।

एसएनजी फ़ाइल में हमारे मिडी डेटा को देखने का प्रयास करें। ऐसा करने के लिए, सिंथेसाइज़र पर कई नोट्स का एक क्रम लिखें और इसे दोनों प्रारूपों में निर्यात करें। क्योंकि चूंकि हमें पता नहीं है कि बाइनरी फ़ाइलों में वास्तव में संगीत डेटा कहां है, इसलिए हम नोटों के विभिन्न दृश्यों के साथ प्रक्रिया को दोहराने की कोशिश करेंगे।

इसके बाद मैं हेक्स-संपादक पर्यायवाची का उपयोग करता हूं! भविष्य में इसकी क्षमताएं हमारे लिए बहुत उपयोगी होंगी। इस बीच, बस बाइनरी तुलना फ़ंक्शन का उपयोग करें।

वास्तव में, केवल "गीत" का नाम था। नोटों के विभिन्न दृश्यों के साथ दो एसएनजी फाइलों की तुलना करते हुए, आप मोटे तौर पर अनुमान लगा सकते हैं कि वास्तव में संगीत डेटा कहां संग्रहीत किया जाता है, लेकिन अभी के लिए यह किसी भी तरह से हमारी मदद नहीं करेगा - डेटा प्रारूप अलग है। फ़ाइल अपने आप में मिडी फ़ाइल से दस गुना बड़ी है और इसमें बहुत सारी अतिरिक्त जानकारी है। आप पहले चार बाइट्स और कुछ अन्य पंक्तियों में केआरओजी हस्ताक्षर देख सकते हैं, जिसमें "गीत" का नाम और पैच (टन) का नाम पटरियों को सौंपा गया है।

डेटा ब्लॉक की संरचना को पार्स करना

यह पूरा हो सकता है अगर, सौभाग्य से, कोई उपकरण नहीं थे जो द्विआधारी डेटा की संरचना का विश्लेषण और समझना अपेक्षाकृत आसान बनाते हैं। एक ही कार्यक्रम Synalaze It! इससे हमें मदद मिलेगी, जो आपको बाइनरी फ़ाइलों के विश्लेषण के लिए एक "व्याकरण" बनाने और लागू करने की अनुमति देता है।

व्याकरण एक पदानुक्रमित वर्णनात्मक संरचना है जो आपको मानव-पठनीय रूप में द्विआधारी डेटा का प्रतिनिधित्व करने की अनुमति देता है। कार्यक्रम आपको कुछ प्रारूपों के लिए व्याकरण डाउनलोड करने की अनुमति देता है। उदाहरण के लिए, उसी मिडी के लिए:

एसएनजी प्रारूप के लिए, कोई भी तैयार व्याकरण अपेक्षित नहीं था। खैर, देखते हैं कि हम अपने दम पर फ़ाइल से क्या निकाल सकते हैं।

शुरुआत करते हैं हेडलाइन से। आमतौर पर, इस भाग में डेटा ब्लॉक की फ़ाइल हस्ताक्षर, संस्करण की जानकारी, आकार और ऑफसेट होते हैं। कई अलग-अलग एसएनजी फाइलों की तुलना करने के बाद, हम इन्वार्जेबल पार्ट्स ढूंढते हैं और उन लोगों पर ध्यान देते हैं जो बदलते हैं

व्याकरण संपादक में एक शीर्षक संरचना बनाएँ। पहले 4 बाइट्स स्पष्ट रूप से फ़ाइल के हस्ताक्षर हैं। मान लें कि निम्नलिखित 4 बाइट्स संस्करणबद्ध हैं। अगले कुछ दसियों बाइट्स में परिवर्तन नहीं होता है और इसमें कुछ भी दिलचस्प नहीं होता है - हम उनके लिए उपयुक्त आकार के बाइनरीडैट बनाएंगे। लेकिन फिर मज़ा शुरू होता है। आप ऑफ़सेट 0x13 और 0x1b पर बाइट्स के व्यवहार में कुछ पैटर्न देख सकते हैं। दूसरा हमारी फ़ाइल में "गाने" की संख्या के अनुरूप लगता है। और पहला वाला हेडर में डेटा की मात्रा के साथ भी बढ़ता है - यह आकार लगता है, केवल उलटी गिनती फ़ाइल की शुरुआत से नहीं आती है, लेकिन अगले बाइट 0x14 से। इस स्तर पर, हम केवल संख्यात्मक डेटा के प्रकार के बारे में अनुमान लगा सकते हैं। मान लीजिए कि आकार प्रकार UInt32 का है, अर्थात 4 बाइट्स लेता है। उन्हें हमारी संरचना में जोड़ें। अब हम हेडर संरचना (आकार + 20) का आकार निर्धारित कर सकते हैं।


देखते हैं आगे क्या आता है। यदि आप बारीकी से देखते हैं, तो आप देखेंगे कि तीन-पत्र संक्षिप्त रूप से फ़ाइल में बिखरे हुए हैं: एसएनजी 1, एसडीके 1, एसजीएस 1, और इसी तरह। ये वर्ण सभी SNG फ़ाइलों में पाए जाते हैं, इसलिए हम यह मान सकते हैं कि ये कुछ ब्लॉकों के हस्ताक्षर हैं। इसके अलावा, हमारा हस्ताक्षर इनमें से एक हस्ताक्षर से ठीक पहले बहुत सफलतापूर्वक समाप्त हो गया। विभिन्न आकारों की फ़ाइलों में निम्न 4 बाइट्स के व्यवहार की तुलना करें। यह देखा जा सकता है कि डेटा की बढ़ती मात्रा के साथ मान बढ़ता है।

कुछ और प्रयोग, विश्लेषण और गणना, और निम्नलिखित चित्र उभरने लगते हैं:




इस प्रकार, हमारी फ़ाइल में ब्लॉक की एक काफी सरल पदानुक्रम है। ऐसे माता-पिता ब्लॉक हैं जिनमें कई बच्चे ब्लॉक हो सकते हैं। पत्ती ब्लॉक (बाइनरी पेड़ों की शब्दावली में) हैं जिसमें अन्य ब्लॉक नहीं हैं।

फिर जादू शुरू होता है। केवल कुछ व्याकरण संरचनाओं के साथ, हम पूरी तरह से ब्लॉक फ़ाइल संरचना को पार्स कर सकते हैं

तो, निम्नलिखित फ़ील्ड के साथ एक DataChunk टेम्पलेट संरचना बनाएं (आकार को चौकोर कोष्ठक में दर्शाया गया है):

आईडी: स्ट्रिंग [४]
आकार: इंट [4]
पदानुक्रम: इंट [4]
डेटा: संरचना

अब एक ParentChunk स्ट्रक्चर बनाएं जो DataChunk को इनहेरिट करता है। पदानुक्रम संपत्ति में, निर्दिष्ट मान 0x400 निर्दिष्ट करें - यह मूल ब्लॉक का संकेत है। मस्ट मैच चेकबॉक्स अवश्य देखें।

इसी तरह चाइल्डहंक बनाएं। इस मामले में पदानुक्रम के दो मूल्य होंगे: 0x240100 और 0x100

डेटा जनक संरचना में पेरेंटहंक और चाइल्डहंक संरचनाओं के संदर्भ जोड़ें - इस तरह हम पुनरावृत्ति बनाते हैं।

अंत में, मुख्य नोड में parentChunk संरचना का संदर्भ जोड़ें।

पेरेंटहंक की डेटा संरचना में तत्वों का क्रम परिवर्तनीय होना चाहिए, इस संरचना के बच्चों की न्यूनतम और अधिकतम संख्या निर्धारित करने के लिए भी आवश्यक है: क्रमशः 0 और असीमित।

चलो परिवर्तनों को लागू करते हैं, और वॉइला - हमारी फ़ाइल मुख्य ब्लॉकों में अच्छी तरह से पार्स है

हम अभी भी डेटा के बारे में कुछ भी नहीं जानते हैं, लेकिन अब हम फ़ाइल में बहुत आसानी से नेविगेट कर सकते हैं और हमें आवश्यक जानकारी खोजने पर ध्यान केंद्रित कर सकते हैं।

किसी फ़ाइल की सामग्री की तालिका वाले ब्लॉक को पार्स करना

प्रशिक्षण के लिए, चलो कुछ सरल ब्लॉक को पार्स करने की कोशिश करते हैं, उदाहरण के लिए, एसडीके 1। जाहिरा तौर पर, इसमें सामग्री की तालिका जैसा कुछ होता है - गीतों की सूची और शायद कुछ ऑफसेट / आकार।

Sdk1Chunk संरचना बनाएँ जो चाइल्डहंक को विरासत में मिला है। हम फिक्स्ड वैल्यू फ़ील्ड में हमारे ब्लॉक के हस्ताक्षर को दर्शाते हुए, आईडी फ़ील्ड को संपादित करेंगे। मस्ट मैच चेकबॉक्स के बारे में मत भूलना। ब्लॉक डेटा में, एक बहुत स्पष्ट दोहराए जाने वाले पैटर्न का निरीक्षण कर सकता है: "गीत" का नाम और अब तक अज्ञात डेटा। ध्यान दें कि दोहराए जाने वाले टुकड़ों का आकार 64 बाइट्स है। इसके अलावा, फ़ाइल संस्करणों की एक अलग संख्या "गाने" के साथ तुलना करके, आप यह निर्धारित कर सकते हैं कि संख्या पहले चार बाइट्स में संग्रहीत है। सरल गणनाओं का उपयोग करना और कई धारणाएं बनाना, हम व्याकरण में संरचना के निम्नलिखित संस्करण प्राप्त करते हैं:

यहाँ मैंने एक 64 बाइट गीतइन्फो बाल संरचना का निर्माण किया और कई बार सुन्नियों को दोहराने की क्षमता का संकेत दिया। यहाँ व्याकरण को लागू करने का परिणाम है:

आगे की फाइल विश्लेषण एक तकनीकी मामला है। मैंने "गीत" की सामान्य सेटिंग्स और सिंथेसाइज़र पर अलग-अलग पटरियों के मापदंडों को बदल दिया। विभिन्न परिवर्तनों के साथ फ़ाइल संस्करणों की तुलना करके, आप व्याकरण को सुधार और परिष्कृत कर सकते हैं। इस तरह के पुनरावृत्तियों की पर्याप्त बड़ी संख्या के बाद, लगभग कोई अपरिचित डेटा टुकड़े फ़ाइल में नहीं रहते हैं। मैं इस प्रक्रिया से थोड़ा दूर हो गया और फ़ाइल के लगभग सभी अनुभागों को हल कर दिया, हालांकि मूल कार्य के लिए यह आवश्यक नहीं था।


मैं इस प्रक्रिया का विवरण याद करूंगा - भविष्य में हम सीधे संगीत डेटा के विश्लेषण पर ध्यान केंद्रित करेंगे।

लेकिन इसके बारे में अगले भाग में। वहाँ हम डेटा रूपांतरण के एक दिलचस्प कार्य का सामना करेंगे (यह साक्षात्कार के लिए काफी उपयुक्त है), हम इसे एक छोटी स्क्रिप्ट के साथ हल करने का प्रयास करेंगे और हम एक असामान्य परीक्षा रूपांतरण परिणाम सुनेंगे।

प्रारंभिक परिणाम

रिवर्स इंजीनियरिंग बाइनरी फ़ाइलों की आवश्यकता अप्रत्याशित रूप से हो सकती है। उदाहरण के लिए, डिवाइस फर्मवेयर का विश्लेषण करने के लिए, दुर्लभ डेटा प्रारूपों से कन्वर्ट, डिजिटल खतरों का विश्लेषण, या यहां तक ​​कि तुच्छ खेल को संशोधित करता है। आधुनिक उपकरण आपको इन समस्याओं को जल्दी और कुशलता से हल करने की अनुमति देते हैं। लगभग 10 साल पहले, मैं लैपटॉप फर्मवेयर पर शोध कर रहा था और इस प्रक्रिया में कई सप्ताह लग सकते हैं। फिर मैन्युअल रूप से डेटा ब्लॉक का विश्लेषण करने और संरचनाओं को बिछाने के लिए स्क्रिप्ट लिखना आवश्यक था। एक नए आंशिक रूप से स्वचालित दृष्टिकोण के साथ, मैंने सिर्फ एक दो दिनों में लगभग पूर्ण फ़ाइल व्याकरण बनाया।

आप बाइनरी फ़ाइल का विश्लेषण स्ट्रिंग्स की खोज करके शुरू कर सकते हैं - वे पहले सुराग दे सकते हैं और विश्लेषण प्रक्रिया को गति दे सकते हैं। अक्सर बाइनरी फ़ाइलों में डेटा ब्लॉक होते हैं जो एक पदानुक्रमित या रैखिक संरचना में व्यवस्थित होते हैं। यदि आप इस संरचना से निपटते हैं, तो आगे का विश्लेषण बहुत आसान होगा। फ़ाइल शीर्षलेख डेटा ब्लॉक के ऑफ़सेट्स / आकारों पर संकेत दे सकता है। पहले चरणों में, यह स्पष्ट संरचनाओं और ब्लॉकों के विवरण पर ध्यान केंद्रित करने के लिए समझ में आता है। विभिन्न सेटिंग्स, मापदंडों, डेटा के साथ फ़ाइलों के नए संस्करण बनाने की क्षमता से विश्लेषण कार्य बहुत सरल है। उनके बाइनरी प्रतिनिधित्व (एंडियननेस) में अज्ञात डेटा प्रकार और बाइट ऑर्डर से जुड़ी कई कठिनाइयां हैं। हम अगले भाग में इन सवालों पर बात करेंगे।

अनुशंसित पढ़ना

एंड्रियास पेहनैक। बाइनरी फाइल फॉर्मेट विश्लेषण का अनुमोदन कैसे करें