Ibd फ़ाइल के बाइट विश्लेषण का उपयोग करके संरचना फ़ाइल के बिना XtraDB तालिकाओं से डेटा पुनर्प्राप्ति

प्रागितिहास

ऐसा हुआ कि सर्वर पर एक रैंसमवेयर वायरस ने हमला किया, जो कि एक "फ्लूक" द्वारा, आंशिक रूप से .ibd फ़ाइलों (इनोडब टेबल की कच्ची डेटा फ़ाइलों) को अलग सेट करता है, लेकिन .fpm फ़ाइलों (संरचना फ़ाइलों) को पूरी तरह से एन्क्रिप्ट किया गया। उसी समय .idb में विभाजित किया जा सकता है:

• मानक उपकरण और गाइड के माध्यम से वसूली के अधीन। ऐसे मामलों के लिए, एक महान लेख है ;
• आंशिक रूप से एन्क्रिप्टेड टेबल। अधिकतर ये बड़े टेबल होते हैं, जिन पर (जैसा कि मैंने समझा), हमलावरों के पास पूर्ण एन्क्रिप्शन के लिए पर्याप्त रैम नहीं थी;
• ठीक है, पूरी तरह से एन्क्रिप्टेड तालिकाओं को पुनर्प्राप्त नहीं किया जा सकता है।

यह निर्धारित करना संभव था कि वांछित एन्कोडिंग (मेरे मामले में यह UTF8 है) के तहत किसी भी पाठ संपादक में खुलने से तालिकाओं का क्या विकल्प है, और उदाहरण के लिए, केवल टेक्स्ट फ़ील्ड की उपस्थिति के लिए फ़ाइल को देखना:

इसके अलावा, फ़ाइल की शुरुआत में आप बड़ी संख्या में 0-बाइट्स का निरीक्षण कर सकते हैं, और वायरस जो ब्लॉक एन्क्रिप्शन एल्गोरिथ्म (सबसे आम) का उपयोग करते हैं, आमतौर पर उन्हें प्रभावित करते हैं।

मेरे मामले में, प्रत्येक एन्क्रिप्टेड फ़ाइल के अंत में हमलावरों ने 4 बाइट्स (1, 0, 0, 0) की एक स्ट्रिंग छोड़ दी, जिससे कार्य सरल हो गया। एक स्क्रिप्ट अधूरी फ़ाइलों की खोज करने के लिए पर्याप्त थी:

def opened(path): files = os.listdir(path) for f in files: if os.path.isfile(path + f): yield path + f for full_path in opened("C:\\some\\path"): file = open(full_path, "rb") last_string = "" for line in file: last_string = line file.close() if (last_string[len(last_string) -4:len(last_string)]) != (1, 0, 0, 0): print(full_path) 

इस प्रकार यह पहली प्रकार से संबंधित फ़ाइलों को खोजने के लिए निकला। दूसरा एक लंबे मैनुअल का तात्पर्य है, लेकिन पहले से ही पर्याप्त था। सबकुछ ठीक हो जाएगा, लेकिन यह बिल्कुल सटीक संरचना को जानना आवश्यक है और (निश्चित रूप से) एक ऐसा मामला था कि मुझे बार-बार बदलती तालिका के साथ काम करना पड़ा। किसी को याद नहीं था कि क्या मैदान का प्रकार बदल रहा था, या एक नया स्तंभ जोड़ा जा रहा था।

दुर्भाग्य से, देबरी शहर इस मामले में मदद नहीं कर सका, इसलिए यह लेख लिखा जा रहा है।

बिंदु पर पहुंचें

3 महीने पहले की एक तालिका संरचना है जो वर्तमान एक (शायद एक क्षेत्र, लेकिन संभवतः अधिक) के साथ मेल नहीं खाती है। तालिका संरचना:

 CREATE TABLE `table_1` ( `id` INT (11), `date` DATETIME , `description` TEXT , `id_point` INT (11), `id_user` INT (11), `date_start` DATETIME , `date_finish` DATETIME , `photo` INT (1), `id_client` INT (11), `status` INT (1), `lead__time` TIME , `sendstatus` TINYINT (4) ); 

इस मामले में, आपको निकालने की आवश्यकता है:

• id_point INT (11);
• id_user INT (11);
• date_start DATETIME;
• date_finish DATETIME।

पुनर्प्राप्ति के लिए, .ibd फ़ाइल के बाइट विश्लेषण का उपयोग किया जाता है, इसके बाद उनका अनुवाद अधिक पठनीय रूप में किया जाता है। चूँकि जो आवश्यक है, उसे खोजने के लिए, हमारे लिए ऐसे डेटा प्रकारों का विश्लेषण करना आवश्यक है जैसे कि इंट और डेटाटाइम, केवल उन्हें लेख में वर्णित किया जाएगा, लेकिन कभी-कभी वे अन्य डेटा प्रकारों का भी उल्लेख करेंगे, जो अन्य समान घटनाओं में मदद कर सकते हैं।

समस्या 1 : DATETIME और TEXT के प्रकार वाले फ़ील्ड का NULL मान था, और वे केवल फ़ाइल में छोड़ दिए जाते हैं, इस वजह से, मेरे मामले में पुनर्प्राप्ति के लिए संरचना निर्धारित करना संभव नहीं था। नए कॉलम में, डिफ़ॉल्ट मान अशक्त था, और कुछ लेनदेन सेटिंग innodb_flush_log_at_trx_commit = 0 की वजह से खो सकते हैं, इसलिए संरचना को निर्धारित करने के लिए अतिरिक्त समय बिताना होगा।

समस्या 2 : यह ध्यान दिया जाना चाहिए कि DELETE के माध्यम से हटाई गई पंक्तियाँ बिल्कुल ibd फ़ाइल में होंगी, लेकिन ALTER TABLE के साथ उनकी संरचना अपडेट नहीं की जाएगी। नतीजतन, डेटा संरचना फ़ाइल की शुरुआत से इसके अंत तक भिन्न हो सकती है। यदि आप अक्सर ऑप्टिमाइज़ टेबल का उपयोग करते हैं, तो आपको एक समान समस्या का सामना करने की संभावना नहीं है।

कृपया ध्यान दें कि DBMS संस्करण डेटा संग्रहीत करने के तरीके को प्रभावित करता है, और यह उदाहरण अन्य प्रमुख संस्करणों के लिए काम नहीं कर सकता है। मेरे मामले में, विंडोज़ संस्करण mariadb 10.1.24 का उपयोग किया गया था। इसके अलावा, हालांकि मारीडब में आप इनोबीडी टेबल के साथ काम करते हैं, वास्तव में वे एक्स्ट्राबीडी हैं, जो इनोबीडी मायस्कल के साथ विधि की प्रयोज्यता को बाहर करता है।

फ़ाइल विश्लेषण

अजगर में, बाइट्स () डेटा प्रकार संख्याओं के सामान्य सेट के बजाय यूनिकोड में डेटा प्रदर्शित करता है। हालाँकि आप इस रूप में फ़ाइल पर विचार कर सकते हैं, लेकिन सुविधा के लिए, आप बाइट को संख्यात्मक रूप में बाइट सरणी को एक नियमित सरणी (सूची (उदाहरण_बाइट_अरे)) में अनुवाद करके अनुवाद कर सकते हैं। किसी भी मामले में, विश्लेषण के लिए दोनों विधियां उपयोगी हैं।

कई ibd फ़ाइलों को देखने के बाद, आप निम्नलिखित पा सकते हैं:

इसके अलावा, यदि आप इन कीवर्ड द्वारा फाइल को विभाजित करते हैं, तो आपको ज्यादातर फ्लैट डेटा ब्लॉक मिलेंगे। हम एक भाजक के रूप में अनंत का उपयोग करेंगे।

 table = table.split("infimum".encode()) 

एक दिलचस्प अवलोकन, डेटा की एक छोटी राशि के साथ तालिकाओं के लिए, अनंत और सर्वोच्च के बीच ब्लॉक में पंक्तियों की संख्या के लिए एक संकेतक है।

- पहली पंक्ति के साथ परीक्षण तालिका

- 2 पंक्तियों के साथ परीक्षण तालिका

पंक्तियों की सारणी [0] को छोड़ दिया जा सकता है। इसे देखने के बाद, मुझे अभी भी तालिकाओं का कच्चा डेटा नहीं मिल पाया है। सबसे अधिक संभावना है, इस ब्लॉक का उपयोग अनुक्रमित और कुंजियों को संग्रहीत करने के लिए किया जाता है।
तालिका [1] से शुरू करते हुए और इसे एक संख्यात्मक सरणी में अनुवाद करते हुए, आप पहले से ही कुछ पैटर्न नोटिस कर सकते हैं, अर्थात्:

ये एक स्ट्रिंग में संग्रहीत मान हैं। पहला बाइट इंगित करता है कि संख्या सकारात्मक है या नकारात्मक। मेरे मामले में, सभी संख्याएं सकारात्मक हैं। शेष 3 बाइट्स से, आप निम्न फ़ंक्शन का उपयोग करके संख्या निर्धारित कर सकते हैं। स्क्रिप्ट:

 def find_int(val: str): # example '128, 1, 2, 3' val = [int(v) for v in val.split(", ")] result_int = val[1]*256**2 + val[2]*256*1 + val[3] return result_int 

उदाहरण के लिए, 128, 0, 0, 1 = 1 , या 128, 0, 75, 108 = 19308 ।
तालिका में ऑटो-इंक्रीमेंट के साथ एक प्राथमिक कुंजी थी, और यहां आप इसे पा भी सकते हैं

परीक्षण तालिकाओं से डेटा की तुलना करते हुए, यह पता चला था कि डैट टाइम ऑब्जेक्ट में 5 बाइट्स होते हैं, जो 153 (सबसे अधिक वार्षिक अंतराल का संकेत देने वाले संभावित) के साथ शुरू होता है। चूंकि DATTIME रेंज '1000-01-01' से '9999-12-31' है, इसलिए मुझे लगता है कि बाइट्स की संख्या भिन्न हो सकती है, लेकिन मेरे मामले में, डेटा 2016 से 2019 की अवधि में आता है, इसलिए हम मानते हैं कि 5 बाइट्स पर्याप्त हैं ।

सेकंड के बिना समय का निर्धारण करने के लिए, निम्नलिखित फ़ंक्शन लिखे गए थे। स्क्रिप्ट:

 day_ = lambda x: x % 64 // 2 # {x,x,X,x,x } def hour_(x1, x2): # {x,x,X1,X2,x} if x1 % 2 == 0: return x2 // 16 elif x1 % 2 == 1: return x2 // 16 + 16 else: raise ValueError min_ = lambda x1, x2: (x1 % 16) * 4 + (x2 // 64) # {x,x,x,X1,X2} 

एक साल और एक महीने के लिए, एक स्वस्थ कार्य करना लिखना संभव नहीं था, इसलिए मुझे हार्डकोड करना पड़ा। स्क्रिप्ट:

 ym_list = {'2016, 1': '153, 152, 64', '2016, 2': '153, 152, 128', '2016, 3': '153, 152, 192', '2016, 4': '153, 153, 0', '2016, 5': '153, 153, 64', '2016, 6': '153, 153, 128', '2016, 7': '153, 153, 192', '2016, 8': '153, 154, 0', '2016, 9': '153, 154, 64', '2016, 10': '153, 154, 128', '2016, 11': '153, 154, 192', '2016, 12': '153, 155, 0', '2017, 1': '153, 155, 128', '2017, 2': '153, 155, 192', '2017, 3': '153, 156, 0', '2017, 4': '153, 156, 64', '2017, 5': '153, 156, 128', '2017, 6': '153, 156, 192', '2017, 7': '153, 157, 0', '2017, 8': '153, 157, 64', '2017, 9': '153, 157, 128', '2017, 10': '153, 157, 192', '2017, 11': '153, 158, 0', '2017, 12': '153, 158, 64', '2018, 1': '153, 158, 192', '2018, 2': '153, 159, 0', '2018, 3': '153, 159, 64', '2018, 4': '153, 159, 128', '2018, 5': '153, 159, 192', '2018, 6': '153, 160, 0', '2018, 7': '153, 160, 64', '2018, 8': '153, 160, 128', '2018, 9': '153, 160, 192', '2018, 10': '153, 161, 0', '2018, 11': '153, 161, 64', '2018, 12': '153, 161, 128', '2019, 1': '153, 162, 0', '2019, 2': '153, 162, 64', '2019, 3': '153, 162, 128', '2019, 4': '153, 162, 192', '2019, 5': '153, 163, 0', '2019, 6': '153, 163, 64', '2019, 7': '153, 163, 128', '2019, 8': '153, 163, 192', '2019, 9': '153, 164, 0', '2019, 10': '153, 164, 64', '2019, 11': '153, 164, 128', '2019, 12': '153, 164, 192', '2020, 1': '153, 165, 64', '2020, 2': '153, 165, 128', '2020, 3': '153, 165, 192','2020, 4': '153, 166, 0', '2020, 5': '153, 166, 64', '2020, 6': '153, 1, 128', '2020, 7': '153, 166, 192', '2020, 8': '153, 167, 0', '2020, 9': '153, 167, 64','2020, 10': '153, 167, 128', '2020, 11': '153, 167, 192', '2020, 12': '153, 168, 0'} def year_month(x1, x2): # {x,X,X,x,x } for key, value in ym_list.items(): key = [int(k) for k in key.replace("'", "").split(", ")] value = [int(v) for v in value.split(", ")] if x1 == value[1] and x2 // 64 == value[2] // 64: return key return 0, 0 

मुझे यकीन है कि यदि आप समय की संख्या में एन खर्च करते हैं, तो इस गलतफहमी को ठीक किया जा सकता है।
अगला, फ़ंक्शन स्ट्रिंग से डेटाटाइम ऑब्जेक्ट लौटाता है। स्क्रिप्ट:

 def find_data_time(val:str): val = [int(v) for v in val.split(", ")] day = day_(val[2]) hour = hour_(val[2], val[3]) minutes = min_(val[3], val[4]) year, month = year_month(val[1], val[2]) return datetime(year, month, day, hour, minutes) 

इंट, इंट, डेटाइम, डेटाइम से अक्सर दोहराया मूल्यों का पता लगाना संभव था ऐसा लगता है कि यह वही है जो आपको चाहिए। इसके अलावा, इस तरह के अनुक्रम को प्रति पंक्ति दो बार दोहराया नहीं जाता है।

एक नियमित अभिव्यक्ति का उपयोग करते हुए, हम आवश्यक डेटा पाते हैं:

 fined = re.findall(r'128, \d*, \d*, \d*, 128, \d*, \d*, \d*, 153, 1[6,5,4,3]\d, \d*, \d*, \d*, 153, 1[6,5,4,3]\d, \d*, \d*, \d*', int_array) 

कृपया ध्यान दें कि इस अभिव्यक्ति की खोज करते समय, आवश्यक फ़ील्ड में NULL मान निर्धारित करना संभव नहीं होगा, लेकिन मेरे मामले में यह महत्वपूर्ण नहीं है। हम पाया के माध्यम से लूप के बाद। स्क्रिप्ट:

 result = [] for val in fined: pre_result = [] bd_int = re.findall(r"128, \d*, \d*, \d*", val) bd_date= re.findall(r"(153, 1[6,5,4,3]\d, \d*, \d*, \d*)", val) for it in bd_int: pre_result.append(find_int(bd_int[it])) for bd in bd_date: pre_result.append(find_data_time(bd)) result.append(pre_result) 

वास्तव में सब कुछ, परिणाम सरणी से डेटा, यह वह डेटा है जिसकी हमें आवश्यकता है। ### PS। ###
मैं समझता हूं कि यह विधि सभी के लिए उपयुक्त नहीं है, लेकिन लेख का मुख्य लक्ष्य आपकी सभी समस्याओं को हल करने के बजाय त्वरित कार्रवाई करना है। मुझे लगता है कि सबसे सही समाधान मारीदब के स्रोत कोड का अध्ययन करना शुरू करना होगा, लेकिन सीमित समय के कारण, वर्तमान विधि सबसे तेज लग रही थी।

कुछ मामलों में, फ़ाइल का विश्लेषण करने के बाद, आप अनुमानित संरचना का निर्धारण कर सकते हैं और ऊपर दिए गए लिंक से मानक विधियों में से एक को पुनर्स्थापित कर सकते हैं। यह बहुत अधिक सही होगा और कम समस्याओं का कारण होगा।