फायरबर्ड 2.5 डेटाबेस के स्ट्रीम रूपांतरण को ODS12 प्रारूप (फायरबर्ड 3.0)

फायरबर्ड के प्रत्येक संस्करण का डेटाबेस डिस्क संरचनाओं के प्रारूप का अपना संस्करण है - O (n) D (isk) S (ट्रक्टिक)। संस्करण 2.5 समावेशी से पहले, फायरबर्ड इंजन पिछले संस्करणों के ओडीएस के साथ काम कर सकता था, अर्थात पुराने संस्करणों के डेटाबेस नए संस्करण द्वारा खोले गए थे और संगतता मोड में काम किया था, लेकिन फायरबर्ड 3.0 इंजन केवल अपने स्वयं के ओडिए संस्करण 12.0 में डेटाबेस के साथ काम करता है।

3.0 पर स्विच करने के लिए, 2.5 से डेटाबेस को बैकअप / पुनर्स्थापना के माध्यम से एक नए प्रारूप में परिवर्तित किया जाना चाहिए। बेशक, हम मानते हैं कि डेटाबेस पहले रूपांतरण के लिए तैयार किया गया था - अर्थात मेटाडेटा और अनुरोधों को फायरबर्ड 3.0 के साथ संगतता के लिए परीक्षण किया गया है।

यदि आप मानक दृष्टिकोण का पालन करते हैं, तो इसका मतलब है कि आपको संस्करण 2.5 पर बैकअप की आवश्यकता है, फिर 3.0 स्थापित करें और पुनर्स्थापना करें। यदि पर्याप्त समय हो तो यह प्रक्रिया स्वीकार्य है, लेकिन बड़े डेटाबेस को स्थानांतरित करते समय, या कई दर्जन डेटाबेस को स्थानांतरित करते समय, जब समय समाप्त हो रहा है, तो आप स्ट्रीम रूपांतरण का उपयोग कर सकते हैं, जो कि 30-40% तेज है। यह कैसे करना है (विंडोज के तहत और लिनक्स के तहत), बिल्ली के नीचे पढ़ें।

सामान्य विचार यह है कि त्वरण के लिए हम पाइपलाइन का उपयोग करेंगे:

gbak -b … 25 stdout | gbak -c … stdin 30 

2.5 से Gbak एक रेखीय प्रारूप में एक बैकअप बनाता है और इसे stdout को भेजता है, जो तुरंत 3.0 से gbak को stdin के माध्यम से उठाता है और एक नया डेटाबेस बनाता है।

स्थानीय (फ़ाइल) एक्सेस विधि का उपयोग करके ऐसी पाइपलाइन को व्यवस्थित करना आवश्यक है, क्योंकि नेटवर्क एक्सेस (यहां तक ​​कि लोकलहोस्ट के माध्यम से) प्रक्रिया को काफी धीमा कर देगा।

नीचे हम विंडोज और लिनक्स के लिए विवरण देखते हैं।

विंडोज

विंडोज के मामले में, फायरबर्ड का पूरी तरह से स्वायत्त निर्माण करने का सबसे आसान तरीका है ऐसा करने के लिए, Firebird 2.5 एम्बेड-संग्रह , fbemded.dll को fbclient.dll का नाम बदलें, "सामान्य" 2.5 संग्रह से gbak.exe उपयोगिताओं को जोड़ें और (वैकल्पिक रूप से) isql.exe।

फायरबर्ड 3.0 एक एकल विधानसभा का उपयोग करता है और किसी भी संशोधन की आवश्यकता नहीं होती है।

सबसे छोटा विकल्प (जिसमें लक्ष्य प्रणाली पर VS2008 / VS2010 रनटाइम लाइब्रेरी की स्थापना की आवश्यकता नहीं है) में निम्नलिखित फाइलें शामिल हैं:

 25/gbak.exe 25/fbclient.dll 25/firebird.conf 25/firebird.log 25/firebird.msg 25/ib_util.dll 25/icudt30.dll 25/icuin30.dll 25/icuuc30.dll 25/Microsoft.VC80.CRT.manifest 25/msvcp80.dll 25/msvcr80.dll 30/fbclient.dll 30/firebird.conf 30/firebird.msg 30/gbak.exe 30/ib_util.dll 30/icudt52.dll 30/icudt52l.dat 30/icuin52.dll 30/icuuc52.dll 30/msvcp100.dll 30/msvcr100.dll 30/intl/fbintl.conf 30/intl/fbintl.dll 30/plugins/engine12.dll 

एक अनुभवी प्रशासक ध्यान दे सकता है कि intl / fbintl.dll और intl / fbintl.conf 2.5 में शामिल नहीं हैं। यह सच है, क्योंकि gbak एक कनेक्शन char का उपयोग नहीं करता है और डेटा को chars के बीच परिवर्तित नहीं करता है, लेकिन Firebird 3.0 के "प्राप्त" पक्ष पर इन फ़ाइलों को अनुक्रमित करते समय आवश्यक होता है।

Firebird.conf में, Firebird 3.0 को जोड़ने की सिफारिश की गई है:

 MaxUnflushedWrites = -1 MaxUnflushedWriteTime = -1 

इसके अलावा, 2.5 और 3.0 के लिए अलग-अलग IpcName मान सेट करना उचित है।

जब अन्य मापदंडों के मूल्यों को चुनते हैं, तो फायरबर्ड.कॉन्फ़ एक साधारण विचार से आगे बढ़ता है: डेटा ट्रांसफर चरण में, एक प्रक्रिया में, gbak 2.5 चलता है, और अन्य 3.0 में, फिर 2.5 खत्म होता है, और 3.0 इंडेक्स का निर्माण शुरू करता है।

3.0 में बिल्डिंग इंडेक्स के चरण को तेज करने के लिए, TempCacheLimit पैरामीटर के आकार को बढ़ाकर ~ 40% रैम (यदि यह निश्चित रूप से एक समर्पित सर्वर है) करने की सिफारिश की गई है।

उदाहरण के लिए, यदि सर्वर में 16 जीबी रैम है, तो आप डाल सकते हैं

 TempCacheLimit=6G 

बेशक, यह मान केवल 64-बिट फायरबर्ड 3 के लिए सेट किया जा सकता है, क्योंकि कोई भी 32-बिट प्रक्रिया 2 गीगाबाइट से अधिक मेमोरी आवंटित करने में सक्षम नहीं होगी।

2.5 पर, इस पैरामीटर को बदलने की आवश्यकता नहीं है - यह पहले से ही 2 गीगाबाइट से अधिक नहीं हो सकता है, और यह बैकअप के दौरान गति को प्रभावित नहीं करता है।

ऑपरेशन करने से पहले, आपको यह जांचना होगा कि डेटाबेस हेडर में पेज कैश 0 पर सेट है ( gstat -h databasename कमांड, पेज बफ़र्स लाइन देखें)।

यदि डेटाबेस हेडर में कैश स्पष्ट रूप से निर्दिष्ट किया गया है, तो यह फ़ायरबर्ड.कॉन्फ़ (और 3.0 में डेटाबेस.कॉन्फ़) से मानों को ओवरराइड करता है, और अपर्याप्त रूप से बड़े मूल्यों के मामले में यह अत्यधिक मेमोरी की खपत और स्वैप पर जा सकता है।

अगला, लक्ष्य प्रणाली में फ़ाइलों को कॉपी करें।

स्थानीय व्यवस्थापक के विशेषाधिकारों के साथ कमांड लाइन पर "सिस्टम" फायरबर्ड 2.5 सेवा को रोकने के बाद रूपांतरण किया जाता है (उदाहरण):

 set ISC_USER= "25/gbak" -z -b -g -v -st t -y 25.log 25 stdout|^ "30/gbak" -z -c -v -st t -y 30.log stdin 30 

यह उदाहरण उद्धरण चिह्नों (एक वैध "यूनिक्स-शैली") में "सीधा तिरछा" का उपयोग करता है, और एक टोपी ("^" चरित्र) लाइन फ़ीड चरित्र से बच जाता है, जो लंबी कमांड टाइप करते समय सुविधाजनक होता है। -St (atus) विकल्प Firebird 2.5.8 में दिखाई दिया और आपको प्रोटोकॉल के लिए gbak प्रक्रिया के ऑपरेटिंग समय पर डेटा लिखने की अनुमति देता है (विवरण के लिए प्रलेखन देखें)।

लिनक्स

लिनक्स पर, फायरबर्ड 3 टोमैथ लाइब्रेरी पर निर्भर करता है। सेंटोस (आरएचईएल) में, यह लाइब्रेरी एपल रिपॉजिटरी में है, उबंटू (डेबियन) में यह सिस्टम एक में है।

CentOS के लिए, आपको पहले एपल रिपॉजिटरी को कनेक्ट करना होगा और उसके बाद ही करना होगा

 yum install libtommath 

उबंटू को अतिरिक्त रिपॉजिटरी कनेक्ट करने की आवश्यकता नहीं है, लेकिन क्रमशः उबंटू 16 और उबंटू 18 - libtommath0 और libtommath1 पर पैकेज के विभिन्न संस्करण स्थापित किए गए हैं।

Firebird 3.0 tommath.so.0 की तलाश कर रहा है और Ubuntu 18 के लिए इसके अलावा tommath.so.0 से tommath.so.1 के लिए लिंक (सिमलिंक) बनाना आवश्यक है। ऐसा करने के लिए, आपको सबसे पहले tommath.so.1 खोजना होगा।

उबंटू में खोज पथ /usr/lib/x86_64-linux-gnu/ , लेकिन अन्य डेबियन-आधारित वितरण में यह भिन्न हो सकता है।

दूसरी समस्या यह है कि फ़ायरबर्ड 3.0.1 से पहले, समावेशी, सर्वर के दो अलग-अलग संस्करणों को स्थापित करने का कोई आसान तरीका नहीं था। हम इसकी सापेक्ष जटिलता के कारण विकल्प "वांछित उपसर्ग के साथ स्रोत से संकलन" पर विचार नहीं करते हैं।

फायरबर्ड 3.0.2 और उच्चतर के लिए, एक निर्माण के साथ -नेबल-बिनेलोक और एक अलग इंस्टॉलर विकल्प (-पथ पथ) लागू किया जाता है।

यह मानते हुए कि tommath लाइब्रेरी और, यदि आवश्यक हो, tommath.so.0 के लिए सिमलिंक को सिस्टम में जोड़ा गया है, तो आप वास्तविक (इस लेखन के समय) Firebird 3.0.4 वितरण को उदाहरण के लिए जोड़ सकते हैं, / Opt / fb3:

 ./install.sh -path /opt/fb3 

उसके बाद, आप फायरबर्ड सिस्टम सेवा को रोक सकते हैं और स्ट्रीमिंग रूपांतरण शुरू कर सकते हैं।

फायरबर्ड को रोकते समय, यह ध्यान में रखा जाना चाहिए कि क्लासिक मोड में फायरबिड 2.5 प्रक्रियाएं आमतौर पर xinetd शुरू होती हैं - इसलिए xinetd के लिए फायरबर्ड सेवा को अक्षम करना या xinetd को पूरी तरह से रोकना आवश्यक है।

Linux पर 3.0 के लिए firebird.conf में, आपको MaxUnflushed पैरामीटर सेट करने की आवश्यकता नहीं है (वे केवल विंडोज पर काम करते हैं) और फायरबर्ड 2.5 सेटिंग्स को बदलते हैं।

लिनक्स में, फायरबर्ड 2.5 की स्थानीय (फ़ाइल) पहुंच विंडोज के लिए एम्बेड किए गए संस्करण के बराबर नहीं है - सर्वर 2.5 gbak प्रक्रिया (नेटवर्क भाग के बिना) में काम करेगा, लेकिन उपयोगकर्ता आधार के खिलाफ एक्सेस अधिकारों की जांच की जाएगी, जिसका अर्थ है कि केवल लॉगिन ही नहीं, बल्कि पासवर्ड की भी आवश्यकता होगी। :

 export ISC_USER=username ISC_PASSWORD=password /opt/firebird/bin/gbak -b … 25 stdout\ |/opt/fb3/bin/gbak -c … stdin 30 

सफल रूपांतरण के बाद, आपको पहले "अतिरिक्त" फायरबर्ड 3.0 को निकालना होगा, फिर "मुख्य" फायरबर्ड 2.5, और उसके बाद ही फायरबर्ड 3.0 की एक साफ स्थापना करें - सभी नियमित टार्गेट इंस्टॉलर से सर्वश्रेष्ठ, और रिपॉजिटरी के माध्यम से नहीं, क्योंकि रिपॉजिटरी में संस्करण पिछड़ सकता है।

इसके अलावा, लिनक्स डेटाबेस को पुनर्स्थापित करने और इसे फिर से स्थापित करने के बाद, आपको यह जांचना होगा कि नए डेटाबेस में फायरबर्ड उपयोगकर्ता का मालिक है।

यदि ऐसा नहीं है, तो इसे ठीक करना आवश्यक होगा

 chown firebird.firebird database 

परिणाम

समय और डिस्क स्थान को बचाने के अलावा, धारा रूपांतरण का एक और महत्वपूर्ण लाभ है - डेटाबेस रूपांतरण मौजूदा फ़ायरबर्ड 2.5 को हटाने के बिना किया जाता है, जो कि रोलबैक को बहुत सरल करता है यदि रूपांतरण असफल हो जाता है (अधिकतर स्थान की कमी या माइग्रेशन प्रक्रिया के दौरान अप्रत्याशित बदलाव के कारण)।

समय की बचत इस तथ्य के कारण है कि "क्लासिक" रूपांतरण "बैकअप समय" प्लस "पुनर्प्राप्ति समय" है। पुनर्प्राप्ति में दो भाग होते हैं: बैकअप फ़ाइल से डेटा पढ़ना और एक इंडेक्स का निर्माण करना।

स्ट्रीमिंग रूपांतरण में, कुल समय "बैकअप समय प्लस पांच से दस प्रतिशत" और "सूचकांक निर्माण समय" के रूप में प्राप्त होता है।

विशिष्ट परिणाम डेटाबेस की संरचना पर निर्भर करते हैं, लेकिन औसतन, पुनर्प्राप्ति समय लगभग डबल बैकअप समय के बराबर है। इसलिए, यदि हम प्रति यूनिट बैकअप समय लेते हैं, तो "शास्त्रीय रूपांतरण" - समय की तीन इकाइयाँ, प्रवाह - समय की दो इकाइयाँ। TempCacheLimit में वृद्धि भी समय को कम करने में मदद करती है।

सामान्य तौर पर, व्यवहार में धारा रूपांतरण आपको वैकल्पिक बैकअप और रेस्तरां के समय के 30-40% प्रतिशत को बचाने की अनुमति देता है।

प्रश्न?

कृपया टिप्पणियों में सभी प्रश्न लिखें, या इस लेख की कार्यप्रणाली के लेखक और सह-लेखक - वासिली सिदोरोव, आईबेस में अग्रणी सिस्टम इंजीनियर, आईबेज आरयू में बी एस पर भेजें।