🤜🏼 👔 👂 रॉकर - एर्लांग के लिए रॉकडस्ब ड्राइवर ♀️ 🌼 📕

परिचय

इंटरनेट पर, sql / nosql दृष्टिकोण की पसंद, साथ ही साथ एक या दूसरे KV-स्टोरेज के पेशेवरों और विपक्षों के बारे में बहुत सारी जानकारी और बहस होती है। अभी आप जो पढ़ रहे हैं, वह इस रिपॉजिटरी और इसके लिए मेरे ड्राइवर का उपयोग करने के लिए एक चट्टानी मैनुअल या आंदोलन नहीं है। मैं एरलांग के लिए एनआईएफ विकास प्रक्रिया के अनुकूलन के अंतरिम परिणाम को साझा करना चाहूंगा। यह लेख एक जोड़े के लिए विकसित रॉकडब के लिए एक व्यावहारिक ड्राइवर प्रस्तुत करता है।

इसलिए, एक परियोजना में कार्य घटनाओं की एक बड़ी मात्रा के विश्वसनीय प्रसंस्करण के लिए उत्पन्न हुआ। प्रत्येक ईवेंट 50 से 350 बाइट्स लेता है, प्रति दिन प्रति नोड 80 मिलियन से अधिक ईवेंट उत्पन्न होते हैं। बस यह ध्यान देना चाहते हैं कि नोड्स को संदेश वितरण की गलती सहिष्णुता के मुद्दों पर विचार नहीं किया जाता है। इसके अलावा प्रसंस्करण प्रतिबंधों में से एक परमाणु और घटनाओं के समूह का लगातार परिवर्तन है।

इस प्रकार, ड्राइवर के लिए मुख्य आवश्यकताएं हैं:

विश्वसनीयता
उत्पादकता
सुरक्षा (विहित अर्थ में)
कार्यक्षमता:
- सभी बुनियादी kv फ़ंक्शन
- स्तम्भ परिवार
- लेन-देन
- डेटा संपीड़न
- लचीले भंडारण कॉन्फ़िगरेशन का समर्थन
न्यूनतम कोड आधार

मौजूदा समाधानों का अवलोकन

erocksdb , leofs Developers का एक समाधान है। फायदे में एक वास्तविक परियोजना में अनुमोदन शामिल है। विपक्ष द्वारा - एक पुराना कोड आधार और लेन-देन की कमी। यह ड्राइवर 4.13 चट्टानों पर आधारित है।
रॉकसी के पास कई सीमाएँ हैं, उदाहरण के लिए, कॉन्फ़िगरेशन विकल्पों की कमी, लेकिन सबसे महत्वपूर्ण बात, सभी चाबियाँ और मूल्य तार होना चाहिए। वह केवल कई ड्राइवरों के एक उदाहरण के रूप में समीक्षा में शामिल हुए जो एक या दूसरे कार्यात्मक को लागू करते हैं और दूसरे को सीमित करते हैं।
एरलांग-रॉक्सडब एक पूर्ण विशेषताओं वाली परियोजना है, जिसका विकास 2014 में शुरू हुआ था। जैसे erocksdb का उपयोग वास्तविक परियोजनाओं में किया जाता है। इसका C / C ++ और व्यापक कार्यक्षमता में एक बड़ा कोड आधार है। यह ड्राइवर अधिकांश परियोजनाओं में सामान्य अभ्यास और उपयोग के लिए उपयुक्त है।

चट्टानों के लिए एर्गैंग ड्राइवरों के साथ वर्तमान स्थिति के त्वरित विश्लेषण के बाद, यह स्पष्ट हो गया कि उनमें से कोई भी परियोजना की आवश्यकताओं को पूरी तरह से पूरा नहीं करता है। यद्यपि यह एरलैंग-रॉकडस्ब का उपयोग करना संभव होगा, कुछ मुक्त शामें दिखाई दीं, और रस्ट और जिज्ञासा पर ब्लूम फ़िल्टर के सफल विकास और कार्यान्वयन के बाद: क्या वर्तमान परियोजना की सभी आवश्यकताओं को लागू करना और एनआईएफ में अधिकांश कार्यों को थोड़े समय में लागू करना संभव है?

घुमाव

रॉकर एर्लांग के लिए एक एनआईएफ है, जो रॉकडस्ब के लिए रस्ट आवरण का उपयोग करता है। मुख्य विशेषताएं सुरक्षा, प्रदर्शन और न्यूनतम कोड आधार हैं। कुंजी और डेटा को बाइनरी रूप में संग्रहीत किया जाता है, जो भंडारण प्रारूप पर कोई प्रतिबंध नहीं लगाता है। फिलहाल, यह परियोजना तीसरे पक्ष के समाधान में उपयोग के लिए उपयुक्त है।
स्रोत कोड प्रोजेक्ट रिपॉजिटरी में है ।

एपीआई अवलोकन

बेस ओपनिंग

डेटाबेस के साथ काम करना दो मोड में संभव है:

कुल प्रमुख स्थान। इस मोड में, आपकी सभी चाबियों को एक सेट में रखा जाएगा। Rocksdb आपको वर्तमान कार्यों के लिए भंडारण विकल्पों को लचीले ढंग से कॉन्फ़िगर करने की अनुमति देता है। उनके आधार पर, डेटाबेस को दो तरीकों से खोला जा सकता है:
- विकल्पों के एक मानक सेट का उपयोग करना
```
rocker:open_default(<<"/project/priv/db_default_path">>) -> {ok, Db}. 
```
  इस ऑपरेशन का परिणाम डेटाबेस के साथ काम करने के लिए एक संकेतक होगा, और डेटाबेस को खोलने के किसी भी अन्य प्रयास के लिए ब्लॉक किया जाएगा। इस सूचक को साफ़ करने के तुरंत बाद डेटाबेस स्वचालित रूप से अनलॉक हो जाएगा।
- या तो कार्य के लिए विकल्पों को कॉन्फ़िगर करें
```
 {ok, Db} = rocker:open(<<"/project/priv/db_path">>, #{ create_if_missing => true, set_max_open_files => 1000, set_use_fsync => false, set_bytes_per_sync => 8388608, optimize_for_point_lookup => 1024, set_table_cache_num_shard_bits => 6, set_max_write_buffer_number => 32, set_write_buffer_size => 536870912, set_target_file_size_base => 1073741824, set_min_write_buffer_number_to_merge => 4, set_level_zero_stop_writes_trigger => 2000, set_level_zero_slowdown_writes_trigger => 0, set_max_background_compactions => 4, set_max_background_flushes => 4, set_disable_auto_compactions => true, set_compaction_style => universal }). 
```
कई स्थानों पर टूट। कुंजी को तथाकथित कॉलम परिवारों में संग्रहीत किया जाता है, और प्रत्येक कॉलम परिवार में अलग-अलग विकल्प हो सकते हैं। आइए सभी स्तंभ परिवारों के लिए मानक विकल्पों के साथ एक डेटाबेस खोलने के उदाहरण पर विचार करें
```
 {ok, Db} = case rocker:list_cf(BookDbPath) of {ok, CfList} -> rocker:open_cf_default(BookDbPath, CfList); _Else -> CfList = [], rocker:open_default(BookDbPath) end. 
```

आधार हटाना

डेटाबेस को सही ढंग से हटाने के लिए, आपको rocker:destroy(Path). को कॉल करना होगा rocker:destroy(Path). इस मामले में, आधार का उपयोग नहीं किया जाना चाहिए।

विफलता के बाद डेटाबेस रिकवरी

सिस्टम विफलता की स्थिति में, rocker:repair(Path) का उपयोग करके डेटाबेस को पुनर्स्थापित किया जा सकता है rocker:repair(Path) विधि। इस प्रक्रिया में 4% शामिल हैं:

फ़ाइल खोज
Wal खेलकर तालिकाओं को पुनर्स्थापित करें
मेटाडेटा निकालें
डिस्क्रिप्टर रिकॉर्ड

एक कॉलम परिवार बनाना

 Cf = <<"testcf1">>, rocker:create_cf_default(Db, Cf) -> ok.

कॉलम परिवार को हटाने

 Cf = <<"testcf1">>, rocker:drop_cf(Db, Cf) -> ok.

CRUD ऑपरेशन

मुख्य डेटा प्रविष्टि

 rocker:put(Db, <<"key">>, <<"value">>) -> ok.

कुंजी द्वारा डेटा प्राप्त करना

 rocker:get(Db, <<"key">>) -> {ok, <<"value">>} | notfound

प्रमुख डेटा विलोपन

 rocker:delete(Db, <<"key">>) -> ok.

सीएफ में मुख्य डेटा प्रविष्टि

 rocker:put_cf(Db, <<"testcf">>, <<"key">>, <<"value">>) -> ok.

सीएफ के भीतर प्रमुख डेटा पुनर्प्राप्ति

 rocker:get_cf(Db, <<"testcf">>, <<"key">>) -> {ok, <<"value">>} | notfound

सीएफ कुंजी निकालना

 rocker:delete_cf(Db, <<"testcf">>, <<"key">>) -> ok

iterators

जैसा कि आप जानते हैं, चट्टानों के बुनियादी सिद्धांतों में से एक क्रमिक रूप से चाबियों का भंडारण है। वास्तविक कार्यों में यह सुविधा बहुत उपयोगी है। इसका उपयोग करने के लिए, हमें डेटा पुनरावृत्तियों की आवश्यकता है। Rocksdb में डेटा पास करने के कई तरीके हैं ( परीक्षणों में विस्तृत कोड उदाहरण पाए जा सकते हैं):

तालिका की शुरुआत से। रॉटर इटेटर में इसके लिए जिम्मेदार है {'start'}
तालिका के अंत से: {'end'}
एक विशिष्ट कुंजी आगे से शुरू {'from', Key, forward}
किसी विशिष्ट कुंजी से शुरू होकर {'from', Key, reverse}

यह ध्यान देने योग्य है कि ये मोड कॉलम परिवारों में संग्रहीत डेटा से गुजरने के लिए भी काम करते हैं।

एक इटरेटर बनाएँ

 rocker:iterator(Db, {'start'}) -> {ok, Iter}.

आईटर की जाँच

 rocker:iterator_valid(Iter) -> {ok, true} | {ok, false}.

CF के लिए एक Iterator बनाना

 rocker:iterator_cf(Db, Cf, {'start'}) -> {ok, Iter}.

एक उपसर्ग Iterator बनाना

उपसर्ग इटिटर को डेटाबेस बनाते समय उपसर्ग की लंबाई को स्पष्ट रूप से निर्दिष्ट करने की आवश्यकता होती है।

 {ok, Db} = rocker:open(Path, #{ prefix_length => 3 }).

"एएए" उपसर्ग का उपयोग करके एक इटरेटर बनाने का एक उदाहरण:

 {ok, Iter} = rocker:prefix_iterator(Db, <<"aaa">>).

CF के लिए एक उपसर्ग Iterator बनाना

पिछले उपसर्ग prefix_length के समान, इसके लिए स्तंभ परिवार के लिए स्पष्ट prefix_length आवश्यक है

 {ok, Iter} = rocker:prefix_iterator_cf(Db, Cf, <<"aaa">>).

अगली वस्तु प्राप्त करें

विधि अगले कुंजी / मान लौटाता है, या ठीक है अगर पुनरावृत्ति पूरा होता है।

 rocker:next(Iter) -> {ok, <<"key">>, <<"value">>} | ok

लेन-देन

एक प्रमुख समूह में परिवर्तनों को एक साथ रिकॉर्ड करने के लिए एक सामान्य घटना है। रॉकर आपको एक सामान्य सेट के भीतर और सीएफ के भीतर सीआरयूडी संचालन दोनों को संयोजित करने की अनुमति देता है।
यह उदाहरण लेन-देन के साथ काम करने को दर्शाता है:

 {ok, 6} = rocker:tx(Db, [ {put, <<"k1">>, <<"v1">>}, {put, <<"k2">>, <<"v2">>}, {delete, <<"k0">>, <<"v0">>}, {put_cf, Cf, <<"k1">>, <<"v1">>}, {put_cf, Cf, <<"k2">>, <<"v2">>}, {delete_cf, Cf, <<"k0">>, <<"v0">>} ]).

उत्पादकता

आप परीक्षण सूट में एक प्रदर्शन परीक्षण पा सकते हैं। यह लिखने के लिए लगभग 30k RPS और मेरी मशीन पर पढ़ने के लिए 200k RPS दिखाता है। वास्तविक परिस्थितियों में, आप लेखन के लिए 15-20k RPS और लगभग 1 Kb प्रति कुंजी के औसत डेटा आकार के साथ पढ़ने के लिए लगभग 120k RPS की उम्मीद कर सकते हैं और कुंजियों की कुल संख्या 1 बिलियन से अधिक है।

निष्कर्ष

हमारी परियोजना में रॉकर के विकास और अनुप्रयोग ने हमें सिस्टम की प्रतिक्रिया समय को कम करने, विश्वसनीयता बढ़ाने और पुनरारंभ समय को कम करने की अनुमति दी। ये लाभ न्यूनतम विकास और कार्यान्वयन लागत के साथ प्राप्त किए गए थे।

खुद के लिए, मैंने निष्कर्ष निकाला कि एर्लांग परियोजनाओं के लिए अनुकूलन की आवश्यकता होती है, जंग का उपयोग इष्टतम है। Erlang जल्दी और कुशलता से कोड के 95% को कार्यान्वित करने का प्रबंधन करता है, जबकि Rust समग्र प्रणाली विश्वसनीयता से समझौता किए बिना अवरोधन को 5% फिर से लिखता / जोड़ता है।

पुनश्च एर्लांग में आर्बिटवर्स-सटीक अंकगणित के लिए एनआईएफ विकसित करने में सकारात्मक अनुभव है, जिसे एक अलग लेख में लिखा जा सकता है। मैं स्पष्ट करना चाहूंगा कि क्या रुस्त पर एनआईएफ विषय समुदाय के लिए दिलचस्प है?

रॉकर - एर्लांग के लिए रॉकडस्ब ड्राइवर