👰🏻 👇 📻 सीरियलाइज़ेशन प्रारूपों की तुलना 👩🏽‍🏫 😰 👈🏽

संदेशों के क्रमांकन के प्रारूप को चुनते समय, जिन्हें कतार, लॉग या अन्य जगहों पर लिखा जाएगा, कई सवाल अक्सर उठते हैं जो किसी भी तरह से अंतिम विकल्प को प्रभावित करते हैं। इन प्रमुख मुद्दों में से एक क्रमबद्धता की गति और प्राप्त संदेश का आकार है। चूंकि ऐसे उद्देश्यों के लिए कई प्रारूप हैं, इसलिए मैंने उनमें से कुछ का परीक्षण करने और परिणाम साझा करने का निर्णय लिया।

टेस्ट की तैयारी

निम्नलिखित स्वरूपों का परीक्षण किया जाएगा:

जावा क्रमांकन
Json
एवरो
Protobuf
थ्रिफ़्ट (बाइनरी, कॉम्पैक्ट)
Msgpack

स्काला को पीएल के रूप में चुना गया था।
मुख्य परीक्षण उपकरण स्केलमीटर होगा।

निम्नलिखित मापदंडों को मापा जाएगा और तुलना की जाएगी: क्रमबद्ध और deserialize करने के लिए लिया गया समय, और परिणामस्वरूप फ़ाइलों का आकार।

उपयोग में आसानी, इस तुलना में सर्किट और अन्य महत्वपूर्ण मापदंडों के विकास की संभावना भाग नहीं लेगी।

इनपुट जनरेशन

प्रयोगों की शुद्धता के लिए, पहले एक डेटा सेट उत्पन्न किया जाना चाहिए। इनपुट प्रारूप एक CSV फ़ाइल है। सांख्यिक मूल्यों के लिए एक साधारण `रैंडम.नेक्स्ट [...]` और स्ट्रिंग मानों के लिए `UUID.randomUUID ()` का उपयोग करके डेटा उत्पन्न किया जाता है। जनरेट किए गए डेटा को कैन्टन का उपयोग करके एक सीएसवी फ़ाइल में लिखा जाता है। कुल मिलाकर, 100k रिकॉर्ड के 3 डेटा सेट उत्पन्न हुए थे:

मिश्रित डेटा - 28 एमबी

मिश्रित डेटा

final case class MixedData( f1: Option[String], f2: Option[Double], f3: Option[Long], f4: Option[Int], f5: Option[String], f6: Option[Double], f7: Option[Long], f8: Option[Int], f9: Option[Int], f10: Option[Long], f11: Option[Float], f12: Option[Double], f13: Option[String], f14: Option[String], f15: Option[Long], f16: Option[Int], f17: Option[Int], f18: Option[String], f19: Option[String], f20: Option[String], ) extends Data

केवल लाइनें - 71 एमबी

OnlyStrings

 final case class OnlyStrings( f1: Option[String], f2: Option[String], f3: Option[String], f4: Option[String], f5: Option[String], f6: Option[String], f7: Option[String], f8: Option[String], f9: Option[String], f10: Option[String], f11: Option[String], f12: Option[String], f13: Option[String], f14: Option[String], f15: Option[String], f16: Option[String], f17: Option[String], f18: Option[String], f19: Option[String], f20: Option[String], ) extends Data

केवल संख्या (लंबी) - 20 एमबी

OnlyLongs

 final case class OnlyLongs( f1: Option[Long], f2: Option[Long], f3: Option[Long], f4: Option[Long], f5: Option[Long], f6: Option[Long], f7: Option[Long], f8: Option[Long], f9: Option[Long], f10: Option[Long], f11: Option[Long], f12: Option[Long], f13: Option[Long], f14: Option[Long], f15: Option[Long], f16: Option[Long], f17: Option[Long], f18: Option[Long], f19: Option[Long], f20: Option[Long], ) extends Data

प्रत्येक प्रविष्टि में 20 फ़ील्ड शामिल हैं। प्रत्येक फ़ील्ड का मान वैकल्पिक है।

परीक्षण

पीसी के लक्षण जिस पर परीक्षण हुआ, स्कैला और जावा का संस्करण:
पीसी: 1.8 गीगाहर्ट्ज़ इंटेल कोर i5-5350U (2 भौतिक कोर), 8 जीबी 1600 मेगाहर्ट्ज डीडीआर 3, एसएसडी 010128 जी
जावा संस्करण: 1.8.0_144-b01; हॉटस्पॉट: 25.144-b01 का निर्माण करें
स्केल संस्करण: 2.12.8

जावा क्रमांकन

	मिश्रित डेटा	केवल लंबे समय तक	केवल तार
सीरियलाइजेशन, एमएस	3444.53	2586.23	5548.63
देशीकरण, एमएस	852.62	617.65	2006.41
आकार, एम.बी.	36	24	86

Json

	मिश्रित डेटा	केवल लंबे समय तक	केवल तार
सीरियलाइजेशन, एमएस	5280.67	4358.13	5958.92
देशीकरण, एमएस	3347.20	2730.19	4039.24
आकार, एम.बी.	52	36	124

एवरो

सीधे परीक्षण से पहले एवरो सर्किट उत्पन्न हुआ था। इसके लिए, avro4s पुस्तकालय का उपयोग किया गया था।

	मिश्रित डेटा	केवल लंबे समय तक	केवल तार
सीरियलाइजेशन, एमएस	2146.72	1546.95	2829.31
देशीकरण, एमएस	692.56	535.96	944.27
आकार, एम.बी.	22	11	73

Protobuf

प्रोटोबॉफ़ स्कीमा

 syntax = "proto3"; package protoBenchmark; option java_package = "protobufBenchmark"; option java_outer_classname = "data"; message MixedData { string f1 = 1; double f2 = 2; sint64 f3 = 3; sint32 f4 = 4; string f5 = 5; double f6 = 6; sint64 f7 = 7; sint32 f8 = 8; sint32 f9 = 9; sint64 f10 = 10; double f11 = 11; double f12 = 12; string f13 = 13; string f14 = 14; sint64 f15 = 15; sint32 f16 = 16; sint32 f17 = 17; string f18 = 18; string f19 = 19; string f20 = 20; } message OnlyStrings { string f1 = 1; string f2 = 2; string f3 = 3; string f4 = 4; string f5 = 5; string f6 = 6; string f7 = 7; string f8 = 8; string f9 = 9; string f10 = 10; string f11 = 11; string f12 = 12; string f13 = 13; string f14 = 14; string f15 = 15; string f16 = 16; string f17 = 17; string f18 = 18; string f19 = 19; string f20 = 20; } message OnlyLongs { sint64 f1 = 1; sint64 f2 = 2; sint64 f3 = 3; sint64 f4 = 4; sint64 f5 = 5; sint64 f6 = 6; sint64 f7 = 7; sint64 f8 = 8; sint64 f9 = 9; sint64 f10 = 10; sint64 f11 = 11; sint64 f12 = 12; sint64 f13 = 13; sint64 f14 = 14; sint64 f15 = 15; sint64 f16 = 16; sint64 f17 = 17; sint64 f18 = 18; sint64 f19 = 19; sint64 f20 = 20; }

प्रोटोबुफ़ 3 कक्षाएं उत्पन्न करने के लिए, स्कालापीबी प्लगइन का उपयोग किया गया था।

	मिश्रित डेटा	केवल लंबे समय तक	केवल तार
सीरियलाइजेशन, एमएस	1169.40	865.06	1856.20
देशीकरण, एमएस	113.56	77,38	256.02
आकार, एम.बी.	22	11	73

किफ़ायत

थ्रिफ्ट स्कीमा

 namespace java thriftBenchmark.java #@namespace scala thriftBenchmark.scala typedef i32 int typedef i64 long struct MixedData { 1:optional string f1, 2:optional double f2, 3:optional long f3, 4:optional int f4, 5:optional string f5, 6:optional double f6, 7:optional long f7, 8:optional int f8, 9:optional int f9, 10:optional long f10, 11:optional double f11, 12:optional double f12, 13:optional string f13, 14:optional string f14, 15:optional long f15, 16:optional int f16, 17:optional int f17, 18:optional string f18, 19:optional string f19, 20:optional string f20, } struct OnlyStrings { 1:optional string f1, 2:optional string f2, 3:optional string f3, 4:optional string f4, 5:optional string f5, 6:optional string f6, 7:optional string f7, 8:optional string f8, 9:optional string f9, 10:optional string f10, 11:optional string f11, 12:optional string f12, 13:optional string f13, 14:optional string f14, 15:optional string f15, 16:optional string f16, 17:optional string f17, 18:optional string f18, 19:optional string f19, 20:optional string f20, } struct OnlyLongs { 1:optional long f1, 2:optional long f2, 3:optional long f3, 4:optional long f4, 5:optional long f5, 6:optional long f6, 7:optional long f7, 8:optional long f8, 9:optional long f9, 10:optional long f10, 11:optional long f11, 12:optional long f12, 13:optional long f13, 14:optional long f14, 15:optional long f15, 16:optional long f16, 17:optional long f17, 18:optional long f18, 19:optional long f19, 20:optional long f20, }

स्कैला जैसी थ्रिफ्ट कक्षाएं उत्पन्न करने के लिए, स्क्रूज प्लगइन का उपयोग किया गया था।

बाइनरी	मिश्रित डेटा	केवल लंबे समय तक	केवल तार
सीरियलाइजेशन, एमएस	1274.69	877.98	2168.27
देशीकरण, एमएस	220.58	133.64	514.96
आकार, एम.बी.	37	16	98

सघन	मिश्रित डेटा	केवल लंबे समय तक	केवल तार
सीरियलाइजेशन, एमएस	1294.87	900.02	2199.94
देशीकरण, एमएस	240.23	232.53	505.03
आकार, एम.बी.	31	14	98

Msgpack

	मिश्रित डेटा	केवल लंबे समय तक	केवल तार
सीरियलाइजेशन, एमएस	1142.56	791.55	1974.73
देशीकरण, एमएस	289.60	80.36	428.36
आकार, एम.बी.	21	9.6	73

अंतिम तुलना

परिणामों की सटीकता

महत्वपूर्ण: सीरियलाइजेशन और डिसिएरलाइजेशन गति के परिणाम 100% सटीक नहीं हैं। बड़ी त्रुटि है। इस तथ्य के बावजूद कि अतिरिक्त जेवीएम वार्मिंग के साथ परीक्षण कई बार चलाए गए थे, परिणामों को स्थिर और सटीक कहना मुश्किल है। यही कारण है कि मैं किसी विशेष क्रमांकन प्रारूप के बारे में अंतिम निष्कर्ष बनाने के खिलाफ अत्यधिक अनुशंसा करता हूं, समयसीमा पर ध्यान केंद्रित करता हूं।

इस तथ्य को देखते हुए कि परिणाम बिल्कुल सटीक नहीं हैं, कुछ अवलोकन अभी भी उनके आधार पर किए जा सकते हैं:

एक बार फिर, हमने सुनिश्चित किया कि जावा क्रमांकन धीमा है और आउटपुट के मामले में सबसे किफायती नहीं है। धीमे काम के मुख्य कारणों में से एक प्रतिबिंब का उपयोग करके वस्तुओं के क्षेत्रों तक पहुंचना है। वैसे, खेतों को एक्सेस किया जाता है और आगे उस क्रम में दर्ज नहीं किया जाता है जिसमें आपने उन्हें कक्षा में घोषित किया था, लेकिन लेक्सिकोग्राफ़िक क्रम में क्रमबद्ध किया गया था। यह सिर्फ एक दिलचस्प तथ्य है;
Json इस तुलना में प्रस्तुत एकमात्र पाठ प्रारूप है। क्यों json में क्रमबद्ध डेटा में बहुत अधिक स्थान होता है, यह स्पष्ट है - प्रत्येक रिकॉर्ड सर्किट के साथ लिखा जाता है। यह फ़ाइल में लिखने की गति को भी प्रभावित करता है: जितना अधिक बाइट आपको लिखना होगा, उतना ही अधिक समय लगेगा। इसके अलावा, यह मत भूलो कि प्रत्येक रिकॉर्ड के लिए एक json ऑब्जेक्ट बनाया जाता है, जो समय को भी कम नहीं करता है;
किसी वस्तु को क्रमबद्ध करते समय, एवरो एक विशेष क्षेत्र को संसाधित करने के तरीके को और तय करने के लिए सर्किट का विश्लेषण करता है। ये अतिरिक्त लागतें हैं जो कुल क्रमांकन समय में वृद्धि की ओर ले जाती हैं;
थ्रिफ़्ट की तुलना में, उदाहरण के लिए, प्रोटोबुफ़ और मेसपैक, को एक फ़ील्ड लिखने के लिए बड़ी मात्रा में मेमोरी की आवश्यकता होती है, क्योंकि इसकी मेटा जानकारी को फ़ील्ड मान के साथ सहेजा जाता है। इसके अलावा, यदि आप थ्रिफ्ट की आउटपुट फ़ाइलों को देखते हैं, तो आप देख सकते हैं कि रिकॉर्ड की शुरुआत और अंत के विभिन्न पहचानकर्ताओं और एक विभाजक के रूप में पूरे रिकॉर्ड के आकार द्वारा कुल मात्रा का एक छोटा सा हिस्सा कब्जा नहीं किया गया है। यह सब निश्चित रूप से केवल पैकेजिंग पर खर्च किए गए समय को बढ़ाता है;
प्रोटॉफ, थ्रिफ्ट की तरह, मेटा जानकारी पैक करता है, लेकिन यह थोड़ा और अधिक अनुकूलित करता है। इसके अलावा, पैकिंग और अनपैकिंग के एल्गोरिथ्म में अंतर इस प्रारूप को कुछ मामलों में दूसरों की तुलना में तेजी से काम करने की अनुमति देता है;
Msgpack बहुत तेजी से काम करता है। गति का एक कारण यह है कि कोई अतिरिक्त मेटा जानकारी क्रमबद्ध नहीं है। यह अच्छा और बुरा दोनों है: अच्छा है क्योंकि यह थोड़ा डिस्क स्थान लेता है और अतिरिक्त रिकॉर्डिंग समय की आवश्यकता नहीं होती है, खराब क्योंकि सामान्य रूप से रिकॉर्डिंग संरचना के बारे में कुछ भी नहीं पता है, इसलिए यह निर्धारित करना है कि इसे कैसे पैक और अनपैक किया जाए। एक अलग मूल्य प्रत्येक रिकॉर्ड के प्रत्येक क्षेत्र के लिए किया जाता है।

आउटपुट फ़ाइलों के आकार के अनुसार, अवलोकन काफी स्पष्ट हैं:

संख्यात्मक डायलिंग के लिए सबसे छोटी फ़ाइल msgpack से प्राप्त की गई थी;
स्ट्रिंग सेट के लिए सबसे छोटी फ़ाइल स्रोत फ़ाइल में बदल गई है :) स्रोत फ़ाइल को छोड़कर, avro msgpack और protobuf से एक छोटे से अंतर से जीता;
मिश्रित सेट के लिए सबसे छोटी फ़ाइल फिर से msgpack से आई। हालांकि, अंतर इतना ध्यान देने योग्य नहीं है और एवरो और प्रोटोबुफ़ बहुत करीब हैं;
सबसे बड़ी फाइलें json से आईं। हालाँकि, एक महत्वपूर्ण टिप्पणी की जानी चाहिए - जोंस टेक्स्ट प्रारूप और इसकी तुलना बाइनरी इन वॉल्यूम (और क्रमांकन गति के संदर्भ में) पूरी तरह से सही नहीं है;
संख्यात्मक डायल करने के लिए सबसे बड़ी फ़ाइल मानक जावा क्रमांकन से प्राप्त की गई थी;
स्ट्रिंग सेट के लिए सबसे बड़ी फ़ाइल थ्रिफ्ट बाइनरी थी;
मिश्रित सेट के लिए सबसे बड़ी फ़ाइल थ्रिफ्ट बाइनरी थी। इसके बाद मानक जावा क्रमांकन आता है।

प्रारूप विश्लेषण

अब परिणामों को रिकॉर्ड के बीच विभाजक को ध्यान में रखते हुए 36-वर्ण स्ट्रिंग (UUID) के क्रमांकन के उदाहरणों से समझने की कोशिश करते हैं, एक रिकॉर्ड की शुरुआत और अंत के विभिन्न पहचानकर्ता - केवल 1 स्ट्रिंग फ़ील्ड रिकॉर्ड करते हैं, लेकिन उदाहरण के लिए, फ़ील्ड प्रकार और संख्या । स्ट्रिंग क्रमिकता का विचार एक साथ कई पहलुओं को पूरी तरह से शामिल करता है:

संख्याओं का क्रमांकन (इस मामले में, स्ट्रिंग की लंबाई)
स्ट्रिंग क्रमबद्धता

शुरुआत करते हैं एवरो से। चूँकि सभी क्षेत्र प्रकार 'विकल्प' के हैं, ऐसे क्षेत्रों के लिए योजना निम्नानुसार होगी: `संघ: [" अशक्त "," स्ट्रिंग "]`। यह जानकर, आप निम्नलिखित परिणाम प्राप्त कर सकते हैं:
1 बाइट रिकॉर्ड (शून्य या स्ट्रिंग) के प्रकार को इंगित करने के लिए, 1 बाइट प्रति पंक्ति लंबाई (1 बाइट क्योंकि एवरो पूर्णांक लिखने के लिए चर-लंबाई का उपयोग करता है) और 36 बाइट प्रति पंक्ति। कुल: 38 बाइट्स।

अब msgpack पर विचार करें। Msgpack पूर्णांक लिखने के लिए चर-लंबाई के समान एक दृष्टिकोण का उपयोग करता है: कल्पना । आइए गणना करने का प्रयास करें कि वास्तव में एक स्ट्रिंग फ़ील्ड को लिखने में कितना लगता है: 2 बाइट्स प्रति पंक्ति लंबाई (एक स्ट्रिंग> 31 बाइट्स के बाद, फिर 2 बाइट्स की आवश्यकता होगी), 36 बाइट्स प्रति डेटा। कुल: 38 बाइट्स।

प्रोटोबॉफ़ भी संख्याओं को एनकोड करने के लिए चर-लंबाई का उपयोग करता है। हालांकि, स्ट्रिंग की लंबाई के अलावा, प्रोटोबॉफ क्षेत्र की संख्या और प्रकार के साथ एक और बाइट जोड़ता है। कुल: 38 बाइट्स।

थ्रिफ्ट बाइनरी स्ट्रिंग की लंबाई लिखने के लिए किसी भी अनुकूलन का उपयोग नहीं करता है, लेकिन प्रति फ़ील्ड नंबर और प्रकार 1 बाइट के बजाय, थ्रिफ़्ट 3. लेता है, इसलिए, निम्न परिणाम प्राप्त होता है: 1 बाइट प्रति फ़ील्ड संख्या, 2 बाइट्स प्रति प्रकार, प्रति पंक्ति लंबाई 4 बाइट्स, 36 बाइट्स। लाइन। कुल: 43 बाइट्स।

बाइनरी के विपरीत, थ्रिफ्ट कॉम्पैक्ट , पूर्णांक लिखने के लिए चर-लंबाई दृष्टिकोण का उपयोग करता है और यदि संभव हो तो, अतिरिक्त रूप से संक्षिप्त फ़ील्ड हेडर रिकॉर्ड का उपयोग करता है। इसके आधार पर, हम प्राप्त करते हैं: फ़ील्ड के प्रकार और संख्या के लिए 1 बाइट, लंबाई के लिए 1 बाइट, डेटा के लिए 36 बाइट्स। कुल: 38 बाइट्स।

जावा क्रमांकन ने एक स्ट्रिंग लिखने के लिए 45 बाइट्स लिए, जिनमें से 36 बाइट्स - एक स्ट्रिंग, 9 बाइट्स - लंबाई में 2 बाइट्स और कुछ अतिरिक्त जानकारी के लिए 7 बाइट्स थे, जिन्हें मैं डिक्रिप्ट नहीं कर सकता था।

केवल एवरो, मेसपैक, प्रोटोबुफ़ और थ्रिफ्ट कॉम्पैक्ट को छोड़ दिया जाता है। इन प्रारूपों में से प्रत्येक को utf-8 लाइनों 36 वर्णों को लिखने के लिए 38 बाइट्स की आवश्यकता होगी। फिर, जब 100k स्ट्रिंग रिकॉर्ड की पैकिंग करते समय एवरो को एक छोटी राशि मिली, हालांकि डेटा के साथ एक असम्पीडित योजना लिखी गई थी? एवरो के पास अन्य प्रारूपों से एक छोटा मार्जिन है और इस अंतर का कारण पूरे रिकॉर्ड की प्रति पैकिंग लंबाई में एक अतिरिक्त 4 बाइट्स की कमी है। तथ्य यह है कि न तो मेसकप, न ही प्रोटोबुफ़, न ही थ्रिफ्ट में एक विशेष रिकॉर्ड विभाजक है। इसलिए, मेरे लिए रिकॉर्ड को सही ढंग से अनपैक करने के लिए, मुझे प्रत्येक रिकॉर्ड का सही आकार जानने की आवश्यकता थी। यदि इस तथ्य के लिए नहीं, तो, उच्च संभावना के साथ, msgpack के पास एक छोटी फ़ाइल होगी।

संख्यात्मक डेटा सेट के लिए, मुख्य कारण msgpack जीता पैक डेटा में स्कीमा जानकारी की कमी थी और यह कि डेटा फैल गया था। क्षेत्र के प्रकार और संख्या के बारे में जानकारी पैक करने की आवश्यकता के कारण थ्रिफ्ट और प्रोटोबॉफ़ को खाली मूल्यों के लिए 1 बाइट से अधिक का समय लगेगा। एवरो और मेसपैक को खाली मान लिखने के लिए ठीक 1 बाइट की आवश्यकता होती है, लेकिन एवरो, जैसा कि पहले ही उल्लेख किया गया है, डेटा के साथ सर्किट को बचाता है।

Msgpack भी एक छोटी फ़ाइल और एक मिश्रित सेट में पैक किया गया था, जो विरल भी था। इसके कारण सभी समान कारक हैं।

इस प्रकार, यह पता चला है कि msgpack में पैक किया गया डेटा कम से कम स्थान लेता है। यह एक उचित कथन है - यह कुछ भी नहीं था कि टारसपूल और एयरोस्पाइक के लिए मेसकप को डेटा स्टोरेज प्रारूप के रूप में चुना गया था।

निष्कर्ष

परीक्षण के बाद, मैं निम्नलिखित निष्कर्ष निकाल सकता हूं:

स्थिर बेंचमार्क परिणाम प्राप्त करना मुश्किल है;
एक प्रारूप चुनना धारावाहिक गति और आउटपुट आकार के बीच एक व्यापार-बंद है। इसी समय, इस तरह के महत्वपूर्ण मापदंडों के बारे में मत भूलो क्योंकि प्रारूप का उपयोग करने की सुविधा और योजना के विकास की संभावना (अक्सर ये पैरामीटर एक प्रमुख भूमिका निभाते हैं)।

स्रोत कोड यहां पाया जा सकता है: github

सीरियलाइज़ेशन प्रारूपों की तुलना