JsonWriterSax - JSON बनाने के लिए एक पुस्तकालय

कुछ समय पहले मैंने एक सी ++ / क्यूटी एप्लिकेशन लिखा था जो नेटवर्क पर JSON प्रारूप में बड़ी मात्रा में डेटा भेजा था। मानक QJsonDocument का उपयोग किया गया था । कार्यान्वयन के दौरान, मुझे कम प्रदर्शन, साथ ही एक असुविधाजनक वर्ग डिजाइन का सामना करना पड़ा, जिसने ऑपरेशन के दौरान त्रुटियों का सामान्य पता लगाने की अनुमति नहीं दी। परिणाम JsonWriterSax पुस्तकालय था, जो आपको उच्च गति के साथ SAX शैली में JSON दस्तावेज़ लिखने की अनुमति देता है, जो मैं MIT लाइसेंस के तहत github.com पर प्रकाशित करता हूं। कौन परवाह करता है - मैं एक बिल्ली के लिए पूछता हूं।

सिद्धांत की बिट

JSON (जावास्क्रिप्ट ऑब्जेक्ट नोटेशन) डगलस क्रॉकफोर्ड द्वारा विकसित एक संरचित पाठ डेटा प्रारूप है और इसके आधार पर ECMAScript भाषा (जावास्क्रिप्ट, JScript, आदि) का एक उप समूह बनाया गया था। JSON एक्सएमएल की जगह, नेस्टिंग क्षमताओं का विस्तार और डेटा प्रकार जोड़ रहा है। वर्तमान में यह इंटरनेट पर सक्रिय रूप से उपयोग किया जाता है।

लेकिन JSON में दोष हैं। मेरी राय में, मानक प्रकारों के बीच, स्पष्ट रूप से पर्याप्त डेटाइम प्रकार नहीं है - आपको संख्या या स्ट्रिंग के रूप में मूल्य को स्थानांतरित करना होगा, और जब पार्स करते हैं, तो संदर्भ के आधार पर निर्णय लें। लेकिन यह ध्यान देने योग्य है कि ईसीएमएस्क्रिप्ट में, तिथि प्रकार एक बहुत पहले बनाया गया था, सोचा नहीं गया था, और जेएस दुनिया में, थर्ड-पार्टी लाइब्रेरी का उपयोग तारीखों के साथ काम करने के लिए किया जाता है।

पार्स और संरचित दस्तावेज बनाने के लिए 2 मुख्य दृष्टिकोण हैं - एसएएक्स और डोम। वे एक्सएमएल के लिए दिखाई दिए, लेकिन अन्य प्रारूपों के हैंडलर बनाने के लिए पैटर्न के रूप में उपयोग किया जा सकता है।

SAX (XML के लिए सरल API)

यह अनुक्रमिक डेटा प्रोसेसिंग के लिए उपयोग किया जाता है और आपको एक स्ट्रीम में बड़े दस्तावेज़ संसाधित करने की अनुमति देता है। पढ़ते समय, यह पाया गया तत्व या त्रुटि के बारे में आवेदन की जानकारी पर लौटता है, लेकिन सूचना और घोंसले के नियंत्रण का संरक्षण आवेदन के साथ निहित है। रिकॉर्डिंग करते समय, शैली में कदम आमतौर पर संकेत दिया जाता है: एक तत्व शुरू करें, एक उप-तत्व शुरू करें, एक संख्या लिखें, एक पंक्ति लिखें, एक उप-तत्व बंद करें, एक तत्व बंद करें। नुकसान में यह तथ्य शामिल है कि प्रोग्रामर को दस्तावेज़ की संरचना और मौजूदा दस्तावेज़ के संपादन की कमी या चरम सीमा को समझने के लिए कोड को अधिक अच्छी तरह से लिखना आवश्यक है।

DOM (दस्तावेज़ ऑब्जेक्ट मॉडल)

इस पद्धति के साथ, स्मृति में एक दस्तावेज़ ट्री का निर्माण किया जाता है जिसे क्रमबद्ध, deserialized और संशोधित किया जा सकता है। मुख्य नुकसान उच्च मेमोरी खपत और प्रसंस्करण समय में वृद्धि है। हुड के तहत, एक एसएएक्स हैंडलर आमतौर पर उपयोग किया जाता है।

QJsonDocument समस्याएं

मानक QJsonDocument DOM दृष्टिकोण का उपयोग करता है। दस्तावेज़ बनाते समय, गति कम होती है - आप लेख के अंत में बेंचमार्क देख सकते हैं। लेकिन मेरे लिए सबसे बड़ी समस्या थी, बीमार-कल्पना की गई त्रुटि वापसी डिजाइन।

auto max = std::numeric_limits<int>::max(); QJsonArray ja; for(auto i = 0; i < max; ++i) { ja.append(i); if(ja.size() - 1 != i) { break; } } 

इस उदाहरण में, यदि पर्याप्त मेमोरी नहीं है, तो त्रुटि स्ट्रीम पर संदेश लिखा जाएगा।

QJson: Document too large to store in data structure
और डेटा अब नहीं जोड़ा जाएगा। एक सरणी के मामले में, आप स्थिति की जांच कर सकते हैं

 ja.size() - 1 != i 

लेकिन किसी वस्तु के साथ काम करने पर क्या करना है? लगातार जांचें कि एक नई कुंजी जोड़ी गई है? त्रुटि की तलाश में लॉग पार्स करें?

पुस्तकालय

JsonWriterSax पुस्तकालय आपको SAX शैली में एक क्यूटेक्स्टस्ट्रीम में JSON दस्तावेज़ लिखने की अनुमति देता है और एमआईटी लाइसेंस के तहत जीथब पर उपलब्ध है। मेमोरी कंट्रोल एप्लिकेशन के साथ टिकी हुई है। पुस्तकालय JSON की अखंडता को नियंत्रित करता है - यदि तत्व गलत तरीके से जोड़ा जाता है, तो लेखन फ़ंक्शन एक त्रुटि लौटाएगा। नियंत्रण के लिए, केएस व्याकरण का उपयोग किया जाता है। टेस्ट लिखे गए थे, लेकिन शायद कुछ मामला अप्राप्य रह गया था। यदि कोई चेक के गलत संचालन को ठीक करता है और त्रुटि को ठीक करने के लिए रिपोर्ट करता है - तो मैं बहुत आभारी रहूंगा।

मुझे लगता है कि एक प्रोग्रामर के लिए एक पुस्तकालय का सबसे अच्छा विवरण कोड उदाहरण =) है

उदाहरण

ऐरे सृजन

 QByteArray ba; QTextStream stream(&ba); stream.setCodec("utf-8"); JsonWriterSax writer(stream); writer.writeStartArray(); for(auto i = 0; i < 10; ++i) { writer.write(i); } writer.writeEndArray(); if(writer.end()) { stream.flush(); } else { qWarning() << "Error json"; } 

नतीजतन, हम प्राप्त करते हैं

 [0,1,2,3,4,5,6,7,8,9] 

वस्तु निर्माण

 QByteArray ba; QTextStream stream(&ba); stream.setCodec("utf-8"); JsonWriterSax writer(stream); writer.writeStartObject(); for(auto i = 0; i < 5; ++i) { writer.write(QString::number(i), i); } for(auto i = 5; i < 10; ++i) { writer.write(QString::number(i), QString::number(i)); } writer.writeKey("arr"); writer.writeStartArray(); writer.writeEndArray(); writer.writeKey("o"); writer.writeStartObject(); writer.writeEndObject(); writer.writeKey("n"); writer.writeNull(); writer.write(QString::number(11), QVariant(11)); writer.write("dt", QVariant(QDateTime::fromMSecsSinceEpoch(10))); writer.writeEndObject(); if(writer.end()) { stream.flush(); } else { qWarning() << "Error json"; } 

नतीजतन, हम प्राप्त करते हैं

 {"0":0,"1":1,"2":2,"3":3,"4":4,"5":"5","6":"6","7":"7","8":"8","9":"9","arr":[],"o":{},"n":null,"11":11,"dt":"1970-01-01T03:00:00.010"} 

घोंसले के शिकार और विभिन्न प्रकार के साथ एक दस्तावेज़ बनाना

 QByteArray ba; QTextStream stream(&ba); stream.setCodec("utf-8"); JsonWriterSax writer(stream); writer.writeStartArray(); for(auto i = 0; i < 1000; ++i) { writer.writeStartObject(); writer.writeKey("key"); writer.writeStartObject(); for(auto j = 0; j < 1000; ++j) { writer.write(QString::number(j), j); } writer.writeEndObject(); writer.writeEndObject(); } writer.writeEndArray(); if(writer.end()) { stream.flush(); } else { qWarning() << "Error json"; } 

मानक

रिलीज बिल्ड के दौरान QBENCHMARK द्वारा उपयोग किया जाता है। कार्य JsonWriterSaxTest वर्ग में कार्यान्वित किया जाता है।

प्राथमिक OS 5.0 जूनो, कर्नेल 4.15.0-38-जेनेरिक, सीपीयू इंटेल® कोर (टीएम) 2 क्वाड सीपीयू 9550 @ 2.83GHz, 4G रैम, Qt 5.11.2 GCC 5.3.1

लंबी संख्या सरणी

• QJsonDocument: 42 एमएसईसी प्रति पुनरावृत्ति (कुल: 85, पुनरावृत्तियों: 2)
• JsonWriterSax: 23 एमएसईसी प्रति पुनरावृत्ति (कुल: 93, पुनरावृत्तियों: 4)

बड़ी एक-स्तरीय वस्तु

• QJsonDocument: 1,170 एमएसईसी प्रति पुनरावृत्ति (कुल: 1,170, पुनरावृत्तियों: 1)
• JsonWriterSax: 53 एमएसईसी प्रति पुनरावृत्ति (कुल: 53, पुनरावृत्तियों: 1)

बड़ा जटिल दस्तावेज

• QJsonDocument: 1,369 एमएसईसी प्रति पुनरावृत्ति (कुल: 1,369, पुनरावृत्तियों: 1)
• JsonWriterSax: 463 एमएसईसी प्रति पुनरावृत्ति (कुल: 463, पुनरावृत्तियों: 1)

प्राथमिक OS 5.0 जूनो, कर्नेल 4.15.0-38-जेनेरिक, सीपीयू इंटेल® कोर (टीएम) i7-7500U CPU @ 2.70GHz, 8G RAM, Qt 5.11.2 GCC 5.3.1

लंबी संख्या सरणी

• QJsonDocument: 29.5 msecs प्रति पुनरावृत्ति (कुल: 118, पुनरावृत्तियों: 4)
• JsonWriterSax: 13 एमएसईसी प्रति पुनरावृत्ति (कुल: 52, पुनरावृत्तियों: 4)

बड़ी एक-स्तरीय वस्तु

• QJsonDocument: 485 msecs प्रति पुनरावृत्ति (कुल: 485, पुनरावृत्तियों: 1)
• JsonWriterSax: 31 एमएसईसी प्रति पुनरावृत्ति (कुल: 62, पुनरावृत्तियों: 2)

बड़ा जटिल दस्तावेज

• QJsonDocument: 734 msecs प्रति पुनरावृत्ति (कुल: 734, पुनरावृत्तियों: 1)
• JsonWriterSax: 271 एमएसईसी प्रति पुनरावृत्ति (कुल: 271, पुनरावृत्तियों: 1)

MS Windows 7 SP1, CPU Intel® Core (TM) i7-4770 CPU @ 3.40GHz, 8G RAM, Qt 5.11.0 GCC 5.3.0

लंबी संख्या सरणी

• QJsonDocument: 669 msecs प्रति पुनरावृत्ति (कुल: 669, पुनरावृत्तियों: 1)
• JsonWriterSax: 20 एमएसईसी प्रति पुनरावृत्ति (कुल: 81, पुनरावृत्तियों: 4)

बड़ी एक-स्तरीय वस्तु

• QJsonDocument: 1,568 एमएसईसी प्रति पुनरावृत्ति (कुल: 1,568, पुनरावृत्तियों: 1)
• JsonWriterSax: 44 एमएसईसी प्रति पुनरावृत्ति (कुल: 88, पुनरावृत्तियों: 2)

बड़ा जटिल दस्तावेज

• QJsonDocument: 1,167 msecs प्रति पुनरावृत्ति (कुल: 1,167, पुनरावृत्तियों: 1)
• JsonWriterSax: 375 एमएसईसी प्रति पुनरावृत्ति (कुल: 375, पुनरावृत्तियों: 1)

MS Windows 7 SP1, CPU Intel® Core (TM) i3-3220 CPU @ 3.30GHz, 8G RAM, Qt 5.11.0 GCC 5.3.0

लंबी संख्या सरणी

• QJsonDocument: 772 एमएसईसी प्रति पुनरावृत्ति (कुल: 772, पुनरावृत्तियों: 1)
• JsonWriterSax: 26 एमएसईसी प्रति पुनरावृत्ति (कुल: 52, पुनरावृत्तियों: 2)

बड़ी एक-स्तरीय वस्तु

• QJsonDocument: 2.029 एमएसईसी प्रति पुनरावृत्ति (कुल: 2.029, पुनरावृत्तियों: 1)
• JsonWriterSax: 59 एमएसईसी प्रति पुनरावृत्ति (कुल: 59, पुनरावृत्तियों: 1)

बड़ा जटिल दस्तावेज

• QJsonDocument: 1,530 एमएसईसी प्रति पुनरावृत्ति (कुल: 1,530, पुनरावृत्तियों: 1)
• JsonWriterSax: 495 एमएसईसी प्रति पुनरावृत्ति (कुल: 495, पुनरावृत्तियों: 1)

संभावनाओं

भविष्य के संस्करणों में, मैं QVariant का उपयोग करते हुए लैम्ब्डा फ़ंक्शन के माध्यम से उपयोगकर्ता डेटा के प्रारूप का वर्णन करने की क्षमता जोड़ने की योजना बनाता हूं, दस्तावेज़ (सुंदर दस्तावेज़) को प्रारूपित करने के लिए विभाजकों का उपयोग करने की क्षमता जोड़ता हूं और, यदि समुदाय में रुचि है, तो मैं एक एसएएक्स एक्सर जोड़ सकता हूं।

वैसे, मेरी लाइब्रेरी ने मुझे अतिप्रवाह त्रुटि को खोजने में मदद की, जो पायथन लॉगिंग मॉड्यूल की शैली में प्रारूप और प्रदर्शन को सेट करने के लिए qInfo (), qDebug (), qWarning () की अनुमति देता है। मैं इस लाइब्रेरी को ओपनसोर्स में पोस्ट करने की योजना भी बनाता हूं - अगर किसी को दिलचस्पी है - टिप्पणियों में लिखें।