प्रोमेथियस 2 में TSDB विश्लेषण

प्रोमेथियस 2 में टाइम सीरीज़ डेटाबेस (टीएसडीबी) एक इंजीनियरिंग समाधान का एक बड़ा उदाहरण है, जो डेटा स्टोरेज और क्वेरी निष्पादन, संसाधन दक्षता की गति के मामले में प्रोमेथियस 1 में v2 स्टोरेज पर प्रमुख सुधार प्रदान करता है। हमने पेरकोना मॉनिटरिंग एंड मैनेजमेंट (पीएमएम) में प्रोमेथियस 2 को लागू किया, और मुझे प्रोमेथियस 2 टीएसडीबी के प्रदर्शन को समझने का अवसर मिला। इस लेख में मैं इन टिप्पणियों के परिणामों के बारे में बात करूंगा।

प्रोमेथियस औसत कार्यभार

उन लोगों के लिए जो प्राथमिक डेटाबेस से निपटने के लिए उपयोग किए जाते हैं, प्रोमेथियस नियमित कार्यभार बहुत उत्सुक है। डेटा संचय की गति एक स्थिर मूल्य तक जाती है: आमतौर पर आपके द्वारा मॉनिटर की जाने वाली सेवाएं समान संख्या में मीट्रिक भेजती हैं, और बुनियादी ढाँचा अपेक्षाकृत धीरे-धीरे बदलता है।

सूचना अनुरोध विभिन्न स्रोतों से आ सकते हैं। उनमें से कुछ, जैसे कि अलर्ट, एक स्थिर और अनुमानित मूल्य के लिए भी प्रयास करते हैं। अन्य, जैसे उपयोगकर्ता प्रश्न, स्पाइक्स का कारण बन सकते हैं, हालांकि यह अधिकांश लोड के लिए विशिष्ट नहीं है।

लोड परीक्षण

परीक्षण के दौरान, मैंने डेटा जमा करने की क्षमता पर ध्यान केंद्रित किया। मैंने प्रोमेथियस 2.3.2 को लिपिोड सेवा पर गो 1.10.1 ( पीएमएम 1.14 के भाग के रूप में) के साथ संकलित किया: इस स्क्रिप्ट का उपयोग करके। सबसे यथार्थवादी लोड पीढ़ी के लिए, इस StackScript का उपयोग करते हुए, मैंने एक वास्तविक लोड (Sysbench TPC-C टेस्ट) के साथ कई MySQL नोड लॉन्च किए, जिनमें से प्रत्येक ने 10 लिनक्स / MySQL नोड्स का अनुकरण किया।

निम्नलिखित सभी परीक्षणों को एक लाइनोड सर्वर पर आठ आभासी कोर और 32 जीबी मेमोरी के साथ किया गया था, जिस पर दो सौ MySQL उदाहरणों की निगरानी के 20 लोड सिमुलेशन लॉन्च किए गए थे। या, प्रोमेथियस शब्दों में, 800 लक्ष्य, प्रति सेकंड 440 स्क्रैप, प्रति सेकंड 380 हजार नमूने, और 1.7 मिलियन सक्रिय समय श्रृंखला।

डिज़ाइन

पारंपरिक डेटाबेस का सामान्य दृष्टिकोण, जिसमें प्रोमेथियस 1.x द्वारा उपयोग किया जाता है, स्मृति सीमा है । यदि यह भार झेलने के लिए पर्याप्त नहीं है, तो आप बड़े विलंब का सामना करेंगे और कुछ अनुरोध पूरे नहीं होंगे।
प्रोमेथियस 2 में मेमोरी का उपयोग storage.tsdb.min-block-duration . storage.tsdb.min-block-duration कुंजी का उपयोग करके कॉन्फ़िगर किया गया है, जो निर्धारित करता है कि डिस्क को फ्लश करने से पहले मेमोरी में कितने समय तक रिकॉर्ड किया जाएगा (डिफ़ॉल्ट रूप से, यह 2 घंटे है)। आवश्यक मेमोरी की मात्रा कुल इनपुट स्ट्रीम के साथ समय श्रृंखला, लेबल और डेटा संग्रह (स्क्रैप) की तीव्रता पर निर्भर करेगी। डिस्क स्थान के संदर्भ में, प्रोमेथियस का लक्ष्य प्रति रिकॉर्ड (नमूना) 3 बाइट्स का उपयोग करना है। दूसरी ओर, स्मृति आवश्यकताएं बहुत अधिक हैं।

इस तथ्य के बावजूद कि ब्लॉक आकार को कॉन्फ़िगर करना संभव है, इसे मैन्युअल रूप से कॉन्फ़िगर करने की अनुशंसा नहीं की जाती है, इसलिए आपको प्रोमेथियस को उतनी ही स्मृति देने की आवश्यकता के साथ सामना किया जाता है जितना वह आपके लोड के लिए पूछता है।

यदि आने वाली मीट्रिक स्ट्रीम का समर्थन करने के लिए पर्याप्त मेमोरी नहीं है, तो प्रोमेथियस मेमोरी से बाहर निकल जाएगा या एक OOM किलर मिलेगा।

प्रोमेथियस स्मृति से बाहर चलाता है जब दुर्घटना में देरी करने के लिए स्वैप जोड़ना वास्तव में मदद नहीं करता है, क्योंकि इस सुविधा का उपयोग विस्फोटक स्मृति खपत का कारण बनता है। मुझे लगता है कि बात गो, इसके कचरा संग्रहकर्ता की है और यह स्वैप के साथ कैसे काम करता है।

एक और दिलचस्प दृष्टिकोण हेड ब्लॉक को एक विशिष्ट समय में डिस्क पर रीसेट करने के लिए सेट कर रहा है, बजाय इसे प्रक्रिया की शुरुआत से गिनने के।



जैसा कि आप ग्राफ से देख सकते हैं, डिस्क फ्लश हर दो घंटे में होता है। यदि आप न्यूनतम-ब्लॉक-अवधि पैरामीटर को एक घंटे में बदलते हैं, तो ये निर्वहन हर घंटे होंगे, जो आधे घंटे में शुरू होगा।

यदि आप अपने प्रोमेथियस इंस्टॉलेशन में इस और अन्य ग्राफिक्स का उपयोग करना चाहते हैं, तो आप इस डैशबोर्ड का उपयोग कर सकते हैं। यह पीएमएम के लिए विकसित किया गया था, लेकिन, मामूली संशोधनों के साथ, प्रोमेथियस की किसी भी स्थापना के लिए उपयुक्त है।

हमारे पास एक सक्रिय ब्लॉक है जिसे हेड ब्लॉक कहा जाता है, जो मेमोरी में संग्रहीत होता है; पुराने डेटा वाले ब्लॉक mmap() माध्यम से सुलभ हैं। यह कैश को अलग से कॉन्फ़िगर करने की आवश्यकता को समाप्त करता है, लेकिन इसका मतलब यह भी है कि आपको ऑपरेटिंग सिस्टम कैश के लिए पर्याप्त स्थान छोड़ने की आवश्यकता है यदि आप हेड ब्लॉक से पुराने डेटा के लिए अनुरोध करना चाहते हैं।

इसका मतलब यह भी है कि प्रोमेथियस वर्चुअल मेमोरी की खपत काफी अधिक होगी, जिसके बारे में चिंता करने योग्य नहीं है।



एक और दिलचस्प डिजाइन बिंदु वाल का उपयोग (आगे लॉग लिखो) है। जैसा कि आप भंडारण प्रलेखन से देख सकते हैं, प्रोमेथियस गिर के कारण नुकसान से बचने के लिए वाल का उपयोग करता है। डेटा उत्तरजीविता सुनिश्चित करने के लिए विशिष्ट तंत्र, दुर्भाग्य से, अच्छी तरह से प्रलेखित नहीं हैं। प्रोमेथियस संस्करण 2.3.2 हर 10 सेकंड में डिस्क को फ्लश करता है, और यह पैरामीटर उपयोगकर्ता कॉन्फ़िगर करने योग्य नहीं है।

जवानों (गणना)

प्रोमेथियस TSDB एक LSM रिपॉजिटरी (लॉग स्ट्रक्चर्ड मर्ज - लॉगिंग के साथ एक लॉग-स्ट्रक्चर्ड ट्री) की छवि में डिज़ाइन किया गया है: हेड ब्लॉक को समय-समय पर डिस्क में फ्लश किया जाता है, जबकि संपीड़न तंत्र अनुरोधों के दौरान बहुत सारे ब्लॉक की स्कैनिंग को रोकने के लिए कई ब्लॉकों को एक साथ जोड़ता है। यहाँ आप उन ब्लॉकों की संख्या देख सकते हैं जिन्हें मैंने एक दिन के काम के बाद परीक्षण प्रणाली पर देखा था।



यदि आप भंडार के बारे में अधिक जानना चाहते हैं, तो आप मेटा.json फ़ाइल का अध्ययन कर सकते हैं, जिसमें उपलब्ध ब्लॉक और वे कैसे दिखाई देते हैं, इसके बारे में जानकारी शामिल है।

 {       "ulid": "01CPZDPD1D9R019JS87TPV5MPE",       "minTime": 1536472800000,       "maxTime": 1536494400000,       "stats": {               "numSamples": 8292128378,               "numSeries": 1673622,               "numChunks": 69528220       },       "compaction": {               "level": 2,               "sources": [                       "01CPYRY9MS465Y5ETM3SXFBV7X",                       "01CPYZT0WRJ1JB1P0DP80VY5KJ",                       "01CPZ6NR4Q3PDP3E57HEH760XS"               ],               "parents": [                       {                               "ulid": "01CPYRY9MS465Y5ETM3SXFBV7X",                               "minTime": 1536472800000,                               "maxTime": 1536480000000                       },                       {                               "ulid": "01CPYZT0WRJ1JB1P0DP80VY5KJ",                               "minTime": 1536480000000,                               "maxTime": 1536487200000                       },                       {                               "ulid": "01CPZ6NR4Q3PDP3E57HEH760XS",                               "minTime": 1536487200000,                               "maxTime": 1536494400000                       }               ]       },       "version": 1 } 

प्रोमेथियस में सील उस समय से बंधे हैं जब एक हेड ब्लॉक डिस्क में प्रवाहित किया गया था। इस बिंदु पर, ऐसे कई ऑपरेशन किए जा सकते हैं।



जाहिरा तौर पर, सील किसी भी तरह से असीमित हैं और बड़ी डिस्क I / O कूदता है।



सीपीयू डाउनलोड स्पाइक्स



बेशक, यह सिस्टम की गति को नकारात्मक रूप से प्रभावित करता है, और एलएसएम-भंडारण के लिए भी एक गंभीर चुनौती है: उच्च क्वेरी गति का समर्थन करने के लिए सील कैसे करें और बहुत अधिक उपरि का कारण न बनें?

संकलन की प्रक्रिया में मेमोरी का उपयोग भी काफी दिलचस्प लगता है।



हम देख सकते हैं कि कैसे संघनन के बाद, अधिकांश मेमोरी कैश्ड से फ्री में बदल जाती है: इसका मतलब है कि संभावित रूप से मूल्यवान जानकारी वहां से हटा दी गई थी। यह उत्सुक है कि क्या fadvice() या कुछ अन्य न्यूनतम तकनीक का उपयोग यहां किया जाता है, या क्या यह इस तथ्य के कारण है कि संघनन के दौरान नष्ट किए गए ब्लॉकों से कैश को मुक्त किया गया था?

क्रैश रिकवरी

आपदा वसूली में समय लगता है, और यह उचित है। प्रति सेकंड एक मिलियन रिकॉर्ड की आने वाली धारा के लिए, मुझे लगभग 25 मिनट इंतजार करना पड़ा, जबकि वसूली को एसएसडी-ड्राइव को ध्यान में रखते हुए प्रदर्शन किया गया था।

 level=info ts=2018-09-13T13:38:14.09650965Z caller=main.go:222 msg="Starting Prometheus" version="(version=2.3.2, branch=v2.3.2, revision=71af5e29e815795e9dd14742ee7725682fa14b7b)" level=info ts=2018-09-13T13:38:14.096599879Z caller=main.go:223 build_context="(go=go1.10.1, user=Jenkins, date=20180725-08:58:13OURCE)" level=info ts=2018-09-13T13:38:14.096624109Z caller=main.go:224 host_details="(Linux 4.15.0-32-generic #35-Ubuntu SMP Fri Aug 10 17:58:07 UTC 2018 x86_64 1bee9e9b78cf (none))" level=info ts=2018-09-13T13:38:14.096641396Z caller=main.go:225 fd_limits="(soft=1048576, hard=1048576)" level=info ts=2018-09-13T13:38:14.097715256Z caller=web.go:415 component=web msg="Start listening for connections" address=:9090 level=info ts=2018-09-13T13:38:14.097400393Z caller=main.go:533 msg="Starting TSDB ..." level=info ts=2018-09-13T13:38:14.098718401Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536530400000 maxt=1536537600000 ulid=01CQ0FW3ME8Q5W2AN5F9CB7R0R level=info ts=2018-09-13T13:38:14.100315658Z caller=web.go:467 component=web msg="router prefix" prefix=/prometheus level=info ts=2018-09-13T13:38:14.101793727Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536732000000 maxt=1536753600000 ulid=01CQ78486TNX5QZTBF049PQHSM level=info ts=2018-09-13T13:38:14.102267346Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536537600000 maxt=1536732000000 ulid=01CQ78DE7HSQK0C0F5AZ46YGF0 level=info ts=2018-09-13T13:38:14.102660295Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536775200000 maxt=1536782400000 ulid=01CQ7SAT4RM21Y0PT5GNSS146Q level=info ts=2018-09-13T13:38:14.103075885Z caller=repair.go:39 component=tsdb msg="found healthy block" mint=1536753600000 maxt=1536775200000 ulid=01CQ7SV8WJ3C2W5S3RTAHC2GHB level=error ts=2018-09-13T14:05:18.208469169Z caller=wal.go:275 component=tsdb msg="WAL corruption detected; truncating" err="unexpected CRC32 checksum d0465484, want 0" file=/opt/prometheus/data/.prom2-data/wal/007357 pos=15504363 level=info ts=2018-09-13T14:05:19.471459777Z caller=main.go:543 msg="TSDB started" level=info ts=2018-09-13T14:05:19.471604598Z caller=main.go:603 msg="Loading configuration file" filename=/etc/prometheus.yml level=info ts=2018-09-13T14:05:19.499156711Z caller=main.go:629 msg="Completed loading of configuration file" filename=/etc/prometheus.yml level=info ts=2018-09-13T14:05:19.499228186Z caller=main.go:502 msg="Server is ready to receive web requests." 

रिकवरी प्रक्रिया की मुख्य समस्या उच्च मेमोरी खपत है। इस तथ्य के बावजूद कि सामान्य स्थिति में सर्वर समान मात्रा में मेमोरी के साथ काम कर सकता है, जब यह क्रैश हो जाता है, तो यह ओओएम के कारण नहीं बढ़ सकता है। एकमात्र समाधान जो मुझे मिला वह था डेटा संग्रह को अक्षम करना, सर्वर को ऊपर उठाना, इसे पहले से ही संग्रह के साथ पुनर्प्राप्त करने और रिबूट करने की अनुमति देना।

वार्म अप करें

एक और व्यवहार जिसे वार्म-अप के दौरान याद रखा जाना चाहिए, वह शुरुआत के तुरंत बाद कम उत्पादकता और उच्च संसाधन खपत का अनुपात है। कुछ के दौरान, लेकिन सभी शुरू नहीं होते हैं, मैंने सीपीयू और मेमोरी पर एक गंभीर भार देखा।





मेमोरी लैप्स संकेत देते हैं कि प्रोमेथियस प्रारंभ से सभी शुल्कों को कॉन्फ़िगर नहीं कर सकता है, और कुछ जानकारी खो जाती है।

मुझे प्रोसेसर और मेमोरी पर उच्च भार के सटीक कारणों का पता नहीं चला। मुझे संदेह है कि यह एक उच्च आवृत्ति के साथ हेड ब्लॉक में नई समय श्रृंखला के निर्माण के कारण है।

सीपीयू लोड स्पाइक्स

जवानों के अलावा, जो एक उच्च I / O लोड बनाते हैं, मैंने हर दो मिनट में प्रोसेसर पर लोड में गंभीर छलांग देखी। बर्स्ट्स एक उच्च आवक स्ट्रीम के साथ लंबे समय तक रहता है और ऐसा लगता है कि वे गो कचरा कलेक्टर के कारण हैं, कम से कम कुछ गुठली पूरी तरह से भरी हुई हैं।





ये छलांग इतनी तुच्छ नहीं है। ऐसा प्रतीत होता है कि जब वे होते हैं, तो आंतरिक प्रवेश बिंदु और प्रोमेथियस मैट्रिक्स अप्राप्य हो जाते हैं, जो एक ही समय अंतराल पर डेटा अंतराल का कारण बनता है।



आप यह भी देख सकते हैं कि प्रोमेथियस निर्यातक एक सेकंड के लिए बंद हो जाता है।



हम कचरा संग्रह (जीसी) के साथ सहसंबंध देख सकते हैं।

निष्कर्ष

प्रोमेथियस 2 में टीएसडीबी तेज है, काफी संयमित हार्डवेयर का उपयोग करके लाखों रिकॉर्डिंग के साथ-साथ लाखों समय की श्रृंखला को संभालने में सक्षम है। सीपीयू और डिस्क I / O का उपयोग भी प्रभावशाली है। मेरा उदाहरण प्रति सेकंड 200,000 मीट्रिक प्रति कोर का उपयोग दिखाया गया है।

विस्तार की योजना बनाने के लिए, आपको पर्याप्त मेमोरी वॉल्यूम के बारे में याद रखने की आवश्यकता है, और यह वास्तविक मेमोरी होनी चाहिए। उपयोग की गई मेमोरी की मात्रा जो मैंने देखी, वह आने वाली धारा के प्रति सेकंड 5 जीबी प्रति 100,000 प्रविष्टियों के बारे में थी, जो ऑपरेटिंग सिस्टम कैश के साथ 8 जीबी के कब्जे वाली मेमोरी के साथ संयुक्त थी।

बेशक, सीपीयू और डिस्क I / O के फटने को रोकने के लिए अभी भी बहुत काम है, और यह आश्चर्यजनक नहीं है कि टीएसडीबी प्रोमिथियस 2 को इनोवीडी, तोकुडबडी, रॉक्सडीबी, विंटरटाइगर की तुलना में युवा कैसे दिया जाता है, लेकिन जीवन चक्र की शुरुआत में उन्हें समान समस्याएं थीं।