🚽 🧀 🧔🏼 Google Hadoop की समीक्षा (dataproc) 🌴 🧑🏿 👉

कुछ समय पहले, मैंने उनके क्लाउड के लिए Google के तहत एक नि: शुल्क परीक्षण सक्रिय किया, मैंने अपनी समस्या को हल नहीं किया, यह पता चला कि Google परीक्षण के तहत 12 महीनों के लिए $ 300 देता है, लेकिन मेरी अपेक्षाओं के विपरीत, बजट सीमा के अलावा अन्य सीमाएं भी लागू होती हैं। उदाहरण के लिए, मैंने एक क्षेत्र में 8 से अधिक vcpu के साथ आभासी मशीनों के उपयोग की अनुमति नहीं दी। आधे साल बाद, मैंने Google से प्रीइंस्टॉल्ड हडप क्लस्टर डेटाप्रोक से परिचित होने के लिए ट्रायल बजट का उपयोग करने का फैसला किया। कार्य यह मूल्यांकन करने का प्रयास करना है कि Google की पहुंच पर किसी प्रोजेक्ट को लॉन्च करना मेरे लिए कितना आसान होगा, क्या यह समझ में आता है या क्या यह बेहतर है कि मैं तुरंत अपने हार्डवेयर पर ध्यान केंद्रित करूं और प्रशासन के बारे में सोचूं। मेरे पास एक अस्पष्ट भावना है कि आधुनिक हार्डवेयर और बिगडाटा स्टैक आसानी से दसियों या सैकड़ों जीबी के छोटे डेटाबेस के लिए अनुकूल होना चाहिए, यदि पूरी तरह से डेटासेट नहीं है, तो क्लस्टर की मेमोरी में विशाल बहुमत। डेटा मौसा के लिए कुछ अलग उपडेटा की आवश्यकता नहीं हो सकती है।

संक्षेप में, Oracle और Cloudera की तुलना में, लॉन्च और सेटिंग्स की आसानी से डेटाप्रोक प्रभावित हुआ था। पहले चरण में, मैंने 8 vCpu पर एक नोड क्लस्टर के साथ खेला, जिसमें से अधिकतम पूरी तरह से नि: शुल्क परीक्षण की अनुमति देता है। यदि आप सादगी को देखते हैं, तो उनकी प्रौद्योगिकियां पहले से ही एक हिंदू को 15 मिनट में एक क्लस्टर शुरू करने, नमूना डेटा लोड करने और बिना किसी मध्यवर्ती उप-खिड़कियों के बिना नियमित बीआई उपकरण का उपयोग करके रिपोर्ट तैयार करने की अनुमति देती हैं। Hadoup के कुछ गहरे ज्ञान की अब आवश्यकता नहीं है।

सिद्धांत रूप में, मैंने देखा कि यह चीज़ त्वरित शुरुआत के लिए अद्भुत है और एक पैसे के लिए आप एक प्रोटोटाइप चला सकते हैं, मूल्यांकन कर सकते हैं कि किसी कार्य के लिए आपको किस तरह के हार्डवेयर की आवश्यकता है। हालांकि, दर्जनों नोड्स में, एक बड़ा क्लस्टर, स्पष्ट रूप से किराये की तुलना में बहुत अधिक खाएगा + एक जोड़ी प्रशासक जो क्लस्टर देख रहे हैं। इस तथ्य से बहुत दूर कि बादल आर्थिक रूप से व्यवहार्य दिखाई देगा। पहला चरण मैंने एक नोड क्लस्टर 8 vCpu और 0.5 टीबी कच्चे डेटा के साथ पूरी तरह से सूक्ष्म विकल्प का मूल्यांकन करने का प्रयास किया। सिद्धांत रूप में, बड़े समूहों पर स्पार्क + हैडऑप परीक्षण पहले से ही इंटरनेट पर भरे हुए हैं, लेकिन मैं बाद में विकल्प को थोड़ा बड़ा करने की योजना बना रहा हूं।

केवल एक घंटे में, मैंने क्लस्टर बैकअप बनाने, उसके फ़ायरवॉल को कॉन्फ़िगर करने और थ्रिफ्ट सर्वर को कॉन्फ़िगर करने के लिए स्क्रिप्ट्स को गुगली किया, जिसने jdbc को होम विंडोज से स्पार्क sql से कनेक्ट करने की अनुमति दी। मैंने डिफ़ॉल्ट स्पार्क सेटिंग्स को अनुकूलित करने और 10 जीबी आकार (ओरेकल में डेटा फ़ाइलों का आकार) के कुछ जोड़े को लोड करने के लिए एक और दो या तीन घंटे बिताए। मैंने पूरी तालिकाओं को मेमोरी में बदल दिया (टेबल कैश बदल दिया?) और उनके साथ मेरी विंडोज मशीन से काम करना संभव था, जो डबेवर और झांकी (स्पार्क एसक्यूएल कनेक्टर के माध्यम से) से था।

डिफ़ॉल्ट रूप से, स्पार्क 4 vCpu पर केवल 1 निष्पादक का उपयोग करता था, मैंने स्पार्क-डिफॉल्ट्स.कॉन्फ़ को संपादित किया, 3 एक्ज़ीक्यूटर्स, 2 vCpu प्रत्येक को स्थापित किया और एक लंबे समय के लिए मैं समझ नहीं पाया कि मेरे काम में वास्तव में केवल 1 निष्पादक क्यों है। यह पता चला कि मैंने मेमोरी को संपादित नहीं किया है, अन्य दो यार्न केवल मेमोरी आवंटित नहीं कर सकते हैं। मैंने निष्पादनकर्ता पर 6.5 जीबी सेट किया, जिसके बाद तीनों ने उम्मीद के मुताबिक बढ़ना शुरू कर दिया।
अगला, मैंने टीपीसी-डीएस परीक्षणों से थोड़ा अधिक गंभीर वॉल्यूम और DWH के करीब एक कार्य के साथ खेलने का फैसला किया। शुरुआत के लिए, मैंने आधिकारिक तौर पर आधिकारिक टूल के स्केल फैक्टर 500 के साथ टेबल उत्पन्न किए। मुझे 480 जीबी का कच्चा डेटा (सीमांकित पाठ) जैसा कुछ मिला। TPC-DS परीक्षण एक विशिष्ट DWH है, जिसमें तथ्य और आयाम हैं। मुझे समझ नहीं आया कि सीधे Google स्टोरेज पर डेटा कैसे उत्पन्न किया जाए, मुझे डिस्क पर वर्चुअल मशीन जेनरेट करनी थी और फिर उसे गूगल स्टोरेज में कॉपी करना था। Google, जैसा कि मैं इसे समझता हूं, का मानना है कि हुड पूरी तरह से Google स्टोरेज के साथ काम करता है और अगर एचडी एचडीएफएस पर क्लस्टर के अंदर होता है तो गति थोड़ी बेहतर है। इस स्थिति में, लोड का हिस्सा एचडीएफएस से Google संग्रहण में जाता है।

Dbeaver के माध्यम से कनेक्ट होने के बाद, मैंने SQL कमांड्स का उपयोग करते हुए टेक्स्ट फाइलों को एसकेपी पैकेजिंग के साथ लकड़ी की छत वाली गोलियों में बदल दिया। 480 जीबी टेक्स्ट डेटा को 187 जीबी पैराक फाइलों में पैक किया गया है। इस प्रक्रिया में लगभग दो घंटे लगे, पाठ में सबसे बड़ी तालिका 188 जीबी पर कब्जा कर लिया, 3 चिंगारी निष्पादनकर्ताओं ने 74 मिनट में उन्हें लकड़ी की छत में बदल दिया, एसयूवी का आकार 66.8 जीबी था। मेरे डेस्कटॉप पर लगभग 8 vCpu (i7-3770k) के साथ मुझे लगता है कि 8k ब्लॉक के साथ ओरेकल तालिका में "तालिका में चयन करें * ..." एक दिन लगेगा, और डेटा फ़ाइल कितना लेगी यह कल्पना करना भी डरावना है।

अगला, मैंने इस तरह के एक विन्यास पर बीआई उपकरण के प्रदर्शन की जांच की, टेबलुआ में एक साधारण रिपोर्ट बनाई

प्रश्नों के लिए, टीपीसी-डीएस परीक्षण से क्वेरी 1

QUERY1

WITH customer_total_return AS (SELECT sr_customer_sk AS ctr_customer_sk, sr_store_sk AS ctr_store_sk, Sum(sr_return_amt) AS ctr_total_return FROM store_returns, date_dim WHERE sr_returned_date_sk = d_date_sk AND d_year = 2001 GROUP BY sr_customer_sk, sr_store_sk) SELECT c_customer_id FROM customer_total_return ctr1, store, customer WHERE ctr1.ctr_total_return > (SELECT Avg(ctr_total_return) * 1.2 FROM customer_total_return ctr2 WHERE ctr1.ctr_store_sk = ctr2.ctr_store_sk) AND s_store_sk = ctr1.ctr_store_sk AND s_state = 'TN' AND ctr1.ctr_customer_sk = c_customer_sk ORDER BY c_customer_id LIMIT 100;

1:08 में पूरा हुआ, सबसे बड़ी तालिकाओं (कैटलॉग_स, वेब_सलेस) की भागीदारी के साथ क्वेरी 2

QUERY2

 WITH wscs AS (SELECT sold_date_sk, sales_price FROM (SELECT ws_sold_date_sk sold_date_sk, ws_ext_sales_price sales_price FROM web_sales) UNION ALL (SELECT cs_sold_date_sk sold_date_sk, cs_ext_sales_price sales_price FROM catalog_sales)), wswscs AS (SELECT d_week_seq, Sum(CASE WHEN ( d_day_name = 'Sunday' ) THEN sales_price ELSE NULL END) sun_sales, Sum(CASE WHEN ( d_day_name = 'Monday' ) THEN sales_price ELSE NULL END) mon_sales, Sum(CASE WHEN ( d_day_name = 'Tuesday' ) THEN sales_price ELSE NULL END) tue_sales, Sum(CASE WHEN ( d_day_name = 'Wednesday' ) THEN sales_price ELSE NULL END) wed_sales, Sum(CASE WHEN ( d_day_name = 'Thursday' ) THEN sales_price ELSE NULL END) thu_sales, Sum(CASE WHEN ( d_day_name = 'Friday' ) THEN sales_price ELSE NULL END) fri_sales, Sum(CASE WHEN ( d_day_name = 'Saturday' ) THEN sales_price ELSE NULL END) sat_sales FROM wscs, date_dim WHERE d_date_sk = sold_date_sk GROUP BY d_week_seq) SELECT d_week_seq1, Round(sun_sales1 / sun_sales2, 2), Round(mon_sales1 / mon_sales2, 2), Round(tue_sales1 / tue_sales2, 2), Round(wed_sales1 / wed_sales2, 2), Round(thu_sales1 / thu_sales2, 2), Round(fri_sales1 / fri_sales2, 2), Round(sat_sales1 / sat_sales2, 2) FROM (SELECT wswscs.d_week_seq d_week_seq1, sun_sales sun_sales1, mon_sales mon_sales1, tue_sales tue_sales1, wed_sales wed_sales1, thu_sales thu_sales1, fri_sales fri_sales1, sat_sales sat_sales1 FROM wswscs, date_dim WHERE date_dim.d_week_seq = wswscs.d_week_seq AND d_year = 1998) y, (SELECT wswscs.d_week_seq d_week_seq2, sun_sales sun_sales2, mon_sales mon_sales2, tue_sales tue_sales2, wed_sales wed_sales2, thu_sales thu_sales2, fri_sales fri_sales2, sat_sales sat_sales2 FROM wswscs, date_dim WHERE date_dim.d_week_seq = wswscs.d_week_seq AND d_year = 1998 + 1) z WHERE d_week_seq1 = d_week_seq2 - 53 ORDER BY d_week_seq1;

4:33 मिनट में पूरा, Query3 में 3.6, Query4 में 32 मिनट में।

यदि कोई व्यक्ति सेटिंग्स में रुचि रखता है, तो क्लस्टर बनाने पर मेरे नोट्स काटे। सिद्धांत रूप में, केवल कुछ gcloud कमांड और HIVE_SERVER2_THRIFT_PORT सेटिंग है।

टिप्पणियां

एक नोड क्लस्टर विकल्प:
gcloud dataproc --region europe-North1 क्लस्टर्स टेस्ट 1 \
- सर्वनेट डिफ़ॉल्ट \
--बकेट टेप 1 \
--zone यूरोप-उत्तर1-एक \
- एकल-नोड \
-मास्टर-मशीन-प्रकार n1-highmem-8 \
-मास्टर-बूट-डिस्क-आकार 500 \
- संस्करण-संस्करण 1.3 \
-संस्थानिकीकरण-क्रियाएँ gs: //dataproc-initialization-actions/hue/hue.sh \
-संस्थानिकीकरण-क्रियाएँ gs: //dataproc-initialization-actions/zeppelin/zeppelel.n_
- विनिवेश-क्रियाएँ gs: //dataproc-initialization-actions/hive-hcatalog/hive-hcatalog.sh \
- 123 अंक

3 नोड्स के लिए विकल्प:
gcloud dataproc - भाग यूरोप-उत्तर 1 क्लस्टर \
क्लस्टर-टेस्ट 1 बनाएं - बकेट टेप 1 \
- डिफ़ॉल्ट रूप से --zone यूरोप-उत्तर 1-a \
-मास्टर-मशीन-प्रकार n1-standard-1 \
-मास्टर-बूट-डिस्क-आकार 10 - एनम-वर्कर 2 \
-वर्कर-मशीन-प्रकार n1-standard-1 -worker-boot-disk-size 10 \
-संस्थानिकीकरण-क्रियाएँ gs: //dataproc-initialization-actions/hue/hue.sh \
-संस्थानिकीकरण-क्रियाएँ gs: //dataproc-initialization-actions/zeppelin/zeppelel.n_
- विनिवेश-क्रियाएँ gs: //dataproc-initialization-actions/hive-hcatalog/hive-hcatalog.sh \
- 123 अंक

gcloud कम्प्यूट --project = 123 \
फ़ायरवॉल-नियम अनुमति-डेटाप्रोस बनाएँ
- औचित्य = INGRESS - पयारता = 1000 - नेटवर्क = डिफ़ॉल्ट \
--action = ALLOW --rules = tcp: 8088, tcp: 50070, tcp: 8080, tcp: 10010, tcp: 10000 \
- स्रोत-श्रेणी = xxx.xxx.xxx.xxx / 32-target-tags = dataproc

मास्टर नोड पर:
सुदो सु - vi /usr/lib/spark/conf/spark-env.sh
परिवर्तन: निर्यात HIVE_SERVER2_THRIFT_PORT = 10010

सुडो-स्पार्क /usr/lib/spark/sbin/start-thriftserver.sh

जारी रखने के लिए ...

Google Hadoop की समीक्षा (dataproc)

More articles: