बिग डेटा टूल्स को पूरा करें: इंटेलीज आईडीईए में स्पार्क और ज़ेपेलिन नोटबुक सपोर्ट

हमारे पास बहुत अच्छी खबर है। हम बिग डेटा टूल्स , नई इंटेलीज आईडीईए प्लग-इन जारी करने की घोषणा करते हुए प्रसन्न हैं, जो स्पार्क के साथ एकीकृत है और ज़ेपलिन लैपटॉप को संपादित करने और लॉन्च करने का समर्थन करता है। अब आप आईडीई से सीधे ज़ेपेलिन नोटबुक बना सकते हैं, संपादित कर सकते हैं और चला सकते हैं। प्लगइन स्मार्ट नेविगेशन, ऑटो-पूर्णता, निरीक्षण और त्वरित सुधार प्रदान करता है, साथ ही लैपटॉप के अंदर कोड रीफैक्टरिंग भी करता है।

जो पहले से समर्थित है

• लैपटॉप देखें, बनाएं और हटाएं
• स्काला कोड लिखने में मदद करें
• • ऑटो पूरा करना
  • नाम बदलने का नाम
  • एक चर, विधि या पैरामीटर का अर्क
  • घोषणा पर जाएं
  • उपयोग खोज
  
  
• पैराग्राफ बनाएँ और हटाएँ
• पैराग्राफ चल रहा है
• पैराग्राफ आउटपुट देखें
• मूल प्रतिपादन समर्थन

अब तक, कोड लिखने में मदद केवल स्कैला के लिए काम करती है। अन्य भाषाओं को बाद में समर्थन दिया जाएगा। इसके अलावा, हम खुद को ज़ेपेलिन समर्थन तक सीमित नहीं करने जा रहे हैं और अधिक सुविधाओं को जोड़ने की योजना बना रहे हैं जो बड़े डेटा के लिए काम करने वालों के लिए उपयोगी होंगे।

यदि आप कार्रवाई में बिग डेटा टूल्स को देखने के लिए इंतजार नहीं कर सकते हैं, तो इस छोटे वीडियो की जांच करें:


बेहतर प्लगइन खुद की कोशिश करो! यह कैसे करना है, पर पढ़ें।

प्लगइन का उपयोग कैसे करें

• सुनिश्चित करें कि आप IntelliJ IDEA Ultimate 2019.2 का उपयोग कर रहे हैं (ध्यान दें कि प्लगइन EAP 2019.3 के साथ अभी तक काम नहीं करता है)।
• जांचें कि क्या BashSupport, Python, और Scala प्लगइन्स इंस्टॉल किए गए हैं (ताज़ा संस्करण काम करेंगे)। अब तक, उन्हें मैन्युअल रूप से स्थापित करना होगा - हम इसे जल्द ही ठीक कर देंगे।
• नवीनतम बिग डेटा टूल्स प्लगइन का निर्माण करें।
• यदि सब कुछ उसी तरह काम करता है, जैसा कि आईडीई को पुनरारंभ करने के बाद, दाईं ओर बिग डेटा टूल्स विंडो दिखाई देगी। इसे खोलें, विंडो में टूलबार पर "+" आइकन पर क्लिक करें और ज़ेपेलिन चुनें।
• Zeppelin कनेक्शन संवाद बॉक्स में, अपने Zeppelin उदाहरण (होस्ट, पोर्ट, क्रेडेंशियल्स, आदि) को जोड़ने के लिए सेटिंग्स निर्दिष्ट करें। कनेक्शन का परीक्षण करने के लिए, टेस्ट कनेक्शन का उपयोग करें।
• ज़ेपेलिन कॉन्फ़िगरेशन को कॉन्फ़िगर करने के बाद, आप लैपटॉप विंडो के साथ टूल विंडो में इस उदाहरण को देखेंगे। अब आप लैपटॉप का प्रबंधन कर सकते हैं और उन्हें संपादक में खोल सकते हैं।

आगे क्या है?

सबसे पहले, हम खुद को ज़ेपेलिन और स्पार्क के साथ एकीकरण तक सीमित नहीं करने जा रहे हैं, जो कि हम, निश्चित रूप से, सुधार करेंगे। हम बड़े डेटा के साथ काम करने के लिए और अधिक टूल का समर्थन करने की योजना बनाते हैं: वितरित फ़ाइल सिस्टम जैसे HDFS और S3 के साथ एकीकरण जोड़ें, एकीकृत Parquet फ़ाइल दर्शक को लागू करें और SQL समर्थन में सुधार करें।

यहाँ हमारे भविष्य के काम के लिए एक उदाहरण योजना है:

• नवंबर 2019: इंटेलीज आईडीईए अंतिम 2019.3 ईएपी संगत।
• नवंबर 2019: S3 (एक्सप्लोरर) के साथ एकीकरण।
• दिसंबर 2019: मूल एसक्यूएल समर्थन (हाइलाइटिंग, ऑटो-पूर्णता, ऑटो-स्वरूपण, आदि)।
• जनवरी 2020: HDFS (एक्सप्लोरर) के साथ एकीकरण और लकड़ी की छत फ़ाइलों को देखने के लिए एक उपकरण।
• फरवरी 2020: Hadoop और Spark के साथ मूल एकीकरण (उपयोगकर्ता इंटरफेस YARN, स्पार्क, आदि)।
• स्प्रिंग / समर 2020: ज़ेपेलिन लैपटॉप में पायथन सपोर्ट (हम PyCharm प्रोफेशनल एडिशन के साथ प्लगइन की अनुकूलता पर भी विचार करते हैं, हम इस बारे में बाद में सूचित करेंगे)।

यह एक अनिर्णायक योजना है। हम यह सुनिश्चित करने के लिए आपकी प्रतिक्रिया के आधार पर समायोजित करेंगे कि हम सही चीजों पर केंद्रित हैं। कृपया हमें त्रुटियों के बारे में बताएं और अपनी राय साझा करें कि क्या विशेषताएँ गायब हैं और कैसे, आपकी राय में, यह या वह कार्य करना चाहिए।

नए प्लगइन के बारे में जानने के लिए और क्या महत्वपूर्ण है

बिग डेटा टूल्स प्लगइन केवल IntelliJ IDEA अल्टीमेट के साथ संगत है और कम्यूनिटी एडिशन में उपलब्ध नहीं है। हमें नहीं पता कि वह सामुदायिक संस्करण में होगा या नहीं। फिलहाल, हमारे पास ऐसी कोई योजना नहीं है।
वही अन्य विकास के वातावरण के लिए जाता है। हमें अभी तक नहीं पता है कि प्लगइन अन्य आईडीई के साथ संगत होगा या नहीं। फिलहाल, हमारे पास केवल PyCharm व्यावसायिक संस्करण के साथ संगतता जोड़ने की एक प्रारंभिक योजना है, जैसे ही प्लगइन में पायथन समर्थन जोड़ा जाता है। जैसे ही प्लगइन विकसित होता है, हम बेहतर तरीके से समझ पाएंगे कि हमें अन्य आईडीई में इसके समर्थन के संदर्भ में कहां स्थानांतरित करना चाहिए।

मेरे पास IntelliJ IDEA Ultimate का लाइसेंस नहीं है। मैं प्लगइन कैसे आज़मा सकता हूँ?

• यदि आप किसी भी खुले स्रोत बड़े डेटा प्रोजेक्ट में सक्रिय रूप से शामिल हैं, तो हमें लिखें।
• यदि आप बिग डेटा टूल्स के बारे में लिखना चाहते हैं, तो हमसे संपर्क करें और हम आपको एक विस्तारित परीक्षण संस्करण प्रदान करेंगे ताकि आप प्लगइन का मूल्यांकन कर सकें।
• यदि आप न तो कमिटर हैं और न ही ब्लॉगर हैं, लेकिन बड़े डेटा में रुचि रखते हैं, तो एक विस्तारित परीक्षण संस्करण के लिए हमसे संपर्क करें (उदाहरण के लिए, 3 महीने तक)। यह ऑफर सीमित है।

समीक्षा कैसे छोड़ें

हम वास्तव में प्लगइन पर आपकी प्रतिक्रिया की प्रतीक्षा कर रहे हैं। आप इस पोस्ट में टिप्पणियों में कोई भी प्रश्न पूछ सकते हैं। हमारे ट्रैकर में टिप्पणियों और सुझावों को छोड़ दें।
आप लघु सर्वेक्षण पास करके प्लगइन के बारे में अपने इंप्रेशन भी साझा कर सकते हैं। इसमें केवल एक मिनट लगता है।

रचनात्मक आलोचना हमें स्पार्क, ज़ेपेलिन और बिग डेटा के साथ अपने काम को यथासंभव सुविधाजनक और कुशल बनाने में मदद करेगी। इसलिए, अपनी प्रतिक्रिया और सुझाव साझा करने में संकोच न करें - यह हमारे लिए महत्वपूर्ण है।

PS यह विशेष रूप से अच्छा है कि स्पार्क एआई शिखर सम्मेलन में हमारी भागीदारी के साथ प्लग-इन संयोग हुआ। इसलिए यदि आप अचानक इस सम्मेलन में खुद को पाते हैं, तो हमारे बूथ पर आना सुनिश्चित करें: आप कार्रवाई में प्लगइन को देख सकते हैं और अपने छापों को साझा कर सकते हैं।