Viya, Vaya, Vaya, Vaya - "अनुवाद कठिनाइयाँ", या नए मंच SAS Viya (Vaya) के पीछे क्या है

आप गणितीय सांख्यिकी एल्गोरिदम का उपयोग करने के तरीकों, तंत्रिका नेटवर्क के बारे में और सामान्य तौर पर मशीन सीखने के लाभों के बारे में नेटवर्क पर विभिन्न लेखों की एक बड़ी संख्या पा सकते हैं। ये क्षेत्र मानव जीवन में एक महत्वपूर्ण सुधार और रोबोट के लिए एक उज्जवल भविष्य में योगदान करते हैं। उदाहरण के लिए, पौधों की एक नई पीढ़ी जो मानव हस्तक्षेप या ऑटोपायलट मशीन के बिना पूरी तरह या आंशिक रूप से काम करने में सक्षम है।

डेवलपर्स अलग-अलग दिशाओं में इन तरीकों और मशीन सीखने के तरीकों के संयोजन को जोड़ते हैं। ये क्षेत्र बाद में नाम प्राप्त करते हैं, मूल और बहुत नहीं, उदाहरण के लिए: IOT (इंटरनेट ऑफ़ थिंग्स), WOT (वेब ​​ऑफ़ थिंग्स), उद्योग 4.0 (उद्योग 4.0), कृत्रिम बुद्धिमत्ता (AI) और अन्य। ये अवधारणाएं इस तथ्य से एकजुट हैं कि उनका विवरण शीर्ष-स्तर है, अर्थात, न तो विशिष्ट उपकरणों और प्रौद्योगिकियों पर विचार किया जाता है, और न ही वे सिस्टम को लागू करने के लिए तैयार हैं, और मुख्य लक्ष्य वांछित परिणाम की कल्पना करना है। लेकिन तकनीक पहले से ही मौजूद है, हालांकि इसमें अक्सर एक भी मंच नहीं होता है।
समाधान दोनों बड़े सॉफ्टवेयर विक्रेताओं द्वारा प्रदान किए जाते हैं: एसएएस, एसएपी, ओरेकल, आईबीएम, साथ ही छोटे स्टार्ट-अप, जो बड़े खिलाड़ियों के लिए मजबूत प्रतिस्पर्धा का गठन करते हैं, साथ ही साथ ओपन सोर्स समाधान - ओपन सोर्स समाधान भी करते हैं। यह सभी विविधताएं कार्य के त्वरित और प्रभावी कार्यान्वयन को बहुत जटिल करती हैं, क्योंकि इसके लिए विभिन्न प्रणालियों के श्रमसाध्य एकीकरण की आवश्यकता होती है, मशीन सीखने के अच्छे मॉडल और उत्पादक समाधानों के भविष्य के कार्यान्वयन को उत्पादक तरीके से लागू करने के लिए डेवलपर्स के भारी प्रयास। लेकिन एक ही समय में, किसी भी नवाचार परियोजना की सफलता का मुख्य मानदंड जो व्यवसाय करने के लिए कंपनी के दृष्टिकोण को बदलता है, अक्सर सफलता और सॉल्वेंसी के त्वरित प्रमाण की आवश्यकता होती है, अन्यथा कोई भी इसे लॉन्च करने की हिम्मत नहीं करता है। और यह एक भी मंच का उपयोग किए बिना असंभव है जो आपको डेटा तैयार करने (खोज, संग्रह, सफाई, समेकन) के पूरे चक्र को जल्दी से पूरा करने और उच्च गुणवत्ता वाले एनालिटिक्स (मशीन सीखने के एल्गोरिदम का उपयोग करने सहित) के रूप में अंतिम परिणाम प्राप्त करने की अनुमति देगा, और, परिणामस्वरूप, लाभ कंपनी के लिए।

एसएएस के बारे में

कई इस बात से सहमत हो सकते हैं कि एसएएस के पास उन्नत एनालिटिक्स समाधानों के लिए बाजार में एक उच्च स्थान है। एसएएस समाधानों की समीक्षा अलग हो सकती है, लेकिन कोई भी उदासीन नहीं है, जिसकी पुष्टि रूस और दुनिया में बड़ी संख्या में ग्राहकों की उपस्थिति से होती है। बड़े पैमाने पर तैयार एल्गोरिदम और मॉडल के लिए धन्यवाद जो आसानी से और जल्दी से कंपनी में लागू हो सकते हैं और परिणाम प्राप्त कर सकते हैं। एसएएस के ब्लॉग पर पहले लेख में इसके बारे में बहुत कुछ लिखा गया है - आप इसे यहां पढ़ सकते हैं । यह लेख एसएएस की सफलता और उसके इतिहास की पृष्ठभूमि का वर्णन करता है। लेकिन आईटी और व्यवसाय समुदाय तेजी से विकसित हो रहे हैं और उपकरणों की अधिक मांग हो रही है, इसलिए एसएएस ने एक नया विश्लेषणात्मक मंच एसएएस विया जारी किया है। इस प्लेटफ़ॉर्म में वे सभी बेहतरीन शामिल हैं जो एसएएस द्वारा वर्तमान में अपनी स्थापना के बाद से बनाए गए हैं, ताकि उन्नत एनालिटिक्स के समाधान के वर्ग में वर्तमान रुझानों का निर्धारण किया जा सके। सुंदर नामों और परिभाषाओं की ओर लौटते हुए, एसएएस वाया इन-मेमोरी मेमोरी क्षमताओं का उपयोग करते हुए स्वयं-सेवा डेटा विज्ञान के रूप में एक ऐसी दिशा के लिए एक एकीकृत मंच प्रदान करता है, जो वितरित (क्लाउड) कंप्यूटिंग और माइक्रोसर्विस आर्किटेक्चर के दृष्टिकोण का उपयोग करके विकसित किया गया है। इसलिए, यह लेख एसएएस विया मंच के बारे में लेखों की एक श्रृंखला खोलता है, ताकि यह पता लगाया जा सके कि विया क्या है, यह क्या है और इसका उपयोग कैसे किया जा सकता है।

चुनने में कठिनाई

हमने पहले ही पता लगा लिया है कि अब बाजार में प्रसिद्ध विक्रेताओं और छोटे खिलाड़ियों के उत्पादों की एक बड़ी संख्या है, साथ ही साथ खुला स्रोत भी है, जो आपको व्यवसाय के सभी क्षेत्रों में विभिन्न विश्लेषणात्मक समस्याओं को हल करने की अनुमति देता है। किसी विशेष प्लेटफ़ॉर्म की पसंद पर निर्णय लेते समय कीमत को छोड़कर, क्या मापदंड होना चाहिए?

के साथ शुरू करने के लिए, अब व्यवसाय उपयोगकर्ता अधिक से अधिक पूर्ण विश्लेषणात्मक चक्र में शामिल हो रहा है और आईटी से अधिक स्वतंत्रता की आवश्यकता है। इन उपयोगकर्ताओं के लिए समझ में आने वाले मापदंड सबसे आगे आते हैं - उपयोग में आसानी (एकल इंटरफेस), नए सिस्टम को सीखना कम करना (कम कोड, अधिक ग्राफिक्स), प्रदर्शन (एनालिटिक्स के संदर्भ में - यह बड़े पैमाने पर सेट पर जल्दी से परिणाम प्राप्त करने की क्षमता है), तैयार-किए गए एल्गोरिदम और मॉडल की उपलब्धता। काम के लिए। काली स्क्रीन का समय समाप्त हो रहा है, टर्मिनल विंडो, हालांकि एक अलग रूप में, अभी भी उपलब्ध हैं और आपको चलते-फिरते कोड लिखने और डिबग करने की अनुमति देते हैं, लेकिन अधिकांश फ़ंक्शन पहले से ही ग्राफिकल इंटरफ़ेस में ब्लॉक के रूप में लागू किए जा सकते हैं, जो किसी भी उपयोगकर्ता के लिए दरवाजा खोलता है। उन्नत विश्लेषिकी के साथ काम करने के लिए स्तर (हालांकि यह गणित जानने के लिए अभी भी वांछनीय है)।

दूसरी प्रवृत्ति जो अनिवार्य रूप से बाजारों पर विजय प्राप्त करती है, वह क्लाउड टेक्नोलॉजी है। कंपनियों के दृष्टिकोण से, यह किसी भी परियोजनाओं के लिए उपलब्ध संसाधनों के लचीले प्रबंधन की संभावना है। ऐसे समय में बहुत सारे शोध हुए हैं जब क्लाउड प्रौद्योगिकियों ने शास्त्रीय समाधानों को पूरी तरह से बदल दिया है। लेकिन यहां यह समझना महत्वपूर्ण है कि क्लाउड कंप्यूटिंग न केवल हार्डवेयर है जो बाहरी डेटा केंद्रों में कहीं दूर रहता है, बल्कि लचीले ढंग से सेवाओं के रूप में सभी प्रकार की सेवाएं प्रदान करने का बहुत दृष्टिकोण है जो आईटी आईटी बुनियादी ढांचे के निर्माण या पुनर्निर्माण की आवश्यकता के बिना जल्दी से प्राप्त किया जा सकता है।
एक अन्य प्रवृत्ति बिग डेटा प्रौद्योगिकियों का उपयोग है। और संपूर्ण Hadoop पारिस्थितिकी तंत्र का उपयोग अपनी भाषाओं और प्रौद्योगिकियों के साथ-साथ अन्य उपलब्ध ओपन सोर्स सिस्टम के साथ किया जाता है जो डेटा के साथ काम करने के लिए इंटरफेस प्रदान करते हैं, जैसे R, Python और अन्य। इस क्षेत्र में प्रतिस्पर्धा करने का कोई मतलब नहीं है, लेकिन यह इस पारिस्थितिकी तंत्र के साथ एकीकरण के लिए प्रौद्योगिकियों के लिए समझ में आता है। या केवल एकीकृत नहीं है, लेकिन इस पारिस्थितिकी तंत्र की क्षमताओं का उपयोग करें जैसा कि एसएएस हडोप एंबेडेड प्रक्रिया के साथ होता है या ईएसपी (एसएएस इवेंट स्ट्रीम प्रोसेसिंग) सिस्टम के लिए उच्च उपलब्धता बनाने के लिए काफ्का का उपयोग करता है। और कभी-कभी सुधार भी करते हैं और गति देते हैं, जैसे एसएएस वीआईए में सीएएस इंजन पर आर कोड चलाने की क्षमता।

यूनिवर्सल प्लेटफॉर्म

मांग आपूर्ति बनाती है और एसएएस विया नियम का अपवाद नहीं है। यदि हम एसएएस विया की आधिकारिक परिभाषा का उल्लेख करते हैं, जो कि जिम गुडनाइट द्वारा दिया गया था (बहुत कम हो गया है, लेकिन अर्थ को बरकरार रखा गया है) 2016 में वैश्विक एसएएस फोरम में घोषणा के दौरान, तो एसएएस विया है: "एक क्लाउड सिस्टम जो वितरित कंप्यूटिंग दृष्टिकोण का उपयोग करता है ... और देता है एकीकृत विश्लेषिकी मंच

ठीक है, यदि आप एसएएस विया प्लेटफॉर्म के विचार और लक्ष्यों को संक्षेप में बताते हैं, तो यह प्रोजेक्ट के सभी चरणों में डेटा तैयारी से लेकर जटिल मशीन लर्निंग एल्गोरिदम के उपयोग के लिए किसी भी प्रकार के विश्लेषण के लिए एक सार्वभौमिक मंच है। 4 कार्य खंड हैं:
1. डेटा की तैयारी
2. डेटा दृश्य और अनुसंधान
3. भविष्य कहनेवाला विश्लेषण
4. मशीन लर्निंग एल्गोरिदम के रूप में उन्नत एनालिटिक्स

पाठकों के लिए जानकारी

चूंकि महत्वपूर्ण बारीकियों के पक्षपात के बिना एक लेख के ढांचे के भीतर सब कुछ बताना मुश्किल है, इसलिए इन चरणों को उदाहरणों द्वारा निम्नलिखित लेखों में माना जाएगा। इस लेख में, हम एसएएस विया इंजन के एक महत्वपूर्ण विषय पर विचार करेंगे, जो विश्लेषणात्मक उपकरणों का त्वरित कार्य प्रदान करता है। आधुनिक और सुंदर इंटरफेस के बारे में लेख अगले पंक्ति में हैं।

एसएएस विया प्लेटफॉर्म का आधार

एसएएस विया में आपको शुरू करने के लिए कई महत्वपूर्ण विशेषताएं हैं। एसएएस समाधान के साथ काम करने वाले जानते हैं कि एसएएस विशेष विश्लेषणात्मक भाषा एसएएस बेस पर आधारित है, जो अपने इंजन पर विश्लेषणात्मक कार्य करता है। यह एक क्लस्टर या एक शक्तिशाली कंप्यूटिंग मशीन पर ग्रिड कॉन्फ़िगरेशन में उपयोग किया जा सकता है। एसएएस विया और क्लासिक एसएएस 9 एनालिटिक्स समाधान के बीच मुख्य अंतर है। एसएएस विया एक नए अनूठे कैस (क्लाउड एनालिटिक्स सर्विस) डेटा प्रोसेसिंग इंजन पर आधारित है। दो प्रमुख विशेषताएं: पहला एक इन-मेमोरी तकनीक है जो रैम में डेटा के साथ सभी ऑपरेशन करता है, और दूसरा एक वितरित कंप्यूटिंग दृष्टिकोण है। कैस एकल होस्ट पर चल सकता है, लेकिन यह मशीनों के एक क्लस्टर पर काम करने के लिए अनुकूलित है - नियंत्रक और डेटा प्रोसेसिंग सर्वर, जो आपको लोड को समानांतर बनाने के लिए क्लस्टर के विभिन्न नोड्स पर डेटा को संग्रहीत और संसाधित करने की अनुमति देता है (वैचारिक दृष्टिकोण Hadoop सिस्टम की अवधारणा के बहुत करीब है)। यदि हम आरेख में CAS आर्किटेक्चर दिखाते हैं, तो हमें MPP या SMP इंस्टॉलेशन के लिए निम्न चित्र मिलता है:

बादल क्यों?

एसएएस, जब विया मंच का विकास कर रहा था, और विशेष रूप से सीएएस ने क्लाउड कंप्यूटिंग की अवधारणा का लाभ उठाया। उन्हें 4 समूहों में विभाजित किया जा सकता है:
1. विभिन्न ग्राहकों के एपीआई के एक बड़े सेट के माध्यम से पहुंच। एसएएस के लिए, यह एक बड़ा कदम है। एनालिटिक्स के लिए केवल एसएएस बेस भाषा का उपयोग करने पर अधिक प्रतिबंध नहीं हैं। आप पायथन (उदाहरण के लिए, एक बृहस्पति नोटबुक से), आर, लुआ, आदि का उपयोग कर सकते हैं, जिसे एसएएस विया प्लेटफॉर्म पर कैस में निष्पादित किया जाएगा।
2. लोच। आप कैस क्लस्टर के नोड्स को कनेक्ट / डिस्कनेक्ट करके आसानी से सिस्टम को स्केल कर सकते हैं। एप्लिकेशन वेब के माध्यम से पहुंच योग्य हैं और इन्हें माइक्रोसिस्टीवर्स के रूप में व्यवस्थित किया गया है। वे स्थापना, अद्यतन और संचालन के मामलों में एक दूसरे से स्वतंत्र हैं।
3. उच्च उपलब्धता। CAS क्लस्टर नोड्स के बीच डेटा मिररिंग सिस्टम का उपयोग करता है। एक डेटा सेट कई नोड्स पर संग्रहीत होता है, जो डेटा हानि के जोखिम को कम करता है। कार्य की स्थिति को बनाए रखते हुए, नोड्स में से एक की विफलता की स्थिति में स्विच करना स्वचालित रूप से होता है, जो अक्सर भारी विश्लेषणात्मक परीक्षाओं के लिए महत्वपूर्ण होता है।
4. बढ़ी हुई सुरक्षा। चूंकि क्लाउड एक सार्वजनिक प्रदाता से प्राप्त किया जा सकता है, इसलिए कार्यान्वयन को डेटा ट्रांसमिशन चैनलों की विश्वसनीयता के लिए अधिक कठोर आवश्यकताओं को पूरा करना होगा।
आप किसी भी संख्या में मशीनों के एक समूह में, अपने स्वयं के डेटा केंद्र में एक समर्पित मशीन पर, बादल में कहीं भी - व्यास मंच को तैनात कर सकते हैं। समाधान की गलती सहिष्णुता स्वचालित रूप से प्रदान की जाती है।

कैस कैसे काम करता है?

मैं एमपीपी इंस्टॉलेशन के उदाहरण का उपयोग करके सीएएस के काम का विश्लेषण करूंगा। एसएमपी सरल करता है, लेकिन सीएएस के सिद्धांतों को संरक्षित करता है। वास्तविक जीवन में, SMP को बेहतर प्रदर्शन के लिए MPP प्लेटफॉर्म पर विकास के बाद के हस्तांतरण के साथ परीक्षण मॉडल के लिए स्थानीय वातावरण परीक्षण के रूप में उपयोग किया जा सकता है।

आइए SAS Viya के शीर्ष स्तरीय CAS आर्किटेक्चर पर फिर से नज़र डालें:

यदि हम कैस के बारे में बात करते हैं, तो इसमें एक नियंत्रक होता है, दूसरे तरीके से, एक मास्टर नोड (प्लस बैकअप नियंत्रक नोड के लिए एक और नोड आवंटित करना संभव है) और नोड्स। मास्टर नोड क्लस्टर नोड्स पर स्थित डेटा के बारे में मेटा-जानकारी संग्रहीत करता है और इन नोड्स (सीएएस वर्कर्स) के लिए अनुरोधों को वितरित करने के लिए जिम्मेदार है जो डेटा को प्रोसेस और स्टोर करते हैं। अलग से, एक सर्वर आवंटित किया जाता है जिस पर काम करने के लिए प्लेटफ़ॉर्म के लिए आवश्यक विश्लेषणात्मक सेवाएँ और अतिरिक्त मॉड्यूल हैं। कार्यों के आधार पर भी कई हो सकते हैं। उदाहरण के लिए, आप SPRE (SAS प्रोग्रामिंग रनटाइम एनवायरनमेंट) के लिए सर्वर का उपयोग कर सकते हैं, जो आपको Viya संस्थापन के ढांचे के भीतर एक अलग मशीन पर CAS और SPRE दोनों का उपयोग करके Viya प्लेटफॉर्म पर क्लासिक SAS 9 कार्य चलाने की अनुमति देता है।

एक दिलचस्प कॉन्फ़िगरेशन है जो व्यास प्लेट पर CAS का उपयोग करने की संभावनाओं का विस्तार करता है, और इसके नाम के पहले अक्षर को औचित्य देता है:

Multitenancy विभागों के बीच संसाधनों और डेटा को साझा करने की क्षमता प्रदान करता है। उसी समय, "किरायेदारों" को मंच तक पहुंचने के लिए एक एकल इंटरफ़ेस दिया जाता है और विया मंच के विभिन्न कार्यों का एक तार्किक पृथक्करण प्रदान किया जाता है। बहुत सारे विकल्प हैं। शायद इस मुद्दे पर एक अलग लेख में विचार किया जाएगा।

रैम की विश्वसनीयता के बारे में क्या और कैसे डेटा को कैस में लोड करना है?

चूंकि हम विश्लेषिकी के बारे में बात कर रहे हैं, और विशेष रूप से उन्नत विश्लेषण के लिए उन्नत समाधानों के बारे में, यह स्पष्ट है कि हम बड़ी मात्रा में डेटा के बारे में बात कर रहे हैं। और प्रक्रिया का एक महत्वपूर्ण हिस्सा उनके साथ संचालन के लिए रैम में डेटा का तेजी से लोड करना है और इस डेटा की उच्च उपलब्धता सुनिश्चित करना है।

विश्वसनीयता के लिए किसी भी इन-मेमोरी सिस्टम को रैम में मौजूद डेटा का बैकअप लेने की आवश्यकता होती है। जब बिजली बंद हो जाती है, तो रैम को यह पता नहीं होता है कि रैम को कैसे रखा जा सकता है, साथ ही सभी डेटा रैम के क्षेत्र में फिट नहीं हो सकते हैं, और रैम में डेटा को जल्दी से लोड करने के लिए एक तंत्र की आवश्यकता होती है। इसलिए, विश्लेषिकी के लिए CAS में लोड की जाने वाली तालिकाओं के लिए, प्रतियां विशेष SASHDAT प्रारूप के केवल-पढ़ने वाले मेमोरी क्षेत्र में बनाई जाती हैं। उच्च उपलब्धता सुनिश्चित करने के लिए, इन फ़ाइलों को क्लस्टर में कई नोड्स पर मिरर किया गया है। इस पैरामीटर को कॉन्फ़िगर किया जा सकता है। यह विचार है कि यदि एक नोड खो गया है, तो एसएएसएचएडीएटी फ़ाइल की एक कॉपी से डेटा स्वचालित रूप से पड़ोसी नोड पर रैम में लोड हो जाएगा। CAS संरचना में इन प्रतियों के भंडारण क्षेत्र को CAS_DISK_CACHE कहा जाता है।

CAS_DISK_CACHE CAS का एक महत्वपूर्ण हिस्सा है, जिसे न केवल दोष सहिष्णुता सुनिश्चित करने के लिए, बल्कि मेमोरी उपयोग को अनुकूलित करने के लिए भी आवश्यक है। नीचे दिए गए आरेख SASHDAT को संग्रहीत करने के विभिन्न तरीकों और रैम में डेटा लोड करने के सिद्धांत को दर्शाता है। उदाहरण के लिए, डेटासेट ए को ओरेकल डेटाबेस से प्राप्त किया जाता है और रैम और डिस्क पर उसी कैस नोड पर संग्रहीत किया जाता है। साथ ही, यह डेटासेट A हार्ड ड्राइव पर केवल दूसरे नोड पर डुप्लिकेट है। कई विकल्प हैं (उनमें से कुछ को अतिरिक्त बैकअप की आवश्यकता नहीं है - यह नीचे चर्चा की जाएगी), लेकिन मुख्य विचार हमेशा रैम में पहले से डाउनलोड किए गए डेटा को जल्दी से बहाल करने के लिए एक प्रति है। वैसे, दो पैरामीटर सेट करने के मामले में: MAXTABLEMEM = 0 और COPIES = 0 सत्र स्तर पर, डेटा केवल RAM में ही रहेगा।

मैं कैस के एक दिलचस्प विन्यास पर हडोप के साथ विचार करना चाहूंगा। Hadoop सिस्टम के साथ इस CAS कॉन्फ़िगरेशन का उपयोग करने के लिए, आपको Hadoop के लिए SAS प्लगइन्स इंस्टॉल करना होगा। दृष्टिकोण का मुख्य विचार यह है कि Hadoop क्लस्टर के नोड भी कार्यशील CAS नोड बन जाते हैं। नेटवर्क भार के बिना एचडीएफएस में फ़ाइलों से डेटा को सीधे रैम में खींच लिया जाता है। प्रदर्शन के मामले में यह सबसे अच्छा विकल्प है। आप Hadoop का उपयोग या तो केवल SASHDAT फ़ाइलों को संग्रहीत करने के लिए कर सकते हैं (क्लस्टर पर HDFS CAS_DISK_CACHE - HDFS स्तर पर आरक्षण) की भूमिका निभाएगा, या अन्य डेटा के साथ। Hadoop क्लस्टर पर संसाधन आवंटन YARN के माध्यम से किया जाता है। Hadoop क्लस्टर पर CAS स्थापित करने की योजना:

लदान

डेटा लोडिंग सरल है। हम CAS के लिए इनपुट के लिए विभिन्न स्रोतों को निर्दिष्ट कर सकते हैं। उन्हें या तो एक ही स्ट्रीम में या समानांतर में लोड किया जा सकता है। चूंकि संबंधपरक डेटाबेस का उपयोग स्रोतों के रूप में अधिक बार किया जाता है, इसलिए हम RDBMS से CAS में डेटा लोड करने के विषय पर विचार करेंगे। कैस क्लस्टर में डेटा लोड करने का अनुकूलन करने के लिए, क्लस्टर के प्रत्येक नोड पर स्रोत डेटाबेस के क्लाइंट सॉफ़्टवेयर को स्थापित करना वांछनीय है। इस स्थिति में, CAS क्लस्टर का प्रत्येक नोड समानांतर में डेटा के अपने हिस्से को प्राप्त करेगा। क्लाइंट को केवल नियंत्रक पर स्थापित करते समय, सभी डेटा को कैस नियंत्रक के माध्यम से प्रेषित किया जाएगा।

उदाहरण के लिए, पैरामीटर numreadnodes = 3 सेट करते समय, तालिका स्वचालित रूप से अलग-अलग CAS नोड्स में लोड करने के लिए डेटा के 3 भाग में विभाजित होगी - इस मामले में, डेटा वितरण mod 3 ऑपरेशन का उपयोग करके पहले संख्यात्मक कॉलम द्वारा समूहीकरण पर आधारित होगा।

यदि Hadoop या Teradata को स्रोत के रूप में उपयोग किया जाता है, तो Hadoop या Teradata के लिए एंबेडेड प्रक्रिया का उपयोग करते हुए, Hadoop या Teradata क्लस्टर के प्रत्येक नोड से सीधे लोडिंग का प्रदर्शन किया जाएगा। ध्यान दें कि Hadoop क्लस्टर की अलग स्थापना के मामले में (CAS Hadoop नोड्स पर स्थापित नहीं है), CAS_DISK_CACHE क्षेत्र CAS क्लस्टर पर बनाया जाएगा।

कैसे शुरू करें CAS से?

सीएएस के काम में महत्वपूर्ण शर्तें पुस्तकालय और सत्र हैं। जब आप कैस के साथ काम करना शुरू करते हैं, तो पहली चीज जो बनाई जाती है वह एक सत्र है। एसएएस स्टूडियो के माध्यम से काम करते समय इसे मैन्युअल रूप से परिभाषित किया जा सकता है, या यह सीएएस से जुड़े होने पर एसएएस विया पर उपलब्ध ग्राफिकल इंटरफेस के माध्यम से स्वचालित रूप से बनाया जाता है। एक सत्र के अंदर, सभी डेटा और परिवर्तन जो नए पुस्तकालयों में परिभाषित किए गए हैं, डिफ़ॉल्ट रूप से एक स्थानीय दायरे के साथ बनाए जाते हैं। डेटा (कैसिलिब में परिभाषित) और स्थानीय सत्र के चरणों के परिणाम केवल इस सत्र में दिखाई देते हैं। यदि हमें परिणामों को सार्वजनिक रूप से उपलब्ध कराने की आवश्यकता होती है, तो हम कैसलिब को वैश्विक पैरामीटर और प्रमोटर ऑपरेटर के साथ फिर से परिभाषित कर सकते हैं, और डेटा अन्य सत्रों से उपलब्ध होगा। वैश्विक पैरामीटर के साथ पहले से परिभाषित पुस्तकालय किसी भी सत्र से उपलब्ध होंगे। यह संसाधनों को बेहतर तरीके से साझा करने और डेटा एक्सेस अधिकारों का प्रबंधन करने के लिए किया जाता है। स्थानीय सत्र से डिस्कनेक्ट करने के बाद, यदि कास्लिब को वैश्विक में फिर से परिभाषित नहीं किया गया है, तो सभी अस्थायी डेटा हटा दिए जाते हैं। हम सत्र से डिस्कनेक्ट होने पर डेटा को हटाने के लिए टाइमटाइम पैरामीटर को कॉन्फ़िगर कर सकते हैं, अल्पकालिक नेटवर्क विफलताओं के दौरान संभावित नुकसान से बचने के लिए या आगे के विश्लेषण के लिए इस सत्र में लौटने के लिए (उदाहरण के लिए, आप टाइमटाइम पैरामीटर को 3600 सेकंड तक सेट कर सकते हैं, जो हमें वापस लौटने के लिए 60 मिनट का समय देगा। सत्र)। साथ ही, डेटा को एक विशेष एसएएसएचडीएटी प्रारूप या एक सुलभ डेटाबेस में रूपांतरण के किसी भी चरण में सहेजा जा सकता है, जिसके लिए कनेक्शन को एक सरल SAVE ऑपरेटर द्वारा कॉन्फ़िगर किया गया है।

कैस्लिब लाइब्रेरीज़ उन डेटासेट का वर्णन करती हैं जो CAS में उपलब्ध होंगे। केसलिब बनाते समय, कनेक्शन प्रकार और कनेक्शन पैरामीटर इंगित किए जाते हैं। केसलिब की परिभाषा में, हम तुरंत डेटा स्रोत और इन-मेमोरी में लक्ष्य क्षेत्र को इंगित करते हैं। इसके अलावा केसलिब स्तर पर यह उपयोगकर्ता समूहों के लिए एक्सेस अधिकारों को सेट करने के लिए सुविधाजनक है। यह ग्राफिकल इंटरफेस में किया जाता है।

विभिन्न प्रकार के स्रोतों के लिए उदाहरण कैस्लिब विवरण:

caslib caspth path="/data/cust/" type=path;  caspth –    , path -  caslib pgdvd datasource=( srctype="postgres", username="casdm", password="xxxxxx", server="sasdb.race.sas.com", database="dvdrental", schema="public", numreadnodes=3) ; caslib hivelib desc="HIVE Caslib" datasource=(SRCTYPE="HIVE",SERVER="gatekrbhdp01.gatehadoop.com", HADOOPCONFIGDIR="/opt/sas/hadoop/client_conf/", HADOOPJARPATH="/opt/sas/hadoop/client_jar/", schema="default",dfDebug=sqlinfo) GLOBAL ; 

कैसिलेब निर्धारित करने के बाद, हम आगे की प्रक्रिया के लिए रैम में डेटा लोड कर सकते हैं। केसलीब हाइवलिब डेटा लोड करने का एक उदाहरण:

 proc casutil; load casdata="stocks" casout="stocks" outcaslib="hivelib" incaslib="hivelib" PROMOTE ; quit; /*  casdata –  (  hive), casout –     CAS, outcaslib –  caslib,      , incaslib –  caslib,    .*/ /* in/out caslib       ,     */ 

प्रत्येक सत्र के भीतर, अनुरोधों को क्रमिक रूप से निष्पादित किया जाता है। कोड को मैन्युअल रूप से लिखते समय यह महत्वपूर्ण है, लेकिन जब विया पर उपलब्ध ग्राफ़िकल इंटरफेस का उपयोग करते हैं, तो आप इसके बारे में नहीं सोच सकते। GUI क्लाइंट अनुप्रयोग स्वयं समानांतर में चरणों को पूरा करने के लिए अलग सत्र बनाते हैं।

उनके माध्यम से काम करने के लिए पूरी तरह से ग्राफिकल इंटरफेस और दृष्टिकोण हम निम्नलिखित लेखों में विचार करेंगे। यहाँ मैं एक caslib DM_ORAHR बनाने और GUI के माध्यम से RAM में डेटा लोड करने के लिए चरणों के स्क्रीनशॉट जोड़ूंगा:

यह सिर्फ शुरुआत है।

इस पर मैं सीएएस के बारे में भाग समाप्त करता हूं और वीआईए प्लेटफॉर्म पर लौटता हूं। चूंकि विया को व्यावसायिक उपयोगकर्ताओं के लिए बनाया गया था, इसलिए काम की प्रक्रिया में कैस की बारीकियों को गहराई से समझना आवश्यक नहीं होगा। सभी कार्यों के लिए सुविधाजनक ग्राफिकल इंटरफेस हैं, और कैस इन-मेमोरी और वितरित कंप्यूटिंग के कारण सभी विश्लेषणात्मक चरणों का तेजी से काम प्रदान करेगा।

अब आप उन यूजर इंटरफेस पर जा सकते हैं जो Viya पर उपलब्ध हैं। वर्तमान में उनमें से बहुत सारे हैं, और उत्पादों की संख्या लगातार बढ़ रही है। लेख की शुरुआत में, उन्हें 4 समूहों में आवंटित किया गया था, जो एक पूर्ण विश्लेषणात्मक चक्र के लिए आवश्यक हैं। मुख्य विचार पर लौटते हुए, Viya डेटा माइनिंग और एडवांस्ड एनालिटिक्स के लिए एक एकल मंच है। और इस डेटा की तैयारी और खोज के साथ काम शुरू होता है। और विया के बारे में लेखों की श्रृंखला के अगले भाग में, मैं डेटा तैयारी टूल के बारे में बात करूंगा जो विश्लेषकों के लिए उपलब्ध हैं।

निष्कर्ष के बजाय, वाया नाम वाया शब्द से आया है (अंग्रेजी से "के माध्यम से" या "के माध्यम से")। इस नाम का मुख्य विचार क्लासिक एसएएस 9 समाधान से एक नए मंच के लिए एक सरल संक्रमण है जिसे एनालिटिक्स को एक नए स्तर पर ले जाने के लिए बनाया गया था।