वर्टिका के लिए मशीन लर्निंग

अमूर्त

इस लेख में मैं वर्टिका के एक डेटा वेयरहाउस में मशीन लर्निंग के साथ अपने खुद के अनुभव को साझा करना चाहता हूं।

ईमानदार होने के लिए, मैं एक विशेषज्ञ विश्लेषक नहीं हूं जो पूरी तरह से अनुसंधान विधियों और डेटा भविष्यवाणी एल्गोरिदम का विस्तार से वर्णन कर सकता है। लेकिन फिर भी, वर्टिका के विशेषज्ञ होने और एमएल के साथ बुनियादी अनुभव होने के कारण, मैं अंतर्निहित सर्वर कार्यक्षमता और आर भाषा का उपयोग करके वर्टिका में भविष्य कहनेवाला विश्लेषण के साथ काम करने के तरीकों के बारे में बात करने की कोशिश करूंगा।

मशीन लर्निंग लाइब्रेरी वर्टिका

संस्करण 7 से शुरू करते हुए, वर्टिका को मशीन लर्निंग लाइब्रेरी के साथ विस्तारित किया गया है, जिसके साथ आप कर सकते हैं:

• मशीन सीखने के लिए डेटा उदाहरण तैयार करें
• तैयार आंकड़ों पर ट्रेन मशीन सीखने के मॉडल;
• सहेजे गए मशीन लर्निंग मॉडल पर भंडारण डेटा का अनुमानित विश्लेषण करें।

पुस्तकालय मुक्त समुदाय सहित सभी संस्करणों के लिए वर्टिका इंस्टॉलेशन के साथ तुरंत पूरा होता है। एसक्यूएल के तहत कार्यों के लिए एक कॉल के रूप में इसके साथ काम किया जाता है, जिसे तैयार डेमो डेटा पर उपयोग के उदाहरणों के साथ प्रलेखन में विस्तार से वर्णित किया गया है।

वर्टिका में एमएल के साथ काम करने का एक उदाहरण

एमएल कैसे काम करता है इसका एक सरल उदाहरण के रूप में, मैंने एमटीईसीआर डेमो डेटा लिया जो वर्टिका के एमएल डेटा उदाहरण का हिस्सा है। इस डेटा में दो टेबल शामिल हैं:

• mtcars_train - प्रशिक्षण मशीन सीखने के मॉडल के लिए तैयार किया गया डेटा
• mtcars - विश्लेषण के लिए डेटा

आइए प्रशिक्षण के लिए डेटा देखें:

=>SELECT * FROM mtcars_train; 

कार के मॉडल पर सेट किए गए डेटा में, उनकी विशेषताओं का वर्णन किया गया है। आइए मशीन सीखने को प्रशिक्षित करने की कोशिश करें ताकि कारों की विशेषताओं के अनुसार यह अनुमान लगाना संभव हो सके कि कार में किस प्रकार का गियरबॉक्स शामिल है - एक मैनुअल बॉक्स या एक स्वचालित गियरबॉक्स। ऐसा करने के लिए, हमें तैयार डेटा पर एक लॉजिस्टिक रिग्रेशन मॉडल बनाने की जरूरत है, जो कि "am" फील्ड के बॉक्स प्रकार और वाहन "wt" के वेट फील्ड्स, सिलेंडरों की संख्या "सिलेंडर" और बॉक्स "गियर" में गति की संख्या का पता लगाता हो:

 =>SELECT LOGISTIC_REG('logistic_reg_mtcars', 'mtcars_train', 'am', 'cyl, wt, gear'); Finished in 19 iterations 

कहा जाता है कि फ़ंक्शन ने am और फ़ील्ड्स के बीच संबंध का विश्लेषण किया था, wt, गियर, निर्भरता सूत्र का खुलासा किया और मॉडल "logistic_reg_mtcars" में वर्टिका डेटाबेस में निर्भरता के सिमुलेशन का परिणाम लिखा। इस सहेजे गए मॉडल का उपयोग करके, आप अब कारों पर डेटा का विश्लेषण कर सकते हैं और स्वचालित गियरबॉक्स की उपलब्धता की भविष्यवाणी कर सकते हैं।

मॉडल पर जानकारी देखी जा सकती है:

 =>SELECT GET_MODEL_SUMMARY(USING PARAMETERS model_name='logistic_reg_mtcars'); 

अब हम कारों के डेटा पर मॉडल का उपयोग करते हैं, जिससे परिणाम एक नई तालिका में सहेजा जाता है:

 =>CREATE TABLE mtcars_predict_results AS ( SELECT car_model, am, PREDICT_LOGISTIC_REG(cyl, wt, gear USING PARAMETERS model_name='logistic_reg_mtcars') AS prediction FROM mtcars ); 

और भविष्यवाणी की भविष्यवाणी में प्राप्त लोगों के साथ हूँ के वास्तविक मूल्यों की तुलना:

 =>SELECT * FROM mtcars_predict_results; 

इस मामले में, 100% के लिए पूर्वानुमान प्रस्तुत मॉडल में वास्तविक प्रकार के बॉक्स के साथ मेल खाता है। प्रशिक्षण के लिए नया डेटा तैयार करने के मामले में, आपको मॉडल को हटाने और फिर से सहेजने की आवश्यकता होगी।

वर्टिका में एमएल कार्यक्षमता

वर्टिका एमएल लाइब्रेरी निम्नलिखित प्रकार के पूर्वानुमान विश्लेषण का समर्थन करती है:

• भविष्यवाणी:
  
  • रैखिक प्रतिगमन
  • प्रतिगमन के लिए यादृच्छिक वन
  • प्रतिगमन के लिए SVM (सपोर्ट वेक्टर मशीन)
• वर्गीकरण:
  
  • लॉजिस्टिक रिग्रेशन
  • भोले भाले
  • वर्गीकरण के लिए यादृच्छिक वन
  • वर्गीकरण के लिए एसवीएम (सपोर्ट वेक्टर मशीन)
• क्लस्टरिंग:
  
  • k-साधन

प्रशिक्षण के लिए डेटा तैयार करने के लिए, निम्नलिखित कार्यक्षमता प्रस्तुत की गई है:

• डेटा संतुलन
• उत्सर्जन की सफाई
• श्रेणीबद्ध (पाठ) कॉलम मानों को एन्कोडिंग
• मिसिंग डेटा की जगह
• डेटा सामान्यीकरण
• प्रधान घटक विश्लेषण
• डेटा सैंपलिंग
• एकवचन मान अपघटन

वर्टिका में एमएल कार्यक्षमता को ध्यान में रखते हुए, हम कह सकते हैं कि अंतर्निहित लाइब्रेरी हमें समस्याओं की एक विस्तृत श्रृंखला को हल करने की अनुमति देती है, लेकिन डेटा में पैटर्न और निर्भरता का अध्ययन करने के लिए बैकलॉग नहीं है। मशीन लर्निंग के लिए डेटा तैयार करने के लिए फ़ंक्शंस हैं, लेकिन ग्राफ़ के रूप में डेटा के वितरण की कल्पना किए बिना, विश्लेषण किए गए डेटा के विशेषज्ञ ज्ञान के साथ केवल विश्लेषण गुरु इस तरह के डेटा को तैयार कर सकते हैं और उस पर सीखने के मॉडल को प्रशिक्षित कर सकते हैं।

वर्टिका के साथ आर स्टूडियो

अधिक गहन और संवादात्मक पूर्वानुमान डेटा विश्लेषण के लिए, आर भाषा आदर्श रूप से अनुकूल है, जिसमें आर स्टूडियो डेटा के साथ काम करने के लिए एक दृश्य वातावरण है। वर्टिका के साथ R का उपयोग करने के मूर्त लाभ होंगे:

• अगले रन के बाद आगे के विश्लेषण के लिए राज्य को बचाने की क्षमता के साथ पर्यावरण की अन्तरक्रियाशीलता;
• तालिकाओं और रेखांकन के रूप में डेटा का दृश्य देखना;
• डेटा सेट के साथ काम करने के लिए भाषा की शक्ति;
• वर्टिका एमएल में प्रस्तुत किए गए लोगों के समान विभिन्न प्रकार के भविष्य कहनेवाला विश्लेषण एल्गोरिदम।

आर के साथ बड़े डेटा के साथ काम करने के नुकसान रैम की आवश्यकताएं हैं, बड़े डेटा सरणियों के साथ काम करने की गति, और वर्टिका डेटा को आयात और निर्यात करने की आवश्यकता है। इन कमियों को वर्टिका में एक क्लस्टर पर प्रत्यक्ष निष्पादन के लिए लिखित आर फ़ंक्शन को एम्बेड करने की क्षमता से कवर किया गया है, जिसे नीचे वर्णित किया जाएगा।

R से एक छोटा सा परिचय

हम आर का उपयोग करके वर्टिका डेटा पर स्वचालित बक्से के लिए पूर्वानुमान को पुन: पेश करेंगे। इस भाषा से अपरिचित प्रोग्रामरों को डराने के लिए नहीं, मैं एक युवा लड़ाकू आर का एक छोटा कोर्स आयोजित करूंगा।

तो, आर भाषा वही प्रक्रियात्मक भाषा है जिसमें ऑब्जेक्ट्स, कक्षाएं और फ़ंक्शन हैं।
ऑब्जेक्ट डेटा सेट (वेक्टर, सूची, डेटासेट ...), मान (पाठ, संख्या, दिनांक, समय ...) या एक फ़ंक्शन हो सकता है। मानों के लिए, संख्यात्मक, स्ट्रिंग, बूलियन और दिनांक-समय प्रकार समर्थित हैं। डेटासेट के लिए, सरणी क्रमांक 1 से शुरू होता है, 0 से नहीं।

आर में, "=" के बजाय, असाइनमेंट ऑपरेटर "<-" का उपयोग किया जाता है। हालांकि यह दूसरी तरफ "->" और यहां तक ​​कि सामान्य "=" असाइनमेंट का उपयोग करने के लिए मना नहीं है। नामित मापदंडों को निर्दिष्ट करने के लिए फ़ंक्शन को कॉल करते समय ऑपरेटर "=" स्वयं का उपयोग किया जाता है।

इसके बजाय "।" "$" का उपयोग डेटा सेट के क्षेत्र तक पहुंचने के लिए किया जाता है। डॉट एक कीवर्ड नहीं है और इसका उपयोग पठनीयता बढ़ाने के लिए ऑब्जेक्ट नामों में किया जाता है। इस प्रकार, "my.data $ फ़ील्ड" डेटा सेट "my.data" से फ़ील्ड "फ़ील्ड" के रिकॉर्ड के एक सरणी के रूप में डिक्रिप्ट किया जाएगा।

आप टेक्स्ट को फ्रेम करने के लिए सिंगल या डबल कोटेशन मार्क्स का उपयोग कर सकते हैं।

सबसे महत्वपूर्ण: आर डेटा सेट के साथ काम करने के लिए तैयार है। यहां तक ​​कि अगर कोड "ए <-1" कहता है, तो सुनिश्चित करें कि आर अंदर ही मानता है कि "ए" 1 तत्व की एक सरणी है। भाषा डिज़ाइन आपको साधारण चर के साथ डेटा सेट के साथ काम करने की अनुमति देता है: माप द्वारा जोड़ें और घटाएं, कनेक्ट करें और डिस्कनेक्ट करें, फ़िल्टर करें। अपने तत्वों को सूचीबद्ध करने वाले ऐरे को बनाने का सबसे आसान तरीका है कि फ़ंक्शन को "सी (कॉमा द्वारा अलग किए गए एरे तत्व)" कहा जाए। नाम "सी" को स्पष्ट रूप से संग्रह के लिए संक्षिप्त नाम के रूप में लिया जाता है, लेकिन मैं यह सुनिश्चित करने के लिए नहीं कहता।

DBMS के डेटा को R में लोड करना

R के लिए ODBC के माध्यम से RDBMS का उपयोग करने के लिए, आपको RODBC पैकेज स्थापित करना होगा। इसे R स्टूडियो में संकुल टैब पर या R कमांड का उपयोग करके स्थापित किया जा सकता है:

 install.packages('RODBC') library('RODBC') 

अब हम वर्टिका के साथ काम कर सकते हैं। हम सर्वर के लिए एक ODBC उपनाम बनाते हैं और परीक्षण डेटा और कार के लिए पूरा डेटा सेट प्राप्त करते हैं:

 #    Vertica con <- odbcConnect(dsn='VerticaDSN') #    mtcars_train mtcars.train <- sqlQuery(con, "SELECT * FROM public.mtcars_train") #    mtcars</b> mtcars.data <- sqlQuery(con, "SELECT * FROM public.mtcars") #   odbcClose(con) 

पाठ प्रकारों और दिनांक-समय के क्षेत्रों के लिए स्रोतों R से डेटा लोड करते समय, उनके कारकों का संबंध स्वतः स्थापित हो जाता है। "एम" फ़ील्ड एक संख्यात्मक प्रकार का है और आर को संख्यात्मक संकेतक के रूप में माना जाता है, और एक कारक नहीं है, जो लॉजिस्टिक प्रतिगमन के लिए अनुमति नहीं देगा। इसलिए, हम इस क्षेत्र को एक संख्यात्मक कारक में परिवर्तित करते हैं:

 mtcars.data$am = factor(mtcars.data$am) mtcars.train$am = factor(mtcars.train$am) 

आर स्टूडियो में यह डेटा को इंटरेक्टिव रूप से देखने के लिए सुविधाजनक है, भविष्य कहनेवाला विश्लेषण के ग्राफ का निर्माण और युक्तियों के साथ आर में कोड लिखें:

आर में एक मॉडल का निर्माण

हम वर्टिका में समान आयामों के लिए तैयार किए गए डेटा पर लॉजिस्टिक रिग्रेशन का एक मॉडल बनाएंगे:

 mtcars.model <- glm(formula = am ~ cyl + wt + gear, family = binomial(), data = mtcars.train) 

स्पष्टीकरण: R भाषा में, भविष्य कहनेवाला विश्लेषण सूत्र निम्नानुसार इंगित किया गया है:

 <  >~<   > 

आर में मॉडल डेटा का विश्लेषण

हम परिणामी डेटा सेट को आरंभ करते हैं, आवश्यक फ़ील्ड के सभी रिकॉर्ड mtcars से लेते हैं:

 mtcars.result <- data.frame(car_model = mtcars.data$car_model, am = mtcars.data$am, predict = 0) 

अब, निर्मित मॉडल के आधार पर, आप डेटा पर ही विश्लेषण कर सकते हैं:

 mtcars.result$predict <- predict.glm(mtcars.model, newdata = subset(mtcars.data, select = c('cyl', 'wt', 'gear')), type = 'response' ) 

पूर्वानुमान के संभाव्यता के प्रतिशत के रूप में विश्लेषण परिणाम की भविष्यवाणी क्षेत्र में वापस आ जाती है। 50 या अधिक% की संभावना के साथ पूर्वानुमान को सकारात्मक मानते हुए, वर्टिका के साथ सादृश्य 0 या 1 के मान से सरल बनाएं।

 mtcars.result$predict <- ifelse(mtcars.result$predict > 0.5, 1, 0) 

हम रिकॉर्ड की कुल संख्या की गणना करते हैं, जिसके लिए पूर्वानुमानित भविष्यवाणी क्षेत्र में वास्तविक मूल्य से मेल नहीं खाता है:

 nrow(mtcars[mtcars.result$am != mtcars.result$predict, ]) 

R शून्य पर लौटा। इस प्रकार, पूर्वानुमान वर्टिका के एमएल के रूप में सभी कार मॉडल पर परिवर्तित हो गया।

कृपया ध्यान दें: mtcars से रिकॉर्ड सभी कॉलम के साथ फिल्टर (स्क्वायर ब्रैकेट में पहला पैरामीटर) द्वारा लौटाया गया था (वर्ग ब्रैकेट में कॉमा के बाद छोड़ा गया दूसरा पैरामीटर)।

आर में स्थानीय रूप से डेटा को सहेजना और लोड करना

आर से बाहर निकलने पर, स्टूडियो पुनः आरंभ करने के बाद काम जारी रखने के लिए सभी वस्तुओं की स्थिति को बचाने की पेशकश करता है। यदि किसी कारण से आपको व्यक्तिगत वस्तुओं की स्थिति को बचाने और फिर से स्थापित करने की आवश्यकता है, तो इसके लिए आर में विशेष कार्य प्रदान किए जाते हैं:

 #      save(mtcars.model, file = 'mtcars.model') #      load('mtcars.model') 

आर से वर्टिका तक डेटा की बचत

यदि आर स्टूडियो का उपयोग एमएल वर्टिका मॉडल के प्रशिक्षण के लिए डेटा तैयार करने के लिए किया गया था, या यदि इसमें सीधे विश्लेषण किया गया था, जिसे तब वर्टिका डेटाबेस में उपयोग किया जाना है, तो आर डेटा सेट को वर्टिका तालिका में लिखा जा सकता है।

चूंकि R के लिए ODBC लाइब्रेरी OLTP RDBMS के लिए डिज़ाइन की गई है, इसलिए यह वर्टिका के लिए तालिका निर्माण क्वेरी को सही ढंग से नहीं बना सकती है। इसलिए, डेटा को सफलतापूर्वक रिकॉर्ड करने के लिए, आपको मैन्युअल रूप से एसक्यूएल का उपयोग करके वर्टिका में आवश्यक तालिका बनाने की आवश्यकता होगी, फ़ील्ड का सेट और प्रकार जिनमें से रिकॉर्ड करने योग्य डेटा सेट आर के साथ मेल खाता है।

इसके अलावा, रिकॉर्डिंग प्रक्रिया अपने आप में सरल लगती है (खोलने और फिर कनेक्शन बंद करने के लिए मत भूलना):

 sqlSave(con, mtcars.result, tablename = 'public.mtcars_result', append = TRUE, rownames = FALSE, colnames = FALSE) 

आर के साथ वर्टिका का उपयोग करना

आर स्टूडियो में डेटा के साथ इंटरएक्टिव काम अनुसंधान के मोड और डेटा की तैयारी के लिए अच्छी तरह से अनुकूल है। लेकिन यह स्वचालित रूप से डेटा धाराओं और बड़े सरणियों के विश्लेषण के लिए पूरी तरह से अनुपयुक्त है। वर्टिका के साथ हाइब्रिड आर प्रेडिक्टिव एनालिसिस स्कीम के विकल्पों में से एक है, आर पर सीखने और बिल्डिंग मॉडल के लिए निर्भरता की पहचान करने के लिए डेटा तैयार करना। फिर, वर्टिका में निर्मित एमएल कार्यों का उपयोग करते हुए, आर पर तैयार आंकड़ों के पूर्वानुमान मॉडल को चर की पहचान की गई निर्भरता को ध्यान में रखते हुए प्रशिक्षित किया जाता है।

एक अधिक लचीला विकल्प है जब आर भाषा की सभी शक्ति सीधे वर्टिका के नीचे से उपयोग की जाती है। इसके लिए, वर्टिका ने आर-डिस्ट्रीब्यूशन को प्लग-इन लाइब्रेरी के रूप में विकसित किया, जो आपको SQL क्वेरीज़ में सीधे R लैंग्वेज में लिखे ट्रांसफ़ॉर्मेशन फंक्शन्स का उपयोग करने की अनुमति देता है। डॉक्यूमेंट में वर्टिका के लिए R सपोर्ट की स्थापना और ऑपरेशन के लिए आवश्यक अतिरिक्त R पैकेज्स, यदि कोई हो, के बारे में विस्तार से वर्णन किया गया है।

वर्टिका में सेविंग मॉडल आर

वर्टिका के अंतर्गत चल रहे R फ़ंक्शन में R Studio द्वारा पहले तैयार किए गए विश्लेषण मॉडल का उपयोग करने के लिए, आपको उन्हें वर्टिका सर्वर पर सहेजने की आवश्यकता है। फ़ाइल के साथ क्लस्टर के प्रत्येक सर्वर पर स्थानीय रूप से सहेजना न तो सुविधाजनक है और न ही विश्वसनीय, नए सर्वरों को क्लस्टर में जोड़ा जा सकता है, और मॉडल को बदलते समय आपको सभी फाइलों को फिर से लिखने के लिए याद रखना होगा।

सबसे सुविधाजनक तरीका यह है कि आर मॉडल को टेक्स्ट में क्रमबद्ध करें और वर्टिका फ़ंक्शन को यूडीएफ के रूप में सहेजें, जो इस टेक्स्ट को एक स्थिरांक के रूप में लौटा देगा (कॉन कनेक्शन को खोलना और फिर बंद करना न भूलें):

 #     mtcars.model.text <- rawToChar( serialize(mtcars.model, connection = NULL, ascii = TRUE)) #       Vertica # (     ) mtcars.func <- paste0( "CREATE OR REPLACE FUNCTION public.MtCarsAnalizeModel() RETURN varchar(65000) AS BEGIN RETURN '", gsub("'", "''", mtcars.model.text), "'; END; GRANT EXECUTE ON FUNCTION public.MtCarsAnalizeModel() TO public;" ) #    Vertica sqlQuery(con, mtcars.func) 

प्रस्तावित विधि परिवर्तन समारोह में संचरित मापदंडों पर वर्टिका के प्रतिबंध को दरकिनार करने की अनुमति देती है, जहां केवल स्थिरांक या स्थिरांक से स्थानांतरण की आवश्यकता होती है। वर्टिका यूडीएफ एसक्यूएल फ़ंक्शन के रूप में नहीं, बल्कि गणना की गई अभिव्यक्तियों के रूप में संकलित करता है, जो कि फ़ंक्शन को कॉल करने के बजाय, इसके पाठ (इस मामले में एक स्थिर) को स्थानांतरित किया जाएगा, जो ऊपर दिए गए कोड में सहेजा गया था।

यदि आप मॉडल बदलते हैं, तो आपको वर्टिका में इसके फ़ंक्शन को फिर से बनाना होगा। इस कोड को एक सार्वभौमिक फ़ंक्शन में लपेटने के लिए समझ में आता है जो पारित मॉडल से निर्दिष्ट नाम के साथ वर्टिका में एक फ़ंक्शन उत्पन्न करता है।

वर्टिका के लिए कार्य करता है

आर कार्यों को वर्टिका से जोड़ने के लिए, आपको वर्टिका में डेटा विश्लेषण और पंजीकरण कार्यों को लिखने की आवश्यकता है।

वर्टिका के तहत डेटा के साथ काम करने के कार्य में दो पैरामीटर होने चाहिए: परिणामी डेटा सेट (जैसे डेटा.फ्रेम) और कार्य पैरामीटर (जैसे सूची):

 MtCarsAnalize <- function(data, parameters) { if ( is.null(parameters[['model']]) ) { stop("NULL value for model! Model cannot be NULL.") } else { model <- unserialize(charToRaw(parameters[['model']])) } names(data) <- c('car_model', 'cyl', 'wt', 'gear') result <- data.frame(car_model = data$car_model, predict = 0) result$predict <- predict.glm(model, newdata = subset(data, select = c('cyl', 'wt', 'gear')), type = 'response' ) result$predict <- ifelse(result$predict > 0.5, TRUE, FALSE) return(result) } 

फ़ंक्शन के शरीर में, यह जांच की जाती है कि मॉडल पैरामीटर पारित हो गया है, जिसमें से पाठ को द्विआधारी रूप में अनुवाद किया गया है और विश्लेषण मॉडल की वस्तु में deserialized है। चूंकि वर्टिका फ़ंक्शन के लिए अपने स्वयं के फ़ील्ड नामों को डेटासेट में स्थानांतरित करता है, इसलिए स्पष्ट फ़ील्ड नाम डेटासेट पर सेट किए जाते हैं। प्राप्त आंकड़ों के आधार पर, एक परिणाम सेट का निर्माण मशीन मॉडल और शून्य भविष्यवाणी के नाम के साथ किया जाता है। अगला, प्राप्त आंकड़ों के सेट से विश्लेषण के लिए केवल आवश्यक फ़ील्ड का उपयोग करके एक पूर्वानुमान का निर्माण किया जाता है। परिणाम सेट का पूर्वानुमान फ़ील्ड बूलियन मानों (संख्यात्मक परिवर्तनों के बजाय परिवर्तन के लिए) पर सेट है और परिणाम फ़ंक्शन से वापस आ गया है।

अब यह वर्टिका में इस समारोह के पंजीकरण का वर्णन करने के लिए बना हुआ है:

 MtCarsAnalizeFactory <- function() { list(name = MtCarsAnalize, udxtype = c("transform"), intype = c("varchar", "int", "float", "int"), outtype = c("varchar", "boolean"), outnames = c("car_model", "predict"), parametertypecallback=MtCarsAnalizeParameters) } MtCarsAnalizeParameters <- function() { parameters <- list(datatype = c("varchar"), length = 65000, scale = c("NA"), name = c("model")) return(parameters) } 

MtCarsAnalizeFactory फ़ंक्शन ऑपरेशन के लिए उपयोग किए जाने वाले फ़ंक्शन का नाम, आवक और आउटगोइंग डेटा सेट के लिए फ़ील्ड का वर्णन करता है, और दूसरा फ़ंक्शन पास किए गए पैरामीटर "मॉडल" का वर्णन करता है। फ़ील्ड प्रकार वर्टिका डेटा प्रकार हैं। डेटा को स्थानांतरित करने और वापस करने पर, वर्टिका स्वचालित रूप से आर भाषा के लिए आवश्यक डेटा प्रकारों में मूल्यों को परिवर्तित करता है। आप वर्टिका प्रलेखन में टाइप संगतता तालिका देख सकते हैं।

आप आर स्टूडियो में अपलोड किए गए डेटा पर वर्टिका के लिए लिखित फ़ंक्शन के संचालन का परीक्षण कर सकते हैं:

 test.data = subset(mtcars.data, select = c('car_model', 'cyl', 'wt', 'gear')) test.params = list(model = mtcars.model.text) test.result = MtCarsAnalize(test.data, test.params) 

फीचर लाइब्रेरी को वर्टिका से कनेक्ट करें

हम उपरोक्त सभी कार्यों को एक फ़ाइल "mtcars_func.r" में सहेजते हैं और इस फाइल को "/ home / dbadmin" में वर्टिका क्लस्टर से सर्वर में से किसी एक पर अपलोड करते हैं।

एक महत्वपूर्ण बिंदु: आर स्टूडियो में, आपको Posix (LF) मोड में फ़ाइलों के अनुवाद को सहेजने के लिए विकल्प सेट करने की आवश्यकता है। यह वैश्विक विकल्पों, कोड अनुभाग, बचत टैब में किया जा सकता है। यदि आप विंडोज पर काम कर रहे हैं, तो डिफ़ॉल्ट रूप से फाइल को गाड़ी के रिटर्न के साथ सहेजा जाएगा और वर्टिका पर अपलोड नहीं किया जा सकेगा।

हम वर्टिका क्लस्टर से सर्वर से कनेक्ट करते हैं, जिससे हमने फ़ाइल को बचाया और लाइब्रेरी लोड की:

 CREATE LIBRARY MtCarsLibs AS '/home/dbadmin/mtcars_func.r' LANGUAGE 'R'; 

अब इस लाइब्रेरी से आप R फंक्शन रजिस्टर कर सकते हैं:

 CREATE TRANSFORM FUNCTION public.MtCarsAnalize AS LANGUAGE 'R' NAME 'MtCarsAnalizeFactory' LIBRARY MtCarsLibs; GRANT EXECUTE ON TRANSFORM FUNCTION public.MtCarsAnalize(varchar, int, float, int) TO public; 

वर्टिका में कॉल आर फ़ंक्शन

हम आर फ़ंक्शन को कहते हैं, इसे मॉडल टेक्स्ट पास करते हैं, जिसे पहले यूडीएफ फ़ंक्शन के रूप में सहेजा गया था:

 SELECT MtCarsAnalize(car_model, cyl, wt, gear USING PARAMETERS model = public.MtCarsAnalizeModel()) OVER() FROM public.mtcars; 

यह सत्यापित किया जा सकता है कि, पिछले मामलों की तरह, पूर्वानुमान वास्तविक मामलों की स्थिति के अनुरूप 100% है:

 SELECT c.*, p.predict, p.predict = c.am::int AS valid FROM public.mtcars c INNER JOIN ( SELECT MtCarsAnalize(car_model, cyl, wt, gear USING PARAMETERS model = public.MtCarsAnalizeModel()) OVER() FROM public.mtcars ) p ON c.car_model = p.car_model 

कृपया ध्यान दें: वर्टिका में परिवर्तन फ़ंक्शन फ़ील्ड्स और फ़ंक्शन के भीतर परिभाषित किए गए रिकॉर्ड से अपने स्वयं के डेटा सेट को वापस करते हैं, हालांकि यदि वे एक सबक्वेरी में लिपटे हैं, तो उनका उपयोग प्रश्नों में किया जा सकता है।

जब आर फ़ंक्शन जुड़े होते हैं, तो वर्टिका स्रोत कोड को इसकी स्थापना के लिए कॉपी करता है, जिसे यह मशीन कोड में संकलित करता है। लाइब्रेरी से कनेक्ट करने के बाद सर्वर पर अपलोड की गई स्रोत आर फ़ाइल को आगे के काम के लिए आवश्यक नहीं है। बाइनरी डेटा संकलन में कार्य करने की गति बड़ी डेटा सरणियों के साथ काम करने के लिए पर्याप्त है, हालांकि, यह याद रखने योग्य है कि सभी आर ऑपरेशन मेमोरी में किए जाते हैं और अगर वर्टिका और आर के साथ काम करने के लिए ओएस मेमोरी की कमी है तो स्वैप जाने का जोखिम है। ।

यदि फ़ंक्शन को OVER के लिए पार्टीशन में निर्दिष्ट डेटा के विभाजन पर कहा जाता है, तो वर्टिका क्लस्टर सर्वर पर प्रत्येक विभाजन के निष्पादन को समानांतर करता है। इस प्रकार, यदि कोई निर्माता अभी भी मशीन मॉडल के अतिरिक्त डेटा सेट में मौजूद था, तो आप इसे पार्टी द्वारा निर्दिष्ट कर सकते हैं और प्रत्येक निर्माता के लिए विश्लेषण को समानांतर कर सकते हैं।

अन्य वर्टिका मशीन सीखने के अवसर

आर के अलावा, वर्टिका सी, जावा और पायथन में अपने स्वयं के परिवर्तन कार्यों को विकसित कर सकता है। प्रत्येक भाषा की अपनी बारीकियों और लिखने और वर्टिका से जुड़ने की विशेषताएं हैं। अपने स्वयं के एमएल के साथ मिलकर, यह सब वर्टिका को भविष्य कहनेवाला डेटा विश्लेषण के लिए एक अच्छा रिज़र्व देता है।

धन्यवाद और लिंक

मैं अपने दोस्त और सहकर्मी व्लाद मालोफीव को पर्म से ईमानदारी से धन्यवाद देना चाहता हूं, जिन्होंने मुझे आर से मिलवाया और हमारी एक संयुक्त परियोजना में इसका पता लगाने में मदद की।

प्रारंभ में, एक परियोजना में जहां पिछले वर्ष के डेटा का उपयोग करके भविष्य के लिए कठिन परिस्थितियों पर पूर्वानुमान लगाया गया था, डेवलपर्स ने SQL और Java का उपयोग करने का प्रयास किया। इससे इन स्रोतों की गुणवत्ता को ध्यान में रखते हुए बड़ी कठिनाइयों का सामना करना पड़ा और इसने परियोजना के विकास को धीमा कर दिया। व्लाद आर के साथ परियोजना के लिए आया था, हमने आर को वर्टिका से जोड़ा, उसने डेटा को स्टूडियो और सबकुछ से अलग कर दिया और तुरंत सुंदर हो गया। वास्तव में, हफ्तों में, जो कुछ महीनों तक चला था, उस परियोजना को जटिल कोड से बचाया गया था।

जीआईटी रिपॉजिटरी से कारों का उदाहरण डेटा डाउनलोड किया जा सकता है:

 git clone https://github.com/vertica/Machine-Learning-Examples 

और वर्टिका में अपलोड करें:

 /opt/vertica/bin/vsql -d <name of your database> -f load_ml_data.sql 

यदि आप एमएल में गहराई से जाना चाहते हैं और आर के साथ काम करना सीखते हैं, तो मैं रूसी में "कार्रवाई में आर" पुस्तक की सिफारिश करता हूं । R भाषा में डेटा का विश्लेषण और दृश्य । " यह एक सरल, सुलभ मानव भाषा में लिखा गया है और शुरुआती लोगों के लिए उपयुक्त है जिन्होंने पहले मशीन लर्निंग का सामना नहीं किया है।

यहां आप आर लाइब्रेरी को वर्टिका से जोड़ने के बारे में जानकारी देख सकते हैं।

उन लोगों के लिए जो पहले से ही पायथन में एमएल सीखना और उपयोग करना शुरू कर चुके हैं, यह आईडीई रोडियो पर ध्यान देने योग्य है, यह आर स्टूडियो का एक एनालॉग है, क्योंकि इंटरैक्टिव गुणवत्ता के बिना विश्लेषण असंभव है। मुझे लगता है कि आर के तहत इस तरह के लेख में वर्णित सब कुछ पायथन में विकसित किया जा सकता है, जिसमें यूडीएफ कार्यों में मॉडल को बचाने और वर्टिका के लिए विश्लेषण कार्यों को विकसित करना शामिल है। यदि आप जांच करते हैं, तो टिप्पणियों में परिणामों के बारे में सदस्यता समाप्त करने के लिए मत भूलना, मैं जानकारी के लिए आभारी रहूंगा।

अपने समय के लिए धन्यवाद और मुझे आशा है कि मैं आर और वर्टिका के सहजीवन की सादगी और अविश्वसनीय क्षमताओं का प्रदर्शन करने में सक्षम था।