R और PostgreSQL का मिलन। हम हवाई अड्डों के काम का विश्लेषण करते हैं, पेंशन की गणना करते हैं

भाग I। R अर्क और ड्रॉ

बेशक, PostgreSQL एक सार्वभौमिक DBMS के रूप में बहुत शुरुआत से बनाया गया था, और एक विशेष OLAP प्रणाली के रूप में नहीं। लेकिन Postgres के महान लाभों में से एक प्रोग्रामिंग भाषाओं के लिए इसका समर्थन है, जिसके साथ आप इसमें से कुछ भी बना सकते हैं। अंतर्निहित प्रक्रियात्मक भाषाओं की बहुतायत को देखते हुए, इसका कोई समान नहीं है। पीएल / आर - आर का सर्वर कार्यान्वयन - विश्लेषकों की पसंदीदा भाषा - उनमें से एक। लेकिन उस पर और बाद में।

R अजीबोगरीब डेटा प्रकारों के साथ एक अद्भुत भाषा है - list , उदाहरण के लिए, न केवल विभिन्न प्रकारों के डेटा को शामिल कर सकते हैं, बल्कि कार्य भी कर सकते हैं (सामान्य रूप से, भाषा उदार है, और हम इसके किसी विशेष परिवार से संबंधित के बारे में बात नहीं करेंगे, ताकि विचलित करने वाले विचार-विमर्श न करें)। इसमें एक बहुत data.frame डेटा है जो RDBMS टेबल की नकल करता है - यह एक मैट्रिक्स है जिसमें कॉलम में विभिन्न डेटा प्रकार होते हैं जो स्तंभ स्तर पर सामान्य होते हैं। इसलिए (और अन्य कारणों से) आर में डेटाबेस के साथ काम करना काफी सुविधाजनक है।

हम RStudio वातावरण में कमांड लाइन पर काम करेंगे और ODBC RpostgreSQL ड्राइवर के माध्यम से PostgreSQL से जुड़ेंगे । वे स्थापित करना आसान है।

चूंकि R उन लोगों के लिए S भाषा के एक प्रकार के संस्करण के रूप में बनाया गया था, जो आंकड़ों में लगे हुए हैं, इसलिए हम साधारण ग्राफिक्स से सरल आंकड़ों के उदाहरण भी देंगे। हमारे पास भाषा को पेश करने का कोई लक्ष्य नहीं है, लेकिन आर और पोस्टग्रेक्यूएल की बातचीत को दिखाने का एक लक्ष्य है।

PostgreSQL में संग्रहीत डेटा को संसाधित करने के तीन तरीके हैं।

सबसे पहले, आप डेटाबेस से डेटा को किसी भी सुविधाजनक तरीके से पंप कर सकते हैं, इसे पैक कर सकते हैं, कह सकते हैं, JSON में - आर इसे समझता है - और इसे आगे आर में संसाधित करता है। यह आमतौर पर सबसे कुशल तरीका नहीं है और निश्चित रूप से सबसे दिलचस्प नहीं है, हम यहां पर विचार नहीं करेंगे।

दूसरे, आप डेटाबेस के साथ संवाद कर सकते हैं - इसे पढ़ सकते हैं और इसमें डेटा डंप कर सकते हैं - आर वातावरण से क्लाइंट के रूप में, ओडीबीसी / डीबीआई ड्राइवर का उपयोग करते हुए, डेटा को आर में प्रसंस्करण करते हैं। हम दिखाएंगे कि यह कैसे किया जाता है।

और अंत में, आप पीएल / आर को एकीकृत प्रक्रियात्मक भाषा के रूप में उपयोग करके, डेटाबेस सर्वर पर पहले से ही आर टूल्स के साथ प्रसंस्करण कर सकते हैं। यह कई मामलों में समझ में आता है, क्योंकि आर में हैं, उदाहरण के लिए, डेटा एकत्र करने के लिए सुविधाजनक साधन जो कि pl/pgsql में नहीं हैं। हम इसे भी दिखाएंगे।

एक सामान्य दृष्टिकोण परियोजना के विभिन्न चरणों में 2 और 3 विकल्प का उपयोग करना है: पहले कोड को बाहरी कार्यक्रम के रूप में डीबग करें, और फिर इसे आधार पर स्थानांतरित करें।

चलिए शुरू करते हैं। भाषा की व्याख्या की। इसलिए, आप चरणों का पालन कर सकते हैं, या आप कोड को स्क्रिप्ट में डंप कर सकते हैं। स्वाद का मामला: इस लेख में उदाहरण कम हैं।

सबसे पहले, निश्चित रूप से, आपको उपयुक्त ड्राइवर को कनेक्ट करने की आवश्यकता है:

 # install.packages("RPostgreSQL") require("RPostgreSQL") drv <- dbDriver("PostgreSQL") 

असाइनमेंट ऑपरेशन R में दिखता है, जैसा कि आप देख सकते हैं, अजीब। सामान्य तौर पर, R <- b में इसका मतलब b -> a के समान है, लेकिन लेखन का पहला तरीका अधिक सामान्य है।

हम समाप्त डेटाबेस ले लेंगे: एयर ट्रांसपोर्ट डेमोबेस , जिसका उपयोग पोस्टग्रैज व्यावसायिक प्रशिक्षण सामग्री द्वारा किया जाता है । इस पृष्ठ पर आप डेटाबेस विकल्प को स्वाद के लिए चुन सकते हैं (अर्थात, आकार) और उसका विवरण पढ़ें। हम सुविधा के लिए डेटा योजना का पुनरुत्पादन करते हैं:



मान लीजिए कि आधार 192.168.1.100 सर्वर पर स्थापित है और इसे demo कहा जाता है। कनेक्ट:

 con <- dbConnect(drv, dbname = "demo", host = "192.168.1.100", port = 5434, user = "u_r") 

हम जारी रखते हैं। आइए ऐसे अनुरोध के साथ देखें कि किन शहरों की उड़ानें सबसे अधिक देर से होती हैं:

 SELECT ap.city, avg(extract(EPOCH FROM f.actual_arrival) - extract(EPOCH FROM f.scheduled_arrival))/60.0 t FROM airports ap, flights f WHERE ap.airport_code = f.departure_airport AND f.scheduled_arrival < f.actual_arrival AND f.departure_airport = ap.airport_code GROUP BY ap.city ORDER BY t DESC LIMIT 10; 

देर से आने के लिए, हमने पोस्टग्रैज extract(EPOCH FROM ...) का उपयोग करके timestamp क्षेत्र से "पूर्ण" सेकंड निकालने के लिए निर्माण किया और 60.0 से विभाजित किया, 60 के बजाय, शेष को त्यागने से बचने के लिए जब पूर्णांक के रूप में समझा। EXTRACT MINUTE उपयोग नहीं किया जा सकता है, क्योंकि एक घंटे से अधिक समय तक देरी होती है। हम avg ऑपरेटर द्वारा विलंबता को avg करते हैं।

हम पाठ को चर में पास करते हैं और सर्वर को अनुरोध भेजते हैं:

 sql1 <- "SELECT ... ;" res1 <- dbGetQuery(con, sql1) 

अब हम यह पता लगाएंगे कि अनुरोध किस रूप में आया था। ऐसा करने के लिए, R भाषा में एक class() फ़ंक्शन होता है

 class (res1) 

यह दिखाएगा कि परिणाम data.frame प्रकार में पैक किया गया था, data.frame , हम याद करते हैं कि यह बेस टेबल का एक एनालॉग है: वास्तव में, यह एक मैट्रिक्स है जिसमें मनमाने प्रकार के कॉलम होते हैं। वैसे, वह कॉलम के नाम जानती है, और कॉलम, यदि कुछ भी, एक्सेस किया जा सकता है, उदाहरण के लिए, जैसे:

 print (res1$city) 

यह सोचने का समय है कि परिणामों की कल्पना कैसे की जाए। ऐसा करने के लिए, आप देख सकते हैं कि हमारे पास क्या है। उदाहरण के लिए, इस सूची में से उचित अनुसूची चुनें:

• आर-बार चार्ट (बार)
• आर-बॉक्सप्लेट्स (स्टॉक)
• आर-Histograms (हिस्टोग्राम)
• R- रेखा रेखांकन (रेखांकन)
• आर-स्कैटरप्लॉट (बिंदु)

यह ध्यान में रखा जाना चाहिए कि प्रत्येक प्रकार के इनपुट के लिए, छवि के लिए उपयुक्त डेटा प्रकार की आपूर्ति की जाती है। एक बार चार्ट (लेटा हुआ बार) चुनें। इसे अक्षीय मानों के लिए दो वैक्टर की आवश्यकता होती है। आर में "वेक्टर" प्रकार केवल उसी प्रकार के मूल्यों का एक सेट है। c() एक वेक्टर कंस्ट्रक्टर है।

आप data.frame प्रकार के परिणामस्वरूप आवश्यक दो वैक्टर उत्पन्न कर सकते हैं:

 Time <- res1[,c('t')] City <- res1[,c('city')] class (Time) class (City) 

दाएं हाथ की तरफ के भाव अजीब लगते हैं, लेकिन यह एक सुविधाजनक तकनीक है। इसके अलावा, विभिन्न अभिव्यक्तियों को बहुत कॉम्पैक्ट रूप से आर में लिखा जा सकता है। अल्पविराम से पहले वर्ग कोष्ठक में, श्रृंखला का सूचकांक, अल्पविराम के बाद - स्तंभ का सूचकांक। तथ्य यह है कि अल्पविराम कुछ भी नहीं है इसका मतलब केवल यह है कि सभी मान संगत कॉलम से चुने जाएंगे।

समय वर्ग numeric , और शहर वर्ग character । ये वैक्टर की किस्में हैं।

अब आप विज़ुअलाइज़ेशन खुद कर सकते हैं। आपको एक चित्र फ़ाइल निर्दिष्ट करनी होगी।

 png(file = "/home/igor_le/R/pics/bars_horiz.png") 

उसके बाद, एक थकाऊ प्रक्रिया निम्नानुसार है: चार्ट के पैरामीटर ( par ) सेट करें। और यह नहीं कहना है कि आर ग्राफिक्स पैकेज में सब कुछ सहज था। उदाहरण के लिए, las पैरामीटर स्वयं अक्षों के सापेक्ष अक्षों के साथ मानों के साथ लेबल की स्थिति निर्धारित करता है:

• कुल्हाड़ियों के समानांतर 0 और डिफ़ॉल्ट रूप से;
• 1 - हमेशा क्षैतिज;
• 2 - कुल्हाड़ियों के लंबवत;
• 3 - हमेशा ईमानदार

हम सभी मापदंडों को चित्रित नहीं करेंगे। सामान्य तौर पर, उनमें से बहुत सारे हैं: फ़ील्ड, तराजू, रंग - अपने अवकाश पर प्रयोग करें।

 par(las=1) par(mai=c(1,2,1,1)) 

अंत में, हम लेटा हुआ कॉलम से एक ग्राफ बनाते हैं:

 barplot(Time, names.arg=City, horiz=TRUE, xlab=" ()", col="green", main="  ", border="red", cex.names=0.9) 

वह सब नहीं है। मुझे एक आखिरी बात कहनी चाहिए:

 dev.off() 

एक बदलाव के लिए हम अभी भी अक्षांश के डॉट आरेख को आकर्षित करेंगे। अनुरोध से सीमा हटाएं, बाकी समान है। लेकिन एक स्कैटर चार्ट को एक वेक्टर की आवश्यकता होती है, दो की नहीं।

 Dots <- res2[,c('t')] png(file = "/home/igor_le/R/scripts/scatter.png") plot(input5, xlab="",ylab="",main=" ") dev.off() 

विज़ुअलाइज़ेशन के लिए, हमने मानक पैकेजों का उपयोग किया। यह स्पष्ट है कि R एक लोकप्रिय भाषा है और पैकेज अनंत के आसपास मौजूद हैं। आप पहले से ही इस तरह से स्थापित लोगों के बारे में पूछ सकते हैं:

 library() 

भाग II R सेवानिवृत्त लोगों को उत्पन्न करता है

न केवल डेटा विश्लेषण के लिए, बल्कि उनकी पीढ़ी के लिए भी उपयोग करना सुविधाजनक है। जहाँ समृद्ध सांख्यिकीय कार्य हैं, वहाँ यादृच्छिक क्रम बनाने के लिए विभिन्न प्रकार के एल्गोरिदम नहीं हो सकते हैं। विशेष रूप से, आप विशिष्ट (गौसियन) का उपयोग कर सकते हैं और डेटाबेस के प्रश्नों का अनुकरण करने के लिए काफी विशिष्ट (ज़िपफ) वितरण नहीं कर सकते हैं।

लेकिन इसके बारे में अगले भाग में।