अभ्यास से पता चलता है कि कई उद्यम कंपनियों को विश्लेषणात्मक परियोजनाओं को लागू करने में कठिनाइयों का सामना करना पड़ता है।

बात यह है कि, लोहे की आपूर्ति या विक्रेता समाधानों के कार्यान्वयन के लिए शास्त्रीय परियोजनाओं के विपरीत, जो निष्पादन के एक रैखिक मॉडल में फिट होते हैं, उन्नत विश्लेषिकी (डेटा विज्ञान) से संबंधित कार्य बहुत स्पष्ट और स्पष्ट तकनीकी विनिर्देश के रूप में औपचारिक रूप से औपचारिक रूप से व्यक्त करने के लिए मुश्किल होते हैं। कलाकार। स्थिति इस तथ्य से बढ़ जाती है कि कार्य के कार्यान्वयन के लिए विभिन्न आंतरिक आईटी प्रणालियों और डेटा स्रोतों के एक बड़े पैमाने पर एकीकरण की आवश्यकता होती है, कुछ सवाल और जवाब डेटा के साथ काम शुरू होने के बाद ही दिखाई दे सकते हैं और एक वास्तविक स्थिति का पता चलता है, जो दुनिया की दस्तावेजी तस्वीर से बहुत अलग है। इसका मतलब यह है कि सक्षम टीके लिखने के लिए, परियोजना के आधे हिस्से की तुलना में काम का एक प्रारंभिक भाग करना आवश्यक है, जो अध्ययन और वास्तविक आवश्यकताओं के औपचारिकरण, डेटा स्रोतों के विश्लेषण, उनके संबंधों, संरचना और अंतराल के लिए समर्पित है। संगठनों के ढांचे में, ऐसे कर्मचारी जो इतने बड़े पैमाने पर काम करने में सक्षम हैं, व्यावहारिक रूप से मौजूद नहीं हैं। इसलिए यह पता चला है कि प्रतियोगिताओं के लिए पूरी तरह से कच्चे तेल की जरूरत है। सर्वोत्तम मामलों में, प्रश्नों को स्पष्ट करने की एक श्रृंखला के बाद प्रतियोगिता रद्द कर दी जाती है (संशोधन के लिए भेज दी जाती है)। सबसे खराब स्थिति में - एक विशाल बजट के लिए और लंबे समय तक, आपको कुछ ऐसा मिलता है जो दावेदारों की योजनाओं से पूरी तरह से अलग है। और वे कुछ भी नहीं के साथ रहते हैं।

एक उचित विकल्प कंपनी के भीतर एक डेटा साइंस (डीएस) टीम बनाना है। यदि आप मिस्र के पिरामिडों के निर्माण का लक्ष्य नहीं रखते हैं, तो एक टीम और 2-3 सक्षम विशेषज्ञ बहुत, बहुत कुछ कर सकते हैं। लेकिन यहां एक और सवाल उठता है कि इन विशेषज्ञों को कैसे तैयार किया जाए। नीचे मैं आर के साथ ऐसे "विशेष बलों" को हथियार के रूप में तैयार करने के लिए सफलतापूर्वक परीक्षण किए गए विचारों का एक सेट साझा करना चाहता हूं।

यह पिछले प्रकाशनों का एक सिलसिला है।

समस्याओं

फिलहाल, सक्षम पर्याप्त पेशेवरों के लिए बाजार की खोज एक बड़ी समस्या है। इसलिए, सीखने की रणनीति पर विचार करना बहुत उपयोगी है जो कि केवल साक्षर और पर्याप्त है। उसी समय, आवश्यक प्रशिक्षण की बारीकियों का पालन किया जाता है:

• महीनों तक सीखने का कोई अवसर नहीं है, परिणाम जल्दी से जल्दी प्राप्त करना चाहिए;
• कंपनी के वास्तविक कार्यों पर जोर देना आवश्यक है;
• औद्योगिक डीएस में एआई \ एमएल के साथ डेटा प्रोसेसिंग से जुड़े कई और कार्य हैं;
• औद्योगिक डीएस एक कला घर नहीं है, लेकिन एक संरचित गतिविधि है जो स्थिर अनुप्रयोग कोड में अनुवाद करता है।

कौरसेरा, डाटाकैम्प, विभिन्न पुस्तकों, साथ ही एमएल कार्यक्रमों की टिप्पणी के बावजूद, पाठ्यक्रमों के सेट में से एक ने भी विशेषताओं के आवश्यक सेट को प्राप्त करने की अनुमति नहीं दी। वे कौशल बढ़ाने के लिए उत्कृष्ट स्रोत के रूप में काम करते हैं, लेकिन जल्दी से शुरू करना मुश्किल है। एक त्वरित शुरुआत में मुख्य कार्य पथ, दलदल, जाल को इंगित करना है; मौजूदा उपकरणों की सीमा के साथ परिचित करने के लिए; यह दिखाएं कि उपकरण का उपयोग करके कंपनी के कार्यों को कैसे हल किया जा सकता है; एक नाव से झील में फेंक दो और तैरना बनाओ।

यह दिखाना महत्वपूर्ण है कि आर न केवल एक साधन है, बल्कि एक उपयुक्त समुदाय भी है। इसलिए, प्रासंगिक घटनाओं की एक बड़ी संख्या का उपयोग, सहित प्रस्तुति, समुदाय के साथ काम करने के स्वरूपों में से एक है। हेडली ट्वीटर या जीथब में भी सवाल लिख सकता है। योग्य प्रश्नों के लिए, आप व्यापक उत्तर प्राप्त कर सकते हैं।

विभिन्न प्रयोगों के परिणामस्वरूप, मूल सामग्री की आपूर्ति के लिए "डीप डाइव इन आर" संरचनात्मक दृष्टिकोण प्राप्त किया गया था।

आर में गोता लगाएँ

• इष्टतम पाठ्यक्रम की अवधि 50 घंटे (7-6 घंटे के लिए ~ 7-9 दिन) है।
• पाठ्यक्रम का मुख्य उद्देश्य इष्टतम एल्गोरिदम का उपयोग करके उच्च-गुणवत्ता और प्रभावी कोड के तेजी से लेखन के लिए व्यावहारिक कौशल का निर्माण है।
• व्यापक डेमो विशिष्ट कार्यों पर सबसे अच्छा बनाया जाता है - इस तरह से आप अपने आप को उपकरणों के साथ परिचित कर सकते हैं और बहुत तेजी से संपर्क कर सकते हैं।
• विचार की एक बड़ी संख्या पारिस्थितिकी तंत्र की क्षमताओं के बारे में एक प्रतिनिधित्व और "बुकमार्क" बनाने का कार्य करती है।
• दिन टूटना एक हठधर्मिता नहीं है, बल्कि एक नियोजित फ़ोकस नियंत्रण है।
• प्रत्येक दिन के लिए, सामग्री को प्रदर्शित करने और समेकित करने के लिए, जटिलता और मात्रा के अलग-अलग डिग्री के व्यावहारिक कार्यों का विश्लेषण किया जाता है।

प्रत्येक छात्र, शुरू करने से पहले, अपने नेतृत्व से एक वास्तविक कार्य के रूप में एक व्यावहारिक कार्य ("टर्म पेपर") प्राप्त करता है जिसे उसे पाठ्यक्रम के अंत में गोता लगाने और बचाव के दौरान पूरा करना होगा।

दिन 1

संक्षेप में आर। सिंटेक्स और भाषा की संरचना के बारे में। विश्लेषण और विकास के लिए RStudio IDE का उपयोग करने की मूल बातें। बुनियादी प्रकार और डेटा। इंटरएक्टिव कंप्यूटिंग और प्रोग्राम कोड निष्पादन। आर मार्केडाउन और आर नोटबुक का संक्षिप्त परिचय। पुस्तकालयों के साथ काम करने के सिद्धांत। विश्लेषणात्मक कार्यों के लिए तैयारी करना, आवश्यक पुस्तकालय स्थापित करना, एक परियोजना बनाना। प्रोफाइलिंग गणना के सिद्धांत, अड़चनों की खोज (बेहद लंबी) जगहें और उनका खात्मा।

• आर का इतिहास और पारिस्थितिकी
• RStudio धोखा देती है
• आरंभ करने संबंधी-साथ-R-Markdown
• प्रशिक्षण / कार्य की गुणवत्ता के लिए मानदंड: हम इष्टतम एल्गोरिदम का उपयोग करके तेजी से और कॉम्पैक्ट कोड लिखते हैं
  
  • vectorization
  • कोड निष्पादन की गति का मूल्यांकन: system.time , tictoc , benchmark , bench , profvis
  • सिस्टम प्रदर्शन मूल्यांकन: benchmarkme
• इकोसिस्टम आर, भाषा की मूल बातें
• मान NA , NULL , NaN ।
• संचालक = , == , <-
• फ़ंक्शंस is.na() , is.null() , is.nan() , ( is.finite() , is.infinite() )
• सबसेटिंग और स्लाइसिंग

दिन २

'Tidyverse' पैकेज ( https://www.tidyverse.org/ ) की अवधारणा और पारिस्थितिकी तंत्र। इसमें शामिल पैकेजों का एक संक्षिप्त अवलोकन (आयात / प्रसंस्करण / विज़ुअलाइज़ेशन / निर्यात)। tidyverse में कार्य विधियों के आधार के रूप में tidy data की अवधारणा। डेटा प्रतिनिधित्व प्रारूप के रूप में 'टिबबल'। (Tidyverse पारिस्थितिकी तंत्र से संकुल)। रूपांतरण और डेटा जोड़तोड़। सिंटैक्स और धारा प्रसंस्करण के सिद्धांत (पाइप)। - - । ( dplyr , dplyr , tidyr ।)

• Tidyverse साइट
• टिबल्स । टिब्बल्स और डेटा फ़्रेम के बीच तीन प्रमुख अंतर हैं: मुद्रण, सब्मिटिंग और रीसाइक्लिंग नियम।
• पाइप
  
  • पाइप स्टेटमेंट का विवरण देना
  • हाथ-पांव धराशायी
• STAT 545. जेनी ब्रायन द्वारा dplyr कार्यों में शामिल होने के लिए धोखाधड़ी

दिन 3

Ggplot ( https://ggplot2.tidyverse.org/reference/index.html ) का उपयोग करके चित्रमय अभ्यावेदन का गठन। व्यावसायिक डेटा का विश्लेषण करने के लिए ग्राफिकल टूल का उपयोग करना।

• Ggplot2 के साथ ग्राफिक्स के व्याकरण के लिए एक कोमल गाइड

  
  

• अतिरिक्त। विजेट और चार्ट उदाहरण के लिए लिंक

  
  
  • https://ggplot2.tidyverse.org/index.html
  • http://www.ggplot2-exts.org/gallery/
  • http://gallery.htmlwidgets.org
  • https://www.r-graph-gallery.com
  
  

• esquisse में जोड़ें

  
  

• एनीमेशन बनाएं

  
  

दिन 4

स्ट्रिंग और एन्यूमरेटेड प्रकारों के साथ काम करें। नियमित अभिव्यक्ति की मूल बातें। तारीखों के साथ काम करें। (पैकेज stringi , stringr , forcats , re2r , lubridate , anytime )

• तार के साथ काम करें:

  
  
  • गैस्ट्रोन सांचेज़ द्वारा आर के साथ हैंडलिंग स्ट्रिंग्स
  • आर में हैंडलिंग और प्रसंस्करण स्ट्रिंग्स।
  
  

• नियमित अभिव्यक्ति। ऑनलाइन उपकरण

  
  
  • नियमित अभिव्यक्तियों का संक्षिप्त परिचय
  • आर रेगेक्स परीक्षक चमकदार ऐप
  • regex101
  • RegExr
  
  

• स्ट्रिंग्स के साथ काम करना: स्ट्रिंग पैकेज

  
  

• स्ट्रिंग्स के साथ काम करना: नियमित अभिव्यक्ति

  
  

• दिनांक और समय:

  
  
  • सार: अवधि, अवधि, अंतराल।
  • तिथियां कीबोर्ड से निपटना
  • IndustRy के लिए Analytics का सारांश : दिनांक और समय
  
  

दिन 5

उन्नत डेटा आयात। txt, csv, json, odbc, web scrapping (REST API), xlsx।
(संकुल readr , opexlsx , jsonlite , curl , httr , readtext , httr , readtext , data.table )

• कार्य निर्देशिका। getwd() , setwd() । एप्लिकेशन पैकेज here
• rspivot में जोड़ें। Rspivot डेटा फ़्रेमों को देखने के लिए RStudio के लिए एक चमकदार गैजेट है।
• पैकेज और ऐड-इन datapasta ।
• रीड का परिचय । कॉलम विनिर्देश सुविधाओं पर जाएं।
• एक्सेल के साथ काम:
  
  • [ readxl ]
  • [ openxlsx ]
  • tidyxl
• डेमो पर वेब-स्क्रैपिंग:
  
  • CSS चयनकर्ता संदर्भ
  • XPath सिंटैक्स

दिन 6

डेटा निर्यात करें। आरडीएस, सीएसवी, जेसन, xlsx, docx, pptx, odbc। आर मार्केडाउन और आर नोटबुक की मूल बातें।
(पैकेज opexlsx , officer , DBI , jsonlite , readr , data.table , knitr )

सहित

• आर officer का उपयोग करके प्रस्तुतियाँ बनाना।
• निट के माध्यम से पीडीएफ में निर्यात करें -> लाटेक
• डायरेक्ट एक्सपोर्ट टू वर्ड

दिन 7

आर। फंक्शन्स में प्रोग्रामिंग की बुनियादी बातें। चरों का दायरा। वस्तुओं को देखें। वस्तुओं को देखें, उनकी संरचना। संचालन के सिद्धांत "लिंक द्वारा।"

• समारोह की अवधारणा। अपने स्वयं के कार्य बनाएँ।
  
  • आर फ़ंक्शन, डेटा साइंस के लिए आर। 19 कार्य
• पर्यावरण की अवधारणा। उन्नत आर। 7 वातावरण
• पाश के लिए, जबकि पाश
• purrr ट्यूटोरियल
• "सुरक्षित" गणना की अवधारणा, बैच विश्लेषण में उनका उपयोग ( safely )
• प्रोविस - तेज आर कोड के लिए प्रोफाइलिंग टूल
• Lazy_evaluation दृष्टिकोण, गैर-मानक मूल्यांकन, lobstr पैकेज

दिन 8

मध्यवर्ती और अंतिम परिणामों की मान्यता के लिए दृष्टिकोण। सहयोग के सिद्धांत और प्रतिलिपि प्रस्तुत करने योग्य कंप्यूटिंग के गठन। अंतिम उपयोगकर्ताओं के लिए लक्ष्य इंटरफ़ेस के रूप में चमकदार अनुप्रयोगों का प्रदर्शन। (संकुल reprex , futile.logger , futile.logger । shiny , shiny )

• रक्षात्मक प्रोग्रामिंग। मापदंडों का सत्यापन। checkmate पैकेज, गति हमारी सब कुछ है ।
• इनपुट की मान्यता:
  
  • validate : डेटा सत्यापन इन्फ्रास्ट्रक्चर
  • ruler : आपका डेटा नियम ।
  • janitor : गंदे डेटा की जांच और सफाई के लिए सरल उपकरण
• futile.logger साथ futile.logger ।
• 2018-09_reprex-rstudio-वेबिनार

दिन ९

"औसत" आकार के डेटा के साथ काम करने के तरीके और दृष्टिकोण। पैकेज data.table । मुख्य कार्य। तुलनात्मक प्रयोगात्मक विश्लेषण।
1-8 दिनों में दिखाई देने वाले अतिरिक्त प्रश्नों का अवलोकन।

दिन १०

पाठ्यक्रम संरक्षण

विंडोज 10 सदस्य नौकरियां आवश्यकताएँ

• स्थापित R 3.5.2 ( https://www.r-project.org/ )
• C ++ कंपाइलर स्थापित, R ऐड में शामिल। Rtools35 टूलकिट ( https://cran.r-project.org/bin/windows/Rtools/ )
• स्थापित IDE RStudio डेस्कटॉप ओपन सोर्स लाइसेंस ( https://www.rstudio.com/products/rstudio/download/ )
• नवीनतम जावा एसई आरई 1.8 बिल्ड स्थापित है
• R पैकेज रिपॉजिटरी वाली साइटों की पहुंच खुली है:
  
  • https://cran.r-project.org/
  • https://cloud.r-project.org
  • https://cran.rstudio.com/
  • https://github.com/

किताबें

• गैरेट ग्रॉलेमंड, हैडली विकम द्वारा डेटा साइंस के लिए आर
• डेटा साइंस के लिए आर: जेफरी बी अर्नोल्ड द्वारा व्यायाम समाधान
• हैंड्स-ऑन प्रोग्रामिंग विथ आर विद गरेट ग्रोलेमंड
• हैडली विकम द्वारा उन्नत आर
• गैस्ट्रोन सांचेज़ द्वारा आर के साथ हैंडलिंग स्ट्रिंग्स
• RStudio धोखा देती है

निष्कर्ष

1. प्रस्तावित फ़ीड अनुक्रम एक हठधर्मिता नहीं है। विभिन्न अपमान और झुकाव हो सकते हैं। गणितीय आवेषण सहित सामग्री। सब कुछ वास्तविक सामयिक मुद्दों और कार्यों द्वारा निर्धारित किया जाता है जो पाठ्यक्रम और लोकप्रिय उत्पादन मुद्दों की सूची के लिए निर्धारित किया जाएगा। सबसे लोकप्रिय प्रतिगमन, क्लस्टरिंग, पाठ खनन और समय श्रृंखला एल्गोरिदम हैं।
2. समानांतर कंप्यूटिंग के मुद्दे, चमकदार अनुप्रयोगों का निर्माण, एमएल एल्गोरिदम और बाहरी प्लेटफार्मों का उपयोग करना "तेज विसर्जन" की अवधारणा में फिट नहीं होता है, लेकिन व्यावहारिक काम की शुरुआत के बाद एक निरंतरता हो सकता है।

पीएस एचआर को आमतौर पर नौकरी की आवश्यकताओं को तैयार करने में कठिनाई होती है।
यहाँ बीज के लिए एक संभावित उदाहरण है। उनकी उम्मीदों के आधार पर प्रत्येक पूरक और नियम।

डेटा साइंस (DS): बिग डेटा और एनालिटिक्स। नौकरी की आवश्यकताएं

• शिक्षा:
  
  • तकनीकी या प्राकृतिक वैज्ञानिक उच्च।
  • विषय पाठ्यक्रम (कोर्टसेरा, डेटाकैम्प) के लिए प्रमाण पत्र का स्वागत है।
  • अंग्रेजी एक परिसंपत्ति है (तकनीकी साहित्य को पढ़ना, गैर-अनुकूलित मौखिक भाषण की एक विश्वसनीय समझ, तकनीकी संचार के स्तर पर बोली जाने वाली भाषा)।
• अनुभव:
  
  • डीएस के क्षेत्र में - कम से कम 1 वर्ष।
  • फुर्तीली कार्यप्रणाली में टीम के विकास के कम से कम 2 वर्ष का अनुभव।
  • उपयोगकर्ता इंटरफेस (WEB + JS) विकसित करने का अनुभव।
  • प्रलेखन विकसित करने में अनुभव।
• निम्नलिखित तकनीकों का मजबूत ज्ञान (सूची का कम से कम 30%):
  
  • SQL + No-SQL बैकएंड (प्रत्येक प्रकार के डेटाबेस में से कम से कम एक)।
  • डीएस कार्यों (पायथन, आर, या दोनों) के लिए ओपन-सोर्स प्रोग्रामिंग भाषाएं।
  • बड़े डेटा (Hadoop और इसके डेरिवेटिव, Spark \ Ignite, ClickHouse, Vertica, ELK stack ...) के भंडारण और प्रसंस्करण के लिए प्लेटफार्म
  • अंतिम उपयोगकर्ताओं के लिए वेब-जीयूआई विकास के लिए एचटीएमएल + जेएस + सीएसएस मूल बातें।
  • गणितीय सांख्यिकी और रैखिक बीजगणित की मूल बातें में प्रवीणता।
  • समय श्रृंखला (भविष्यवाणी और विसंगति खोज सहित)।
  • मशीन लर्निंग, तंत्रिका नेटवर्क।
  • पाठ खनन और नियमित अभिव्यक्ति।
  • विंडोज़ + निक्स सिस्टम को प्रशासित करने के मूल सिद्धांत।
  • आकृति और GPX फ़ाइलों के साथ काम करते हुए भू-विरूपण (ESRI, OpenStreet, Yandex Maps, Google Maps, पत्रक, ..) के प्रसंस्करण और दृश्य के लिए उपकरण और एल्गोरिदम।
  • डेटा विज्ञान उपकरण और उनके सामान्यीकरण में डेटा आयात (फाइलें, ODBC, REST API, वेब - क्रॉलिंग)।
  • विज़ुअलाइज़ेशन (झांकी, QlikView, एक्सेल, चमकदार \ डैश)।
  • वाणिज्यिक गणितीय पैकेज (वोल्फ्राम मैथमेटिका, मेपल, मैटलैब)।
• नौकरी की जिम्मेदारियां:
  
  • स्रोत डेटा का निरीक्षण और तैयारी।
  • प्रारंभिक आंकड़ों पर परिकल्पनाओं का विकास और उनका सत्यापन।
  • गणितीय मॉडल और उनके परीक्षण का विकास।
  • सॉफ्टवेयर डिजाइन समाधान का विकास।
  • वेब अनुप्रयोगों और इंटरैक्टिव डैशबोर्ड का विकास।
  • हार्ड-कॉपी रिपोर्ट का विकास।
  • विश्लेषणात्मक सर्किट के ट्यूनिंग, परीक्षण, विकास और रखरखाव।
  • परियोजना प्रलेखन अद्यतन करना।

पिछला पोस्ट - "उत्पादकता के लिए आर कितना तेज़ है?" ।