प्रत्येक स्वाभिमानी कार्यालय नियमित रूप से उस श्रम बाजार के क्षेत्र में नेविगेट करने के लिए मजदूरी की निगरानी करता है जो इसे ब्याज देता है। हालांकि, इस तथ्य के बावजूद कि कार्य आवश्यक और महत्वपूर्ण है, हर कोई इसके लिए तीसरे पक्ष की सेवाओं का भुगतान करने के लिए तैयार नहीं है।

इस मामले में, एचआर को नियमित रूप से सैकड़ों रिक्तियों और रिज्यूमे के माध्यम से मैन्युअल रूप से सॉर्ट करने की आवश्यकता से बचाने के लिए, एक छोटे से एप्लिकेशन को एक बार लिखने के लिए यह अधिक कुशल है कि यह स्वयं करेगा, और आउटपुट पर तालिकाओं, ग्राफ़, डेटा को फ़िल्टर करने और अपलोड करने की क्षमता के रूप में एक सुंदर डैशबोर्ड के रूप में परिणाम प्रदान करता है। उदाहरण के लिए, यह:

आप यहां लाइव देख सकते हैं (और बटन भी दबा सकते हैं)।

इस अनुच्छेद में, मैं इस बारे में बात करूंगा कि मैंने इस तरह के एक आवेदन को कैसे लिखा, और रास्ते में मुझे क्या नुकसान हुआ।

समस्या का बयान

सेंट पीटर्सबर्ग में विशिष्ट पदों (बैक-एंड / फ्रंट-एंड / फुल-स्टैक डेवलपर, DevOps, QA, प्रोजेक्ट मैनेजर, सिस्टम एनालिस्ट, आदि) के लिए hh.ru नौकरी डेटा एकत्र करना और फिर से शुरू करना आवश्यक है। और इनमें से प्रत्येक पेशे के लिए जूनियर, मध्य और वरिष्ठ स्तर के विशेषज्ञों के लिए वेतन अपेक्षाओं का न्यूनतम, औसत और अधिकतम मूल्य प्रदान करता है।

यह लगभग हर छह महीने में डेटा को अपडेट करने वाला था, लेकिन महीने में एक बार से ज्यादा नहीं।

पहला प्रोटोटाइप

शुद्ध चमकदार में लिखा, एक सुंदर बूटस्ट्रैप लेआउट के साथ, पहली नज़र में यह बहुत कुछ नहीं निकला: सरल, और सबसे महत्वपूर्ण बात - समझने योग्य। आवेदन के मुख्य पृष्ठ में सबसे आवश्यक है: प्रत्येक विशेषता के लिए, वेतन और वेतन अपेक्षाओं (मध्य स्तर) का औसत मूल्य उपलब्ध है, अंतिम डेटा अपडेट और अपडेट बटन की तारीख भी है। शीर्ष लेख में टैब - विचाराधीन विशेषांक की संख्या से - पूर्ण एकत्र किए गए डेटा और ग्राफ़ के साथ तालिकाएं होती हैं।

यदि उपयोगकर्ता देखता है कि डेटा बहुत लंबे समय तक अपडेट नहीं किया गया है, तो वह संबंधित विशेषता के लिए "अपडेट" बटन दबाता है। अनुप्रयोग छोड़ देता है अचेतन में 5 मिनट के लिए सोचो, कर्मचारी कॉफी पीने के लिए छोड़ देता है। उसकी वापसी पर, मुख्य पृष्ठ पर और संबंधित टैब पर अपडेट किए गए डेटा की प्रतीक्षा कर रहा है।

इस प्रोटोटाइप में भी ताकत थी, अर्थात्:

• इंटरफ़ेस और व्यावसायिक तर्क के लिए एक सामान्यीकृत दृष्टिकोण : कॉपी-पेस्ट के बजाय, हम समान टुकड़ों को मापदंडों के साथ एक अलग फ़ंक्शन में निकालते हैं।

उदाहरण के लिए, यह मुख्य पृष्ठ पर एक विशेषता का "टाइल" कैसे दिखता है:

 tile <- function(title, midsal = NA, midsalres = NA, total.res = NA, total.vac = NA, updated = NA) { return( column(width = 4, h2(title), strong("  (middle):"), midsal, br(), strong("  (middle):"), midsalres, br(), strong(" :"), total.res, br(), strong(" : "), total.vac, br(), strong(" : "), updated, br(), br(), actionButton(inputId = paste0(tolower(prof), "Btn"), label = "Update", class = "btn-primary") ) ) } 

• कोड में इनपुटर्स (इनपुटआईडी) के लिए यूआई के डायनेमिक गठन , inputId = paste0(, "Btn") , ऊपर दिए गए उदाहरण देखें। यह दृष्टिकोण अत्यंत सुविधाजनक साबित हुआ, क्योंकि यह एक दर्जन नियंत्रणों के साथ आरंभ करने के लिए आवश्यक था, व्यवसायों की संख्या से गुणा किया गया।
• यह काम किया :)

एकत्र किए गए डेटा को विभिन्न व्यवसायों ( append = TRUE ) के लिए .csv फ़ाइलों में संग्रहीत किया गया था, और फिर एप्लिकेशन लॉन्च होने पर वहां से पढ़ा गया। जब नया डेटा दिखाई दिया, तो उन्हें संबंधित फ़ाइल में जोड़ा गया, और औसत मानों को पुनर्गणना किया गया।

विभाजकों के बारे में कुछ शब्द

एक महत्वपूर्ण बारीकियों: सीएसवी फ़ाइलों के लिए मानक विभाजक - एक अल्पविराम या अर्धविराम - हमारे मामले के लिए बहुत उपयुक्त नहीं हैं, क्योंकि आप अक्सर "श्वेत, रीपर, igrets (ड्यूडा; html / सीएसएस)" जैसे शीर्षकों के साथ रिक्तियों और फिर से शुरू कर सकते हैं। इसलिए, मैंने तुरंत कुछ अधिक विदेशी चुनने का फैसला किया, और मेरी पसंद पर गिर गया |

अगली बार शुरू होने तक सब कुछ ठीक रहा, मुझे मुद्रा के साथ कॉलम में तारीख नहीं मिली, और फिर कॉलम नीचे चले गए और, परिणामस्वरूप, लॉक-अप चार्ट। मैं समझने लगा। जैसा कि यह निकला, मेरा सिस्टम एक खूबसूरत लड़की द्वारा तोड़ दिया गया - "डेटा विश्लेषक | व्यापार विश्लेषक"। तब से मैं सीमांकक, ESC चरित्र के रूप में \x1B का उपयोग कर रहा हूं। फिर भी नीचे नहीं जाने दिया।

असाइन करें या असाइन न करें?

इस परियोजना पर काम करते समय, असाइनमेंट फ़ंक्शन मेरे लिए एक वास्तविक खोज बन गया: आप गतिशील रूप से चर और अन्य तिथि फ़्रेमों के नाम उत्पन्न कर सकते हैं, शांत!

बेशक, मैं स्रोत डेटा को अलग-अलग रिक्तियों के लिए अलग-अलग डेटा फ़्रेम में रखना चाहता हूं। और मैं "designer.vac = data.frame (...), anal.vac = data.frame (...) लिखना नहीं चाहता। इसलिए, जब मैंने आवेदन शुरू किया तो इन वस्तुओं को आरम्भ करने का कोड इस तरह देखा:

 profs <- c("analyst", "designer", "developer", "devops", "manager", "qa") for (name in profs) { if (!exists(paste0(name, ".vac"))) assign(x = paste0(name, ".vac"), value = data.frame( URL = character() #    , id = numeric() # id  , Name = character() #   , City = character() , Published = character() , Currency = character() , From = numeric() # .    , To = numeric() # .  , Level = character() # jun/mid/sen , Salary = numeric() , stringsAsFactors = FALSE )) } 

लेकिन मेरी खुशी ज्यादा समय तक नहीं रही। भविष्य में ऐसी वस्तुओं को एक निश्चित पैरामीटर के माध्यम से एक्सेस करना संभव नहीं था, और यह, लागू करने के लिए, कोड के दोहराव का कारण बना। उसी समय, वस्तुओं की संख्या में तेजी से वृद्धि हुई, और परिणामस्वरूप, उनमें भ्रमित होना और कॉल असाइन करना आसान हो गया।

इसलिए मुझे एक अलग दृष्टिकोण का उपयोग करना पड़ा, जो कि बहुत सरल हो गया: सूचियों का उपयोग करना।

 profs <- list( devops = "devops" , analyst = c("systems+analyst", "business+analyst") , dev.full = "full+stack+developer" , dev.back = "back+end+developer" , dev.front = "front+end+developer" , designer = "ux+ui+designer" , qa = "QA+tester" , manager = "project+manager" , content = c("mathematics+teacher", "physics+teacher") ) for (name in names(profs)) { proflist[[name]] <- data.frame( URL = character() #    , id = numeric() # id  , Name = character() #   , City = character() , Published = character() , Currency = character() , From = numeric() # .    , To = numeric() # .  , Level = character() # jun/mid/sen , Salary = numeric() , stringsAsFactors = FALSE ) } 

 lapply(seq_along(my.list.of.data.frames), function(x) { output[[paste0(names(my.list.of.data.frames)[x], ".dt")]] <- renderDataTable({ datatable(data = my.list.of.data.frames[[names(my.list.of.data.frames)[x]]]() , style = 'bootstrap', selection = 'none' , escape = FALSE) }) output[[paste0(names(my.list.of.data.frames)[x], ".plot")]] <- renderPlot( ggplot(na.omit(my.list.of.data.frames[[names(my.list.of.data.frames)[x]]]()), aes(...)) ) }) 

इसलिए निष्कर्ष: सूचियां एक अत्यंत सुविधाजनक चीज है जो आपको कोड की मात्रा और इसे संसाधित करने में लगने वाले समय को कम करने की अनुमति देती है। (इसलिए, असाइन नहीं किया गया।)

और उस क्षण जब मैं डैशबोर्ड के बारे में जो चेंग की बात पर ध्यान देने से विचलित था, यह आया ...

पुनर्विचार

यह पता चला है कि आर में एक विशेष पैकेज है, डैशबोर्ड के निर्माण के लिए तेज किया गया है - शिन्यादबोर्ड । यह बूटस्ट्रैप का भी उपयोग करता है और यूआई को एक संक्षिप्त साइडबार के साथ व्यवस्थित करना थोड़ा आसान बनाता है जो किसी भी conditionalPanel() बिना पूरी तरह से छिपाया जा सकता है, जिससे उपयोगकर्ता डेटा का अध्ययन करने पर ध्यान केंद्रित कर सकता है।

यह पता चलता है कि यदि एचआर हर छह महीने में एक बार डेटा की जांच करता है, तो उन्हें अपडेट बटन की आवश्यकता नहीं है। कोई नहीं। यह वास्तव में "स्थिर डैशबोर्ड" नहीं है, लेकिन इसके करीब है। डेटा अपडेट स्क्रिप्ट को चमकदार एप्लिकेशन से पूरी तरह से अलग से लागू किया जा सकता है और इसे मानक शेड्यूलर के साथ शेड्यूल के अनुसार चलाया जा सकता है विंडोज आपका OS

यह एक ही बार में दो समस्याओं को हल करता है: एक लंबा इंतजार (यदि आप नियमित रूप से पृष्ठभूमि में स्क्रिप्ट चलाते हैं, तो उपयोगकर्ता को इसके काम पर ध्यान नहीं दिया जाएगा, लेकिन केवल हमेशा ताजा डेटा देखें) और डेटा को अपडेट करने के लिए उपयोगकर्ता से अनावश्यक क्रियाओं की आवश्यकता होती है। यह नौ क्लिक (प्रत्येक विशेषता के लिए एक) लेता था, अब इसे शून्य लगता है। ऐसा लगता है कि हम दक्षता में लाभ तक पहुँच गए हैं, अनंत के लिए प्रयास करते हुए!

यह पता चला है कि आवेदन के विभिन्न भागों में कोड को असमान संख्या में निष्पादित किया जाता है। मैं इस पर विस्तार से ध्यान नहीं दूँगा; यदि आप चाहें, तो रिपोर्ट में दृश्य विवरण के साथ खुद को परिचित करना बेहतर है। मैं केवल मुख्य विचार को रेखांकित करूंगा: ggplot () के अंदर डेटा में हेरफेर, मक्खी पर बुराई, और जितना अधिक कोड आप आवेदन के ऊपरी स्तरों पर ला सकते हैं, उतना ही बेहतर होगा। एक ही समय में उत्पादकता कई बार बढ़ती है।

वास्तव में, मैंने जिस रिपोर्ट को देखा था, उतना ही स्पष्ट रूप से मैंने महसूस किया कि मेरे पहले प्रोटोटाइप में कोड फेंगशुई द्वारा आयोजित नहीं किया गया था, और कुछ बिंदु पर यह स्पष्ट हो गया कि परियोजना को फिर से लिखना आसान था। लेकिन जब आपके दिमाग को इसमें निवेश करने का प्रयास करना हो तो कैसे छोड़ें?

जो मर चुका है, वह मर नहीं सकता

- मैंने सोचा और स्क्रैच से प्रोजेक्ट को फिर से लिखा, और इस बार

• रिक्तियों और रिज्यूमे (वास्तव में, पूरी ईटीएल प्रक्रिया) पर एक अलग स्क्रिप्ट में डेटा एकत्र करने के लिए पूरा कोड वितरित किया गया, जो उपयोगकर्ता को थकाऊ इंतजार से बचाते हुए, एक चमकदार एप्लिकेशन के स्वतंत्र रूप से चलाया जा सकता है;
• csv फ़ाइलों से पूर्व-संग्रहित डेटा को पढ़ने के लिए reactiveFileReader () का उपयोग किया, मेरे आवेदन में स्रोत डेटा की प्रासंगिकता सुनिश्चित करने के लिए पुनरारंभ करने और अनावश्यक उपयोगकर्ता क्रियाओं की आवश्यकता के बिना;
• सूचियों के साथ काम करने और सक्रिय रूप से इस्तेमाल किए गए lapply () से पहले जहां लूप थे वहां से छुटकारा मिल गया ();
• एक बोनस के रूप में shinydashboard का उपयोग करके UI अनुप्रयोगों को पुन: डिज़ाइन किया गया - स्क्रीन पर जगह की कमी के बारे में चिंता करने की कोई आवश्यकता नहीं है;
• कई बार अनुप्रयोग की कुल मात्रा (कोड के ~ 1800 से 360 लाइनों तक) को कम कर दिया।

अब समाधान निम्नानुसार काम करता है।

1. ETL स्क्रिप्ट महीने में एक बार चलाई जाती है (यहाँ यह कैसे करना है इस पर निर्देश है ) और कर्तव्यनिष्ठा सभी व्यवसायों से गुजरती है, रिक्तियों पर कच्चा डेटा एकत्र करती है और hh से रिज्यूमे बनाती है।
   इसके अलावा, रिक्तियों पर डेटा साइट के एपीआई के माध्यम से लिया जाता है (मैं पिछले प्रोजेक्ट से कोड का आंशिक रूप से पुन: उपयोग करने में सक्षम था), लेकिन प्रत्येक फिर से शुरू करने के लिए मुझे वेब पेजों को पार्स पैकेज का उपयोग करके पार्स करना पड़ा, क्योंकि संबंधित एपीआई पद्धति का उपयोग अब भुगतान हो जाएगा। आप अनुमान लगा सकते हैं कि इसने स्क्रिप्ट की गति को कैसे प्रभावित किया।
2. एकत्र किए गए डेटा को कंघी किया जाता है - इस प्रक्रिया को विस्तार से वर्णित किया गया है और यहां कोड उदाहरणों के साथ। संसाधित डेटा को हिस्ट / प्रोफेशन- hist-vac.csv और hist / profession-hist-res.csv के अलग-अलग फाइलों में डिस्क में सेव किया जाता है। वैसे, इस तरह से डेटा में आउटलेयर से अजीब चीजें हो सकती हैं, सावधान रहें :)
   प्रत्येक पेशे के लिए, स्क्रिप्ट ऐतिहासिक डेटा के साथ एक संवर्धित फ़ाइल लेती है, सबसे अधिक प्रासंगिक का चयन करती है - जो अंतिम अद्यतन की तारीख से एक महीने से अधिक पुरानी नहीं हैं - और प्रपत्र data.res / पेशा-res- हाल ही में .csv और data.vac / पेशे की नई सीएसवी फाइलें उत्पन्न करता है। -vac-recent.csv। अंतिम आवेदन भी इस डेटा के साथ काम करता है ...
3. ... जो, शुरू करने के बाद, फिर से शुरू और नौकरी फ़ोल्डर की सामग्री पढ़ता है (data.res और data.vac, क्रमशः), और फिर फाइलों में बदलाव के लिए हर घंटे की जांच करता है। ReactiveFileReader () के साथ ऐसा करना संसाधनों के मामले में बहुत अधिक कुशल है और अमान्य गति () का उपयोग करने की तुलना में निष्पादन की गति। यदि फ़ाइलों में परिवर्तन थे, तो स्रोत डेटा वाली तालिकाओं को स्वचालित रूप से अपडेट किया जाता है, और औसत मान और ग्राफ़ पुनर्गणित किए जाते हैं, क्योंकि वे प्रतिक्रियाशीलवैल्यूज़ () पर निर्भर करते हैं, अर्थात, इस स्थिति को संभालने के लिए कोई अतिरिक्त कोड की आवश्यकता नहीं है।
4. मुख्य पृष्ठ पर अब एक मेज है जो वेतन की उम्मीदों के मिनियन, मंझले और अधिकतम मूल्यों को दिखाती है और प्रत्येक स्तर के लिए प्रत्येक विशेषता के लिए ऑफ़र प्रदान करती है (सभी टीके के लिए)। इसके अलावा, आप चार्ट को विस्तृत जानकारी के साथ टैब पर देख सकते हैं और डेटा को .xlsx प्रारूप में अपलोड कर सकते हैं (आपको कभी नहीं पता कि एचआर के लिए इन नंबरों की क्या आवश्यकता है)।

वह सब है। यह पता चला है कि हमारे डैशबोर्ड पर उपयोगकर्ता को उपलब्ध एकमात्र बटन डाउनलोड बटन है। और यह बेहतर के लिए है: उपयोगकर्ता के पास बटन जितना कम होगा, उतना कम मौका होगा एक अनछुए अपवाद को फेंक दें उनमें उलझ जाओ।

एक उपसंहार के बजाय

आज, आवेदन केवल सेंट पीटर्सबर्ग के लिए डेटा एकत्र करता है और विश्लेषण करता है। यह देखते हुए कि मुख्य हितधारक संतुष्ट था, और सबसे लगातार प्रतिक्रिया "महान थी, लेकिन क्या यह मास्को के लिए किया जा सकता है?", मैं इस प्रयोग को सफल मानता हूं।

आप इस लिंक पर आवेदन देख सकते हैं , और सभी स्रोत कोड (समाप्त फ़ाइलों के उदाहरणों के साथ) यहां उपलब्ध हैं ।

वैसे, आवेदन को वेतन मॉनिटर, संक्षिप्त सैल्मन - "सैल्मन" कहा जाता है।