डेवलपर्स के बीच संबंधित मांग कौशल का विश्लेषण करने के लिए पायथन का उपयोग करना

आज वेब पर आप सबसे लोकप्रिय प्रोग्रामिंग भाषाओं, लाइब्रेरी, फ्रेमवर्क, ऑपरेटिंग सिस्टम और अन्य संस्थाओं के बारे में भारी मात्रा में जानकारी पा सकते हैं - चलो उन्हें प्रौद्योगिकियां कहते हैं। इन प्रौद्योगिकियों की संख्या लगातार बढ़ रही है और यह स्पष्ट हो जाता है कि हर कोई जो किसी डेवलपर के रास्ते पर जाना चाहता है, उसे किसी भी प्रमुख प्रौद्योगिकी से जुड़े कुछ सबसे लोकप्रिय स्टैक का अध्ययन करने पर ध्यान केंद्रित करने की आवश्यकता है।

यह पहला सवाल उठाता है - कोई विशेष तकनीक की मांग कैसे निर्धारित कर सकता है? इस प्रश्न का उत्तर दिया जा सकता है, उदाहरण के लिए, इस प्रकार है: प्रौद्योगिकी की मांग है जब नियोक्ता एक रिक्ति का वर्णन करते समय नौकरी आवेदक की आवश्यकता के रूप में इसका उल्लेख करते हैं। दूसरे शब्दों में, यदि 100 रिक्तियों को देखा जाए, तो प्रौद्योगिकी ए का उल्लेख 60 बार किया गया था, और प्रौद्योगिकी बी - 20 बार, हम प्रौद्योगिकी ए को बी की तुलना में अधिक मान सकते हैं ।

दूसरा सवाल यह है कि प्रमुख तकनीकों को क्या माना जाता है?

प्रोग्रामिंग भाषाओं की लोकप्रियता के विश्लेषण पर लेखों में बहुत रुचि के आधार पर, हम प्रोग्रामिंग भाषा को प्रमुख प्रौद्योगिकी के रूप में मानेंगे।

इस प्रकार, समस्या को निम्नानुसार तैयार किया जा सकता है - विभिन्न प्रकार की रिक्तियों में, कुंजी प्रौद्योगिकी के साथ जुड़े एक सबसेट को उजागर करना आवश्यक है, और इस उपसमुच्चय में अन्य प्रौद्योगिकियों का उल्लेख करने की आवृत्ति की गणना करना है।

रिक्तियों के डेटाबेस के रूप में, हम hh.ru पोर्टल का उपयोग करेंगे, इसकी महान लोकप्रियता और हेडहंटर एपीआई की उपलब्धता के कारण। प्रोग्रामिंग भाषा पायथन 3.4 है।

लेख की मात्रा को कम करने के लिए, डेटा प्राप्त करने और प्रसंस्करण के मुद्दे के तकनीकी पक्ष पर विस्तार से विचार नहीं किया जाएगा, लेकिन यह कुछ प्रमुख बिंदुओं पर रोक के लायक है। परियोजना का स्रोत कोड खुला है और GitHub पर उपलब्ध है ।

नौकरी लिस्टिंग हो रही है

पायथन प्रोग्रामर से संबंधित रिक्तियों की सूची प्राप्त करने के लिए, अनुरोध पुस्तकालय का उपयोग करके निम्नलिखित अनुरोध प्राप्त करें:

import requests import json l = "Python" params = {"text": " " + l, "search_field": "name", "area": 2, "period": 30, "page": 0} r = requests.get("https://api.hh.ru/vacancies", params=params) jr = json.loads(r.text) 

परिणामस्वरूप, हमें निम्नलिखित तत्वों के साथ एक शब्दकोश मिलता है:

• पेज: क्लास 'इंट'
• समूह: वर्ग 'कोई नहीं'
• per_page: वर्ग 'int'
• alternate_url: वर्ग 'str'
• पाया: वर्ग 'int'
• तर्क: वर्ग 'कोई नहीं'
• आइटम: वर्ग 'सूची'
• पृष्ठ: कक्षा 'int'

हम में रुचि रखते हैं:

• मुख्य पृष्ठ, जिनमें से मानों में रिक्त पदों वाले पृष्ठों की संख्या शामिल है,
• आइटम कुंजी, जो पृष्ठ पर रिक्ति सूची को इंगित करता है।

आइटम सूची में प्रत्येक आइटम से, जो एक शब्दकोश है, हमें यूआरएल कुंजी की आवश्यकता है। इस कुंजी का मान रिक्ति के विस्तृत विवरण की एक कड़ी है। क्रमिक रूप से पृष्ठ पैरामीटर बदलकर, आप अनुरोध पर सभी रिक्तियों पर पुनरावृति कर सकते हैं और लिंक के आगे के विश्लेषण के लिए आवश्यक सूची बना सकते हैं। नौकरी की जानकारी लोड करने की प्रक्रिया को तेज करने के लिए, थ्रेडिंग लाइब्रेरी से कई समानांतर धागे का उपयोग किया जाता है :

 from math import ceil import requests from threading import Thread import json class DownloadThread(Thread): def __init__(self, urls, number, res): Thread.__init__(self) self.number = number self.urls = urls self.res = res def run(self): for url in self.urls: resp = requests.get(url) if resp.status_code == requests.codes.ok: self.res.append(json.loads(requests.get(url).text)) else: print("Status code: " + str(resp.status_code)) print(url) def start_dl_threads(urls, th_num, res): threads = [] n = ceil(len(urls) / th_num) for i in range(th_num): t = DownloadThread(urls[i * n: (i + 1) * n], i, res) threads.append(t) t.start() for t in threads: t.join() 

डाउनलोड थ्रेड्स की संख्या पर 274 रिक्तियों के परीक्षण सेट की डाउनलोड गति की निर्भरता के निर्माण के बाद, 10 थ्रेड्स का उपयोग करने का निर्णय लिया गया था, क्योंकि इस मामले में, उनमें से एक बड़ी संख्या व्यावहारिक रूप से स्क्रिप्ट के समय को कम नहीं करती है।

कौशल की शब्दावली का निर्माण और नौकरी विवरण में कौशल की खोज

प्रारंभ में, यह मैन्युअल रूप से प्रमुख कौशल का शब्दकोश बनाने वाला था। हालांकि, नौकरी विवरण की संरचना का विश्लेषण करने के बाद, यह स्पष्ट हो गया कि प्रक्रिया कई मायनों में स्वचालित हो सकती है। ऐसा करने के लिए, हमें इस रिक्त स्थान के प्रमुख कौशल वाले key_skills-सुलभ सूची की आवश्यकता है। दुर्भाग्य से, कुछ रिक्तियों में प्रमुख कौशल के बारे में जानकारी शामिल है। इसके अलावा, यह जानकारी मुख्य विवरण से भिन्न हो सकती है। इसलिए, केवल इस डेटा को संसाधित करने से पूरी तस्वीर नहीं मिलेगी।

"प्रोग्रामर" + ("जावा", "जावास्क्रिप्ट", "1 सी", "पायथन", "सी", "सी ++", "सी #", "ऑब्जेक्टिव-सी"), नाम के साथ रिक्तियों के लिए सभी अद्वितीय प्रमुख कौशल "पर्ल", "रूबी", "PHP"), और इस्तेमाल किया - पहले 150 सबसे आम।

 os.makedirs("data", exist_ok=True) langs = ("Java", "JavaScript", "1", "Python", "C", "C++", "C#", "Objective-C", "Perl", "Ruby", "PHP") par = {"text": "", "search_field": "name", "area": 2, "period": 30} o = {"skills": 1, "urls": 0, "vacs": 0} for l in langs: par["text"] = " " + l with open("data\data_" + par["text"] + str(datetime.date.today()) + ".json", "w") as f: json.dump(get_info_from_hh(par, 10, o), f, indent=4, ensure_ascii=False) data = Counter() for fn in os.listdir("data"): if os.path.isfile("data/" + fn): with open("data/" + fn, "r") as rf: data += Counter(json.load(rf)["skills"]) for item in data.most_common(150): print(item) jsdict = {item[0]: item[0] for item in data.most_common(150)} with open("kw.json", "w") as wf: json.dump(jsdict, wf, indent=4, ensure_ascii=False, sort_keys=True) 

नौकरी विवरण में कीवर्ड की खोज फ़ॉर्म की एक नियमित अभिव्यक्ति का उपयोग करके की गई थी:

 pattern = r"(?i)[^--a-zA-Z0-9_|^]%s[^--a-zA-Z0-9_|$]" % kw[item] 

चूँकि कुछ प्रौद्योगिकियां कई और निजी लोगों का सामान्यीकरण हैं, जब sql कुंजी द्वारा गणना की जाती है, उदाहरण के लिए, फॉर्म का एक मूल्य था:

 "sql": "sql|mysql|postgresql|ms sql" 

इसके अलावा, एक ही तकनीक से संबंधित विभिन्न नामों को ध्यान में रखने के लिए, प्रपत्र के अभिव्यक्तियों का उपयोग किया गया था:

 " ": ".+|.+|design patterns", " ": ".+?|english", " ": ".+?.+?|.+?.+?|neural" 

अंतिम कीवर्ड फ़ाइल GitHub रिपॉजिटरी में पाई जा सकती है ।

प्रमुख तकनीकों का चयन करते समय, शीर्ष 20 भाषाओं की एक सूची का उपयोग रिक्तियों की संख्या (शीर्षक में उल्लिखित) द्वारा किया गया था । उसी समय, केवल उन भाषाओं को छोड़ दिया जाता है जो शीर्षक में "प्रोग्रामर" शब्द के साथ सेंट पीटर्सबर्ग में 20 से अधिक रिक्तियां देते हैं।

परिणाम

"प्रोग्रामर" के रूप में ऐसी अमूर्त अवधारणा को संसाधित करने का परिणाम अच्छी तरह से उद्योग की रिक्तियों की समग्र तस्वीर को दर्शाता है। सबसे पहले, यह स्पष्ट है कि हर दूसरा नियोक्ता एक प्रोग्रामर से एसक्यूएल ज्ञान और अंग्रेजी प्राप्त करना चाहता है। हर तीसरा नियोक्ता एक प्रोग्रामर को गिट संस्करण नियंत्रण प्रणाली का मालिक बनाना चाहता है। वेब पर विकास के उन्मुखीकरण के कारण, html और css मांग की गई प्रौद्योगिकियां हैं। यह जावास्क्रिप्ट और PHP के लिए विशेष रूप से महत्वपूर्ण है। कुछ अप्रत्याशित रूप से, लेकिन प्रोग्रामर को संभवतः एक टीम में काम करना होगा।

पहले बीस में शामिल आम प्रौद्योगिकियों में ऑब्जेक्ट-ओरिएंटेड प्रोग्रामिंग , डेटाबेस , एल्गोरिदम और डिज़ाइन पैटर्न हैं ।

ऑपरेटिंग सिस्टम के रूप में, लिनक्स को प्राथमिकता दी जानी चाहिए।

विशिष्ट भाषाओं पर विचार करते समय, आप देख सकते हैं कि पहली पंक्ति के बगल में सबसे लोकप्रिय ढांचा या पुस्तकालय है। जावा के लिए, ये C # - .net और asp.net के लिए स्प्रिंग और हाइबरनेट हैं , पायथन प्रोग्रामर को शायद Django की आवश्यकता होगी, और जावास्क्रिप्ट को React की आवश्यकता होगी।

विशेष और सबसे अधिक निंदा घरेलू जटिल 1 सी है । कई नियोक्ताओं को केवल इस प्लेटफ़ॉर्म का पर्याप्त ज्ञान होगा (मुझे नहीं पता कि कितना या बहुत कम है)। उपयोगी कौशल होंगे: टीम वर्क , परीक्षण प्रक्रियाओं की समझ और डेटाबेस के साथ काम करने की क्षमता।

"प्रोग्रामर सी" के अनुरोध पर खोज इंजन एचएच की ख़ासियत के कारण, 1 सी तकनीक के साथ कई परिणाम जारी किए गए थे। इसलिए, इस भाषा के परिणाम गलत निकले।

सेंट पीटर्सबर्ग में प्राप्त परिणाम, मैं नीचे देता हूं।