शून्य परिकल्पना की गणना, उदाहरण के लिए, यूक्रेनी प्रोग्रामर के वेतन का विश्लेषण

मैंने इसे साझा करने का निर्णय लिया, लेकिन मैं खुद यह नहीं भूलूंगा कि आंकड़ों का विश्लेषण करने के लिए सरल सांख्यिकीय उपकरणों का उपयोग कैसे किया जा सकता है। एक अनाम सर्वेक्षण का उपयोग 2014 और 2019 के लिए वेतन, सेवा की लंबाई और यूक्रेनी प्रोग्रामर के पदों के बारे में एक उदाहरण के रूप में किया गया था। (1)

विश्लेषण कदम

• डेटा प्रीप्रोसेसिंग और प्रारंभिक विश्लेषण ( कोड में रुचि रखने वाला कोई भी व्यक्ति )
• डेटा का एक चित्रमय प्रतिनिधित्व। वितरण घनत्व समारोह।
• हम अशक्त परिकल्पना (H0) (2) तैयार करते हैं
• विश्लेषण के लिए एक मीट्रिक चुनें
• हम एक नया डेटा सरणी बनाने के लिए बूटस्ट्रैपिंग विधि का उपयोग करते हैं।
• हम परिकल्पना की पुष्टि या खंडन करने के लिए पी-मान (3) की गणना करते हैं

डेटा प्रीप्रोसेसिंग

कुछ जोड़तोड़ ( कोड यहाँ है ) के बाद, हम निम्न रूप में डेटा प्रस्तुत करते हैं:

#      ,  . display(data_14_1.head(), data_19_1.head()) print('  : \n \ {} .  14   {}  19 '.format(len(data_14_1), len(data_19_1))) 

एक वर्ष के लिए थोड़ा और समूहन (19 वें को करें):

 # ,  19  display(pd.DataFrame(df.groupby(['Experience'])['Salary'].mean().sort_values(ascending=False)), \ pd.DataFrame(df.groupby(['Position'])['Salary'].mean().sort_values(ascending=False)), \ df.Position.value_counts()) 

पहले अनुमान इस प्रकार हैं।

एक। परिणाम बताते हैं कि 19 में औसतन, जो 10 से अधिक वर्षों से काम कर रहे हैं, वे 3.5k से अधिक प्राप्त करते हैं। अनुभव की निर्भरता -> zp

में। औसत एस.पी. 19 में, विशेषज्ञता के आधार पर, वे 10 गुना का प्रसार दिखाते हैं - सिस्टम आर्किटेक्ट के लिए 5k से, जूनियर क्यूए के लिए 575।

एक। अंतिम प्लेट पेशे से वितरण को दर्शाती है। सॉफ्टवेयर इंजीनियर के बारे में अधिकांश डेटा, योग्यता के बिना।

हम 19 वें वर्ष की विशेषताओं पर ध्यान आकर्षित करते हैं: 9 वें वर्ष के अनुभव के साथ कुछ गलत है और कनिष्ठ, मध्यम, वरिष्ठ के स्तर के अनुसार कोई वर्गीकरण नहीं है। आप 9 वें वर्ष के बाहरी होने के कारणों को बेहतर ढंग से समझ सकते हैं। लेकिन इस विश्लेषण के लिए, हम इसे वैसे ही लेते हैं।

लेकिन श्रेणियों के साथ - यह छांटने लायक है। 19 में, सॉफ्टवेयर इंजीनियर 2739 लोग (सभी का 35%) योग्यता के स्तर को इंगित किए बिना। आइए संकेत देने वालों के लिए औसत और विचलन की गणना करें।



यह पता चलता है कि एसई जूनियर के लिए औसत कार्य अनुभव (जिसने यह संकेत दिया था) एक वर्ष है, जिसमें एक वर्ष का काफी व्यापक विचलन है। एसई सीनियर के पास एक समान बड़े 2.4-वर्षीय विचलन के साथ सबसे अधिक अनुभव है।

यदि हम मध्य की गणना करने और उन लोगों के औसत अनुभव का उपयोग करने की कोशिश करते हैं जिन्होंने इसे इंगित किया है, तो जो इसे संकेत नहीं करता है उसे वर्गीकृत करने के लिए, हम सही ढंग से पूरे नमूने को क्लस्टर नहीं कर सकते हैं। हम विशेष रूप से अन्य विशिष्टताओं (एसई और क्यूए नहीं) पर गलतियाँ करेंगे अर्थात्। बहुत कम डेटा। इसके अलावा, 14 वें वर्ष के साथ तुलना के लिए उनमें से कुछ हैं।

मैं और क्या उपयोग कर सकता हूं?

चलो केवल वेतन स्तर को कौशल स्तर के एक विश्वसनीय संकेतक के रूप में लेते हैं! (मुझे लगता है कि असंतोष होगा)।

सबसे पहले, हम निर्माण करते हैं कि 19 वें वर्ष के लिए वेतन का वितरण कैसा दिखता है।





6 $ k के बाद आउटलेर्स महत्वपूर्ण संख्या। हम सीमाओं की सीमा छोड़ देते हैं [400 - 4000]। किसी भी प्रोग्रामर को 400 से अधिक मिलना चाहिए :)

 df_new = data_19_1[(data_19_1['Salary'] > 400) & (data_19_1['Salary'] < 4000)] sns.distplot(df_new['Salary'], rug=True, norm_hist=True) 

पहले से ही सामान्य वितरण के थोड़ा करीब।

हम RFP के आधार पर 19 वर्षों के लिए कौशल स्तर की रचना करते हैं। $ 3600 रेंज हमें 3 श्रेणियों - $ 1200 में एक अच्छा विभक्त देता है

 df_new.reset_index() df_new.loc['level'] = 0 df_new.loc[df_new.Salary <= 1200, 'level'] = 'Junior' df_new.loc[(df_new.Salary > 1200) & (df_new.Salary <= 2400), 'level'] = 'Middle' df_new.loc[df_new.Salary > 2401, 'level'] = 'Senior' 

19 साल के लिए ड्रा - श्रेणी घनत्व।

 sns.set(style="whitegrid") fig, ax = plt.subplots() fig.set_size_inches(11.7, 8.27) plt.title('      19 ') sns.barplot(x='level', y='Salary', hue='Experience', hue_order=[1,3,5,7,10], palette='Blues', \ data=df_new, ci='sd') 

अनुभव (बाएं कोने) की निर्दिष्ट मात्रा को जोड़कर, आप विभिन्न बारीकियों को देख सकते हैं। उदाहरण के लिए, औसतन जूनियर 1k तक का हो जाता है और उसका कार्य अनुभव 5 वर्ष है। सीनियर में सबसे बड़ा बिखराव (प्रत्येक स्तंभ के शीर्ष पर एक काली छोटी रेखा) और कई अन्य दिलचस्प विवरण।

यह वह जगह है जहां पहले दो चरण समाप्त हो गए हैं, हम बूटस्ट्रैपिंग का उपयोग करके परिकल्पना के परीक्षण के लिए आगे बढ़ते हैं।

हम अशक्त परिकल्पना (H0) तैयार करते हैं

पहले चरणों में, हमें पता चला कि निर्दिष्ट कार्य अनुभव योग्यता के स्तर का बहुत सटीक मतलब नहीं है। फिर हम अशक्त परिकल्पना बनाते हैं (जिस का खंडन करने की आवश्यकता है)

कई विकल्प हैं (उदाहरण के लिए):

• वर्ष 14 में वरिष्ठता पर वेतन की निर्भरता 19 वीं में समान है।
• 14 साल से जूनियर सैलरी नहीं बदली है।

हालांकि, चूंकि संकेतित अनुभव एक बुरा संकेतक है, और कुछ श्रेणियों के लिए गणना भ्रामक हो सकती है, तो हम एक सरल और अधिक ठोस विकल्प लेते हैं: 14 में स्न का औसत स्तर, 19 में जैसा है , हमारी अशक्त परिकल्पना H0 (2) है।

यही है, हम मानते हैं कि 5 साल के लिए वेतन नहीं बदला है।

परिकल्पना की निष्ठा नहीं, अपनी सारी स्पष्टता के बावजूद, हम अशक्त परिकल्पना के लिए P- मान की गणना करके सटीक जाँच कर सकते हैं।

 #       (14  19 ),    95 % mean_salary_14 = np.mean(data_14_1['Salary']) conf_salary_14 = np.percentile(data_14_1['Salary'], [2.5, 97.5]) mean_salary_19 = np.mean(data_19_1['Salary']) conf_salary_19 = np.percentile(data_19_1['Salary'], [2.5, 97.5]) diff_mean_salary = mean_salary_19 - mean_salary_14 

वर्ष 14 में औसत वेतन $ 1797 है, जहां विश्वास अंतराल 95% है [300.0 4000.0]
19 में औसत वेतन $ 1949 है, जहां विश्वास अंतराल 95% है [300.0 5000.0]

14 और 19: $ 152 में औसत वेतन का अंतर

विश्लेषण के लिए मीट्रिक

औसत मूल्यों को हमारे मीट्रिक के रूप में चुनना तर्कसंगत है। अन्य विकल्प संभव हैं, उदाहरण के लिए मध्यिका, जो अक्सर आउटलेर्स की महत्वपूर्ण संख्या के मामले में किया जाता है। हालांकि, एक अनुमान के रूप में औसत समझने में आसान है और एक अच्छा विचार भी देता है।

बूटस्ट्रैपिंग फंक्शन लिखना।

 #   bootstraping def bootstrap(data, func): boots = np.random.choice(data, len(data)) return func(boots) def bootstrapping(data, func=np.mean, size=1): reps = np.empty(size) for i in range(size): reps[i] = bootstrap(data, func) return reps 

हम अपने आंकड़ों की गणना करते हैं।

 #  14  19   -       data = np.concatenate((data_14_1['Salary'].values, data_19_1['Salary'].values)) #     2  data_mean = np.mean(data) #      14  19 ,           data_14_shifted = data_14_1['Salary'].values - np.mean(data_14_1['Salary'].values) + data_mean data_19_shifted = data_19_1['Salary'].values - np.mean(data_19_1['Salary'].values) + data_mean #  10000     ,   data_14_bootsted = bootstrapping(data_14_shifted, np.mean, size=10000) data_19_bootsted = bootstrapping(data_19_shifted, np.mean, size=10000) #       .      . mean_diff = data_19_bootsted - data_14_bootsted #  P value               . p_value = sum(mean_diff >= diff_mean_salary) / len(mean_diff) print('p-value = {}'.format(p_value)) 

पी-मूल्य = 0.0

0.05 तक के पी-मान को महत्वहीन माना जाता है, और हमारे मामले में यह 0. के बराबर है। इसका मतलब है कि अशक्त परिकल्पना अस्वीकृत है - वर्ष 14 और 19 में औसत वेतन मान अलग-अलग हैं और यह एक आकस्मिक या महत्वपूर्ण संख्या में आउटलेयर नहीं है।

हमने औसतन 10 हजार ऐसे सरणियाँ उत्पन्न कीं, जो डेटा से अधिक कुल ऐसी टुकड़ियों को प्राप्त नहीं कर सकीं।

हालाँकि हमने पहले दो चरणों पर बहुत ध्यान दिया, लेकिन हमने सही परिकल्पना तैयार की और सही मीट्रिक को चुना। अधिक जटिल कार्यों में, बड़ी संख्या में चर के साथ, ऐसे प्रारंभिक चरणों के बिना, विश्लेषिकी एक गलत व्याख्या का कारण बन सकती है। उन्हें छोड़ना मत।

14 और 19 वर्षों के वेतन के स्तर के हमारे अध्ययन के परिणामस्वरूप, हम निम्नलिखित निष्कर्ष पर आए:

1. सर्वेक्षण के आंकड़ों के आधार पर, निर्दिष्ट अनुभव वेतन और योग्यता के स्तर को निर्धारित करने के लिए पूरी तरह से उपयुक्त मानदंड नहीं है।
2. कौशल स्तर में विभाजन सबसे अधिक संभावना वेतन के स्तर पर आधारित होगा।
3. प्रोग्रामर का वेतन 14 से बढ़कर 19 (औसतन 8.5%) हो गया और यह आकस्मिक परिणाम नहीं है।

आपका ध्यान के लिए धन्यवाद। मुझे टिप्पणियों और आलोचनाओं पर खुशी होगी।

सूत्रों का कहना है

1. https://jobs.dou.ua/salaries/ (सर्वेक्षण के परिणाम)
2. https://en.wikipedia.org/wiki/Null_hypothesis
3. https://en.wikipedia.org/wiki/P-value