विकास। भार। तीन पड़ोसी

एक दिलचस्प और सरल डेटासेट की खोज में, मैं इस सुंदर आदमी के पार आया।

इस सुंदरता के बारे में

इसमें 10,000 पुरुषों और महिलाओं के विकास और वजन पर डेटा शामिल है। कोई विवरण नहीं। कुछ भी नहीं "शानदार।" केवल ऊंचाई, वजन और फर्श का निशान। मुझे यह रहस्यमय सादगी पसंद थी।

खैर, चलो शुरू हो जाओ!

मेरे लिए क्या दिलचस्प था?

• अधिकांश पुरुषों और महिलाओं के लिए वजन और ऊंचाई की सीमा क्या है ?
• वे किस तरह के "औसत" पुरुष और "औसत" महिला हैं?
• क्या इन आंकड़ों से सरल KNN मशीन सीखने का मॉडल ऊंचाई से वजन का अनुमान लगा सकता है ?

चलो चलते हैं!

पहले देखो

सबसे पहले, आवश्यक मॉड्यूल लोड करें

#      import pandas as pd #     import matplotlib.pyplot as plt %matplotlib inline #    «  » from sklearn.neighbors import KNeighborsRegressor #         from sklearn.model_selection import train_test_split 

जब पुस्तकालय बिल्कुल खड़े हो गए - यह डेटासेट को स्वयं लोड करने और पहले 10 तत्वों को देखने का समय था। यह आवश्यक है ताकि हमारी आंत शांत रहे, कि हमने सब कुछ सही ढंग से लोड किया है।

वैसे, इस बात से घबराएं नहीं कि हम जिस चीज़ के लिए इस्तेमाल होते हैं उससे ऊँचाई और वजन अलग होता है। यह एक अलग माप प्रणाली के कारण है: इंच और पाउंड , सेंटीमीटर और किलोग्राम के बजाय।

 data = pd.read_csv('weight-height.csv') data.head(10) 

अच्छा है! हम देखते हैं कि पहली दस प्रविष्टियाँ "पुरुष" हैं। हम उनकी ऊंचाई और वजन देखते हैं। डेटा अच्छी तरह से लोड किया गया।

अब आप सेट में पंक्तियों की संख्या देख सकते हैं।

 data.shape >> (10000, 3) 

दस हजार लाइन / रिकॉर्ड। और प्रत्येक के तीन पैरामीटर हैं । आपको क्या चाहिए!

यह माप प्रणाली को ठीक करने का समय है। अब यहां सेंटीमीटर और किलोग्राम हैं।

 data['Height'] *= 2.54 data['Weight'] /= 2.205 #    data.head(10) 

अब यह अधिक परिचित हो गया है। और बहुत पहले रिकॉर्ड हमें ~ 190 सेमी की ऊंचाई और ~ 110 किलो वजन वाले एक आदमी के बारे में बताता है। बड़ा आदमी है। चलो उसे बॉब कहते हैं।

लेकिन कैसे समझें: क्या यह बाकी की तुलना में बहुत या थोड़ा है? क्या यह संभव है कि हम सभी प्लस या माइनस बीन्स हैं? यह थोड़ा बाद में है।

अब आइए जानें कि इस डेटासेट में दो लिंग कितने सममित हैं?

 data['Gender'].value_counts() >> Male 5000 Female 5000 Name: Gender, dtype: int64 

आदर्श रूप से समान रूप से विभाजित। और यह अच्छा है, क्योंकि अगर वहाँ थे: 9999 पुरुष और 1 महिला, तो यह दिखावा करने में कोई समझदारी नहीं होगी कि यह डेटासेट दोनों लिंगों को समान रूप से प्रकट करता है। हमारे मामले में, सब कुछ ठीक है!

बांटो और सीखो!

अब अंतर्ज्ञान से पता चलता है कि दो लिंगों को अलग करना और अलग से पता लगाना सही होगा। दरअसल, जीवन में हम अक्सर देखते हैं कि पुरुषों और महिलाओं में प्लस या माइनस अलग-अलग ऊंचाई और वजन के होते हैं

 #  data_male = data[data['Gender'] == 'Male'].copy() #  data_female = data[data['Gender'] == 'Female'].copy() 

आइए उन छोटे वर्णनात्मक आंकड़ों पर एक नज़र डालें जो पांडा मॉड्यूल हमें प्रदान करते हैं।

पुरुष :

 data_male.describe() 

महिला :

 data_female.describe() 

हम देखते हैं कि पुरुषों में औसत और औसत 175cm और 85kg हैं। और महिलाओं में : 162 सेमी और 62 किग्रा। यह हमें बताता है कि कोई मजबूत उत्सर्जन नहीं हैं। या वे माध्यिका के दोनों ओर सममित हैं। जो बहुत दुर्लभ है।

लेकिन दोनों लिंगों में माध्यिका से क्षुद्र विचलन होता है। लेकिन वे नगण्य हैं और वे केवल सौवें पर दिखाई देते हैं। चलो आगे बढ़ते हैं!

Gistograma

यह एक ऐसा ग्राफ है जो विकास के क्रम में मूल्यों को न्यूनतम से अधिकतम तक ले जाता है, और व्यक्तिगत उदाहरणों की संख्या दिखाता है।

 fig, axes = plt.subplots(2,2, figsize=(20,10)) plt.subplots_adjust(wspace=0, hspace=0) axes[0,0].hist(data_male['Height'], label='Male Height', bins=100, color='red') axes[0,1].hist(data_male['Weight'], label='Male Weight', bins=100, color='red', alpha=0.4) axes[1,0].hist(data_female['Height'], label='Female Height', bins=100, color='blue') axes[1,1].hist(data_female['Weight'], label='Female Weight', bins=100, color='blue', alpha=0.4) axes[0,0].legend(loc=2, fontsize=20) axes[0,1].legend(loc=2, fontsize=20) axes[1,0].legend(loc=2, fontsize=20) axes[1,1].legend(loc=2, fontsize=20) plt.savefig('plt_histogram.png') plt.show() 

डेटा को घंटी के आकार का वितरित किया जाता है। सामान्य वितरण के समान।

सामान्य वितरण के लिए सांख्यिकीय परीक्षणों के अलावा, एक दृश्य परीक्षण है। यदि प्रकार और तर्क द्वारा वितरण सामान्य प्रतीत होता है - हम कुछ मान्यताओं के साथ मान सकते हैं जो हम इसके साथ काम कर रहे हैं।

एक सांख्यिकीय सामान्यता परीक्षण कर सकता है और पी-मूल्य निर्धारित कर सकता है, लेकिन मैं नहीं कर सकता यह लेख के दायरे से परे है।

पेन से काम करना सीखना

पांड हमारे लिए बहुत मायने रख सकते हैं। लेकिन आपको कम से कम एक बार कुछ आंकड़े खुद गिनने की जरूरत है। अब मैं दिखाऊंगा कि मानक विचलन की गणना कैसे करें ।

चलो इसे पुरुषों के उदाहरण और विशेषता - विकास पर करते हैं।

औसत

सूत्र:

$$

$$M = \ frac {1} {N} \ sum \ limit_ {i = 1} ^ N n_i$$

जहाँ

• एम - औसत मूल्य
• N, उदाहरणों की संख्या है
• एनआई - एकल उदाहरण

कोड:

 mean = data_male['Height'].mean() print('mean:\t{:.2f}'.format(mean)) >> mean: 175.33 

औसत ऊंचाई - 175 सेमी

विचलन चुकता

$$

$$d_i = (n_i - M) ^ 2$$

जहाँ

• di - एकल विचलन
• एनआई - एकल उदाहरण
• एम - औसत

कोड:

 data_male['Height_d'] = (data_male['Height'] - mean) ** 2 data_male['Height_d'].head(10) >> 0 149.927893 1 0.385495 2 166.739089 3 47.193692 4 4.721246 5 20.288347 6 0.375539 7 2.964214 8 25.997623 9 200.149603 Name: Height_d, dtype: float64 

फैलाव

सूत्र:

$$

$$D = \ frac {1} {N} \ sum \ limit_ {i = 1} ^ N d_i$$

जहाँ

• डी फैलाव मूल्य है
• di - एकल विचलन
• N, उदाहरणों की संख्या है

कोड:

 disp = data_male['Height_d'].mean() print('disp:\t{:.2f}'.format(disp)) >> disp: 52.89 

फैलाव - ५३

मानक विचलन

सूत्र:

$$

$$std = \ sqrt {D}$$

जहाँ

• std - मानक विचलन मान
• डी फैलाव मूल्य है

कोड:

 std = disp ** 0.5 print('std:\t{:.2f}'.format(std)) >> std: 7.27 

मानक विचलन - 7

आत्मविश्वास अंतराल

अब हम पता लगाएंगे कि विकास और भार की सीमाएं 68%, 95% और 99.7% पुरुष और महिलाएं हैं ।

यह इतना मुश्किल नहीं है - आपको औसत से मानक विचलन को जोड़ने और घटाना होगा । यह इस तरह दिखता है:

• 68% - प्लस या माइनस एक मानक विचलन
• 95% - प्लस या माइनस दो मानक विचलन
• 99.7% - प्लस या माइनस तीन मानक विचलन

हम एक सहायक फ़ंक्शन लिखते हैं जो इस पर विचार करेगा:

 def get_stats(series, title='noname'): #    print('= {} =\n'.format(title.upper())) #     pandas descr = series.describe() #   mean = descr['mean'] print('= Mean:\t{:.0f}'.format(mean)) #    std = descr['std'] print('= Std:\t{:.0f}'.format(std)) #    print('\n= = = =\n') #   ## 68% devi_1 = [mean - std, mean + std] ## 95% devi_2 = [mean - 2 * std, mean + 2 * std] ## 99.7% devi_3 = [mean - 3 * std, mean + 3 * std] #   print('= 68% is from\t\t{:.0f} to {:.0f}'.format(devi_1[0], devi_1[1])) print('= 95% is from\t\t{:.0f} to {:.0f}'.format(devi_2[0], devi_2[1])) print('= 99.7% is from\t\t{:.0f} to {:.0f}'.format(devi_3[0], devi_3[1])) 

खैर, इसे डेटा पर लागू करें:

पुरुष | विकास

 get_stats(data_male['Height'], title='Male Height') >> = MALE HEIGHT = = Mean: 175 = Std: 7 = = = = = 68% is from 168 to 183 = 95% is from 161 to 190 = 99.7% is from 154 to 197 

पुरुष | भार

 get_stats(data_male['Height'], title='Male Height') >> = MALE WEIGHT = = Mean: 85 = Std: 9 = = = = = 68% is from 76 to 94 = 95% is from 67 to 103 = 99.7% is from 58 to 112 

महिला | विकास

 get_stats(data_male['Height'], title='Male Height') >> = FEMALE HEIGHT = = Mean: 162 = Std: 7 = = = = = 68% is from 155 to 169 = 95% is from 148 to 176 = 99.7% is from 141 to 182 

महिला | भार

 get_stats(data_male['Height'], title='Male Height') >> = FEMALE WEIGHT = = Mean: 62 = Std: 9 = = = = = 68% is from 53 to 70 = 95% is from 44 to 79 = 99.7% is from 36 to 87 

इसलिए निष्कर्ष:

• अधिकांश पुरुष: 154 सेमी - 197 सेमी और 58 किलोग्राम - 112 किलोग्राम।
• ज्यादातर महिलाएं: 141cm - 182cm और 36kg - 87kg।

अब यह केवल मशीन सीखने को इस सेट पर लागू करने के लिए बना हुआ है और ऊंचाई से वजन की भविष्यवाणी करने का प्रयास करें।

निकटतम पड़ोसी

एल्गोरिथ्म "निकटतम पड़ोसियों के लिए" सरल है। यह वर्गीकरण कार्यों के लिए मौजूद है - एक कुत्ते से एक बिल्ली को अलग करने के लिए - और प्रतिगमन कार्यों के लिए - ऊंचाई से वजन का अनुमान लगाने के लिए। यह वही है जो हमें चाहिए!

प्रतिगमन के लिए, वह निम्नलिखित एल्गोरिथ्म का उपयोग करता है:

• सभी डेटा बिंदुओं को याद रखता है
• जब कोई नया बिंदु दिखाई देता है, तो वह K अपने निकटतम पड़ोसियों की खोज करता है (उपयोगकर्ता द्वारा K को सेट किया जाता है)
• परिणाम का लाभ उठाता है
• एक उत्तर देता है

पहले आपको प्रशिक्षण और परीक्षण भागों में सेट किए गए डेटा को विभाजित करने और एल्गोरिथ्म का परीक्षण करने की आवश्यकता है

पुरुषों पर प्रयोग

 X_train, X_test, y_train, y_test = train_test_split(data_male['Height'], data_male['Weight']) 

विभाजित, यह कोशिश करने का समय है।

 #   knr3 = KNeighborsRegressor(n_neighbors=3) knr3.fit(X_train.values.reshape(-1,1), y_train.values.reshape(-1,1)) knr3.score(X_train.values.reshape(-1,1), y_train.values.reshape(-1,1)) >> 0.8298400793623182 #   knr5 = KNeighborsRegressor(n_neighbors=5) knr5.fit(X_train.values.reshape(-1,1), y_train.values.reshape(-1,1)) knr5.score(X_train.values.reshape(-1,1), y_train.values.reshape(-1,1)) >> 0.7958051642678619 #   knr7 = KNeighborsRegressor(n_neighbors=7) knr7.fit(X_train.values.reshape(-1,1), y_train.values.reshape(-1,1)) knr7.score(X_train.values.reshape(-1,1), y_train.values.reshape(-1,1)) >> 0.7769249318420969 

हम बहुत दूर नहीं जाएंगे और तीन पड़ोसियों को रोकेंगे। लेकिन सवाल यह है: क्या ऐसा मॉडल मेरे वजन का अनुमान लगा सकता है?

 knr3.predict([[180]])[0, 0] >> 88.67596236265881 

88 किग्रा बहुत करीब है। यह दूसरा, मेरा वजन 89.8kg है

पुरुषों के लिए भविष्यवाणी चार्ट

विज्ञान का मेरा पसंदीदा हिस्सा बनाने का समय ग्राफिक्स है।

 array_male = [] #   99.7% xaxis = range(154, 198) for h in xaxis: ans = knr3.predict([[h]]) array_male.append(ans[0, 0]) plt.figure(figsize=(20,10)) plt.plot(xaxis, array_male, 'r-', linewidth=4) plt.title('Male heght-weight dependence', fontsize=30) plt.xlabel('Height', fontsize=30) plt.ylabel('Weight', fontsize=30) plt.grid() plt.savefig('plt_knn_male.png') plt.show() 

महिलाओं के लिए मॉडल और भविष्यवाणी चार्ट

 X_train, X_test, y_train, y_test = train_test_split(data_female['Height'], data_female['Weight']) knr3 = KNeighborsRegressor(n_neighbors=3) knr3.fit(X_train.values.reshape(-1,1), y_train.values.reshape(-1,1)) knr3.score(X_train.values.reshape(-1,1), y_train.values.reshape(-1,1)) >> 0.8135681584074799 

 array_female = [] #   99.7% xaxis = range(141, 183) for h in xaxis: ans = knr3.predict([[h]]) array_female.append(ans[0, 0]) plt.figure(figsize=(20,10)) plt.plot(xaxis, array_female, 'b-', linewidth=4) plt.title('Female heght-weight dependence', fontsize=30) plt.xlabel('Height', fontsize=30) plt.ylabel('Weight', fontsize=30) plt.grid() plt.savefig('plt_knn_female.png') plt.show() 

और निश्चित रूप से यह दिलचस्प है कि ये ग्राफ़ एक साथ कैसे दिखते हैं:

 #      xaxis = range(154, 183) plt.figure(figsize=(20,10)) plt.plot(xaxis, array_male[:-15], 'r-', linewidth=4) plt.plot(xaxis, array_female[13:], 'b-', linewidth=4) plt.title('Together heght-weight dependence', fontsize=30) plt.xlabel('Height', fontsize=30) plt.ylabel('Weight', fontsize=30) plt.grid() plt.savefig('plt_knn_together.png') plt.show() 

सवालों के जवाब

- अधिकांश पुरुषों और महिलाओं के लिए वजन और ऊंचाई की सीमा क्या है?

99.7% पुरुष: 154 सेमी से 197 सेमी और 58 किलोग्राम से 112 किलोग्राम तक।
और 99.7% महिलाएं: 141cm से 182cm और 36kg से 87kg तक।

- “औसत” पुरुष और “औसत” महिला किस तरह की हैं?

औसत आदमी 175cm और 85kg है।
और औसत महिला 162cm और 62kg है।

- क्या इन आंकड़ों से सरल KNN मशीन लर्निंग मॉडल ऊंचाई से वजन की भविष्यवाणी करेगा?

हां, मॉडल ने 88 किग्रा की भविष्यवाणी की, और मेरे पास 89.8 किग्रा है।

मैंने जो कुछ भी किया, मैंने यहां एकत्र किया

लेख के विपक्ष

• डेटासेट का कोई विवरण नहीं है। शायद, लोगों में उम्र और अन्य कारक अलग-अलग थे। इसलिए, कोई इसे विश्वास पर स्वीकार नहीं कर सकता, लेकिन प्रयोग के लिए - कृपया।
• अच्छे तरीके से - वितरण की सामान्यता के लिए एक परीक्षण करना आवश्यक था

उपसंहार

जैसे अगर आपने 99.7% का अंतराल मारा