पायथन में ग्रुपिंग और डेटा विज़ुअलाइज़ेशन का उपयोग करने का कौशल विकसित करना

नमस्कार, हेब्र!

आज हम पायथन में ग्रुपिंग और डेटा विज़ुअलाइज़ेशन टूल्स का उपयोग करने का कौशल विकसित करेंगे। जीथब पर उपलब्ध डेटासेट में , हम कई विशेषताओं का विश्लेषण करेंगे और विज़ुअलाइज़ेशन के एक सेट का निर्माण करेंगे।

परंपरा के अनुसार, शुरुआत में, हम लक्ष्यों को परिभाषित करते हैं:

• सेक्स और वर्ष द्वारा समूह डेटा और दोनों लिंगों की उर्वरता की सामान्य गतिशीलता की कल्पना;
• इतिहास में सबसे लोकप्रिय नाम खोजें;
• डेटा में पूरे समय की अवधि को 10 भागों में तोड़ें और प्रत्येक के लिए प्रत्येक लिंग का सबसे लोकप्रिय नाम खोजें। प्रत्येक नाम के लिए, पूरे समय के लिए इसकी गतिशीलता की कल्पना करें;
• प्रत्येक वर्ष के लिए, गणना करें कि कितने नाम 50% लोग कवर करते हैं और कल्पना करते हैं (हम प्रत्येक वर्ष के लिए विभिन्न नाम देखेंगे);
• पूरी अवधि से 4 वर्ष चुनें और प्रत्येक वर्ष नाम में पहले अक्षर से और नाम के अंतिम अक्षर से वितरण करें;
• कई प्रसिद्ध लोगों (अध्यक्षों, गायकों, अभिनेताओं, फिल्म नायकों) की एक सूची बनाएं और नामों की गतिशीलता पर उनके प्रभाव का मूल्यांकन करें। दृश्य निर्माण करें।

कम शब्द, अधिक कोड!

और जाने दो।

लिंग और वर्ष के आंकड़ों को समूहित करें और दोनों लिंगों के जन्म दर की सामान्य गतिशीलता की कल्पना करें:

import numpy as np import pandas as pd import matplotlib.pyplot as plt years = np.arange(1880, 2011, 3) datalist = 'https://raw.githubusercontent.com/wesm/pydata-book/2nd-edition/datasets/babynames/yob{year}.txt' dataframes = [] for year in years: dataset = datalist.format(year=year) dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count']) dataframes.append(dataframe.assign(year=year)) result = pd.concat(dataframes) sex = result.groupby('sex') births_men = sex.get_group('M').groupby('year', as_index=False) births_women = sex.get_group('F').groupby('year', as_index=False) births_men_list = births_men.aggregate(np.sum)['count'].tolist() births_women_list = births_women.aggregate(np.sum)['count'].tolist() fig, ax = plt.subplots() fig.set_size_inches(25,15) index = np.arange(len(years)) stolb1 = ax.bar(index, births_men_list, 0.4, color='c', label='') stolb2 = ax.bar(index + 0.4, births_women_list, 0.4, alpha=0.8, color='r', label='') ax.set_title('    ') ax.set_xlabel('') ax.set_ylabel('') ax.set_xticklabels(years) ax.set_xticks(index + 0.4) ax.legend(loc=9) fig.tight_layout() plt.show() 

इतिहास के सबसे लोकप्रिय नाम खोजें:

 years = np.arange(1880, 2011) dataframes = [] for year in years: dataset = datalist.format(year=year) dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count']) dataframes.append(dataframe) result = pd.concat(dataframes) names = result.groupby('name', as_index=False).sum().sort_values('count', ascending=False) names.head(10) 

हम डेटा में पूरे समय की अवधि को 10 भागों में विभाजित करते हैं और प्रत्येक के लिए हम प्रत्येक लिंग का सबसे लोकप्रिय नाम पाते हैं। प्रत्येक नाम के लिए, पूरे समय के लिए इसकी गतिशीलता की कल्पना करें:

 years = np.arange(1880, 2011) part_size = int((years[years.size - 1] - years[0]) / 10) + 1 parts = {} def GetPart(year): return int((year - years[0]) / part_size) for year in years: index = GetPart(year) r = years[0] + part_size * index, min(years[years.size - 1], years[0] + part_size * (index + 1)) parts[index] = str(r[0]) + '-' + str(r[1]) dataframe_parts = [] dataframes = [] for year in years: dataset = datalist.format(year=year) dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count']) dataframe_parts.append(dataframe.assign(years=parts[GetPart(year)])) dataframes.append(dataframe.assign(year=year)) result_parts = pd.concat(dataframe_parts) result = pd.concat(dataframes) result_parts_sums = result_parts.groupby(['years', 'sex', 'name'], as_index=False).sum() result_parts_names = result_parts_sums.iloc[result_parts_sums.groupby(['years', 'sex'], as_index=False).apply(lambda x: x['count'].idxmax())] result_sums = result.groupby(['year', 'sex', 'name'], as_index=False).sum() for groupName, groupLabels in result_parts_names.groupby(['name', 'sex']).groups.items(): group = result_sums.groupby(['name', 'sex']).get_group(groupName) fig, ax = plt.subplots(1, 1, figsize=(18,10)) ax.set_xlabel('') ax.set_ylabel('') label = group['name'] ax.plot(group['year'], group['count'], label=label.aggregate(np.max), color='b', ls='-') ax.legend(loc=9, fontsize=11) plt.show() 

प्रत्येक वर्ष के लिए, हम गणना करते हैं कि कितने लोग इस डेटा को कवर करते हैं और कल्पना करते हैं:

 dataframe = pd.DataFrame({'year': [], 'count': []}) years = np.arange(1880, 2011) for year in years: dataset = datalist.format(year=year) csv = pd.read_csv(dataset, names=['name', 'sex', 'count']) names = csv.groupby('name', as_index=False).aggregate(np.sum) names['sum'] = names.sum()['count'] names['percent'] = names['count'] / names['sum'] * 100 names = names.sort_values(['percent'], ascending=False) names['cum_perc'] = names['percent'].cumsum() names_filtered = names[names['cum_perc'] <= 50] dataframe = dataframe.append(pd.DataFrame({'year': [year], 'count': [names_filtered.shape[0]]})) fig, ax1 = plt.subplots(1, 1, figsize=(22,13)) ax1.set_xlabel('', fontsize = 12) ax1.set_ylabel(' ', fontsize = 12) ax1.plot(dataframe['year'], dataframe['count'], color='r', ls='-') ax1.legend(loc=9, fontsize=12) plt.show() 

संपूर्ण अवधि में से 4 वर्ष चुनें और प्रत्येक वर्ष नाम में पहले अक्षर और अंतिम पत्र द्वारा वितरण प्रदर्शित करें:

 from string import ascii_lowercase, ascii_uppercase fig_first, ax_first = plt.subplots(1, 1, figsize=(14,10)) fig_last, ax_last = plt.subplots(1, 1, figsize=(14,10)) index = np.arange(len(ascii_uppercase)) years = [1944, 1978, 1991, 2003] colors = ['r', 'g', 'b', 'y'] n = 0 for year in years: dataset = datalist.format(year=year) csv = pd.read_csv(dataset, names=['name', 'sex', 'count']) names = csv.groupby('name', as_index=False).aggregate(np.sum) count = names.shape[0] dataframe = pd.DataFrame({'letter': [], 'frequency_first': [], 'frequency_last': []}) for letter in ascii_uppercase: countFirst = (names[names.name.str.startswith(letter)].count()['count']) countLast = (names[names.name.str.endswith(letter.lower())].count()['count']) dataframe = dataframe.append(pd.DataFrame({ 'letter': [letter], 'frequency_first': [countFirst / count * 100], 'frequency_last': [countLast / count * 100]})) ax_first.bar(index + 0.3 * n, dataframe['frequency_first'], 0.3, alpha=0.5, color=colors[n], label=year) ax_last.bar(index + bar_width * n, dataframe['frequency_last'], 0.3, alpha=0.5, color=colors[n], label=year) n += 1 ax_first.set_xlabel(' ') ax_first.set_ylabel(', %') ax_first.set_title('   ') ax_first.set_xticks(index) ax_first.set_xticklabels(ascii_uppercase) ax_first.legend() ax_last.set_xlabel(' ') ax_last.set_ylabel(', %') ax_last.set_title('   ') ax_last.set_xticks(index) ax_last.set_xticklabels(ascii_uppercase) ax_last.legend() fig_first.tight_layout() fig_last.tight_layout() plt.show() 

आइए कई प्रसिद्ध लोगों (अध्यक्षों, गायकों, अभिनेताओं, फिल्म नायकों) की एक सूची बनाएं और नामों की गतिशीलता पर उनके प्रभाव का मूल्यांकन करें:

 celebrities = {'Frank': 'M', 'Britney': 'F', 'Madonna': 'F', 'Bob': 'M'} dataframes = [] for year in years: dataset = datalist.format(year=year) dataframe = pd.read_csv(dataset, names=['name', 'sex', 'count']) dataframes.append(dataframe.assign(year=year)) result = pd.concat(dataframes) for celebrity, sex in celebrities.items(): names = result[result.name == celebrity] dataframe = names[names.sex == sex] fig, ax = plt.subplots(1, 1, figsize=(16,8)) ax.set_xlabel('', fontsize = 10) ax.set_ylabel('', fontsize = 10) ax.plot(dataframe['year'], dataframe['count'], label=celebrity, color='r', ls='-') ax.legend(loc=9, fontsize=12) plt.show() 

प्रशिक्षण के लिए, आप सेलिब्रिटी के जीवन काल को अंतिम उदाहरण से विज़ुअलाइज़ेशन में जोड़ सकते हैं ताकि नामों की गतिशीलता पर उनके प्रभाव का नेत्रहीन मूल्यांकन किया जा सके।

इस पर, हमारे सभी लक्ष्य प्राप्त हुए और पूरे हुए। हमने पायथन में डेटा ग्रुपिंग और विज़ुअलाइज़ेशन टूल्स का उपयोग करने का कौशल विकसित किया है, और हम डेटा के साथ काम करना जारी रखेंगे। हर कोई खुद के लिए तैयार, दृश्य डेटा पर निष्कर्ष निकालने में सक्षम होगा।

सभी ज्ञान!