अब लगभग एक साल से मैं यैंडेक्स म्यूजिक सेवा का उपयोग कर रहा हूं और मुझे सब कुछ सूट करता है। लेकिन इस सेवा में एक दिलचस्प पृष्ठ है - इतिहास। यह उन सभी ट्रैक को संग्रहीत करता है जिन्हें कालानुक्रमिक क्रम में सुना गया है। और हां, मैं इसे डाउनलोड करना चाहता था और विश्लेषण करना था कि मैंने हर समय क्या सुना है।

पहले प्रयास

इस पृष्ठ से निपटने के लिए, मैं तुरंत एक समस्या में भाग गया। सेवा एक ही बार में सभी ट्रैक डाउनलोड नहीं करती है, लेकिन केवल आप स्क्रॉल करते हैं। मैं स्निफर डाउनलोड नहीं करना चाहता था और ट्रैफ़िक को समझना चाहता था, और उस समय मेरे पास इस मामले में कोई कौशल नहीं था। इसलिए, मैंने सेलेनियम का उपयोग करके ब्राउज़र का अनुकरण करके और अधिक जाने का फैसला किया।

स्क्रिप्ट लिखी गई थी। लेकिन उन्होंने बहुत अस्थिर और लंबे समय तक काम किया। लेकिन उन्होंने कहानी को लोड करने का प्रबंधन किया। एक सरल विश्लेषण के बाद, मैंने स्क्रिप्ट को बिना संशोधनों के छोड़ दिया, कुछ समय बाद तक मैं फिर से कहानी डाउनलोड नहीं करना चाहता था। सर्वश्रेष्ठ के लिए उम्मीद करते हुए, मैंने इसे लॉन्च किया। और, ज़ाहिर है, उन्होंने एक त्रुटि दी। तब मुझे एहसास हुआ कि यह सब कुछ मानवीय रूप से करने का समय था।

काम करने का विकल्प

ट्रैफ़िक के विश्लेषण के लिए, मैंने तारों के विपरीत http ट्रैफ़िक के लिए अधिक शक्तिशाली इंटरफ़ेस के कारण फ़िडलर को अपने लिए चुना। स्निफर चलाना, मुझे टोकन के साथ एपीआई के लिए अनुरोध देखने की उम्मीद है। लेकिन नहीं। हमारा लक्ष्य music.yandex.ru/handlers/library.jsx पर था। और इसके लिए साइट पर पूर्ण प्राधिकरण की आवश्यकता है। हम उसके साथ शुरू करेंगे।

प्राधिकरण

यहां कुछ भी जटिल नहीं है। हम passport.yandex.ru/auth , अनुरोधों के लिए पैरामीटर ढूंढते हैं और प्राधिकरण के लिए दो अनुरोध करते हैं।

 auth_page = self.get('/auth').text csrf_token, process_uuid = self.find_auth_data(auth_page) auth_login = self.post( '/registration-validations/auth/multi_step/start', data={'csrf_token': csrf_token, 'process_uuid': process_uuid, 'login': self.login} ).json() auth_password = self.post( '/registration-validations/auth/multi_step/commit_password', data={'csrf_token': csrf_token, 'track_id': auth_login['track_id'], 'password': self.password} ).json() 

और इसलिए हमने लॉग इन किया।

इतिहास डाउनलोड करें

अगला हम music.yandex.ru/user/<user>/history , जहां हम पटरियों के बारे में जानकारी प्राप्त करते समय कुछ पैरामीटर भी चुनते हैं जो हमारे लिए उपयोगी होते हैं। अब आप कहानी डाउनलोड कर सकते हैं। हमें संगीत music.yandex.ru/handlers/library.jsx पर मापदंडों {'owner': <user>, 'filter': 'history', 'likeFilter': 'favorite', 'lang': 'ru', 'external-domain': 'music.yandex.ru', 'overembed': 'false', 'ncrnd': '0.9546193023464256'} । मुझे यहाँ ncrnd पैरामीटर में दिलचस्पी थी। अनुरोध करते समय, यैंडेक्स हमेशा इस पैरामीटर को विभिन्न मान प्रदान करता है, लेकिन सब कुछ उसी के साथ काम करता है। पीछे हमें आईडी ट्रैक के रूप में इतिहास मिलता है और शीर्ष दस पटरियों के बारे में विस्तृत जानकारी। विस्तृत ट्रैक जानकारी से, आप बाद के विश्लेषण के लिए बहुत सारे दिलचस्प डेटा को बचा सकते हैं। उदाहरण के लिए, रिलीज़ वर्ष, ट्रैक अवधि और शैली। बाकी पटरियों की जानकारी music.yandex.ru/handlers/track-entries.jsx से प्राप्त की गई है। हम इस सभी व्यवसाय को सीएसवी में सहेजते हैं और हम विश्लेषण के लिए पास करते हैं।

के विश्लेषण

विश्लेषण के लिए, हम पंडों और मेटप्लोटलिब के रूप में मानक उपकरणों का उपयोग करते हैं।

 import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv('statistics.csv') df.head(3) 

अजगर के ना को ना में बदलें और उन्हें फेंक दें।

 df = df.replace('None', pd.np.nan).dropna() 

चलो एक साधारण से शुरू करते हैं। आइए देखें कि हमने सभी पटरियों को सुनने में कितना समय बिताया

 duration_sec = df['duration_sec'].astype('int64').sum() ss = duration_sec % 60 m = duration_sec // 60 mm = m % 60 h = m // 60 hh = h % 60 f'{h // 24} {hh}:{mm}:{ss}' 

 '15 15:30:14' 

लेकिन यहां आप इस आंकड़े की सटीकता के बारे में बहस कर सकते हैं, क्योंकि यह स्पष्ट नहीं है कि आपको ट्रैक के किस हिस्से को सुनने की जरूरत है, यैंडेक्स ने इसे कहानी में जोड़ा।

अब आइए रिलीज़ के वर्ष तक पटरियों के वितरण को देखें।

 plt.rcParams['figure.figsize'] = [15, 5] plt.hist(df['year'].sort_values(), bins=len(df['year'].unique())) plt.xticks(rotation='vertical') plt.show() 

यहाँ, वही इतना सरल नहीं है, क्योंकि "बेस्ट हिट्स" के विविध संग्रह बाद में होंगे।

अन्य आँकड़े बहुत समान सिद्धांत पर बनाए जाएंगे। मैं सबसे सुनी पटरियों का एक उदाहरण दूंगा

 df.groupby(['track_id', 'artist','track'])['track_id'].count().sort_values(ascending=False).head() 

और कलाकार के सबसे अधिक चलाए गए ट्रैक

 artist_name = 'Coldplay' df.groupby([ 'artist_id', 'track_id', 'artist', 'track' ])['artist_id'].count().sort_values(ascending=False)[:,:,artist_name].head(5) 

पूर्ण कोड यहां पाया जा सकता है।