आपने फिल्मों में कितना समय बिताया?

विचारों का उद्भव

हाल ही में मैं दोस्तों का दौरा कर रहा था और हमने एक फिल्म चुनी, और मैंने, एक जले हुए फिल्म प्रशंसक के रूप में (वास्तव में, इतना सीधा नहीं जला), सब कुछ देख लिया। और उन्होंने मुझसे एक तार्किक प्रश्न पूछा, लेकिन आप सब पर ध्यान क्यों नहीं दिया? जिसके लिए मैंने कहा कि मैं एक फिल्म खोज का संचालन कर रहा हूं और मैं वह हर फिल्म देखता हूं जो मैंने देखी है, या तो रेटिंग से या सिर्फ एक टिक से, जो देखने में हुई थी। और फिर मेरे दिमाग में एक सवाल आया, लेकिन मैंने फिल्मों पर कितना समय बिताया? स्टीम में खेल के लिए सुविधाजनक आंकड़े हैं, लेकिन फिल्मों के लिए कुछ भी नहीं है। इसलिए मैंने इस विचार से निपटने का फैसला किया।

कार्यान्वयन के साथ क्या हो रहा है?

मैं कई वर्षों से ASP.NET पर विकास कर रहा हूं और C # का उपयोग कर रहा हूं, पहले मैं इस पर इस उपयोगिता को लिखना चाहता था, लेकिन एक भारी वातावरण के साथ एक समस्या थी और, चूंकि मैं पायथन से थोड़ा परिचित हूं, इसलिए मैंने इसका सहारा लिया।

और डेटा कहाँ से प्राप्त करें?

और यहाँ मैं पहली समस्या का सामना कर रहा हूँ। मैंने भोलेपन से यह मान लिया कि मूवी सर्च में एक आधिकारिक सार्वजनिक एपीआई और कुछ प्रकार के मुफ्त संस्करण हैं। लेकिन मुझे ऐसा कुछ नहीं मिला। तकनीकी सहायता के माध्यम से अनुरोध करने का एक अवसर है, लेकिन यहां तक ​​कि वे केवल नौवीं राशि के लिए बाहर देते हैं, और मैंने इसे अपने लिए लिखा था और किसी भी तरह से इसके लिए भुगतान नहीं करना चाहता था।

स्वाभाविक रूप से, मुझे पार्सिंग पृष्ठों के विकल्प पर विचार करना था, और यह इस पर था कि मैं रुक गया।



प्रोफाइल में सभी के पास एक छोटे विवरण के साथ देखी जाने वाली फिल्मों की एक सूची है जिसमें चित्र की अवधि शामिल है। इस तरह मैं केवल कुछ पृष्ठ प्राप्त कर सकता हूं (मेरे पास 762 फिल्में हैं और केवल 17 पृष्ठ प्राप्त करना आवश्यक था) और खर्च किए गए समय की गणना करना।

जल्दी से नहीं कहा।

class KinopoiskParser: def __init__(self, user_id, current_page=1): self._user_id = user_id self._current_page = current_page self._wasted_time_in_minutes = 0 def calculate_wasted_time(self): while True: film_list_url = f'https://www.kinopoisk.ru/user/{self._user_id}' \ f'/votes/list/ord/date/genre/films/page/{self._current_page}/#list' try: film_response = requests.get(film_list_url).text except BaseException: proxy_manager.update_proxy() continue user_page = BeautifulSoup(film_response, "html.parser") is_end = kinopoisk_parser._check_that_is_end_of_film_list(user_page) if is_end: break wasted_time = self._get_film_duration_on_page(user_page) self._wasted_time_in_minutes += wasted_time print(f'Page {self._current_page}, wasted time {self._wasted_time_in_minutes}') self._move_next_page() def get_wasted_time(self): return self._wasted_time_in_minutes def _move_next_page(self): self._current_page += 1 @staticmethod def _get_film_duration_on_page(user_page): try: wasted_time = 0 film_list = user_page.findAll("div", {"class": "profileFilmsList"})[0].findAll("div", {"class": "item"}) for film in film_list: film_description = film.findAll("span") if len(film_description) <= 1: continue film_duration_in_minutes = int(film_description[1].string.split(" ")[0]) wasted_time = wasted_time + film_duration_in_minutes return wasted_time except BaseException: print("Something went wrong.") return 0 @staticmethod def _check_that_is_captcha(html): captcha_element = html.find_all("a", {"href": "//yandex.ru/support/captcha/"}) return len(captcha_element) > 0 @staticmethod def _check_that_is_end_of_film_list(html): error_element = html.find_all("div", {"class": "error-page__container-left"}) return len(error_element) > 0 

लेकिन पहले से ही डिबगिंग चरण में, मैं एक समस्या में चला गया कि सिनेमा खोज अनुरोधों (लगभग 4 पुनरावृत्तियों) को ब्लॉक करता है और उन्हें संदिग्ध मानता है। और वह सही है! लेकिन मैंने भी इस विकल्प का सुझाव दिया और बी की योजना बनाई।

प्लान बी - दस्ताने की तरह परदे के पीछे बदलें

आईपी ​​प्रॉक्सी प्राप्त करने के लिए एपीआई प्रदान करने वाला पहला सर्वर लेने के बाद (मैं किसी भी सेवा का विज्ञापन नहीं करता, Google से पहले दो लिंक लिए), इसे टेढ़ा-मेढ़ा किया और मुख्य कोड लिखना जारी रखा। और एक घंटे बाद, जब मैं पूरा होने के करीब था, मुझे सर्वर द्वारा अवरुद्ध किया गया था जो एपीआई प्रदान करता है! मुझे इसे एक दूसरे को बदलना पड़ा, जो हर आधे घंटे में एक निश्चित सूची तैयार करता है, मेरे काम के लिए यह पर्याप्त है। लेकिन अगर सूची अचानक समाप्त हो जाती है, तो आप पिछले विकल्प पर लौट सकते हैं (वे हर 24 घंटे में 10-24 प्रॉक्सी जारी करते हैं)।

 class ProxyManager: def __init__(self): self._current_proxy = "" self._current_proxy_index = -1 self._proxy_list = [] self._get_proxy_list() def get_proxies(self): proxies = { "http": self._current_proxy, "https": self._current_proxy } return proxies def update_proxy(self): self._current_proxy_index += 1 if self._current_proxy_index == len(self._proxy_list): print("Proxies are ended") print("Try get alternative proxy") proxy_ip_with_port = self._get_another_proxy() print("Proxy updated to " + proxy_ip_with_port) self._current_proxy = f'http://{proxy_ip_with_port}' return self._current_proxy proxy_ip_with_port = self._proxy_list[self._current_proxy_index] print("Proxy updated to " + proxy_ip_with_port) self._current_proxy = f'http://{proxy_ip_with_port}' return self._current_proxy @staticmethod def _get_another_proxy(): proxy_response = requests.get("https://api.getproxylist.com/proxy?protocol[]=http", headers={ 'Content-Type': 'application/json' }).json() ip = proxy_response['ip'] port = proxy_response['port'] proxy = f'{ip}:{port}' return proxy def _get_proxy_list(self): proxy_response = requests.get("http://www.freeproxy-list.ru/api/proxy?anonymity=false&token=demo") self._proxy_list = proxy_response.text.split("\n") 

इन सभी को एक साथ जोड़ते हुए (अंत में मैं अंतिम संस्करण के साथ जीथब को एक लिंक दूंगा), मुझे फिल्मों पर खर्च किए गए समय की गिनती के लिए एक बड़ी बात मिली। और उन्होंने पोषित संख्या प्राप्त की, तदम: "आपने 84542 मिनट या 1409.03 घंटे या 58.73 दिन व्यर्थ किए।"

व्यर्थ में समय व्यतीत करने के लिए समय व्यतीत किया

वास्तव में, व्यर्थ नहीं। यह कार्य दिलचस्प था, यद्यपि कम से कम किसी को, शायद ही आवश्यक हो।
और अब मैं हर किसी को बता सकता हूं कि मेरे जीवन के लगभग दो महीने मैं एक फिल्म देख रहा था!

यदि कोई व्यक्ति अपने लिए ऐसे "महत्वपूर्ण" आंकड़े प्राप्त करने में रुचि रखता है, तो बस अपनी प्रोफ़ाइल की आईडी की प्रतिलिपि बनाएँ और इस पैरामीटर के साथ प्रोजेक्ट शुरू करें और यदि आप आसानी से टिप्पणी में परिणाम को छोड़ सकते हैं, तो मुझे फिल्म प्रशंसक या शुरुआती में दिलचस्पी है।

स्रोत कोड लिंक

PS मुझे कोड में सुधार करने के लिए सुझाव सुनने में भी खुशी होगी, क्योंकि मैंने अजगर पर बहुत कम लिखा है और यहां तक ​​कि वाक्यविन्यास को भी पूरी तरह से नहीं समझा है।