रोबोट को साधारण रिपोर्ट कैसे सौंपें। पायथन और Google BigQuery में एक बॉट लिखना

क्या आपके पास ऐसे कार्य हैं जो दिन-प्रतिदिन दोहराए जाते हैं, सप्ताह से सप्ताह तक? उदाहरण के लिए, रिपोर्ट लिखना। आप डेटा का अनुरोध करते हैं, विश्लेषण करते हैं, कल्पना करते हैं (रेखांकन, चार्ट बनाते हैं), और फिर इसे बॉस को भेजें। लेकिन क्या होगा अगर यह सब स्वचालित है?

इस ट्यूटोरियल में, हम टेलीग्राम के लिए एक बॉट बनाएंगे जो रिपोर्टिंग को स्वचालित करने में मदद करेगा। और सबसे अच्छी बात यह है कि पूरे कार्यक्रम में कोड की केवल 50 लाइनें शामिल होंगी! अगर आप पहली बार टेलीग्राम के लिए कोई बॉट बना रहे हैं, तो आपको यहां इस पोस्ट को पढ़ना चाहिए।

स्किलबॉक्स सलाह देता है: स्क्रैच से एक हाथ पर पाठ्यक्रम अजगर डेवलपर ।

हम आपको याद दिलाते हैं: "हैबर" के सभी पाठकों के लिए - "हैबर" प्रोमो कोड का उपयोग करके किसी भी स्किलबॉक्स कोर्स के लिए पंजीकरण करते समय 10,000 रूबल की छूट।

नीचे उतरना

पुस्तकालय स्थापित करें

हम Google BigQuery से डेटा पुनर्प्राप्त करने के लिए Google- क्लाउड-बिगक्वेरी का उपयोग करेंगे। matplotlib , numpy और पांडा डेटा की कल्पना करने में मदद करेंगे। अजगर-टेलीग्राम-बॉट तैयार डेटा टेलीग्राम को भेजेगा।

pip3 इंस्टॉल करें google-cloud-bigquery matplotlib numpy पांडा python-telegram-bot

Google BigQuery एपीआई कनेक्ट करें

यदि हम सेवा का उपयोग करना चाहते हैं, तो हमें Google BigQuery API को कनेक्ट करना होगा। ऐसा करने के लिए, Google डेवलपर्स कंसोल पर जाएं और एक नया प्रोजेक्ट बनाएं (या किसी मौजूदा का चयन करें)।

नियंत्रण कक्ष में, सक्षम APIS और सेवाओं का चयन करें और BigQuery एपीआई की तलाश करें।



एपीआई कनेक्ट करने के लिए सक्षम करें चुनें।



एक खाता कुंजी बनाएँ

हम फिर से Google डेवलपर्स कंसोल पर जाते हैं , क्रेडेंशियल्स का चयन करते हैं, क्रेडेंशियल्स और सेवा खाता कुंजी टैब बनाते हैं।

फिर - नया सेवा खाता, और सेवा खाता नाम फ़ील्ड में, नाम दर्ज करें।

रोल ड्रॉप-डाउन सूची से, प्रोजेक्ट> स्वामी चुनें, फिर बनाएँ।



एक फ़ाइल जो स्वचालित रूप से लोड होगी उसे क्रेडेससन कहा जाता है।

हम GOOGLE_APPLICATION_CREDENTIALS को बेनकाब करते हैं, जो टर्मिनल में क्रेडेसन के लिए रास्ता दिखाता है।

GOOGLE_APPLICATION_CREDENTIALS = '[PATH_TO_CREDS.JSON] निर्यात करें

यदि सब कुछ ठीक हो गया, तो एक कार्यक्रम लिखना शुरू करने का समय है।

अनुप्रयोग निर्माण

ट्यूटोरियल के लिए हम bigquery-public-data.stackoverflow से डेटा का उपयोग करेंगे, अपनी रिपोर्ट के लिए हम दैनिक प्रकाशनों की संख्या का चयन करेंगे।

सब कुछ काफी सरल है।

तालिका क्वेरी करें -> डेटा विज़ुअलाइज़ करें -> विज़ुअलाइज़ेशन सहेजें -> छवि भेजें

आइए प्रत्येक थ्रेड को परिभाषित करने के लिए एक फ़ंक्शन बनाएं।

BigQuery को क्वेरी

सबसे पहले, पुस्तकालय आयात करें।

google.cloud आयात से बड़ी आय

एक फ़ंक्शन बनाएँ जिसे query_to_bigquery कहा जाता है, जहाँ पैरामीटर क्वेरी है।

def query_to_bigquery(query): client = bigquery.Client() query_job = client.query(query) result = query_job.result() dataframe = result.to_dataframe() return dataframe 

यह फ़ंक्शन डेटा फ़्रेम के रूप में अनुरोध वापस करेगा।

डेटा की कल्पना करें

इस समस्या को हल करने के लिए, matplotlib चुनें।

प्लेट के रूप में आयात matplotlib.pyplot

हमें पांच मापदंडों की आवश्यकता है, जहां x एक्स अक्ष पर डेटा है, x_label अक्ष के लिए नाम है, y y अक्ष के लिए डेटा है, y_label अक्ष के लिए नाम है और शीर्षक पूरे विज़ुअलाइज़ेशन का शीर्षक है।

 def visualize_bar_chart(x, x_label, y, y_label, title): plt.title(title) plt.xlabel(x_label) plt.ylabel(y_label) index = np.arange(len(x)) plt.xticks(index, x, fontsize=5, rotation=30) plt.bar(index, y) return plt 

छवि सहेजें

अब आइए विज़ुअलाइज़ेशन बनाने और इसे बचाने के लिए दो फ़ंक्शन का उपयोग करें।

हम दैनिक प्रकाशित पदों की संख्या भेजेंगे। पहले हम एक निवेदन लिखते हैं।

 query = """ SELECT DATE(creation_date) date, COUNT(*) total_posts FROM `bigquery-public-data.stackoverflow.post_history` GROUP BY 1 HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY) ORDER BY 1 """ 

2 दिसंबर, 2018 से शुरू होने वाले दो सप्ताह के लिए डेटा एकत्र करने में क्वेरी मदद करती है।

हम इस तिथि का उपयोग करते हैं क्योंकि 2018-12-02 नवीनतम डेटा को bigquery-public-data.stackoverflow.post_history में दर्ज किया गया है, अन्य मामलों में आप नवीनतम डेटा प्राप्त करने के लिए CURRENT_DATE () का उपयोग कर सकते हैं।

डेटा प्राप्त करने के लिए query_to_bigquery फ़ंक्शन को कॉल करें।

dataframe = query_to_bigquery (क्वेरी)

फिर x अक्ष के लिए दिनांक स्तंभ, और y अक्ष के लिए total_posts स्तंभ का उपयोग करें।

x = डेटाफ्रेम ['तारीख']। सूची ()
y = डेटाफ्रेम ['total_posts']। tolist ()

हम visualize_bar_chart फ़ंक्शन का उपयोग करके कल्पना करते हैं और इसे एक छवि के रूप में सहेजते हैं।

plt = visualize_bar_chart (x = x, x_label = 'Date', y = y, y_label = 'कुल पोस्ट', शीर्षक = 'दैनिक पोस्ट')
plt.savefig ('viz.png')

हम इस कोड को get_and_save_image नामक फ़ंक्शन में लपेटते हैं।

 def get_and_save_image(): query = """ SELECT DATE(creation_date) date, COUNT(*) total_posts FROM `bigquery-public-data.stackoverflow.post_history` GROUP BY 1 HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY) ORDER BY 1 """ dataframe = query_to_bigquery(query) x = dataframe['date'].tolist() y = dataframe['total_posts'].tolist() plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts') plt.savefig('viz.png') 

छवि भेजें

प्राप्तकर्ता को एक रिपोर्ट भेजने के लिए, आपको chat_id पैरामीटर को जानना होगा।

हम userinfobot और type / start का उपयोग करते हैं। बॉट आवश्यक जानकारी के साथ प्रतिक्रिया करता है, चैट_आईडी आईडी फ़ील्ड में निहित है।

अब send_image फ़ंक्शन बनाएं। यह get_and_save_image फ़ंक्शन का उपयोग छवि को प्राप्त करने और सहेजने के लिए करेगा। और फिर हम सब कुछ सही संपर्क में भेजते हैं।

 def send_image(bot, update): get_and_save_image() chat_id = 'CHAT_ID_RECEIVER' bot.send_photo(chat_id=chat_id, photo=open('viz.png','rb')) 

मुख्य कार्यक्रम

अंत में, एप्लिकेशन लॉन्च करने के लिए एक और फ़ंक्शन, मुख्य बनाएं। बॉट के लिए Your_TOKEN को बदलना न भूलें।

याद रखें: यह कार्यक्रम आपके द्वारा निर्दिष्ट समय पर छवि को स्वचालित रूप से भेज देगा। उदाहरण के लिए, हम हर दिन सुबह नौ बजे एक रिपोर्ट भेजेंगे।

 def main(): updater = Updater('YOUR_TOKEN') updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6)) updater.start_polling() updater.idle() if __name__ == '__main__': main() 

परिणामस्वरूप, हमारा आवेदन इस तरह दिखाई देगा:

 from google.cloud import bigquery from telegram.ext import Updater import matplotlib.pyplot as plt import numpy as np import datetime def query_to_bigquery(query): client = bigquery.Client() query_job = client.query(query) result = query_job.result() dataframe = result.to_dataframe() return dataframe def visualize_bar_chart(x, x_label, y, y_label, title): plt.title(title) plt.xlabel(x_label) plt.ylabel(y_label) index = np.arange(len(x)) plt.xticks(index, x, fontsize=5, rotation=30) plt.bar(index, y) return plt def get_and_save_image(): query = """ SELECT DATE(creation_date) date, COUNT(*) total_posts FROM `bigquery-public-data.stackoverflow.post_history` GROUP BY 1 HAVING date > DATE_SUB('2018-12-02', INTERVAL 14 DAY) ORDER BY 1 """ dataframe = query_to_bigquery(query) x = dataframe['date'].tolist() y = dataframe['total_posts'].tolist() plt = visualize_bar_chart(x=x, x_label='Date', y=y, y_label='Total Posts', title='Daily Posts') plt.savefig('viz.png') def send_image(bot, update): get_and_save_image() chat_id = 'CHAT_ID_RECEIVER' bot.send_photo(chat_id=chat_id, photo=open('viz.png', 'rb')) def main(): updater = Updater('YOUR_TOKEN') updater.job_queue.run_daily(send_image, time=datetime.datetime.strptime('9:00AM', '%I:%M%p').time(), days=(0,1,2,3,4,5,6)) updater.start_polling() updater.idle() if __name__ == '__main__': main() 

फ़ाइल सहेजें और इसे मुख्य नाम दें।

हम टर्मिनल में कमांड दर्ज करके एप्लिकेशन लॉन्च करते हैं:

python3 main.py

सब कुछ तैयार है। अब हमारे पास एक रोबोट है जिसमें कोड की 50 लाइनें हैं जो हमारे हस्तक्षेप के बिना रिपोर्ट उत्पन्न करता है।

आइए / सेंड कमांड का चयन करके यहाँ से बॉट की जाँच करें।



आप तैयार कोड मेरे GitHub में प्राप्त कर सकते हैं।

स्किलबॉक्स अनुशंसा करता है:

• दो वर्षीय व्यावहारिक पाठ्यक्रम "मैं एक प्रो वेब डेवलपर हूं । "
• ऑनलाइन पाठ्यक्रम "सी # डेवलपर 0 के साथ" ।
• व्यावहारिक वार्षिक पाठ्यक्रम "पीएचपी-डेवलपर 0 से प्रो तक" ।