Google क्लाउड फ़ंक्शंस के साथ Google BigQuery में डेटा आयात को स्वचालित करें

हम लगातार Google BigQuery के साथ काम करते हैं - हम उपयोगकर्ताओं के बारे में डेटा, उनके आदेश और विभिन्न स्रोतों से विज्ञापन लागतों को आयात करते हैं ताकि उन्हें आपस में जोड़ सकें। यह हमें क्या देता है? उदाहरण के लिए, यदि आपके पास एक ऑनलाइन स्टोर है और एक ग्राहक फोन करके ऑर्डर करता है, और फिर साइट पर लॉग इन करता है, तो Google BigQuery का उपयोग करके आप इसके सभी कार्यों को पूर्वव्यापी रूप से लिंक कर सकते हैं। आप मार्केटिंग फ़नल के माध्यम से क्लाइंट की पूरी राह को ट्रैक कर सकते हैं - पहली यात्रा से लेकर एक ईंट और मोर्टार स्टोर में खरीदारी तक, और ऐसी ऑफ़लाइन बिक्री को ध्यान में रखते हुए विज्ञापन अभियानों का मूल्यांकन करें।

इस संग्रह में हमारे पास Google क्लाउड कार्यों का उपयोग करके Google BigQuery में डेटा आयात को स्वचालित करने के लिए 6 पायथन स्क्रिप्ट हैं: एफ़टीपी; FTPS; HTTP (s); इंटरकॉम; MySQL और SFTP। ऑपरेशन का सिद्धांत समान है: HTTP POST अनुरोध का उपयोग करते हुए, क्लाउड फ़ंक्शन को कहा जाता है, जो स्रोत से डेटा प्राप्त करता है और इसे Google BigQuery तालिका में लोड करता है। यदि तालिका पहले से ही चयनित डेटासेट में मौजूद है, तो इसे अधिलेखित कर दिया जाएगा।

बुनियादी आवश्यकताओं

1. सक्रिय बिलिंग के साथ Google क्लाउड प्लेटफ़ॉर्म में प्रोजेक्ट करें।
2. संपादित करने के लिए प्रवेश (BigQuery डेटा की "संपादक" भूमिका) और BigQuery परियोजना में क्लाउड फ़ंक्शन के सेवा खाते के लिए पूर्ण कार्य (बिगविक कार्यों की उपयोगकर्ता की भूमिका) जहां तालिका अपलोड की जाएगी;
3. क्लाउड फ़ंक्शन को लागू करने वाले POST अनुरोधों के लिए एक HTTP क्लाइंट।

सेटअप चरण

• Google क्लाउड प्लेटफ़ॉर्म कंसोल पर जाएं और अपने Google खाते का उपयोग करके लॉग इन करें, या यदि आपके पास अभी तक कोई खाता नहीं है तो पंजीकरण करें।
• सक्रिय बिलिंग वाले प्रोजेक्ट पर जाएं या प्रोजेक्ट के लिए नया बिलिंग अकाउंट बनाएं ।
• क्लाउड फ़ंक्शंस अनुभाग पर जाएं और फ़ीचर बनाएँ पर क्लिक करें। कृपया ध्यान दें कि क्लाउड शुल्क लागू होते हैं ।
• निम्नलिखित फ़ील्ड भरें:

नाम: उदाहरण के लिए, ftp-bq- एकीकरण या कोई अन्य उपयुक्त नाम;

आवंटित मेमोरी: संसाधित फ़ाइल के आकार के आधार पर 2 जीबी या उससे कम;

ट्रिगर: HTTP;

स्रोत कोड: निर्मित संपादक;

रनटाइम पर्यावरण: पायथन 3. एक्स।

• मेनड्रो फ़ाइल के कंटेंट को बिल्ट-इन एडिटर में कॉपी करें, टैब मेनडोम।
• बिल्ट-इन एडिटर में आवश्यकताएँ.txt टैब में आवश्यकताओं की सामग्री की प्रतिलिपि बनाएँ।
• Ftp / ftps / https निर्दिष्ट करें, और इसी तरह, जिस फ़ंक्शन को कॉल किया जा रहा है, वह आपके द्वारा उपयोग किए जा रहे मॉड्यूल पर निर्भर करता है।
• अतिरिक्त मापदंडों में, 60 सेकंड से प्रतीक्षा समय बढ़ाएं। 540 सेकंड तक। या छोटी, संसाधित की जा रही फ़ाइल के आकार पर निर्भर करता है।
• "बनाएँ" बटन पर क्लिक करके क्लाउड फ़ंक्शन बनाना समाप्त करें।

एफ़टीपी / एफटीपीएस / एसएफटीपी

यह मॉड्यूल Google क्लाउड में Google क्लाउड फ़ंक्शन का उपयोग करके FTP (FTPS, SFTP) सर्वर से फ़ाइलों को स्थानांतरित करने के लिए डिज़ाइन किया गया है। समाधान आपको स्वचालित रूप से एफ़टीपी सर्वर पर नियमित रूप से अपडेट की गई फ़ाइल से Google बिगविक पर डेटा अपलोड करने की अनुमति देता है।

उपयुक्त सर्वर से प्राप्त की जाने वाली फ़ाइल में कोई भी उपयुक्त एक्सटेंशन (.json, .txt, .csv) हो सकता है, लेकिन निम्न स्वरूपों में से एक में होना चाहिए: JSON (newline-delimited) या कॉमा-सेपरेटेड वैल्यू (CSV)।

उदाहरण का उपयोग करें

from urllib import urlencode from httplib2 import Http trigger_url = "https://REGION-PROJECT_ID.cloudfunctions.net/ftp/" headers = { "Content-Type": "application/json" } payload = { "ftp": { "user": "ftp.user_name", "psswd": "ftp.password", "path_to_file": "ftp://server_host/path/to/file/" }, "bq": { "project_id": "my_bq_project", "dataset_id": "my_bq_dataset", "table_id": "my_bq_table", "delimiter": ",", "source_format": "NEWLINE_DELIMITED_JSON", "location": "US" } } Http().request(trigger_url, "POST", urlencode(payload), headers = headers) 

HTTP (s)

HTTPS सर्वर से Google BigQuery में फ़ाइलों को स्थानांतरित करने के लिए मॉड्यूल।

उदाहरण का उपयोग करें

 from urllib import urlencode from httplib2 import Http trigger_url = "https://REGION-PROJECT_ID.cloudfunctions.net/https/" headers = { "Content-Type": "application/json" } payload = { "https": { "path_to_file": "https://server_host/path/to/file/", "user": "https.user_name", "psswd": "https.password" }, "bq": { "project_id": "my_bq_project", "dataset_id": "my_bq_dataset", "table_id": "my_bq_table", "delimiter": ",", "source_format": "CSV", "location": "US" } } Http().request(trigger_url, "POST", urlencode(payload), headers = headers) 

इंटरकॉम

Google क्लाउड सुविधा का उपयोग करके इंटरकॉम से Google बिगविक से डेटा ट्रांसफर करने के लिए एक मॉड्यूल। वर्तमान में, मॉड्यूल आपको इंटरकॉम से ऐसी संस्थाओं को आयात करने की अनुमति देता है: उपयोगकर्ता, कंपनियां, संपर्क, प्रवेश, वार्तालाप, टीम, टैग, सेगमेंट। हालाँकि, मॉड्यूल कस्टम विशेषताओं का समर्थन नहीं करता है।

उदाहरण का उपयोग करें

 from urllib import urlencode from httplib2 import Http trigger_url = "https://REGION-PROJECT_ID.cloudfunctions.net/intercom/" headers = { "Content-Type": "application/json" } payload = { "intercom": { "accessToken": "INTERCOM ACCESS TOKEN", "entities": [ "users", "companies", "contacts", "admins", "conversations", "teams", "tags", "segments" ] }, "bq": { "project_id": "YOUR GCP PROJECT", "dataset_id": "YOUR DATASET NAME", "location": "US" } } Http().request(trigger_url, "POST", urlencode(payload), headers = headers) 

MySQL

Google क्लाउड फ़ंक्शन का उपयोग करके MySQL सर्वर से Google BigQuery में फ़ाइलों को स्थानांतरित करने के लिए उपयोग किया जाता है। यह समाधान आपको MySQL सर्वर पर नियमित रूप से अपडेट की जाने वाली तालिकाओं से स्वचालित रूप से Google BigQuery को डेटा अपलोड करने की अनुमति देता है।

उदाहरण का उपयोग करें

 from urllib import urlencode from httplib2 import Http trigger_url = "https://REGION-PROJECT_ID.cloudfunctions.net/mysql/" headers = { "Content-Type": "application/json" } payload = { "mysql": { "user": "mysql.user", "psswd": "mysql.password", "host": "host_name", "port”: 3306, "database": "database_name", "table_id": "table_name", "query": "SELECT * FROM table_name" }, "bq": { "project_id": "my_bq_projec", "dataset_id": "my_bq_dataset", "table_id": "my_bq_table" } } Http().request(trigger_url, "POST", urlencode(payload), headers = headers) 

प्रत्येक मॉड्यूल के लिए और अधिक विस्तृत प्रलेखन प्रत्येक अनुभाग में रीडमी फाइलों में पाया जा सकता है।

यह केवल शुरुआत है, और अब हम Bitrix और amoCRM के लिए स्क्रिप्ट पर काम कर रहे हैं, क्योंकि हम देखते हैं कि वे हमारे ग्राहकों के बीच सबसे लोकप्रिय हैं। डेटा को संयोजित करने के लिए आप किन तरीकों का उपयोग करते हैं और इसके लिए आपके पास क्या एकीकरण हैं।