💖 ⤴️ 🕕 पुस्तक "व्यावहारिक ऐ। मशीन लर्निंग एंड क्लाउड टेक्नोलॉजी 👴🏻 🙄 🧚🏻

हाय, हब्रोज़ितेली! यह नोहा उपहार पुस्तक एआई, मशीन लर्निंग, क्लाउड कंप्यूटिंग और डेटा विषयों के किसी भी संयोजन में रुचि रखने वाले किसी के लिए है। दोनों प्रोग्रामर और बस देखभाल करने वाली तकनीकें यहां उपयोगी जानकारी प्राप्त करेंगी। पायथन में कोड उदाहरण दिए गए हैं। यह क्लाउड प्लेटफ़ॉर्म के उपयोग (उदाहरण के लिए, एडब्ल्यूएस, जीसीपी और एज़्योर) के साथ-साथ मशीन सीखने की तकनीक और एआई के कार्यान्वयन के रूप में ऐसे कई उन्नत विषयों को शामिल करता है। जेडी जो पायथन में धाराप्रवाह हैं, क्लाउड कंप्यूटिंग, और एमएल भी अपने लिए कई उपयोगी विचार पाएंगे जो तुरंत अपने वर्तमान काम में आवेदन कर सकते हैं।

हम आपको "एडब्ल्यूएस में एक इंटेलिजेंट स्लैक बॉट बनाना" पुस्तक के एक अंश को पढ़ने के लिए आमंत्रित करते हैं।

लोगों ने लंबे समय से "कृत्रिम जीवन" बनाने का सपना देखा है। ज्यादातर, जबकि यह बॉट्स बनाने से संभव है। बॉट्स हमारे दैनिक जीवन का तेजी से अभिन्न हिस्सा बन रहे हैं, विशेषकर एप्पल और एलेक्सा के अमेज़ॅन से सिरी के आगमन के बाद से। इस अध्याय में, हम बॉट बनाने के सभी रहस्यों को प्रकट करेंगे।

वनस्पति का निर्माण

बॉट बनाने के लिए, हम पायथन भाषा (https://github.com/slackapi/python-slackclient) के लिए स्लैक लाइब्रेरी का उपयोग करेंगे। स्लैक के साथ शुरुआत करने के लिए, आपको एक पहचान टोकन उत्पन्न करना होगा। सामान्य तौर पर, यह पर्यावरण मार्कर को निर्यात करने के लिए ऐसे मार्करों के साथ काम करते समय समझ में आता है। मैं अक्सर virtualenv में ऐसा करता हूं, इस प्रकार वर्तमान परिवेश में निष्पादित होने पर स्वचालित रूप से इस तक पहुंच प्राप्त करता है। ऐसा करने के लिए, आपको सक्रिय स्क्रिप्ट को संपादित करके virtualenv उपयोगिता को थोड़ा "दरार" करने की आवश्यकता है।

स्लैक वैरिएबल को ~ / .env / bin / सक्रिय स्क्रिप्ट में निर्यात करते समय, यह नीचे की तरह दिखेगा।

और सिर्फ जानकारी के लिए, यदि आप नवीनतम नवाचारों के साथ बने रहना चाहते हैं, तो पर्यावरण के प्रबंधन के लिए नए, आधिकारिक पायथन उपयोगिता का उपयोग करने की सिफारिश की जाती है - pipenv (https://github.com/pypa/pipenv):

_OLD_VIRTUAL_PATH="$PATH" PATH="$VIRTUAL_ENV/bin:$PATH" export PATH SLACK_API_TOKEN=<Your Token Here> export SLACK_API_TOKEN

परिवेश चर सेट है या नहीं यह जाँचने के लिए OS X और Linux ऑपरेटिंग सिस्टम के Printenv कमांड का उपयोग करना सुविधाजनक है। उसके बाद, आप संदेश भेजने के सत्यापन के लिए निम्न लघु लिपि का उपयोग कर सकते हैं:

 import os from slackclient import SlackClient slack_token = os.environ["SLACK_API_TOKEN"] sc = SlackClient(slack_token) sc.api_call( "chat.postMessage", channel="#general", text="Hello from my bot! :tada:" )

यह भी ध्यान देने योग्य है कि pipenv उपयोगिता एक घटक में pip और virtualenv उपयोगिताओं की क्षमताओं के संयोजन के लिए अनुशंसित समाधान है। यह एक नया मानक बन गया है, इसलिए यह पैकेज प्रबंधन के दृष्टिकोण से इसे देखने के लिए समझ में आता है।

लाइब्रेरी को कमांड लाइन उपयोगिता में बदलें

इस पुस्तक के अन्य उदाहरणों की तरह, नए विचारों का परीक्षण करना आसान बनाने के लिए हमारे कोड को कमांड लाइन उपयोगिता में परिवर्तित करना एक अच्छा विचार है। यह ध्यान देने योग्य है कि कई नौसिखिए डेवलपर्स अक्सर कमांड-लाइन टूल्स नहीं पसंद करते हैं, लेकिन अन्य समाधान, उदाहरण के लिए, वे बस बृहस्पति नोटबुक में काम करते हैं। मैं थोड़े समय के लिए शैतान के वकील की भूमिका निभाऊंगा और एक सवाल पूछूंगा, जो पाठकों के लिए अच्छा हो सकता है: “हमें बृहस्पति पुस्तिकाओं पर आधारित परियोजना में कमांड-लाइन उपयोगिताओं की आवश्यकता क्यों है? क्या कमांड शेल और कमांड लाइन को अनावश्यक बनाने के लिए बृहस्पति नोटपैड की बात नहीं है? ” किसी प्रोजेक्ट के लिए कमांड लाइन उपयोगिता जोड़ना अच्छा है क्योंकि यह आपको विभिन्न इनपुट विकल्पों को जल्दी से आज़माने की अनुमति देता है। बृहस्पति नोटबुक कोड ब्लॉक इनपुट को स्वीकार नहीं करता है, एक अर्थ में, ये हार्ड-वायर्ड डेटा वाली स्क्रिप्ट हैं।

GCP और AWS दोनों प्लेटफार्मों पर कई कमांड-लाइन उपयोगिताओं संयोग से मौजूद नहीं हैं: वे लचीलेपन और सुविधाएँ प्रदान करते हैं जो चित्रमय इंटरफेस पर उपलब्ध नहीं हैं। विज्ञान कथा लेखक नील स्टीफेंसन द्वारा इस विषय पर निबंधों का एक अद्भुत संग्रह "इन द बिगिनिंग ... एक कमांड लाइन था" कहा जाता है। इसमें, स्टीवेन्सन कहते हैं: "GUIs हर अतिरिक्त, यहां तक कि सबसे छोटे, सॉफ़्टवेयर घटक के लिए महत्वपूर्ण अतिरिक्त ओवरहेड की आवश्यकता होती है जो प्रोग्रामिंग वातावरण को पूरी तरह से बदल देती है।" वह शब्दों के साथ संग्रह को समाप्त करता है: “... जीवन बहुत कठिन और कठिन बात है; कोई इंटरफ़ेस नहीं बदलेगा; और जो कोई भी सोचता है कि वह एक सरल है ... "पर्याप्त है, लेकिन मेरा अनुभव बताता है कि यह पर्याप्त है। कमांड लाइन के साथ जीवन बेहतर हो रहा है। इसे आज़माएं और आप जीयूआई में वापस नहीं जाना चाहते।

ऐसा करने के लिए, हम क्लिक पैकेज का उपयोग करेंगे, जैसा कि नीचे दिखाया गया है। नए इंटरफ़ेस का उपयोग करके संदेश भेजना बहुत सरल है।

 ./clibot.py send --message "from cli" sending message from cli to #general

चित्रा 7.1 डिफ़ॉल्ट मानों के साथ-साथ सीएलआई उपयोगिता से कस्टम संदेश दिखाता है।

 #!/usr/bin/env python import os import click from slackclient import SlackClient SLACK_TOKEN = os.environ["SLACK_API_TOKEN"] def send_message(channel="#general", message="Hello from my bot!"): """   """ slack_client = SlackClient(SLACK_TOKEN) res = slack_client.api_call( "chat.postMessage", channel=channel, text=message ) return res @click.group() @click.version_option("0.1") def cli(): """      """ @cli.command("send") @click.option("--message", default="Hello from my bot!", help="text of message") @click.option("--channel", default="#general", help="general channel") def send(channel, message): click.echo(f"sending message {message} to {channel}") send_message(channel, message=message) if __name__ == '__main__': cli()

हम एडब्ल्यूएस स्टेप फंक्शंस सेवा का उपयोग करके बॉट को एक नए स्तर पर ले जाते हैं

स्लैक को संदेश भेजने के लिए संचार चैनल बनाने के बाद, आप हमारे कोड में सुधार कर सकते हैं, अर्थात्: इसे एक शेड्यूल पर चलाएं और किसी भी उपयोगी कार्यों के लिए इसका उपयोग करें। AWS स्टेप फंक्शन्स सर्विस इसके लिए बहुत अच्छी है। अगले भाग में, हमारे स्लैक बॉट याहू के खेल पृष्ठों को स्क्रैप करना सीखेंगे! एनबीए खिलाड़ी, अपने जन्मस्थान को पुनः प्राप्त करते हैं, और फिर इस डेटा को स्लैक में भेजते हैं।

चित्र 7.2 कार्रवाई में एक तैयार किए गए चरण-दर-चरण फ़ंक्शन को दिखाता है। पहला कदम एनबीए खिलाड़ी प्रोफाइल यूआरएल निकालने के लिए है, और दूसरा प्रत्येक खिलाड़ी के जन्मस्थान को खोजने के लिए सुंदर सूप पुस्तकालय का उपयोग करना है। चरण-दर-चरण फ़ंक्शन के पूरा होने पर, परिणाम वापस स्लैक में भेजे जाएंगे।

AWS लैम्ब्डा और चालिस का उपयोग एक चरण फ़ंक्शन के भीतर काम के अलग-अलग हिस्सों के समन्वय के लिए किया जा सकता है। लैम्ब्डा (https://aws.amazon.com/lambda/) उपयोगकर्ता को AWS में कार्य करने की अनुमति देता है, और चालिस फ्रेमवर्क (http://chalice.readthedocs.io/en/latest/) आपको पायथन में सर्वर रहित एप्लिकेशन बनाने की अनुमति देता है। यहाँ कुछ आवश्यक शर्तें हैं:

उपयोगकर्ता के पास AWS खाता होना चाहिए।
एपीआई का उपयोग करने के लिए उपयोगकर्ता को क्रेडेंशियल की आवश्यकता होती है;
लैम्ब्डा भूमिका (चालिस द्वारा बनाई गई) के पास S3 जैसी संबंधित AWS सेवाओं को लागू करने के लिए आवश्यक विशेषाधिकारों के साथ एक नीति होनी चाहिए।

IAM क्रेडेंशियल कॉन्फ़िगर करें

AWS क्रेडेंशियल स्थापित करने के लिए विस्तृत निर्देश boto3.readthedocs.io/en/latest/guide/configuration.html पर देखे जा सकते हैं। विंडोज और लिनक्स ऑपरेटिंग सिस्टम पर एडब्ल्यूएस चर निर्यात करने के बारे में जानकारी यहां पाई जा सकती है । क्रेडेंशियल कॉन्फ़िगर करने के कई तरीके हैं, लेकिन virtualenv उपयोगकर्ता AWS क्रेडेंशियल्स को स्थानीय वर्चुअल वातावरण में / बिन / सक्रिय स्क्रिप्ट में रख सकते हैं:

 #  AWS AWS_DEFAULT_REGION=us-east-1 AWS_ACCESS_KEY_ID=xxxxxxxx AWS_SESSION_TOKEN=xxxxxxxx

 #  export AWS_DEFAULT_REGION export AWS_ACCESS_KEY_ID export AWS_DEFAULT_REGION

चालिस के साथ काम करें। कई आदेशों के साथ चालिस की एक कमांड लाइन उपयोगिता है:

 Usage: chalice [OPTIONS] COMMAND [ARGS]... Options: --version Show the version and exit. --project-dir TEXT The project directory. Defaults to CWD --debug / --no-debug Print debug logs to stderr. --help Show this message and exit. Commands: delete deploy gen-policy generate-pipeline Generate a cloudformation template for a... generate-sdk local logs new-project package url

App.py टेम्पलेट के अंदर कोड लैम्ब्डा सेवा के कार्यों के साथ बदला जा सकता है। AWS चालिस इसमें सुविधाजनक है कि यह वेब सेवाओं के अलावा, "स्टैंड-अलोन" लैम्बडा कार्यों को बनाने के लिए संभव बनाता है। इस कार्यक्षमता के लिए धन्यवाद, आप कई लेम्बडा फ़ंक्शन बना सकते हैं, उन्हें चरण-दर-चरण फ़ंक्शन के साथ जोड़ सकते हैं, और लेगो क्यूब्स की तरह उन्हें एक साथ ला सकते हैं।

उदाहरण के लिए, आप आसानी से एक शेड्यूल्ड लैम्ब्डा फंक्शन बना सकते हैं जो कोई भी एक्शन करेगा

 @app.schedule(Rate(1, unit=Rate.MINUTES)) def every_minute(event): """,    """ #   Slack

वेब स्क्रैपिंग के लिए बॉट के साथ बातचीत स्थापित करने के लिए, आपको कई फ़ंक्शन बनाने की आवश्यकता है। फ़ाइल की शुरुआत में आयात होते हैं और कई चर घोषित किए जाते हैं:

 import logging import csv from io import StringIO import boto3 from bs4 import BeautifulSoup import requests from chalice import (Chalice, Rate) APP_NAME = 'scrape-yahoo' app = Chalice(app_name=APP_NAME) app.log.setLevel(logging.DEBUG)

एस 3 में डेटा को संग्रहीत करने के लिए बॉट की आवश्यकता हो सकती है। CSV फ़ाइल में परिणाम सहेजने के लिए निम्न फ़ंक्शन Boto का उपयोग करता है:

 def create_s3_file(data, name="birthplaces.csv"): csv_buffer = StringIO() app.log.info(f"Creating file with {data} for name") writer = csv.writer(csv_buffer) for key, value in data.items(): writer.writerow([key,value]) s3 = boto3.resource('s3') res = s3.Bucket('aiwebscraping').\ put_object(Key=name, Body=csv_buffer.getvalue()) return res

Fetch_page फ़ंक्शन NBA सांख्यिकी URL के अनुसार स्थित HTML पृष्ठ को पार्स करने के लिए सुंदर सूप लाइब्रेरी का उपयोग करता है और एक सूप लौटाता है:

 def fetch_page(url="https://sports.yahoo.com/nba/stats/"): """ URL Yahoo""" #       #  Beautiful Soup app.log.info(f"Fetching urls from {url}") res = requests.get(url) soup = BeautifulSoup(res.content, 'html.parser') return soup

Get_player_links और fetch_player_urls फ़ंक्शंस खिलाड़ी प्रोफ़ाइल URL के लिंक प्राप्त करते हैं:

 def get_player_links(soup): """   URL    URL     'a'       'nba/players' """ nba_player_urls = [] for link in soup.find_all('a'): link_url = link.get('href') #  if link_url: if "nba/players" in link_url: print(link_url) nba_player_urls.append(link_url) return nba_player_urls def fetch_player_urls(): """ URL """ soup = fetch_page() urls = get_player_links(soup) return urls

इसके बाद, find_birthplaces फ़ंक्शन में, हम इन पृष्ठों पर स्थित URL से खिलाड़ियों के जन्मस्थान निकालते हैं:

 def find_birthplaces(urls): """       NBA  Yahoo""" birthplaces = {} for url in urls: profile = requests.get(url) profile_url = BeautifulSoup(profile.content, 'html.parser') lines = profile_url.text res2 = lines.split(",") key_line = [] for line in res2: if "Birth" in line: #print(line) key_line.append(line) try: birth_place = key_line[0].split(":")[-1].strip() app.log.info(f"birth_place: {birth_place}") except IndexError: app.log.info(f"skipping {url}") continue birthplaces[url] = birth_place app.log.info(birth_place) return birthplaces

अब हम चालिस के कार्यों को आगे बढ़ाएंगे। कृपया ध्यान दें: चालिस ढांचे के लिए, डिफ़ॉल्ट पथ बनाना होगा:

 #     HTTP- @app.route('/') def index(): """ URL""" app.log.info(f"/ Route: for {APP_NAME}") return {'app_name': APP_NAME}

निम्नलिखित लैम्ब्डा फ़ंक्शन एक मार्ग है जो HTTP URL को पहले लिखे गए फ़ंक्शन से जोड़ता है:

 @app.route('/player_urls') def player_urls(): """ URL """ app.log.info(f"/player_urls Route: for {APP_NAME}") urls = fetch_player_urls() return {"nba_player_urls": urls}

निम्नलिखित लैम्ब्डा फ़ंक्शन स्टैंडअलोन हैं, उन्हें चरण-दर-चरण फ़ंक्शन के अंदर बुलाया जा सकता है:

 #   Lambda @app.lambda_function() def return_player_urls(event, context): """  Lambda,  URL """ app.log.info(f"standalone lambda 'return_players_urls'\ {APP_NAME} with {event} and {context}") urls = fetch_player_urls() return {"urls": urls} #   Lambda @app.lambda_function() def birthplace_from_urls(event, context): """   """ app.log.info(f"standalone lambda 'birthplace_from_urls'\ {APP_NAME} with {event} and {context}") payload = event["urls"] birthplaces = find_birthplaces(payload) return birthplaces #   Lambda @app.lambda_function() def create_s3_file_from_json(event, context): """  S3      JSON""" app.log.info(f"Creating s3 file with event data {event}\ and context {context}") print(type(event)) res = create_s3_file(data=event) app.log.info(f"response of putting file: {res}") return True

यदि आप परिणामस्वरूप चालिस एप्लिकेशन को स्थानीय रूप से चलाते हैं, तो निम्न परिणाम प्रदर्शित होंगे:

 → scrape-yahoo git:(master)  chalice local Serving on 127.0.0.1:8000 scrape-yahoo - INFO - / Route: for scrape-yahoo 127.0.0.1 - - [12/Dec/2017 03:25:42] "GET / HTTP/1.1" 200 - 127.0.0.1 - - [12/Dec/2017 03:25:42] "GET /favicon.ico" scrape-yahoo - INFO - / Route: for scrape-yahoo 127.0.0.1 - - [12/Dec/2017 03:25:45] "GET / HTTP/1.1" 200 - 127.0.0.1 - - [12/Dec/2017 03:25:45] "GET /favicon.ico" scrape-yahoo - INFO - /player_urls Route: for scrape-yahoo scrape-yahoo - INFO - https://sports.yahoo.com/nba/stats/ https://sports.yahoo.com/nba/players/4563/ https://sports.yahoo.com/nba/players/5185/ https://sports.yahoo.com/nba/players/3704/ https://sports.yahoo.com/nba/players/5012/ https://sports.yahoo.com/nba/players/4612/ https://sports.yahoo.com/nba/players/5015/ https://sports.yahoo.com/nba/players/4497/ https://sports.yahoo.com/nba/players/4720/ https://sports.yahoo.com/nba/players/3818/ https://sports.yahoo.com/nba/players/5432/ https://sports.yahoo.com/nba/players/5471/ https://sports.yahoo.com/nba/players/4244/ https://sports.yahoo.com/nba/players/5464/ https://sports.yahoo.com/nba/players/5294/ https://sports.yahoo.com/nba/players/5336/ https://sports.yahoo.com/nba/players/4390/ https://sports.yahoo.com/nba/players/4563/ https://sports.yahoo.com/nba/players/3704/ https://sports.yahoo.com/nba/players/5600/ https://sports.yahoo.com/nba/players/4624/ 127.0.0.1 - - [12/Dec/2017 03:25:53] "GET /player_urls" 127.0.0.1 - - [12/Dec/2017 03:25:53] "GET /favicon.ico"

एप्लिकेशन को लागू करने के लिए, चालिस तैनाती कमांड चलाएँ:

 → scrape-yahoo git:(master)  chalice deploy Creating role: scrape-yahoo-dev Creating deployment package. Creating lambda function: scrape-yahoo-dev Initiating first time deployment. Deploying to API Gateway stage: api https://bt98uzs1cc.execute-api.us-east-1.amazonaws.com/api/

HTTP (https://github.com/jakubroztocil/httpie) के लिए कमांड लाइन इंटरफ़ेस के लिए धन्यवाद, हम AWS से HTTP रूट को कॉल करते हैं और / api / player_urls में उपलब्ध लिंक को निकालते हैं:

 → scrape-yahoo git:(master)  http \ https://<a lambda route>.amazonaws.com/api/player_urls HTTP/1.1 200 OK Connection: keep-alive Content-Length: 941 Content-Type: application/json Date: Tue, 12 Dec 2017 11:48:41 GMT Via: 1.1 ba90f9bd20de9ac04075a8309c165ab1.cloudfront.net (CloudFront) X-Amz-Cf-Id: ViZswjo4UeHYwrc9e-5vMVTDhV_Ic0dhVIG0BrDdtYqd5KWcAuZKKQ== X-Amzn-Trace-Id: sampled=0;root=1-5a2fc217-07cc12d50a4d38a59a688f5c X-Cache: Miss from cloudfront x-amzn-RequestId: 64f24fcd-df32-11e7-a81a-2b511652b4f6 { "nba_player_urls": [ "https://sports.yahoo.com/nba/players/4563/", "https://sports.yahoo.com/nba/players/5185/", "https://sports.yahoo.com/nba/players/3704/", "https://sports.yahoo.com/nba/players/5012/", "https://sports.yahoo.com/nba/players/4612/", "https://sports.yahoo.com/nba/players/5015/", "https://sports.yahoo.com/nba/players/4497/", "https://sports.yahoo.com/nba/players/4720/", "https://sports.yahoo.com/nba/players/3818/", "https://sports.yahoo.com/nba/players/5432/", "https://sports.yahoo.com/nba/players/5471/", "https://sports.yahoo.com/nba/players/4244/", "https://sports.yahoo.com/nba/players/5464/", "https://sports.yahoo.com/nba/players/5294/", "https://sports.yahoo.com/nba/players/5336/", "https://sports.yahoo.com/nba/players/4390/", "https://sports.yahoo.com/nba/players/4563/", "https://sports.yahoo.com/nba/players/3704/", "https://sports.yahoo.com/nba/players/5600/", "https://sports.yahoo.com/nba/players/4624/" ] }

लैम्ब्डा कार्यों के साथ काम करने का एक और सुविधाजनक तरीका उन्हें सीधे क्लिक पैकेज और पायथन बोटो लाइब्रेरी का उपयोग करके कॉल करना है।

हम एक नई कमांड लाइन उपयोगिता बना सकते हैं जिसका नाम है wscli.py (वेब-स्क्रैपिंग कमांड-लाइन इंटरफ़ेस के लिए छोटा - "वेब स्क्रैपिंग के लिए कमांड लाइन इंटरफ़ेस")। कोड के पहले भाग में, हम लॉगिंग को कॉन्फ़िगर करते हैं और पुस्तकालयों को आयात करते हैं:

 #!/usr/bin/env python import logging import json import boto3 import click from pythonjsonlogger import jsonlogger #  log = logging.getLogger(__name__) log.setLevel(logging.INFO) LOGHANDLER = logging.StreamHandler() FORMMATTER = jsonlogger.JsonFormatter() LOGHANDLER.setFormatter(FORMMATTER) log.addHandler(LOGHANDLER)

निम्नलिखित तीन कार्यों को invoke_lambda के माध्यम से लैम्ब्डा फ़ंक्शन से कनेक्ट करने के लिए डिज़ाइन किया गया है:

 ### API Boto Lambda def lambda_connection(region_name="us-east-1"): """   Lambda""" lambda_conn = boto3.client("lambda", region_name=region_name) extra_msg = {"region_name": region_name, "aws_service": "lambda"} log.info("instantiate lambda client", extra=extra_msg) return lambda_conn def parse_lambda_result(response): """     Boto   JSON""" body = response['Payload'] json_result = body.read() lambda_return_value = json.loads(json_result) return lambda_return_value def invoke_lambda(func_name, lambda_conn, payload=None, invocation_type="RequestResponse"): """  Lambda""" extra_msg = {"function_name": func_name, "aws_service": "lambda", "payload":payload} log.info("Calling lambda function", extra=extra_msg) if not payload: payload = json.dumps({"payload":"None"}) response = lambda_conn.invoke(FunctionName=func_name, InvocationType=invocation_type, Payload=payload ) log.info(response, extra=extra_msg) lambda_return_value = parse_lambda_result(response) return lambda_return_value

हम कमांड-लाइन उपयोगिताओं पर क्लिक करने के लिए Python पैकेज के साथ invoke_lambda फ़ंक्शन को लपेटते हैं। कृपया ध्यान दें कि हम --func विकल्प के लिए डिफ़ॉल्ट मान सेट करते हैं, जो कि हमारे द्वारा पहले लैंबडा फ़ंक्शन का उपयोग करता है:

 @click.group() @click.version_option("1.0") def cli(): """     -""" @cli.command("lambda") @click.option("--func", default="scrape-yahoo-dev-return_player_urls", help="name of execution") @click.option("--payload", default='{"cli":"invoke"}', help="name of payload") def call_lambda(func, payload): """  Lambda ./wscli.py lambda """ click.echo(click.style("Lambda Function invoked from cli:", bg='blue', fg='white')) conn = lambda_connection() lambda_return_value = invoke_lambda(func_name=func, lambda_conn=conn, payload=payload) formatted_json = json.dumps(lambda_return_value, sort_keys=True, indent=4) click.echo(click.style( "Lambda Return Value Below:", bg='blue', fg='white')) click.echo(click.style(formatted_json,fg="red")) if __name__ == "__main__": cli()

इस उपयोगिता द्वारा प्रदर्शित परिणाम HTTP इंटरफ़ेस को कॉल करने के समान हैं:

 → X ./wscli.py lambda \ --func=scrape-yahoo-dev-birthplace_from_urls\ --payload '{"url":["https://sports.yahoo.com/nba/players/4624/",\ "https://sports.yahoo.com/nba/players/5185/"]}' Lambda Function invoked from cli: {"message": "instantiate lambda client", "region_name": "us-east-1", "aws_service": "lambda"} {"message": "Calling lambda function", "function_name": "scrape-yahoo-dev-birthplace_from_urls", "aws_service": "lambda", "payload": "{\"url\":[\"https://sports.yahoo.com/nba/players/4624/\", \"https://sports.yahoo.com/nba/players/5185/\"]}"} {"message": null, "ResponseMetadata": {"RequestId": "a6049115-df59-11e7-935d-bb1de9c0649d", "HTTPStatusCode": 200, "HTTPHeaders": {"date": "Tue, 12 Dec 2017 16:29:43 GMT", "content-type": "application/json", "content-length": "118", "connection": "keep-alive", "x-amzn-requestid": "a6049115-df59-11e7-935d-bb1de9c0649d", "x-amzn-remapped-content-length": "0", "x-amz-executed-version": "$LATEST", "x-amzn-trace-id": "root=1-5a3003f2-2583679b2456022568ed0682;sampled=0"}, "RetryAttempts": 0}, "StatusCode": 200, "ExecutedVersion": "$LATEST", "Payload": "<botocore.response.StreamingBody object at 0x10ee37dd8>", "function_name": "scrape-yahoo-dev-birthplace_from_urls", "aws_service": "lambda", "payload": "{\"url\":[\"https://sports.yahoo.com/nba/players/4624/\", \"https://sports.yahoo.com/nba/players/5185/\"]}"} Lambda Return Value Below: { "https://sports.yahoo.com/nba/players/4624/": "Indianapolis", "https://sports.yahoo.com/nba/players/5185/": "Athens" }

चरण-दर-चरण फ़ंक्शन बनाना समाप्त करें

चरण-दर-चरण फ़ंक्शन बनाने का अंतिम चरण, जैसा कि AWS प्रलेखन (https://docs.aws.amazon.com/step-functions/latest/dg/tutorial-creating-activity-state-machine.html) में वर्णित है, का उपयोग करके बनाना है। जावास्क्रिप्ट ऑब्जेक्ट नोटेशन (JSON) प्रारूप में राज्य मशीन संरचना का वेब इंटरफ़ेस। निम्न कोड इस पाइपलाइन को प्रदर्शित करता है, याहू को स्क्रैप करने के लिए मूल लैम्ब्डा कार्यों से शुरू होता है!, एक एस 3 फ़ाइल में डेटा संग्रहीत करता है, और अंत में स्लैक को सामग्री भेजता है:

 { "Comment": "Fetch Player Urls", "StartAt": "FetchUrls", "States": { "FetchUrls": { "Type": "Task", "Resource": \ "arn:aws:lambda:us-east-1:561744971673:\ function:scrape-yahoo-dev-return_player_urls", "Next": "FetchBirthplaces" }, "FetchBirthplaces": { "Type": "Task", "Resource": \ "arn:aws:lambda:us-east-1:561744971673:\ function:scrape-yahoo-dev-birthplace_from_urls", "Next": "WriteToS3" }, "WriteToS3": { "Type": "Task", "Resource": "arn:aws:lambda:us-east-1:\ 561744971673:function:scrape-yahoo-dev-create_s3_file_from_json", "Next": "SendToSlack" }, "SendToSlack": { "Type": "Task", "Resource": "arn:aws:lambda:us-east-1:561744971673:\ function:send_message", "Next": "Finish" }, "Finish": { "Type": "Pass", "Result": "Finished", "End": true } } }

अंजीर में। 7.2 इस पाइपलाइन के पहले भाग का निष्पादन दिखाया गया था। राज्य मशीन के मध्यवर्ती परिणामों को देखना बेहद उपयोगी है। इसके अलावा, डिबगिंग के लिए राज्य मशीन के प्रत्येक भाग की वास्तविक समय की निगरानी की संभावना बहुत सुविधाजनक है।

चित्र 7.3 एस 3 फ़ाइल में लिखने और स्लैक में सामग्री भेजने के चरणों को जोड़ने के साथ एक पूर्ण पाइपलाइन दिखाता है। यह केवल यह तय करना बाकी है कि इस स्क्रैपिंग उपयोगिता को कैसे चलाया जाए - एक निश्चित समय अंतराल पर या किसी घटना के जवाब में।

सारांश

इस अध्याय में, आपको AI अनुप्रयोगों के निर्माण के लिए कई अद्भुत अवधारणाओं से परिचित कराया गया है। इसने स्लैक बॉट और वेब स्क्रैपिंग यूटिलिटी का निर्माण किया, जो तब AWS से सर्वर रहित सेवाओं का उपयोग करके जुड़े थे। आप इस तरह के शुरुआती ढांचे में बहुत कुछ जोड़ सकते हैं - उदाहरण के लिए, वेब पृष्ठों को पढ़ने और उनकी संक्षिप्त सामग्री या शिक्षक के बिना क्लस्टरिंग एल्गोरिथ्म प्राप्त करने के लिए प्राकृतिक भाषाओं में लिखे गए ग्रंथों को संसाधित करने के लिए लैंबडा-फ़ंक्शन, जो नए एनबीए खिलाड़ियों को मनमाने ढंग से विशेषताओं के साथ जोड़ देगा।

»पुस्तक की अधिक जानकारी प्रकाशक की वेबसाइट पर पाई जा सकती है
» सामग्री
» अंश

कूपन के लिए कूपन पर 20% की छूट - उपहार

पुनश्च: पुस्तक की लागत का 7% नई कंप्यूटर पुस्तकों के अनुवाद में जाएगा, छपाई घर को सौंपी गई पुस्तकों की सूची यहां है ।