पायस वेब एप्लिकेशन के रूप में केरस डीप लर्निंग मॉडल की तैनाती

लेख का अनुवाद विशेष रूप से पाठ्यक्रम "पायथन में वेब-डेवलपर" के छात्रों के लिए तैयार किया गया था।

---

एक कूल मशीन लर्निंग प्रोजेक्ट बनाना एक बात है, दूसरी बात जब आपको दूसरे लोगों को भी इसे देखने में सक्षम होना चाहिए। बेशक, आप पूरे प्रोजेक्ट को गिटहब पर रख सकते हैं, लेकिन आपके दादा-दादी कैसे समझेंगे कि आपने क्या किया? नहीं, हमें एक वेब एप्लिकेशन के रूप में अपने गहन शिक्षण मॉडल को तैनात करने की आवश्यकता है जो दुनिया में किसी के लिए भी उपलब्ध होगा।

इस लेख में, हम सीखेंगे कि कैसे एक वेब एप्लिकेशन लिखना है जो कि केरस प्रशिक्षित आवर्तक तंत्रिका नेटवर्क का उपयोग करता है और उपयोगकर्ताओं को नए पेटेंट एनोटेशन बनाने की अनुमति देता है। यह परियोजना "उदाहरण के लिए आवर्तक तंत्रिका नेटवर्क" लेख से काम पर आधारित है, हालांकि, यह जानना आवश्यक नहीं है कि आरएनएन अब कैसे बनाया गया है। फिलहाल, हम इसे केवल ब्लैक बॉक्स के रूप में मानेंगे: हमने प्रारंभिक अनुक्रम सेट किया है, और यह पूरी तरह से नया पेटेंट एनोटेशन प्रदर्शित करता है, जिसे एक ब्राउज़र में देखा जा सकता है!

आमतौर पर, डेटा विश्लेषक मॉडल विकसित करते हैं, और फ्रंट-एंड उन्हें दुनिया को दिखाते हैं। इस परियोजना में, हमें दोनों भूमिकाएँ निभानी होंगी और वेब डेवलपमेंट में गोता लगाना होगा (हालाँकि लगभग पूरी तरह से पायथन में)।

इस परियोजना के लिए कई उपकरणों के संयोजन की आवश्यकता होगी:

• फ्लास्क : पायथन में एक मूल वेब एप्लिकेशन बनाने के लिए;
• Keras : एक पूर्व प्रशिक्षित आवर्तक तंत्रिका नेटवर्क की तैनाती
• जिनजा टेम्पलेट इंजन से टेम्पलेट;
• HTML और CSS वेब पेज बनाने के लिए।

अंततः, हमें एक वेब एप्लिकेशन मिलता है जो उपयोगकर्ताओं को एक प्रशिक्षित आवर्तक तंत्रिका नेटवर्क का उपयोग करके पूरी तरह से नए पेटेंट एनोटेशन बनाने की अनुमति देता है।



सभी प्रोजेक्ट कोड GitHub पर उपलब्ध है ।

दृष्टिकोण

लक्ष्य जितनी जल्दी हो सके वेब एप्लिकेशन को तैनात करना था। इसके लिए, मैंने फ्लास्क को चुना, जो आपको पायथन में एप्लिकेशन लिखने की अनुमति देता है। मुझे शैलियों के साथ खिलवाड़ करना पसंद नहीं है (मुझे लगता है कि आप पहले ही देख चुके हैं), इसलिए मैं तृतीय-पक्ष स्रोतों से लगभग सभी सीएसएस को कॉपी और पेस्ट करता हूं। केरस टीम का यह लेख मूल बातें सीखने के लिए उपयोगी था, और यह लेख एक उपयोगी मार्गदर्शक भी है।

सामान्य तौर पर, यह परियोजना मेरे डिजाइन सिद्धांतों को पूरा करती है: एक प्रोटोटाइप बनाएं जो जल्दी से काम करता है (आवश्यकतानुसार कोडिंग और पेस्ट करना), और फिर उत्पाद को सुधारने के लिए बस एक ही बात दोहराएं।

फ्लास्क पर मूल वेब अनुप्रयोग

पायथन वेब एप्लिकेशन बनाने का सबसे तेज़ तरीका फ्लास्क (http://flask.pocoo.org/) का उपयोग करना है। अपना खुद का एप्लिकेशन बनाने के लिए, हम निम्नलिखित का उपयोग कर सकते हैं:

from flask import Flask app = Flask(__name__) @app.route("/") def hello(): return "<h1>Not Much Going On Here</h1>" app.run(host='0.0.0.0', port=50000) 

यदि आप यह कोड चलाते हैं, तो आपको अपना आवेदन लोकलहोस्ट: 50000 पर दिखेगा। बेशक, हमें कुछ और चाहिए, इसलिए हम एक अधिक जटिल फ़ंक्शन का उपयोग करेंगे जो आम तौर पर ऐसा ही करता है: यह आपके ब्राउज़र से अनुरोधों को संसाधित करता है और HTML के रूप में कुछ सामग्री प्रदान करता है।

उपयोगकर्ता प्रवेश फार्म

जब उपयोगकर्ता एप्लिकेशन के मुख्य पृष्ठ पर जाते हैं, तो हम उन्हें तीन विकल्पों के साथ एक फॉर्म दिखाएंगे:

1. RNN के लिए स्रोत अनुक्रम दर्ज करें या इसे अनियमित रूप से उत्पन्न करें।
2. RNN पूर्वानुमान के "विविधता" का चयन।
3. RNN से आउटपुट शब्द की संख्या का चुनाव।

पायथन में एक रूप बनाने के लिए, हम wtforms का उपयोग करते हैं । आपको इसके निर्माण का कोड नीचे दिखाई देगा:

 from wtforms import (Form, TextField, validators, SubmitField, DecimalField, IntegerField) class ReusableForm(Form): """User entry form for entering specifics for generation""" # Starting seed seed = TextField("Enter a seed string or 'random':", validators=[ validators.InputRequired()]) # Diversity of predictions diversity = DecimalField('Enter diversity:', default=0.8, validators=[validators.InputRequired(), validators.NumberRange(min=0.5, max=5.0, message='Diversity must be between 0.5 and 5.')]) # Number of words words = IntegerField('Enter number of words to generate:', default=50, validators=[validators.InputRequired(), validators.NumberRange(min=10, max=100, message='Number of words must be between 10 and 100')]) # Submit button submit = SubmitField("Enter") 

इसका उपयोग करते हुए, हमने नीचे दिखाया गया फॉर्म बनाया है ( main.css शैलियों के साथ):



यह सुनिश्चित करने के लिए कि उपयोगकर्ता सही जानकारी दर्ज करता है, कोड में एक चेक की आवश्यकता है। उदाहरण के लिए, हम जांचते हैं कि सभी फ़ील्ड भरे हुए हैं, और यह कि विविधता पैरामीटर का मान 0.5 और 5 के बीच है। आरंभ करने के लिए इन शर्तों को पूरा करना होगा।


दर्ज किए गए डेटा को मान्य करने में त्रुटि

हम Flask पर टेम्प्लेट का उपयोग करके इस फॉर्म को प्रोसेस करते हैं।

टेम्पलेट्स

एक टेम्पलेट एक फ़ाइल है जो पहले से तैयार "फ्रेम" के साथ है जिसे बस एक निश्चित तरीके से भरने की आवश्यकता है। फ्लास्क वेब एप्लिकेशन के लिए, हम पायथन कोड को HTML डॉक्यूमेंट में अनुवाद करने के लिए जिंजा टेम्पलेट लाइब्रेरी का उपयोग कर सकते हैं। उदाहरण के लिए, हमारे मुख्य फ़ंक्शन में, हम फॉर्म की सामग्री को index.html नामक एक टेम्पलेट पर भेज देंगे।

 from flask import render_template # Home page @app.route("/", methods=['GET', 'POST']) def home(): """Home page of app with form""" # Create form form = ReusableForm(request.form) # Send template information to index.html return render_template('index.html', form=form) 

जब उपयोगकर्ता मुख्य पृष्ठ पर जाता है, तो हमारा आवेदन फॉर्म से इनपुट के index.html प्रदान करेगा। टेम्पलेट एक पूर्ण HTML संरचना है जिसमें हम {{variable}} सिंटैक्स का उपयोग करके पायथन चरों को संदर्भित करते हैं।

 <!DOCTYPE html> <html> <head> <title>RNN Patent Writing</title> <link rel="stylesheet" href="/static/css/main.css"> <link rel="shortcut icon" href="/static/images/lstm.ico"> </head> <body> <div class="container"> <h1> <center>Writing Novel Patent Abstracts with Recurrent Neural Networks</center> </h1> {% block content %} {% for message in form.seed.errors %} <div class="flash">{{ message }}</div> {% endfor %} {% for message in form.diversity.errors %} <div class="flash">{{ message }}</div> {% endfor %} {% for message in form.words.errors %} <div class="flash">{{ message }}</div> {% endfor %} <form method=post> {{ form.seed.label }} {{ form.seed }} {{ form.diversity.label }} {{ form.diversity }} {{ form.words.label }} {{ form.words }} {{ form.submit }} </form> {% endblock %} </div> </body> </html> 

जब फॉर्म में त्रुटि होती है (इनपुट जिसे सत्यापित नहीं किया जा सकता है), एक त्रुटि संदेश फ्लैश होगा। इसके अलावा, फॉर्म ऊपर की फ़ाइल के रूप में प्रदर्शित किया जाएगा।

जब उपयोगकर्ता जानकारी दर्ज करता है और submit ( POST अनुरोध) पर क्लिक करता है, यदि जानकारी सही है, तो हम प्रशिक्षित RNN का उपयोग करके भविष्यवाणियां करने के लिए संबंधित फ़ंक्शन के इनपुट डेटा को रीडायरेक्ट करते हैं। इसका मतलब है कि आपको home() को संशोधित करने की आवश्यकता है home() ।

 from flask import request # User defined utility functions from utils import generate_random_start, generate_from_seed # Home page @app.route("/", methods=['GET', 'POST']) def home(): """Home page of app with form""" # Create form form = ReusableForm(request.form) # On form entry and all conditions met if request.method == 'POST' and form.validate(): # Extract information seed = request.form['seed'] diversity = float(request.form['diversity']) words = int(request.form['words']) # Generate a random sequence if seed == 'random': return render_template('random.html', input=generate_random_start(model=model, graph=graph, new_words=words, diversity=diversity)) # Generate starting from a seed sequence else: return render_template('seeded.html', input=generate_from_seed(model=model, graph=graph, seed=seed, new_words=words, diversity=diversity)) # Send template information to index.html return render_template('index.html', form=form) 

अब, जब उपयोगकर्ता submit और दर्ज की गई जानकारी सही होती है, तो इनपुट के आधार पर, इनपुट को या तो generate_random_start या generate_from_seed भेजा जाता है। ये सुविधाएँ उपयोगकर्ता और diversity पैरामीटर num_words साथ एक नया पेटेंट बनाने के लिए केरस प्रशिक्षित मॉडल का उपयोग num_words । इस फ़ंक्शन का आउटपुट, बदले में, यादृच्छिक रूप से random.html या seeded.html टेम्पलेट्स को वेब पेज के रूप में प्रदर्शित करने के लिए भेजा जाता है।

केर पूर्व प्रशिक्षित मॉडल का उपयोग कर भविष्यवाणियां करना

पैरामीटर पैरामीटर में पूर्व-प्रशिक्षित केर मॉडल होता है, जो निम्नानुसार लोड होता है:

 from keras.models import load_model import tensorflow as tf def load_keras_model(): """Load in the pre-trained model""" global model model = load_model('../models/train-embeddings-rnn.h5') # Required for model to work global graph graph = tf.get_default_graph() load_keras_model() 

(अनिवार्य रूप से, एक वर्कअराउंड है जो tf.get_default_graph() तरह दिखता है)
मैं पूरी तरह से दो उपयोग फ़ंक्शंस नहीं दिखाऊंगा (कोड आपको यहां मिलेगा), क्योंकि आपको केवल यह समझने की ज़रूरत है कि वे पहले से ही प्रशिक्षित केरास मॉडल को मापदंडों के साथ संग्रहीत करते हैं और पूर्वानुमान बनाते हैं - पेटेंट एनोटेशन।

ये दोनों फ़ंक्शंस पायथन में HTML के साथ एक स्ट्रिंग लौटाते हैं। यह रेखा दूसरे टेम्पलेट पर भेजी जाती है, जो एक वेब पेज के रूप में दिखाई देगी। उदाहरण के लिए, random.html रिटर्न स्वरूपित HTML जो random.html भेजी random.html :

 <!DOCTYPE html> <html> <header> <title>Random Starting Abstract </title> <link rel="stylesheet" href="/static/css/main.css"> <link rel="shortcut icon" href="/static/images/lstm.ico"> <ul> <li><a href="/">Home</a></li> </ul> </header> <body> <div class="container"> {% block content %} {{input|safe}} {% endblock %} </div> </body> 

यहाँ हम फिर से प्रारूपित HTML फ़ाइल को प्रदर्शित करने के लिए Jinja टेम्पलेट इंजन का उपयोग करते हैं। चूंकि पायथन स्ट्रिंग पहले से ही HTML में अनुवादित है, हम सभी को इसे प्रदर्शित करने के लिए करना होगा {{input|safe}} (जहां input पायथन वेरिएबल है) का उपयोग करें। फिर main.css हम इस पेज पर शैलियों को जोड़ सकते हैं, हालांकि, साथ ही साथ अन्य HTML पेज भी।

काम का नतीजा

generate_random_start फ़ंक्शन इनपुट अनुक्रम के रूप में एक यादृच्छिक पेटेंट एनोटेशन का चयन करता है और इसके आधार पर भविष्यवाणियां करता है। इसके बाद इनपुट अनुक्रम, आरएनएन जेनरेट किया गया आउटपुट और वास्तविक आउटपुट प्रदर्शित करता है:


आउटपुट एक यादृच्छिक इनपुट अनुक्रम पर आधारित है।

generate_from_seed फ़ंक्शन उपयोगकर्ता द्वारा दर्ज किए गए प्रारंभिक अनुक्रम को स्वीकार करता है और इसके आधार पर पूर्वानुमान बनाता है। आउटपुट निम्नानुसार है:


उपयोगकर्ता इनपुट अनुक्रम के आधार पर आउटपुट।

हालांकि परिणाम हमेशा तार्किक अनुक्रम नहीं बनाते हैं, फिर भी वे दिखाते हैं कि तंत्रिका नेटवर्क अंग्रेजी भाषा की मूल बातों से परिचित है। उसे पिछले 50 के आधार पर प्रत्येक अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया गया था और इस तरह एक आकर्षक एनोटेशन का चयन किया गया था। diversity पैरामीटर के आधार पर, उत्पादन पूरी तरह से यादृच्छिक या चक्रीय हो सकता है।

एप्लिकेशन लॉन्च

अपने लिए आवेदन शुरू करने के लिए, आपको केवल रिपॉजिटरी डाउनलोड करने की आवश्यकता है, उस निर्देशिका पर जाएं जहां परिनियोजन है और run_keras_server.py दर्ज run_keras_server.py । आवेदन localhost:10000 पर उपलब्ध होगा।

आपके घर का वाई-फाई कैसे कॉन्फ़िगर किया गया है, इसके आधार पर, आपको अपने आईपी पते का उपयोग करके नेटवर्क पर किसी भी कंप्यूटर से एप्लिकेशन तक पहुंचने में सक्षम होना चाहिए।

अगले चरण

आपके व्यक्तिगत कंप्यूटर पर चलने वाला वेब एप्लिकेशन मित्रों और परिवार के साथ साझा करने के लिए बहुत अच्छा है। हालाँकि, मैं निश्चित रूप से इसे आपके होम नेटवर्क पर सभी को खोलने की सलाह नहीं देता। बाद में हम सीखेंगे कि AWS EC2 पर एप्लिकेशन को कैसे तैनात किया जाए और अंत में इसे दुनिया को दिखाया जाए।

एप्लिकेशन को बेहतर बनाने के लिए, आप शैलियों ( main.css में ) को बदल सकते हैं और वैकल्पिक रूप से, अतिरिक्त मापदंडों को जोड़ सकते हैं, जैसे कि पूर्व-प्रशिक्षित नेटवर्क का चयन करने की क्षमता। व्यक्तिगत परियोजनाओं के बारे में महान बात यह है कि आप उन्हें तब तक विकसित कर सकते हैं जब तक आप चाहते हैं। यदि आप एप्लिकेशन के साथ खेलना चाहते हैं, तो रिपॉजिटरी डाउनलोड करें और आरंभ करें।

निष्कर्ष

इस लेख में, हमने सीखा कि कैसे एक केरस पूर्व प्रशिक्षित डीप लर्निंग मॉडल को वेब एप्लिकेशन के रूप में तैनात किया जाए। इसके लिए कई अलग-अलग तकनीकों के एकीकरण की आवश्यकता थी, जिनमें आवर्तक तंत्रिका नेटवर्क, वेब एप्लिकेशन, टेम्पलेट, HTML, CSS और, निश्चित रूप से, पायथन शामिल हैं ।

हालांकि यह एक बुनियादी अनुप्रयोग है, यह दर्शाता है कि आप अपेक्षाकृत कम प्रयास के साथ गहन सीखने का उपयोग करके वेब एप्लिकेशन बना सकते हैं। कुछ लोग कह सकते हैं कि वे वेब एप्लिकेशन के रूप में एक गहन शिक्षण मॉडल को तैनात करने में सक्षम थे, लेकिन यदि आप इस लेख में दिए गए निर्देशों का पालन करते हैं, तो आप उनमें से एक बन सकते हैं!