मशीन लर्निंग Node.js के साथ Tensorflow.js लाइब्रेरी का उपयोग करना

सभी को नमस्कार, साथियों!

शायद टेंसोरफ्लो लाइब्रेरी के प्रशंसक, जिन्होंने पहले से ही इस पुस्तक को हमारे पूर्व-क्रम में देखा था, ने भी मशीन की संभावनाओं और ब्राउज़र में गहन सीखने पर ध्यान से देखा, खासकर जब से फ्रेंकोइस शॉलेट ने खुद इस विषय की अनदेखी नहीं की थी । हम बिल्ली में रुचि रखने वालों को आमंत्रित करते हैं, जो बताती है कि कैसे Tensorflow.js लाइब्रेरी का उपयोग करके छवियों को पहचाना जाता है।

TensorFlow.js लोकप्रिय ओपन सोर्स लाइब्रेरी का एक नया संस्करण है जो जावास्क्रिप्ट को गहन शिक्षण क्षमताओं के साथ समृद्ध करता है। डेवलपर्स अब उच्च-स्तरीय लाइब्रेरी एपीआई का उपयोग करके मॉडल को परिभाषित, प्रशिक्षित और चला सकते हैं।

पूर्व-प्रशिक्षित मॉडल के लिए धन्यवाद , डेवलपर्स अब जावास्क्रिप्ट की कुछ ही पंक्तियों में पैटर्न मान्यता , संगीत पीढ़ी या मानव स्थितियों का निर्धारण जैसे जटिल कार्यों को आसानी से हल कर सकते हैं।

Tensorflow.js एक ब्राउज़र में काम करने के लिए फ्रंट-एंड लाइब्रेरी के रूप में शुरू हुआ था, लेकिन इस साल Node.js के लिए प्रयोगात्मक समर्थन इसमें जोड़ा गया था। इस प्रकार, TensorFlow.js का उपयोग जावास्क्रिप्ट बैकएंड अनुप्रयोगों में भी किया जा सकता है, जो हमें पायथन का सहारा लेने से पूरी तरह से बचाता है।

इस लाइब्रेरी के बारे में पढ़ते हुए, मैंने इसे एक सरल कार्य पर आजमाने का फैसला किया ...

जावास्क्रिप्ट से Node.js का उपयोग करते समय छवियों पर दृश्य मान्यता के लिए TensorFlow.js का उपयोग करें

दुर्भाग्य से, प्रलेखन और कोड उदाहरण मुख्य रूप से ब्राउज़र में इस पुस्तकालय के उपयोग का वर्णन करते हैं। लेखन के समय पूर्व-प्रशिक्षित मॉडल के लोडिंग और उपयोग को सरल बनाने के लिए डिज़ाइन किए गए प्रोजेक्ट उपयोगिताओं ने अभी तक Node.js. का समर्थन नहीं किया। मुझे इस लाइब्रेरी के लिए टाइपस्क्रिप्ट स्रोतों को पढ़ने के लिए बहुत समय देना पड़ा।

हालाँकि, कुछ दिनों के लिए स्वॉटिंग के बाद भी मैंने इसे किया ! हुर्रे!

कोड के विस्तृत विश्लेषण पर जाने से पहले, चलिए TensorFlow लाइब्रेरी के अन्य कार्यान्वयन के बारे में बात करते हैं।

TensorFlow

TensorFlow मशीन सीखने के अनुप्रयोगों के लिए एक मुफ्त सॉफ्टवेयर लाइब्रेरी है। TensorFlow का उपयोग तंत्रिका नेटवर्क बनाने और अन्य गहन शिक्षण एल्गोरिदम को लागू करने के लिए किया जा सकता है।

यह Google द्वारा नवंबर 2015 में जारी एक पुस्तकालय है, जो मूल रूप से पायथन में लिखा गया है । निर्मित मॉडल के प्रशिक्षण और मूल्यांकन के लिए, यह सीपीयू या जीपीयू पर गणना का उपयोग करता है। प्रारंभ में, यह लाइब्रेरी संसाधन-गहन जीपीयू का उपयोग करके उच्च-प्रदर्शन सर्वर पर काम करने के लिए बनाई गई थी।

हाल के अपडेट ने इस लाइब्रेरी को अनुकूलित करना और अधिक सीमित संसाधनों के साथ वातावरण में इसका उपयोग करना संभव बना दिया है - उदाहरण के लिए, मोबाइल उपकरणों और वेब ब्राउज़रों पर।

TensorFlow Lite

Tensorflow Lite , मोबाइल उपकरणों और एम्बेडेड सिस्टम के लिए इस लाइब्रेरी का लाइट संस्करण, मई 2017 में जारी किया गया था। इसके साथ, पैटर्न मान्यता से संबंधित कार्यों के लिए पूर्व-प्रशिक्षित गहरे मॉडल का एक नया सेट प्रदान किया जाता है; इस संग्रह को मोबाइलनेट कहा जाता है। MobileNet मॉडल विशेष रूप से सीमित संसाधनों के साथ वातावरण में कुशल संचालन के लिए डिज़ाइन किए गए हैं, जैसे कि मोबाइल डिवाइस।

TensorFlow.js

Tensorflow Lite के बाद, TensorFlow.js की घोषणा मार्च 2018 में की गई थी। लाइब्रेरी का यह संस्करण ब्राउज़र में चलाने के लिए डिज़ाइन किया गया है और यह पहले के प्रोजेक्ट पर आधारित है जिसे deeplearn.js कहा जाता है। WebGL लाइब्रेरी को GPU एक्सेस प्रदान करता है। मॉडल को प्रशिक्षित करने, लोड करने और चलाने के लिए डेवलपर्स जावास्क्रिप्ट एपीआई का उपयोग करते हैं।

बाद में TensorFlow.js को Node.js के साथ काम करने के लिए विस्तारित किया गया था, इसके लिए tfjs-node लाइब्रेरी ऐड- tfjs-node का उपयोग किया जाता है।

मौजूदा मॉडल को TensorFlow.js में आयात करें

रेडी-मेड TensorFlow और Keras मॉडल TensorFlow.js लाइब्रेरी का उपयोग करके निष्पादित किया जा सकता है। मॉडल को निष्पादित करने से पहले, आपको इस टूल का उपयोग करके एक नए प्रारूप में बदलना होगा। चित्रों को वर्गीकृत करने, पोज़ को परिभाषित करने और के-निकटतम पड़ोसियों का पता लगाने के लिए पूर्व-प्रशिक्षित और रूपांतरित मॉडल गिथब पर उपलब्ध हैं ।

Node.js के साथ TensorFlow.js का उपयोग करना

TensorFlow लाइब्रेरी स्थापित करें

TensorFlow.js को NPM रजिस्ट्री से स्थापित किया जा सकता है।

• @tensorflow/tfjs - कोर TensorFlow.js लाइब्रेरी
• @tensorflow/tfjs-node - विस्तार TensorFlow.js Node.js
• @tensorflow/tfjs-node-gpu - TensorFlow.js GPU के समर्थन के लिए Node.js एक्सटेंशन

 npm install @tensorflow/tfjs @tensorflow/tfjs-node // ... npm install @tensorflow/tfjs @tensorflow/tfjs-node-gpu 

Node.js के लिए दोनों एक्सटेंशन देशी निर्भरता का उपयोग करते हैं, जिसे मांग पर संकलित किया जाएगा।

TensorFlow लाइब्रेरी डाउनलोड करें

कोर लाइब्रेरी से Tensorflow के लिए JavaScript API प्रदान किया जाता है। एक्सटेंशन मॉड्यूल में कोई एक्सटेंशन API नहीं दिए गए हैं जो Node.js. का समर्थन करते हैं

  const tf = require('@tensorflow/tfjs') //   ( CPU) require('@tensorflow/tfjs-node') //    ( GPU) require('@tensorflow/tfjs-node-gpu') 

TensorFlow मॉडल डाउनलोड करें

TensorFlow.js एक NPM लाइब्रेरी ( tfjs-models ) प्रदान करता है जो चित्रों को वर्गीकृत करने , पॉज़ को परिभाषित करने और के-निकटतम पड़ोसियों का पता लगाने के लिए पूर्व-प्रशिक्षित और रूपांतरित मॉडल को लोड करने को सरल tfjs-models है ।

MobileNet की छवि वर्गीकरण मॉडल एक गहरी तंत्रिका नेटवर्क है जो छवियों के 1000 विभिन्न वर्गों के बीच अंतर करने के लिए प्रशिक्षित है।

प्रोजेक्ट के लिए README फ़ाइल में, निम्न कोड का उपयोग एक उदाहरण के रूप में किया जाता है , जिसका उपयोग मॉडल को लोड करने के लिए किया जाता है।

 import * as mobilenet from '@tensorflow-models/mobilenet'; //   const model = await mobilenet.load(); 

पहली समस्या जो मुझे हुई थी, वह यह है कि यह कोड Node.js. के साथ काम नहीं करता है

 Error: browserHTTPRequest is not supported outside the web browser. 

स्रोत कोड की जांच करने के बाद, हम देखते हैं कि मोबिलनेट लाइब्रेरी tf.Model वर्ग के लिए एक आवरण है। जब कहा जाता है, तो load() विधि स्वचालित रूप से एक बाहरी HTTP पते पर स्थित आवश्यक मॉडल फ़ाइलों को डाउनलोड करती है और TensorFlow मॉडल को इंस्टेंट करती है।

लेखन के समय Node.js का विस्तार गतिशील मॉडल पुनर्प्राप्ति के लिए HTTP अनुरोधों का समर्थन नहीं करता था। जो कुछ भी था वह सभी को मैन्युअल रूप से फाइल सिस्टम में लोड करना था।

हालाँकि, लायब्रेरी के स्रोत कोड को पढ़ने के बाद, मुझे एक समाधान मिला ...

फाइल सिस्टम से मॉडल डाउनलोड करना

यदि मोबाइलनेट क्लास मैन्युअल रूप से बनाई गई है, तो आप मॉड्यूल की load विधि को कॉल नहीं कर सकते हैं, लेकिन फ़ाइल के सिस्टम में स्थानीय पथ के साथ इस पते को प्रतिस्थापित करने वाले मॉडल के HTTP पते वाले स्वचालित रूप से उत्पन्न चर path को फिर से लिखते हैं। उसके बाद, जब load विधि को कक्षा के उदाहरण में कहा जाता है, तो फाइल सिस्टम लोडर क्लास में आग लग जाएगी; इस स्थिति में, हम ब्राउज़र-आधारित HTTP डाउनलोडर का उपयोग करने से इनकार करते हैं।

 const path = "mobilenet/model.json" const mn = new mobilenet.MobileNet(1, 1); mn.path = `file://${path}` await mn.load() 

कूल, सब कुछ काम करता है!

लेकिन मॉडल फाइलें कहां से आती हैं?

मोबाइलनेट मॉडल

TensorFlow.js के मॉडल में दो प्रकार की फाइलें शामिल हैं: JSON प्रारूप में संग्रहीत एक मॉडल कॉन्फ़िगरेशन फ़ाइल और बाइनरी प्रारूप में संग्रहीत मॉडल वजन। ब्राउजर कैचिंग को ऑप्टिमाइज़ करने के लिए मॉडल वेट को अक्सर कई हिस्सों में विभाजित किया जाता है।

MobileNet मॉडल के लिए स्वत: डाउनलोड कोड पर विचार करने के बाद, हम देखते हैं कि निम्नलिखित पते पर सार्वजनिक कंटेनर से मॉडल, उनके कॉन्फ़िगरेशन और वजन के टुकड़े निकाले जाते हैं।

 https://storage.googleapis.com/tfjs-models/tfjs/mobilenet_v${version}_${alpha}_${size}/ 

URL में टेम्पलेट पैरामीटर यहाँ सूचीबद्ध मॉडल संस्करणों का वर्णन करते हैं । परिणामी वर्गीकरण सटीकता भी उसी पृष्ठ पर प्रदर्शित की जाती है।

स्रोत कोड इंगित करता है कि मोबाइलनेट v1 के केवल मॉडल को tensorflow-models/mobilenet का उपयोग करके डाउनलोड किया जा सकता है।

HTTP निष्कर्षण कोड स्टोरेज स्थान से model.json फ़ाइल को डाउनलोड करता है, और फिर model.json साथ मॉडल के सभी टुकड़ों का पुनरावर्ती रूप से चयन करता है। ये प्रारूप में फाइल हैं groupX-shard1of1 ।

मैन्युअल रूप से डाउनलोड करने वाले मॉडल

यदि आप फ़ाइल सिस्टम में सभी मॉडल फ़ाइलों को सहेजना चाहते हैं, तो आप यह कर सकते हैं: मॉडल कॉन्फ़िगरेशन फ़ाइल को निकालें, कॉन्फ़िगरेशन फ़ाइल में संदर्भित सभी भारित फ़ाइलों के सिंटैक्स को पार्स करें, और फिर प्रत्येक भारित फ़ाइल को मैन्युअल रूप से डाउनलोड करें।
मैं 1.0 के अल्फा मान और 224 पिक्सेल की छवि के साथ MobileNet V1 मॉड्यूल का उपयोग करने जा रहा था । तो मुझे मॉडल कॉन्फ़िगरेशन फ़ाइल के लिए निम्न URL मिलता है।

 https://storage.googleapis.com/tfjs-models/tfjs/mobilenet_v1_1.0_224/model.json 

एक बार जब यह फ़ाइल स्थानीय रूप से डाउनलोड हो जाती है, तो आप सभी वेटेड फ़ाइलों के नामों को पार्स करने के लिए jq टूल का उपयोग कर सकते हैं।

 $ cat model.json | jq -r ".weightsManifest[].paths[0]" group1-shard1of1 group2-shard1of1 group3-shard1of1 ... 

sed टूल का उपयोग करके, आप प्रत्येक वजन फ़ाइल के लिए URL उत्पन्न करने के लिए URL के साथ प्रत्येक HTTP तत्व का नाम उपसर्ग कर सकते हैं।

 $ cat model.json | jq -r ".weightsManifest[].paths[0]" | sed 's/^/https:\/\/storage.googleapis.com\/tfjs-models\/tfjs\/mobilenet_v1_1.0_224\//' https://storage.googleapis.com/tfjs-models/tfjs/mobilenet_v1_1.0_224/group1-shard1of1 https://storage.googleapis.com/tfjs-models/tfjs/mobilenet_v1_1.0_224/group2-shard1of1 https://storage.googleapis.com/tfjs-models/tfjs/mobilenet_v1_1.0_224/group3-shard1of1 ... 

parallel और curl कमांड तब आपको इन सभी फाइलों को मेरी स्थानीय निर्देशिका में डाउनलोड करने की अनुमति देते हैं।

 cat model.json | jq -r ".weightsManifest[].paths[0]" | sed 's/^/https:\/\/storage.googleapis.com\/tfjs-models\/tfjs\/mobilenet_v1_1.0_224\//' | parallel curl -O 

छवि वर्गीकरण

TensorFlow.js के साथ प्रदान किया गया यह नमूना कोड दर्शाता है कि छवि वर्गीकरण का परिणाम कैसे लौटाया जाए।

 const img = document.getElementById('img'); //   const predictions = await model.classify(img); 

DOM सपोर्ट न होने के कारण Node.js में यह काम नहीं करता है।

classify विधि विभिन्न DOM तत्वों ( canvas , video , image ) को स्वीकार करती है और स्वचालित रूप से इन तत्वों से "चित्र" बाइट्स को tf.Tensor3D वर्ग में tf.Tensor3D , और मॉडल इनपुट के रूप में उपयोग किया जाता है। वैकल्पिक रूप से, tf.Tensor3D को सीधे प्रसारित किया जा सकता है।

मैंने मैन्युअल रूप से DOM तत्व का अनुकरण करने के लिए बाहरी पैकेज का उपयोग करने की कोशिश नहीं करने का फैसला किया, लेकिन पाया कि tf.Tensor3D मैन्युअल रूप से इकट्ठा करना आसान है ।

हम छवि से Tensor3D उत्पन्न करते हैं

DOM तत्वों को Tensor3D वर्गों में बदलने के लिए उपयोग की जाने वाली विधि के स्रोत कोड को पढ़कर, हम पाते हैं कि Tensor3D वर्ग उत्पन्न करने के लिए निम्न इनपुट मापदंडों का उपयोग किया जाता है।

 const values = new Int32Array(image.height * image.width * numChannels); //     ,    const outShape = [image.height, image.width, numChannels]; const input = tf.tensor3d(values, outShape, 'int32'); 

pixels एक प्रकार का दो आयामी सरणी है (Int32Array) जिसमें प्रत्येक पिक्सेल के लिए चैनल मानों की अनुक्रमिक सूची होती है। numChannels प्रति पिक्सेल चैनल मानों की संख्या है।

JPEG के लिए इनपुट वैल्यू बनाना

jpeg-js लाइब्रेरी शुद्ध जावास्क्रिप्ट में लिखे गए Node.js के लिए JPEG एनकोडर / डिकोडर है। इस लाइब्रेरी का उपयोग करके, आप प्रत्येक पिक्सेल के लिए RGB मान निकाल सकते हैं।

 const pixels = jpeg.decode(buffer, true); 

नतीजतन, हमें प्रत्येक पिक्सेल ( width * height ) के लिए चार चैनल मान ( RGBA ) के साथ Uint8Array मिलता है। MobileNet मॉडल वर्गीकरण के लिए केवल तीन रंग चैनलों ( RGB ) का उपयोग करता है, अल्फा चैनल को अनदेखा किया जाता है। यह कोड चार-चैनल सरणी को एक सच्चे तीन-चैनल संस्करण में परिवर्तित करता है।

  const numChannels = 3; const numPixels = image.width * image.height; const values = new Int32Array(numPixels * numChannels); for (let i = 0; i < numPixels; i++) { for (let channel = 0; channel < numChannels; ++channel) { values[i * numChannels + channel] = pixels[i * 4 + channel]; } } 

MobileNet मॉडल के लिए इनपुट आवश्यकताएँ

यहां उपयोग किया जाने वाला मोबाइलनेट मॉडल 224 पिक्सेल की छवियों को उच्च और विस्तृत वर्गीकृत करता है। इनपुट टेनर्स में प्रत्येक पिक्सेल के तीन चैनल मानों में से प्रत्येक के लिए -1 से 1 की सीमा में फ्लोटिंग पॉइंट वैल्यू होनी चाहिए।

एक अलग आयाम वाली छवियों के लिए इनपुट मानों को वर्गीकरण से पहले सही आकार में परिवर्तित किया जाना चाहिए। इसके अलावा, JPEG डिकोडर से प्राप्त पिक्सेल मान 0 - 255, नं -1 - 1. श्रेणी में हैं। इन मूल्यों को भी वर्गीकरण से पहले परिवर्तित करने की आवश्यकता है।

TensorFlow.js में इस प्रक्रिया को सरल बनाने के लिए पुस्तकालय विधियां हैं, लेकिन, इससे भी बेहतर, एक विशेष tfjs-models/mobilenet जो स्वचालित रूप से इस समस्या को हल करती है !

डेवलपर इनपुट Tensor3Ds के प्रकार int32 , साथ ही classify पद्धति से विभिन्न आयामों को पारित कर सकता है, जो वर्गीकरण से पहले इनपुट मानों को सही प्रारूप में अनुवाद करता है। यानी हमारे यहां करने को कुछ नहीं है। सुपर!

भविष्यवाणियाँ हो रही हैं

Tensorflow के MobileNet मॉडल ImageNet के डेटा सेट से 1000 सबसे महत्वपूर्ण वर्गों की वस्तुओं को पहचानना सीखते हैं। मॉडल के आउटपुट में संभाव्य मूल्य देते हैं जो यह वर्गीकृत करते हैं कि वर्गीकृत छवि में इन वस्तुओं को खोजने की संभावना क्या है।

उपयोग किए गए मॉडल के लिए प्रशिक्षित कक्षाओं की एक पूरी सूची इस फाइल में है ।

tfjs-models/mobilenet MobileNet क्लास में classify पद्धति प्रदान करती है, जो चित्र में दिखाए गए के आधार पर सबसे अधिक संभावना वाले वर्गों के MobileNet X को लौटाती है।

 const predictions = await mn_model.classify(input, 10); 

predictions निम्नलिखित प्रारूप में एक्स कक्षाओं और संभावनाओं की एक सरणी है।

  { className: 'panda', probability: 0.9993536472320557 } 

उदाहरण

इसलिए, हमें पता चला है कि Node.js में TensorFlow.js लाइब्रेरी और MobileNet मॉडल का उपयोग कैसे करें, और अब विचार करें कि यह स्क्रिप्ट कमांड-लाइन तर्क के रूप में निर्दिष्ट छवि को कैसे वर्गीकृत करती है।

स्रोत कोड

इस स्क्रिप्ट फ़ाइल और पैकेज डिस्क्रिप्टर को स्थानीय फ़ाइलों में सहेजें।

 { "name": "tf-js", "version": "1.0.0", "main": "script.js", "license": "MIT", "dependencies": { "@tensorflow-models/mobilenet": "^0.2.2", "@tensorflow/tfjs": "^0.12.3", "@tensorflow/tfjs-node": "^0.1.9", "jpeg-js": "^0.3.4" } } 

 const tf = require('@tensorflow/tfjs') const mobilenet = require('@tensorflow-models/mobilenet'); require('@tensorflow/tfjs-node') const fs = require('fs'); const jpeg = require('jpeg-js'); const NUMBER_OF_CHANNELS = 3 const readImage = path => { const buf = fs.readFileSync(path) const pixels = jpeg.decode(buf, true) return pixels } const imageByteArray = (image, numChannels) => { const pixels = image.data const numPixels = image.width * image.height; const values = new Int32Array(numPixels * numChannels); for (let i = 0; i < numPixels; i++) { for (let channel = 0; channel < numChannels; ++channel) { values[i * numChannels + channel] = pixels[i * 4 + channel]; } } return values } const imageToInput = (image, numChannels) => { const values = imageByteArray(image, numChannels) const outShape = [image.height, image.width, numChannels]; const input = tf.tensor3d(values, outShape, 'int32'); return input } const loadModel = async path => { const mn = new mobilenet.MobileNet(1, 1); mn.path = `file://${path}` await mn.load() return mn } const classify = async (model, path) => { const image = readImage(path) const input = imageToInput(image, NUMBER_OF_CHANNELS) const mn_model = await loadModel(model) const predictions = await mn_model.classify(input) console.log('classification results:', predictions) } if (process.argv.length !== 4) throw new Error('incorrect arguments: node script.js <MODEL> <IMAGE_FILE>') classify(process.argv[2], process.argv[3]) 

परीक्षण

ऊपर दिए गए निर्देशों का पालन करते हुए मोबिलनेट निर्देशिका में मॉडल फाइलें डाउनलोड करें।
NPM का उपयोग करके प्रोजेक्ट निर्भरताएँ सेट करें

npm install

वर्गीकरण के लिए नमूना JPEG फ़ाइल डाउनलोड करें

wget http://bit.ly/2JYSal9 -O panda.jpg



स्क्रिप्ट को चलाएं, जिसके तर्क मॉडल फ़ाइल और इनपुट छवि होंगे।

node script.js mobilenet/model.json panda.jpg

यदि सब कुछ सही ढंग से काम करता है, तो कंसोल में निम्नलिखित आउटपुट दिखाई देना चाहिए।

  classification results: [ { className: 'giant panda, panda, panda bear, coon bear', probability: 0.9993536472320557 } ] 

छवि को 99.93% की संभावना के साथ पांडा युक्त सही ढंग से वर्गीकृत किया गया है!

निष्कर्ष

TensorFlow.js पुस्तकालय जावास्क्रिप्ट डेवलपर्स के लिए सीखने के गहरे अवसरों को खोलता है। TensorFlow.js लाइब्रेरी के साथ पूर्व-प्रशिक्षित मॉडल का उपयोग करने से आप आसानी से न्यूनतम प्रयास और संक्षिप्त कोड के साथ जटिल मशीन सीखने की समस्याओं को हल करने के लिए जावास्क्रिप्ट अनुप्रयोगों में आसानी से निर्माण कर सकते हैं।

TensorFlow.js लाइब्रेरी को पूरी तरह से ब्राउज़र में काम करने के लिए बनाया गया था, लेकिन अब यह Node.js के साथ इंटरैक्ट करता है, हालांकि सभी टूल और यूटिलिटीज़ इस नए रनटाइम का समर्थन नहीं करते हैं। कई दिनों तक पुस्तकालय से छेड़छाड़ करने के बाद, मैंने इसे स्थानीय फ़ाइल से छवियों की दृश्य पहचान के लिए मोबाइलनेट मॉडल के साथ उपयोग करना सीखा।