TJBOT كتوضيح لخدمات IBM Watson

مرحبا يا هبر! في ربيع عام 2019 ، عقدت ورشة Think Developers Workshop التالية ، حيث يمكن للجميع تجميع روبوت من الورق المقوى TJBota يقوم بتشغيل خدمات IBM Watson. يوجد في الجزء السفلي تعليمات مفصلة حول كيفية وكيفية تجميع هذا الروبوت والروابط المفيدة والوصفات البسيطة التي توضح بعض القدرات المعرفية لخدمات Watson ، بالإضافة إلى إعلان صغير عن ندوتين في يوليو حول Watson Services في مكتب موسكو التابع لشركة IBM.



خدمات IBM Watson هي نظام إدراكي يمكنه معالجة اللغة الطبيعية والتعرف على الصور والتعلم. للاستخدام المريح لهذه الخدمات في أي تطبيق ، يوجد API.

TJBot هو مشروع مفتوح المصدر مصمم للمساعدة في الوصول إلى خدمات واتسون. هذا هو الروبوت الذي يمكن لكل pi التوت والذكاء الاصطناعي الجاهزة. يمكن إحياؤها TJBot مع وصفات.

الوصفات هي إرشادات خطوة بخطوة لمساعدتك في توصيل TJBot الخاص بك بخدمات Watson مثل الكلام إلى النص والتعرف المرئي ومترجم اللغة. وتستند وصفات على التوت بي.

ما هو مطلوب ل TJBota

• التوت بي 3 + بطاقة الذاكرة الرقمية المؤمنة نظام التشغيل
• ميكروفون USB
• المتكلم بلوتوث أو المتكلم مع 3.5mm. مقبس الصوت
• محرك سيرفو
• NeoPixel RGB LED (8 مم)
• منشورات أمي أمي وأبي أمي
• التوت بي الكاميرا
• امدادات الطاقة
• علبة (يمكن طباعتها على طابعة ثلاثية الأبعاد أو ليزر مقطوعة من الورق المقوى. توجد المخططات اللازمة هنا )

يمكن العثور على تعليمات التجميع هنا .

مخطط اتصال الصمام الثنائي والمضاعفات للوحة في الصورة أدناه.



يتم تجميع العلبة "حول" اللوحة ، لذا يجب عليك أولاً كتابة نظام التشغيل على بطاقة الذاكرة.

أسهل طريقة هي تثبيت NOBS ، ولكن أي نظام Linux آخر مناسب لنا. قبل تثبيت NOOBS ، قم بتهيئة بطاقة الذاكرة ، وقم بتنزيل الأرشيف بملفات التثبيت ، وقم بتصديرها إلى جهاز الكمبيوتر الخاص بك. بعد ذلك ، تحتاج إلى نقل الملفات من مجلد NOOBS إلى بطاقة الذاكرة. في المرة الأولى التي تبدأ فيها التوت (باستخدام بطاقة ذاكرة تم إدخالها مسبقًا) ، يتم فتح قائمة تثبيت نظام التشغيل. تعليمات مفصلة يمكن الاطلاع هنا .

الاستعدادات البرنامج

أول شيء فعله هو تثبيت الحزم:

curl -sL http://ibm.biz/tjbot-bootstrap | sudo sh – 

الآن قم بتنزيل الوصفات الجاهزة من جيثب:

 git clone https://github.com/ibmtjbot/tjbot.git 

انتقل إلى الدليل مع الوصفة:

 cd tjbot / recipes / speech_to_text 

يحتوي هذا المجلد على ملف التكوين config.js والملف بالبرنامج النصي القابل للتنفيذ stt.js.

تثبيت npm:

 sudo apt-get install npm 

ربط خدمات واتسون

لاستخدام خدمات Watson ، تحتاج إلى اتباع هذه الخطوات.

نمر إلى هذا الموقع .



سجل وانتقل إلى الدليل. في الكتالوج نحن نبحث عن "خطاب إلى نص". الكلام إلى نص هي خدمة تُستخدم لترجمة الكلام إلى نص. الوصول إلى API يمكن العثور عليها هنا .



ستكون هناك حاجة أيضًا إلى النص إلى كلام والتعرف المرئي عندما نعمل مع التعرف على الصور. نضغط على الكلام إلى نص ، نصل إلى الصفحة مع وصف لهذا المكون وخطط للاستخدام.



خطة مجانية كافية بالنسبة لنا. انقر فوق "إنشاء" ، ثم في القائمة الموجودة على اليسار ، انتقل إلى "مؤهلات اعتماد الخدمة".



من هنا ، تحتاج إلى نسخ بيانات الاعتماد و APIKEY ولصقها في ملف config.js.

 // Create the credentials object for export exports.credentials = {}; // Watson Speech to Text // https://www.ibm.com/watson/services/speech-to-text/ exports.credentials.speech_to_text = { "apikey": "...", "iam_apikey_description": "...", "iam_apikey_name": "...", "iam_role_crn": "...", "iam_serviceid_crn": "...", "url": "https://gateway-lon.watsonplatform.net/speech-to-text/api" }; 

الآن ، إذا أردنا إضافة خدمة Watson أخرى ، في ملف التكوين ، سنحتاج إلى إضافة كتلة مع apikey و url إلى كل خدمة ، ملفوفة في الإنشاء التالي:

 exports.credentials.[ text_to_speech/visual_recognition/speech_to_text ] = { … }; 

إحياء TjBota

النظر في الملف مع البرنامج النصي بوت القابل للتنفيذ stt.js. لديه وظيفة diskoParty () جاهزة للتحقق من تشغيل الروبوت دون استخدام خدمات Watson. هذه الوظيفة تجعل وميض الصمام الثنائي بألوان مختلفة.

 function discoParty() { for (i = 0; i < 30; i++) { setTimeout(function() { var randIdx = Math.floor(Math.random() * tjColors.length); var randColor = tjColors[randIdx]; tj.shine(randColor); }, i * 250); } } discoParty(); 

في نفس البرنامج النصي هناك وظيفة تسمح لك بتبديل لون الصمام الثنائي باستخدام خطاب المطور.

قم بتشغيل البرنامج النصي:

 sudo node stt.js 

أخبر الروبوت "تشغيل الضوء الأزرق" لتحويل لون الصمام الثنائي إلى اللون الأزرق ، أو "تشغيل الضوء" لتشغيل الصمام الثنائي ، أو "إيقاف تشغيل الضوء" لإيقافه. الألوان المدعومة للتعرف عليها (حتى الآن يتم دعم اللغة الإنجليزية فقط): الأصفر والأخضر والبرتقالي والأرجواني والأرجواني والأحمر والأزرق والأكوا والأبيض.

TjBot لديه الكثير من الوظائف الأساسية. على سبيل المثال ، للتحقق من المؤازرة ، يمكنك استخدام الدالة tj.wave () ، والتي تجعل الروبوت يرحب بك بموجة من المقبض. يمكن العثور على وظائف الوصف المختصر هذه هنا .

الآن النظر في السيناريو التالي ، وذلك باستخدام كل من التعرف البصري والنص إلى كلام.

النص إلى كلام هو خدمة تحول النص المطبوع إلى كلام باستخدام الأصوات المختلفة والمفاتيح واللغات. يمكن العثور على API الخاصة به على الرابط التالي. تتيح لك خدمة التعرف البصري وصف ما يظهر في الصورة. يتعرف على وجوه الأشخاص الذين يحددون أعمارهم وجنسهم التقريبي والغذاء والأطباق والأشياء ويمكنهم البحث عن صور مماثلة. يمكن العثور على واجهة برمجة التطبيقات لهذه الخدمة هنا . باستخدام هذه الخدمات ، سنقوم بتعليم الروبوت لمعرفة والتحدث. استنادًا إلى الصورة التي تم تلقيها من الكاميرا ، سترسل لنا خدمات Watson (التعرف البصري) كائنًا json مع وجود علامات صور كإجابة ، وسوف يساعدك النص إلى كلام على التعبير عنها.

بادئ ذي بدء ، قم بإنشاء بيانات اعتماد على cloud.ibm.com. نقوم بنسخها ولصقها في ملف التكوين config.js.

بعد ذلك ، قم بتحرير البرنامج النصي القابل للتنفيذ نجد الأسطر التالية فيه:

 // these are the hardware capabilities that our TJ needs for this recipe var hardware = ['led', 'microphone']; 

يحتوي صفيف الأجهزة على أجهزة الروبوت المستخدمة. إذا أردنا استخدام مضاعفات في البرنامج النصي ، فسيكون من الضروري توقيع "servo" في الصفيف ، وإذا كنا بحاجة إلى كاميرا ، فسنضيف "camera" إلى الصفيف ، لاستخدام العمود الذي سنكتبه "speaker".
لذلك ، سوف يستخدم برنامجنا النصي عمودًا وكاميرا ، على التوالي ، نقوم بتسجيل الدخول إلى مجموعة الأجهزة.

 // these are the hardware capabilities that our TJ needs for this recipe var hardware = ['led', 'servo', 'camera', 'speaker', 'microphone']; // set up TJBot's configuration var tjConfig = { log: { level: 'verbose' }, speak: { language: 'en-US', // see TJBot.prototype.languages.speak voice: undefined, // use a specific voice; if undefined, a voice is chosen based on robot.gender and speak.language speakerDeviceId: "plughw:0,0" // plugged-in USB card 1, device 0; see aplay -l for a list of playback devices }, listen: { microphoneDeviceId: "plughw:1,0", // plugged-in USB card 1, device 0; see arecord -l for a list of recording devices inactivityTimeout: -1, // -1 to never timeout or break the connection. Set this to a value in seconds eg 120 to end connection after 120 seconds of silence language: 'en-US' // see TJBot.prototype.languages.listen }, }; 

من الوظائف الأساسية لمكتبة tj ، نحتاج إلى الدالتين tj.see () و tj.speak ().

تقوم الدالة tj.see () بإنشاء صورة (يتم تخزين الكائن في مجلد tmp) ، وإرسالها إلى السحابة مع خدمات Watson ، وتحليل الصورة وإنتاج كائن json يتكون من علامات - كلمات تصف الصورة (يمكنك اختيار أوصاف مختلفة ودرجات من الثقة) و نسبة موثوقية هذه العلامات. سنقوم بإخراج محتوى استجابة الخدمات إلى وحدة التحكم.

يمكن لوظيفة tj.speak () تحويل النص باستخدام خدمات Watson إلى ملف صوتي ، ثم تشغيله. أيضًا ، إذا تم اكتشاف شخص ما في الصورة بمساعدة من خدمات Watson ، فستلحق TJBot القلم.

 // instantiate our TJBot! var tj = new TJBot(hardware, tjConfig, credentials); tj.see().then(function(objects){ var tags = objects.map(function(object){ return object.class; }); if (tags.includes('person')){ tj.wave(); } console.log(tags); for(var i=0;i<tags.length;i++){ tj.speak(tags[i]); } }); 

توضح هذه الوصفة مدى سهولة استخدام خدمات Watson في مشروعك. وصف موجز لهذه الخدمات وروابط لها كانت بالفعل في هذه المقالة . جرب جميع خدمات Watson مجانًا.

أيضًا ، سيتم عقد ندوات في مكتب IBM Moscow قريبًا ، حيث ستتمكن من التعرف على ميزات خدمات Watson الأخرى.

في 9 تموز (يوليو) 2019 ، سيتم عقد Unveil AI Blackbox مع IBM Watson OpenScale Workshop على المنتج السحابي الجديد Watson OpenScale. في هذا الحدث ، سوف تكون قادرًا على التعرف على مبادئ الشبكات العصبية ، ومحاولة إنشاء وتدريب شبكة عصبية واختبارها باستخدام منصة Watson AI OpenScale. يجب التسجيل المسبق للحدث باستخدام هذا الرابط .

في 10 يوليو 2019 ، سيتم عقد ندوة "التعرف على الصور والفيديو في سحابة IBM". في هذه الندوة ، يمكنك معرفة كيفية استخدام Watson Studio لتطبيق الذكاء الاصطناعي في التطبيق الخاص بك. وصف مفصل للحدث ورابط التسجيل هنا .