تم تحقيق الاختراق في السنوات الأخيرة لأنظمة الذكاء الاصطناعي في مجالات القيادة الذاتية والتعرف على الكلام ورؤية الآلة والترجمة الآلية بفضل تطوير الشبكات العصبية الاصطناعية. ولكن لإطلاقها وتدريبها ، هناك حاجة إلى الكثير من الذاكرة والطاقة. لذلك ، غالبًا ما تعمل مكونات الذكاء الاصطناعي على الخوادم في السحابة وتبادل البيانات مع أجهزة سطح المكتب أو الأجهزة المحمولة.
تتكون الشبكات العصبية من آلاف من عقد معالجة المعلومات البسيطة والمترابطة بشكل وثيق ، والتي يتم تنظيمها عادة في طبقات. تختلف الشبكات العصبية في عدد الطبقات والصلات بين العقد والعقد في كل طبقة.
ترتبط الارتباطات بين العقد بالأوزان ، التي تحدد مقدار ناتج العقدة الذي سيسهل حساب العقدة التالية. أثناء التدريب ، حيث يتم تقديم الشبكات مع أمثلة للحسابات التي يتعلمون تنفيذها ، يتم تعديل هذه الأوزان باستمرار حتى تتطابق نتيجة الطبقة الأخيرة من الشبكة مع نتيجة الحساب.
ما هي الشبكة التي ستكون أكثر كفاءة في استخدام الطاقة؟ شبكة ضحلة بأوزان أكبر أو شبكة أعمق بأوزان أقل؟ حاول العديد من الباحثين الإجابة على هذه الأسئلة. في الآونة الأخيرة ، كان النشاط الرئيسي في مجتمع التعلم العميق يهدف إلى تطوير بنيات الشبكات العصبية الفعالة للمنصات ذات قدرات الحوسبة المحدودة. ومع ذلك ، ركزت معظم هذه الدراسات إما على تقليل حجم النموذج أو الحوسبة ، بينما بالنسبة للهواتف الذكية والعديد من الأجهزة الأخرى ، فإن استهلاك الطاقة له أهمية قصوى بسبب استخدام البطاريات والقيود على حزمة الحرارة.
طور الباحثون في معهد ماساتشوستس للتكنولوجيا (MIT) ، بقيادة الأستاذ المساعد في قسم الهندسة الكهربائية وعلوم الكمبيوتر ، فيفيان سزي ، نهجًا جديدًا لتحسين الشبكات العصبية التلافيفية التي تركز على تقليل استهلاك الطاقة باستخدام أداة جديدة لتقدير استهلاك الطاقة.
في عام 2016 ، قدمت فيفيان سي وزملاؤها شريحة كمبيوتر جديدة موفرة للطاقة محسّنة للشبكات العصبية. تسمح هذه الشريحة لأنظمة الذكاء الاصطناعي القوية بالعمل محليًا على الأجهزة المحمولة. الآن ، عالج العلماء المشكلة من منظور مختلف وخلقوا العديد من التقنيات لتطوير شبكات عصبية أكثر كفاءة في استخدام الطاقة.
أولاً ، طور فريق البحث طريقة تحليلية يمكنك من خلالها تحديد مقدار الطاقة التي تستهلكها الشبكة العصبية عند العمل على نوع معين من الأجهزة. ثم استخدم العلماء الطريقة لتقييم التقنيات الجديدة لتحسين الشبكات العصبية بحيث يمكنها العمل بكفاءة أكبر على الأجهزة المحمولة.
سيقدم الباحثون عملهم في مؤتمر رؤية الكمبيوتر والتعرف على الأنماط. في الوثيقة ، يقدمون طرقًا ، وفقًا لهم ، تقلل من استهلاك الطاقة بنسبة 73 ٪ مقارنة بالتطبيق القياسي للشبكات العصبية وبنسبة 43 ٪ تتجاوز الطرق الحالية لتحسين الشبكات العصبية للمنصات المتنقلة.
أول شيء فعله فريق من العلماء بقيادة Se هو تطوير أداة لنمذجة الطاقة تأخذ في الاعتبار المعاملات والحركات وتدفق البيانات. إذا زودته ببنية الشبكة وقيمة أوزانها ، فسوف يخبرك بمقدار الطاقة التي ستستخدمها هذه الشبكة العصبية. تعطي التكنولوجيا المطورة فكرة عن الطاقة التي يتم إنفاقها عليها ، حتى يتمكن مطورو الخوارزميات من فهم هذه المعلومات واستخدامها بشكل أفضل كنوع من التعليقات.
عندما اكتشف الباحثون الإجراءات التي تنفق عليها الطاقة ، استخدموا هذا النموذج للتحكم في مصمم الشبكات العصبية الموفرة للطاقة. يشرح سي أنه في وقت سابق ، حاول علماء آخرون تقليل استهلاك الطاقة للشبكات العصبية طريقة التقليم. الاتصالات ذات الأوزان المنخفضة بين العقد لها تأثير ضئيل جدًا على النتيجة النهائية للشبكة العصبية ، لذا يمكن القضاء على العديد منها بأمان ، "قطع".
بمساعدة النموذج الجديد ، انتهت Se وزملاؤها من هذا النهج. على الرغم من أن قطع عدد كبير من المركبات ذات الوزن المنخفض لا يؤثر بشكل كبير على ناتج الشبكة العصبية ، فإن تقليل جميع هذه المركبات قد يكون له تأثير أكثر خطورة على تشغيلها. لذلك ، كان من الضروري تطوير آلية من شأنها أن تساعد في تحديد متى تتوقف. وهكذا ، قطع العلماء من معهد ماساتشوستس للتكنولوجيا تلك الطبقات من الشبكة التي تستهلك المزيد من الطاقة ، مما يؤدي إلى تحقيق أقصى قدر ممكن من التوفير. العلماء أنفسهم يطلقون على هذه الطريقة التقليم الموفر للطاقة.
يمكن أن تكون الأوزان في الشبكة العصبية إيجابية وسلبية على حد سواء ، وبالتالي ، فإن طريقة الباحثين تأخذ في الاعتبار أيضًا الحالات التي تكون فيها الارتباطات بأوزان العلامة المعاكسة مهيأة للانخفاض المتبادل. المدخلات لهذه العقدة هي مخرجات العقد في الطبقة الأساسية ، مضروبة في أوزان اتصالاتها. يمكننا أن نقول أن طريقة العلماء من ماساتشوستس لا تراعي فقط الأوزان ، ولكن أيضًا كيفية معالجة العقد المتصلة للبيانات أثناء التدريب.
إذا تم تعويض مجموعات المركبات ذات الأوزان الإيجابية والسلبية على التوالي ، فيمكن قطعها بأمان. ووفقًا للباحثين ، فإن هذا يؤدي إلى إنشاء شبكات أكثر كفاءة ذات اتصالات أقل من طرق الزراعة المستخدمة سابقًا.