يشرح كليف يونغ ، مبرمج Google ، كيف يتزامن التطور الهائل لخوارزميات التعلم العميق مع فشل قانون مور ، الذي عمل على مدى عقود على قاعدة الإبهام لتقدم شرائح الكمبيوتر ، ويفرض تطوير مخططات حسابية جديدة بشكل أساسي
يغير التطور الهائل للذكاء الاصطناعي وخوارزميات التعلم الآلي طبيعة الحوسبة - كما يقولون في واحدة من أكبر الشركات التي تمارس الذكاء الاصطناعي - في Google. تحدث مبرمج جوجل كليف يونغ في افتتاح مؤتمر المعالجات الدقيقة في الخريف الذي استضافته مجموعة Linley Group ، وهي ندوة شعبية لشرائح الكمبيوتر استضافتها شركة أشباه الموصلات الموقرة.
قال يونغ إن استخدام الذكاء الاصطناعي دخل "المرحلة الأسية" في نفس اللحظة التي تم فيها منع قانون مور ، وهو القاعدة الأساسية لتقدم شرائح الكمبيوتر لعقود ، تمامًا.
قال بحذر "الأوقات عصيبة جدا". "يتباطأ CMOS الرقمي ، فنحن نشهد مشاكل في عملية 10 نانومتر في Intel ، ونراهم في عملية 7 نانومتر من GlobalFoundries ، وفي الوقت نفسه مع تطور التعلم العميق ، ينشأ طلب اقتصادي". CMOS ، وهو هيكل تكميلي لأشباه الموصلات وأكسيد المعادن ، هو المادة الأكثر شيوعًا المستخدمة في صناعة رقائق الكمبيوتر.
وقال يونج إنه في حين أن الرقائق الكلاسيكية بالكاد يمكن أن تزيد من الكفاءة والإنتاجية ، إلا أن الطلبات من باحثين في مجال الذكاء الاصطناعي تنمو. قدم بعض الإحصاءات: يتضاعف عدد الأوراق العلمية حول التعلم الآلي المخزنة على موقع arXiv preprint ، الذي تحتفظ به جامعة كورنيل ، كل 18 شهرًا. وقال إن عدد المشاريع الداخلية التي تركز على الذكاء الاصطناعي في Google يتضاعف كل 18 شهرًا. تزداد الحاجة إلى عدد عمليات النقطة العائمة اللازمة لمعالجة الشبكات العصبية المستخدمة في التعلم الآلي بشكل أسرع - فهي تتضاعف كل ثلاثة أشهر ونصف.
وقال يونغ إن كل هذا النمو في الاستعلامات الحسابية يتم دمجه في "قانون مور الفائق" ، ووصف هذه الظاهرة بأنها "مخيفة بعض الشيء" و "خطيرة بعض الشيء" و "شيء يدعو للقلق".
سأل: "من أين جاء كل هذا النمو الهائل" في مجال الذكاء الاصطناعي؟ "على وجه الخصوص ، النقطة الأساسية هي أن التعلم العميق يعمل فقط. في حياتي المهنية ، لقد تجاهلت التعلم الآلي منذ فترة طويلة. "لم يكن من الواضح أن هذه الأشياء يمكن أن تقلع."
لكنه سرعان ما بدأ ظهور اختراقات ، مثل التعرف على الأنماط ، وأصبح من الواضح أن التعلم العميق "فعال بشكل لا يصدق". "طوال معظم السنوات الخمس الماضية ، كنا الشركة التي تضع الذكاء الاصطناعي في المقام الأول ، وقمنا بتجديد معظم الأعمال القائمة على الذكاء الاصطناعي" ، من البحث إلى الإعلان وأكثر من ذلك بكثير.
قال يونغ إن فريق مشروع Google Brain ، وهو مشروع بحثي رائد في مجال الذكاء الاصطناعي ، يحتاج إلى "آلات عملاقة". على سبيل المثال ، تُقاس الشبكات العصبية أحيانًا بعدد "الأوزان" المستخدمة فيها ، أي المتغيرات المطبقة على الشبكة العصبية وتؤثر على كيفية معالجتها للبيانات.
وإذا كانت الشبكات العصبية العادية يمكن أن تحتوي على مئات الآلاف أو حتى الملايين من الأوزان التي يجب حسابها ، فإن الباحثين في Google يطلبون "آلات وزن الوزن" ، أي أجهزة الكمبيوتر التي يمكنها حساب تريليونات من الأوزان. لأنه "في كل مرة نضاعف حجم الشبكة العصبية ، نقوم بتحسين دقتها." إن قاعدة تطوير الذكاء الاصطناعي هي أن تصبح أكبر وأكبر.
استجابة لطلبات من Google ، يقومون بتطوير مجموعة من رقائقهم الخاصة بـ MO ، وحدة معالجة Tensor. هناك حاجة إلى TPU وما شابه ذلك لأن وحدات المعالجة المركزية التقليدية وشرائح رسومات GPU لا يمكنها التعامل مع الحمل.
قال يونغ: "لقد أمسكنا أنفسنا لفترة طويلة جدًا وقلنا إن Intel و Nvidia جيدان جدًا في إنشاء أنظمة عالية الأداء". "لكننا تجاوزنا هذا الخط قبل خمس سنوات."
تسببت TPU بعد ظهورها لأول مرة في الأماكن العامة في عام 2017 في إثارة ضجة من خلال الادعاءات بأنها من حيث السرعة تفوق الرقائق العادية. تعمل Google بالفعل على الجيل الثالث من TPU ، وتستخدمه في مشاريعها وتقدم قدرات الكمبيوتر عند الطلب من خلال خدمة Google Cloud.
تواصل الشركة تصنيع TPUs أكبر وأكبر. وفقًا لتكوينه "القديم" ، فإن 1024 من أجهزة TPU متصلة بشكل مشترك بنوع جديد من أجهزة الكمبيوتر الفائقة ، وتخطط Google لمواصلة توسيع هذا النظام ، وفقًا لـ Young.
وقال "نحن نبني حواسيب عملاقة متعددة الحواسيب بسعة عشرات البيتابايت". "نحن نحرك التقدم بلا كلل في عدة اتجاهات في نفس الوقت ، وتستمر العمليات على نطاق تيرابايت في النمو." تثير هذه المشاريع جميع المشاكل المرتبطة بتطوير أجهزة الكمبيوتر العملاقة.
على سبيل المثال ، اعتمد مهندسو Google الحيل المستخدمة في الكمبيوتر العملاق Cray الأسطوري. قاموا بدمج "وحدة الضرب المصفوفة" العملاقة ، وهي جزء من الشريحة التي تحمل الجزء الأكبر من عبء الحساب على الشبكات العصبية ، مع "وحدة متجه الأغراض العامة" و "وحدة قياسية عامة" كما تم في Cray. وقال: "إن الجمع بين الوحدات العددية والمتجهية سمح لـ Cray بتجاوز الجميع من حيث الأداء".
طورت Google تصميماتها الحسابية المبتكرة لرقائق البرمجة. توفر طريقة معينة لتمثيل الأرقام الحقيقية تسمى bfloat16 زيادة الكفاءة عند معالجة الأرقام في الشبكات العصبية. في الكلام العامي ، يطلق عليه "تعويم الدماغ".
تستخدم TPU أسرع رقائق الذاكرة أو ذاكرة النطاق الترددي العالي أو HBM [ذاكرة النطاق الترددي العالي]. وقال إن الطلب على كميات كبيرة من الذاكرة في تدريب الشبكات العصبية ينمو بسرعة.
"يتم استخدام الذاكرة بشكل مكثف أثناء التدريب. يتحدث الناس عن مئات الملايين من الأوزان ، ولكن هناك مشاكل في معالجة تفعيل "متغيرات الشبكة العصبية".
تقوم Google أيضًا بتعديل طريقة برمجة الشبكات العصبية للمساعدة في تحقيق أقصى استفادة من الحديد. "نحن نعمل على البيانات النموذجية والتوازي" في مشاريع مثل "Mesh TensorFlow" - وهو تكيف لمنصة برمجيات TensorFlow "يجمع بين البيانات والتوازي على مقياس الجراب."
لم يكشف يونج عن بعض التفاصيل الفنية. وأشار إلى أن الشركة لم تتحدث عن الاتصالات الداخلية ، حول كيفية تحرك البيانات على طول الشريحة - فقد أشار ببساطة إلى أن "موصلاتنا عملاقة". ورفض التوسع في هذا الموضوع الذي تسبب في ضحك الجمهور.
وأشار يونغ إلى مجالات أكثر إثارة للاهتمام للحوسبة قد تصل إلينا قريبًا. على سبيل المثال ، اقترح أن الحسابات التي تستخدم الرقائق التناظرية ، والدوائر التي تعالج البيانات المدخلة في شكل قيم مستمرة بدلاً من الأصفار والقيم ، يمكن أن تلعب دورًا مهمًا. "ربما ننتقل إلى المجال التناظري ، في الفيزياء هناك الكثير من الأشياء المثيرة للاهتمام المتعلقة بأجهزة الكمبيوتر التناظرية وذاكرة NVM."
كما أعرب عن أمله في نجاح الشركات الناشئة التي قدمت في المؤتمر: "هناك بعض الشركات الناشئة الرائعة هنا ، ونحن بحاجة إليها للعمل ، لأن إمكانيات CMOS الرقمية ليست غير محدودة. أريد إطلاق كل هذه الاستثمارات ".