يمكن أن يساعدنا نهج جديد في التخلص من حسابات الفاصلة العائمة

في عام 1985 ، أنشأ معهد مهندسي الكهرباء والإلكترونيات ( IEEE ) معيار IEEE 754 ، المسؤول عن تنسيقات الفاصلة والحساب العائمة ، والتي ستصبح نموذجًا لجميع الأجهزة والبرامج على مدار الثلاثين عامًا القادمة.

على الرغم من أن معظم المبرمجين يستخدمون نقطة عائمة في أي وقت بشكل عشوائي ، عندما يحتاجون إلى إجراء عمليات رياضية بأرقام حقيقية ، بسبب قيود معينة على تمثيل هذه الأرقام ، فإن سرعة ودقة هذه العمليات غالباً ما تترك الكثير مما هو مرغوب فيه.

لسنوات عديدة ، تعرض المعيار لانتقادات حادة من قبل علماء الكمبيوتر الذين كانوا على دراية بهذه المشاكل ، ولكن جون غوستافسون كان أبرزهم ، الذين قادوا حملة صليبية وحدها لاستبدال النقطة العائمة بشيء أكثر ملاءمة. في هذه الحالة ، يُعتبر posit أو unum خيارًا أكثر ملاءمة - الخيار الثالث هو نتيجة دراسته لـ "أرقام عالمية". يقول إن الأرقام المفترضة ستحل معظم المشكلات الرئيسية لمعيار IEEE 754 ، وتعطي أداءً ودقة مُحسَّنين ، وتستخدم عددًا أقل من البتات. والأفضل من ذلك ، أنه يوضح أن التنسيق الجديد يمكن أن يحل محل أرقام الفاصلة العائمة القياسية "سريعًا" ، دون الحاجة إلى تغيير شفرة مصدر التطبيقات.

التقينا غوستافسون في مؤتمر ISC19. ولأولئك المحترفين في مجال الحواسيب الفائقة هناك ، تتمثل إحدى المزايا الرئيسية لتنسيق الوضع الافتراضي في أنه يمكنك تحقيق قدر أكبر من الدقة ومدى ديناميكي باستخدام عدد أقل من البتات من الأرقام من IEEE 754. وليس أقل من ذلك بقليل. وقال غوستافسون إن الوضع 32 بت يستبدل تعويم 64 بت في جميع الحالات تقريبًا ، مما قد يكون له عواقب وخيمة على الحوسبة العلمية. إذا قمت بتخفيض عدد البتات إلى النصف ، فلا يمكنك فقط تقليل ذاكرة التخزين المؤقت والذاكرة وتخزين هذه الأرقام ، ولكن أيضًا تقليل عرض القناة المطلوب لنقلها إلى المعالج والعكس بالعكس. هذا هو السبب الرئيسي وراء قيام الحساب الحسابي الموجه ، في رأيه ، بإعطاء سرعة حساب مضاعفة إلى أربعة أضعاف مقارنة بأرقام الفاصلة العائمة IEEE.

يمكن تحقيق التسارع من خلال تمثيل مضغوط للأرقام الحقيقية. بدلاً من الأس والجزء الكسري من الحجم الثابت المستخدم في معيار IEEE ، يقوم الوضع الافتراضي بتشفير الأس مع عدد متغير من البتات (مزيج من بتات الوضع وبتات الأس) ، بحيث تكون مطلوبة في معظم الحالات أقل. نتيجةً لذلك ، تبقى وحدات البت أكثر في الجزء الكسري ، مما يعطي دقة أكبر. الأس الحيوي يستحق الاستخدام بسبب دقة النقر. هذا يعني أن القيم ذات الأس الصغيرة ، والتي يتم استخدامها غالبًا ، يمكن أن تكون أكثر دقة ، وأقل عددًا كبيرًا للغاية والأعداد الصغيرة جدًا ستكون أقل دقة. يعطي عمل غوستافسون لعام 2017 الذي يصف التنسيق الافتراضي وصفًا تفصيليًا لكيفية عمل هذا.



ميزة أخرى مهمة للتنسيق هي أنه ، على عكس أرقام الفاصلة العائمة العادية ، فإن posit تعطي نفس نتائج bitwise على أي نظام ، والذي لا يمكن ضمانه غالبًا بالتنسيق من IEEE (هنا حتى الحسابات نفسها على نفس النظام يمكن أن تعطي نتائج مختلفة النتائج). أيضًا ، يتعامل التنسيق الجديد مع أخطاء التقريب وتجاوز واختفاء الأرقام المهمة والأرقام غير الطبيعية والعديد من قيم النوع غير المرقم (NaN). بالإضافة إلى ذلك ، يتجنب الوضع الافتراضي الشاذات مثل القيمتين غير المتطابقتين 0 و -0. بدلاً من ذلك ، يستخدم التنسيق تكملة ثنائية للحرف ، مثل الأعداد الصحيحة ، مما يعني أن المقارنة بين bitwise ستعمل بشكل صحيح.

يرتبط شيء يسمى quire بأعداد موجبة - آلية تراكم تسمح للمبرمجين بأداء الجبر الخطي القابل للتكرار - وهي عملية يتعذر الوصول إليها بأرقام IEEE منتظمة. وهو يدعم التشغيل المعمم للإضافة المدمجة للضرب والعمليات المدمجة الأخرى التي تسمح لك بحساب المنتجات العددية أو المبالغ دون تقريب الأخطاء أو الفيض. أظهرت الاختبارات التي تم إطلاقها في جامعة كاليفورنيا في بيركلي أن عمليات الاستغناء أسرع بـ 3-6 مرات من التنفيذ المتسلسل. يقول غوستافسون إنهم يسمحون للأعداد المفترضة "بالقتال خارج فئة الأوزان".

على الرغم من أن تنسيق الأرقام هذا لم يكن موجودًا إلا لبضع سنوات ، فإن مجتمع الحوسبة عالية الأداء (HPC) مهتم بالفعل باستكشاف تطبيقاته. في الوقت الحالي ، يظل كل العمل تجريبيًا ، ويعتمد على السرعة المتوقعة للأجهزة المستقبلية أو على استخدام الأدوات التي تحاكي الحساب الافتراضي على المعالجات التقليدية. بينما في الإنتاج ، لا توجد شرائح تقوم بتنفيذ posit على مستوى الأجهزة.

من بين التطبيقات المحتملة للتنسيق مقياس التداخل الراديوي المربّع (SKA) Square Kilray Array (SKA) قيد الإنشاء ، عند تصميمه يعتبرون الأرقام المفترضة وسيلة لتقليل عرض القناة والحمل الحسابي لمعالجة البيانات الواردة من التلسكوب الراديوي بشكل جذري. من الضروري ألا تستهلك أجهزة الكمبيوتر العملاقة التي تخدمها أكثر من 10 ميغاواط ، وأحد أكثر الطرق الواعدة لتحقيق ذلك ، وفقًا للمصممين ، هو استخدام نسق موضع أكثر كثافة من أجل خفض العرض التقديري لقناة الذاكرة إلى النصف ، أي 200 قناة (PB / s) ، البيانات (10 تيرابايت / ثانية) واتصال الشبكة (1 تيرابايت / ثانية). يجب أن تزيد قوة الحوسبة أيضًا.

تطبيق آخر هو للاستخدام في التنبؤات الجوية والتنبؤات المناخية. أظهر الفريق البريطاني أن الأرقام المفترضة ذات 16 بت تتقدم بوضوح عن أرقام الفاصلة العائمة القياسية ذات 16 بت ، وأن "لديهم إمكانات كبيرة لاستخدامها في نماذج أكثر تعقيدًا". عملت محاكاة افتراضية 16 بت في هذا النموذج وكذلك أرقام الفاصلة العائمة 64 بت.

يقيم مختبر ليفرمور الوطني تنسيقات الأرقام الافتراضية وغيرها ، ويستكشف طرقًا لتقليل كمية البيانات التي يتم نقلها في الحواسيب الفائقة exaflops للمستقبل. في بعض الحالات ، حصلوا أيضًا على نتائج أفضل. على سبيل المثال ، كانت الأرقام المفترضة قادرة على توفير دقة فائقة في العمليات الحسابية الفيزيائية مثل الديناميكا المائية الصدمية ، وتفوقت بشكل عام على أرقام الفاصلة العائمة بأبعاد مختلفة.



ربما سيكون للوضع الافتراضي أكبر إمكانات في التعلم الآلي ، حيث يمكن استخدام أرقام 16 بت للتعلم ، ويمكن استخدام أرقام 8 بت للتحقق. قال غوستافسون إن أرقام الفاصلة العائمة ذات 32 بت هي مبالغة في التدريب ، وفي بعض الحالات لا تظهر هذه النتائج الجيدة مثل 16 بت ، موضحة أن معيار IEEE 754 "ليس مخصصًا للاستخدام مع AI" .

ليس من المستغرب أن يهتم مجتمع الذكاء الاصطناعى بهم. قام Facebook Jeff Johnson بتطوير منصة تجريبية باستخدام FGPA باستخدام posit ، مما يدل على كفاءة أفضل في استخدام الطاقة مقارنة بكل من float16 و IEEE's bfloat16 لمهام تعلم الآلة. انهم يخططون لاستكشاف استخدام أجهزة quire 16 بت للتدريب ومقارنتها مع التنسيقات المتنافسة.

تجدر الإشارة إلى أن Facebook يعمل مع Intel على معالج Nervana Neural Network (NNP) ، والذي من المفترض أن يسرع بعض المهام المتعلقة بالذكاء الاجتماعي العملاق. لا يتم استبعاد خيار استخدام التنسيق الافتراضي ، على الرغم من أنه من المرجح أن تترك Intel تنسيق FlexPoint الأصلي الخاص بها إلى Nervana. في أي حال ، هذه النقطة تستحق التتبع.

يعرف غوستافسون شريحة واحدة على الأقل من الذكاء الاصطناعى يحاولون فيها استخدام أرقام افتراضية في التصميم ، على الرغم من أنه لا يملك الحق في الكشف عن اسم الشركة. أبدت شركة Kalray الفرنسية ، التي تعمل مع مبادرة المعالجات الأوروبية (EPI) ، اهتمامًا بدعم الوضع الافتراضي في مسرع Massively Parallel Processor Array (MPPA) من الجيل التالي ، بحيث يمكن لهذه التكنولوجيا الانتقال إلى الحواسب الفائقة الأوروبية exaflops .

بالنسبة لغوستافسون ، كل هذا ، بالطبع ، يلهم ، وهو يعتقد أن هذه المحاولة الثالثة للنهوض بأعداده العالمية قد تنجح. على عكس الإصدارين الأول والثاني ، من السهل تطبيق posit في الأجهزة. وبالنظر إلى المنافسة الشرسة في مجال الذكاء الاصطناعى ، ربما ينبغي لنا أن نتوقع النجاح التجاري للشكل الجديد. من بين المنصات الأخرى التي يمكن أن يتوقعها مستقبلاً مشرقًا هي معالجة الإشارات الرقمية ، GPU (للرسومات والحوسبة الأخرى) ، أجهزة لإنترنت الأشياء ، الحوسبة المتطورة. وبالطبع ، HPC.

إذا حصلت التقنية على توزيع تجاري ، فمن غير المرجح أن تتمكن شركة Gustafson من الاستفادة من نجاحها. مشروعه ، كما هو موضح في المعيار المكون من 10 صفحات ، مفتوح بالكامل ، وهو متاح للاستخدام من قبل أي شركة ترغب في تطوير البرامج والأجهزة المناسبة. وهو ما يفسر الاهتمام بالتكنولوجيا من شركات مثل IBM و Google و Intel و Micron و Rex Computing و Qualcomm و Fujitsu و Huawei وغيرها الكثير.

ومع ذلك ، فإن استبدال IEEE 754 بشيء أكثر ملاءمة هو مشروع ضخم ، حتى بالنسبة لشخص يتمتع بسيرة ذاتية رائعة مثل Gustafson. حتى قبل العمل في ClearSpeed ​​و Intel و AMD ، درس طرق تحسين الحسابات العلمية على المعالجات الحديثة. وقال "لقد حاولت معرفة هذه القضية على مدى السنوات الثلاثين الماضية".