Geekly articles weekly

هتم والنص

مشاكل التأخير


لنفترض أن هناك أربعة مستويات من التسلسل الهرمي للسلاسل التي يتم التعرف عليها على التوالي - الحروف في المقاطع ، والمقاطع في الكلمات ، والكلمات في العبارات. عند التعرف على كل مستوى ، يجب أن تمر دورة واحدة من الشبكة العصبية. إذا قرأت ANN حرفًا واحدًا في كل دورة ، فسيكون التعرف على علامات المستوى الأعلى متأخرًا جدًا. إذا كان على ANN أن تجعل التنبؤ واختيار الإجراءات ، فهذا غير مناسب على الإطلاق.
في ENS ، هذه المشكلة ليست واضحة للغاية ، لأنه غالبًا (على سبيل المثال ، عند التعرف على الكلام عن طريق الأذن) ، تعمل الخلايا العصبية بشكل أسرع بكثير من المستوى التالي من التسلسل الهرمي.
بالنسبة لـ ANN ، يمكن حل المشكلة إذا تأخر وصول العلامة التالية بشكل مصطنع حتى يتم التعرف على جميع مستويات التسلسل الهرمي. أسمي هذه الطريقة "بعمق التعرف التكيفي." لدينا دورة مع حالة تالية - في حين تم التعرف على واحد على الأقل من الخلايا العصبية ، لا تقرأ الإشارة التالية إلى أجهزة الاستشعار ، ولكن استمر في التعرف على ما هو. من أجل تصحيح مثل هذه الحالات ، فإن مضاعفات NeuroTime الظاهرية تأتي في متناول اليد ، كما هو موضح في مقالة سابقة .
تنشأ مشكلة أخرى: كل دورة التعرف تستغرق وقتًا ، والخلايا العصبية التي تتذكر أن شروطها المسبقة قد تم تنشيطها للتو يمكن تعطيلها خلال هذا الوقت ، وفي الدورة التالية لن تعمل كما يجب. يمكن حل هذه المشكلة إذا تم إنشاء نوعين من الاتصالات - بشكل نسبي ، "على الفور" ومع التأخير "إلى الأمام". ترسل الاتصالات "الأعلى" إشارات في دورة بعمق التعرف التكيفي ، وخلال هذا الوقت لا يتم تعطيل أي خلية عصبية (ليس لديها وقت للتنشيط ، إذا كان ذلك عن طريق المفهوم). فقط في نهاية الدورة ، عندما يحين الوقت لمعالجة الإشارات "إلى الأمام" ، يتم وضع علامة على العالم وعلامة الساعة ، ويتم تعطيل الخلايا العصبية.
يمكن تقسيم هذه الروابط (على الرغم من أنها ليست بالضرورة) إلى عصبونات مختلفة داخل الكتلة العصبية. في السابق ، عندما عملت مع الخلايا العصبية الفردية ، كان الأمر على هذا النحو: كانت الكتلة تزداد تعقيدًا ،

وتحول النموذج المجرد لأربعة خلايا عصبية لكل عنقود ... إلى نموذج عصبي ثماني:

في نفس الوقت ، كانت اتصالات التحكم بالخلايا العصبية داخل الكتلة (اختيار الأوضاع 1 / 2 ، إلخ.) ) لا يتم عرضها ، لأنها غير موجودة - فهي افتراضية: داخل الكتلة اتضح أن نقل التنشيط باستخدام رمز C ++ (مثل الكتلة.neuronTemporalOutput.activate ()) أسهل بكثير من إنشاء الاتصالات ، والتفكير في تأخيرات الإشارة والعتبات.

من الخلايا العصبية إلى التكتلات - إلغاء البيانات المكررة


بعد ذلك ، تم توحيد جميع الخلايا العصبية في كتلة أكثر قوة - على سبيل المثال ، بعض الخلايا العصبية لا تحتاج إلى اتصالات واردة ، حيث يتم تنشيطها برمجيًا من الخلايا العصبية الأخرى من الكتلة ، والغرض الوحيد منها هو إرسال الإشارات عبر الاتصالات الصادرة. بعض الخلايا العصبية الأخرى لا تحتاج إلى اتصالات صادرة ، لأنها تنقل التنشيط برمجيًا إلى عصبون آخر من الكتلة. إذا كان لدينا خلية عصبية تنتج ذاكرة - تنشيط الإشارات - يتم توجيه اتصالاتها "لأسفل" ، فإن لديها نفس مجموعة الاتصالات مثل العصبون من نفس المجموعة التي تتلقى إشارات من هذه العلامات - لديهم اتجاه مختلف فقط (أعلى ) فلماذا الاتصالات المكررة ، وتبديد الذاكرة؟ ظهرت هنا نماذج جديدة من الكتلة العصبية ، حيث كانت الخلايا العصبية افتراضية - حاويات الاتصالات بشكل منفصل (المحاور والتشعبات) ، الخلايا العصبية ذات إمكانات العمل بشكل منفصل.هذا لم يحفظ الذاكرة فحسب ، بل أدى أيضًا إلى تسريع الحسابات ، حيث زاد من مكانتها. أصبح ANN أصغر وبصريًا:

وأصبح من السهل عرض التسلسلات الهرمية بمستويات عديدة:


ضغط المعلومات والنسيان


عند التعرف عليها ، يمكن أن تمنع الصفات ذات المستوى الأعلى السمات ذات المستوى الأدنى. ثم سيتم نسيان المستوى المنخفض بشكل أسرع ومسح سلسلة الذاكرة. فقط الكتلة التي قامت بتنشيط نفسها يمكن أن تبطئ ، وفقط تلك العلامات التي تتعرف عليها - لأنها مدرجة بالفعل في سلسلة الذاكرة وقد أخذت بالفعل في الاعتبار معلومات الطفل هذه ، ولن تضيع أثناء هذا الكبح. كيف تبطئ؟ لا يُنصح بإلغاء تنشيط العلامات "السفلية" الخاصة بالطفل تمامًا ، ويكفي تقليل قوة الاتصال فقط بحيث تتم إزالة الاتصال بسلسلة الذاكرة بشكل أسرع. في الواقع ، في العلامات القليلة التالية ، قد لا تزال المعلومات في متناول اليد ، حتى إذا بدا أن الأعراض قد أخذت في الاعتبار ، لذلك لا تتسرع في حذفها على الفور.
أيضًا ، يؤدي ضغط المعلومات إلى حقيقة أنه من غير المناسب تقريبًا ما إذا كان ANN سيقرأ النصوص الإملائية أو الكلمات. سيبقى المعنى رفيع المستوى فقط في النهاية ، وستتم إزالة الروابط إلى قراءة الأحرف بحرف بسرعة.

تسلسل هرمي


يجب أن تكون الخوارزميات لتمييز سلاسل التعميم المذكورة أعلاه قادرة على العمل مع المواقف التي تبقى فيها الميزات عالية المستوى فقط في السلسلة النهائية. حتى لو كانت هذه العلامات مختلفة ، ويوجد المشترك بينها في العمق. للقيام بذلك ، يجب أن تكون خطوة إرسال التنشيط لأسفل أيضًا مع عمق تكيفي - من أجل إرسال التنشيط إلى العلامات ذات المستوى الأدنى ، بحيث لا تزال توجد علامة تحدث في كلا السلسلتين ، ولكن تم حذفها لضغط البيانات.

يعد تثبيط العلامات المعترف بها أمرًا مهمًا للغاية عند تسليط الضوء على التعميمات - إذا اختار التعميم سلسلة معروفة بالفعل ، فعندئذ سيثبط كل ما هو غير ضروري ولن يتم إنشاء حشو - التكرار أو الاستلام. أيضًا ، إذا كانت هناك العديد من الميزات في السلسلة المعممة الجديدة ، فلن تدخلها إلا أعلى المستويات. هذا ليس صعبًا ، مع الأخذ في الاعتبار أن رمز الحفظ / التعرف شائع لكل من الخوارزميات - أي الحفظ ، هذا التعميم مع سلسلتين رائدتين.

Source: https://habr.com/ru/post/ar388707/

More articles:


All Articles