قد يبدو عنوان المقال غريبًا ولأسباب وجيهة - إنه جميل على وجه التحديد لأنه لم يكتب من قبلي ، ولكن بواسطة الشبكة العصبية لـ LSTM (أو بالأحرى ، جزء منه قبل "أو").

(مخطط LSTM مأخوذ من فهم شبكات LSTM )

واليوم سنكتشف كيف يمكنك إنشاء عناوين مقالات هبر (ومن حيث المبدأ ، يمكن إنشاء النص نفسه من خلال نفس بنية الأعصاب). كل الرموز متاحة للتشغيل عبر الإنترنت في أجهزة الكمبيوتر المحمولة من Google. البيانات ، كما هو الحال دائما ، مفتوحة على جيثب .

وهنا يمكنك تشغيل النموذج المدربين بالفعل على وحدة معالجة الرسومات من Google (مجانًا وبدون رسائل نصية قصيرة) وإنشاء رؤوس بالفعل.

الروابط الرئيسية

تستند نظرية ووصف الشبكات العصبية (خاصة LSTM) في هذه المقالة

فهم شبكات LSTM بواسطة كريستوفر أولاه
الفعالية غير المعقولة للشبكات العصبية المتكررة بقلم أندريه كارباثي
التعلم العميق من قبل Goodfellow وآخرون.
كتاب التعلم العميق بقلم نيكولينكو وآخرون.

وصف البيانات

في المجموع ، تم جمع حوالي 40 ألف عنوان مقال : تم استكمال كل عنوان بحرفين خاصين <START_CHAR> و <END_CHAR> في البداية والنهاية ، وكذلك <PADDING_CHAR> بعد <END_CHAR> إلى الحد الأقصى لحجم العنوان.

مثال على البيانات التي تم جمعها:

         Google         IT                      . Now it's official

نظرية LSTM

لنبدأ بالمهمة الفعلية التي نحلها: نريد أن نتوقع السطر (N + 1) بالأحرف N ، بشكل توضيحي من وجهة نظر نموذج LSTM ، يبدو في الصورة أدناه: X أدناه - بيانات الإدخال ؛ ح _أنا أعلاه هي عطلات نهاية الأسبوع. بينهما هو الحالة الداخلية للشبكة. بتفصيل أكثر قليلاً - الصورة على اليسار مع حلقة تغذية مرتدة ، تعادل سلسلة مفصلة على اليمين.

ما هو الملح؟ عند التنبؤ بشخصية مميزة في النهاية ، يمكن للشخصيات المميزة في البداية أن تلعب دورًا رئيسيًا - ومن ثم مصطلح التبعيات طويلة الأجل. من الواضح أن الشخصيات التي تقف بجوارها تلعب دورًا كبيرًا في كثير من الأحيان - تسمى هذه التبعيات التبعيات قصيرة الأجل.

الداخلية الخلية LSTM:

تحتوي الخلية بأكملها على أربعة عناصر أساسية.

أبواب النسيان - عنصر يقرر أنه سوف ينفد من الذاكرة
البوابة الواردة - تخلق مجموعة من "القيم المرشحة" التي يمكننا استخدامها لكتابة وتحديث الذاكرة
الذاكرة - عنصر يقرر ما هو في الواقع وكيف ننقذ
عنصر الإخراج - يحدد إخراج النموذج

أسطورة:

بوابة النسيان

إذا كنا نحاول التنبؤ بنهاية الكلمة - من المهم معرفة جنس الاسم الحالي ، إذا رأينا اسمًا جديدًا - فمن الجدير أن ننسى المعنى السابق:

بوابة واردة

بعد ذلك ، نحسب i _t ، التي ستحدد قيم خلية الذاكرة التي نريد تحديثها ، و

t i l d e C_{t}

$\ tilde {C} _t$

يحسب القيم المرشحة للتحديث.

خلية الذاكرة

بعد ذلك ، تعد قيم الذاكرة تراكبًا لما نسيناه في الحالة الحالية وما أضفناه

خرج النموذج

ما هو الاستدلال على النموذج - مجموعة من ثلاثة أشياء: رمز الإدخال الحالي والتنبؤ السابق وذاكرة الطراز

قانون

يتم تقديم المنطق الأساسي للنموذج أدناه ، كقاعدة عامة - أي حوالي 5 إلى 10٪ من الشفرة بأكملها ، وكل الكود المتبقي هو تنظيف البيانات وإعدادها ومعالجتها ، بالإضافة إلى الإخراج في شكل قابل للقراءة من قبل الإنسان.

هنا يمكنك تشغيل الكود باستخدام نموذج تم تدريبه بالفعل.

 model = Sequential() #       model.add(LSTM(unit_size, input_dim=num_chars, return_sequences=True)) #   LSTM  #    Dropout + LSTM for i in range(num_layers - 1): model.add(Dropout(dropout)) model.add(LSTM(unit_size, return_sequences=True)) #      dropout model.add(Dropout(dropout)) #        model.add(TimeDistributed(Dense(num_chars))) #     model.add(Activation('softmax')) # ,      model.compile(optimizer=optimizer, loss='categorical_crossentropy')

أمثلة للرؤوس التي تم إنشاؤها

أخذ العينات الشخصية:

                  python                                                                powershell

(المراجع النموذجية العشوائية للدكتور سترانجيلوف ترضي بشكل خاص)

ما هي درجة الحرارة (في سياق DL)

عند الإخراج ، يولد النموذج الأوزان x _w للكلمات w - لدينا خيارات حول كيفية تحويل هذه الأوزان إلى احتمالات p (w) ، على سبيل المثال ، باستخدام الصيغة:

p (w) p r o p t o e^{- f r a c 1 T x_{w}}

$p (w) \ propto e ^ {- \ frac {1} {T} x_w}$

عندما تكون T معلمة مجانية (في الفيزياء ، هذه هي الطريقة التي يتم بها تحديد درجة الحرارة إحصائياً - ومن هنا جاءت تسميتها) ، وكلما انخفضت درجة الحرارة - وكلما زاد الأس وأوزان أعلى ، ستمنع كل الاحتمالات ، أي ، لن يتوقع النموذج سوى بضع كلمات بحد أقصى الأوزان ، إذا كانت درجة الحرارة مرتفعة ، فسوف ينتقل التوزيع إلى شكل موحد وأكثر "إبداعًا". هذا يعطينا الفرصة للتحكم في التوازن بين متابعة البيانات المتاحة بدقة والإبداع الشرطي للنموذج.

مثال نموذج الإخراج

 using temperature 0.03                   python          sql azure federations  2   temperature 0.04                          devcon 2013 temperature 0.05        python                   temperature 0.06         jbreak  2         10 19         temperature 0.07                          temperature 0.08       php             10  temperature 0.09                  unix          oracle temperature 0.1               php                temperature 0.11    android    android studio         github  vue js      php  ruby temperature 0.12                    asp net     temperature 0.13               google glass         using temperature 0.14                      android  temperature 0.15                python    android    sql azure federations  2   temperature 0.16            windows     python using temperature 0.17     scala        apache solr  1         c,  2 3 temperature 0.18      python                cpatext content security policy temperature 0.190      52 28  27     nes  c  1 3        scanner temperature 0.2               google chrome  ms ie

النتائج

نماذج العمارة LSTM تسلسل بشكل جيد وواضح
غالبًا ما تعاني القواعد النحوية والمنطق - على الأرجح من مشاكل في مكانين: أولاً ، جهاز الذاكرة بسيط للغاية ولا يمكنه التقاط جميع القواعد والسياق ؛ ثانياً ، قوة القضية - مجموعة البيانات صغيرة جدًا وليست متنوعة جدًا
سيكون من المثير للاهتمام أن نلقي نظرة على نسخة من نماذج لغة أفضل وآثارها في الحالة الكبيرة للغة الروسية - لفهم ما إذا كانت الهندسة المعمارية والقضية الأكثر قوة تحل هذه المشكلات
خرجت بعض العناوين الرئيسية السخيفة والمثيرة للسخرية بشكل لا يصدق ، على سبيل المثال ، "... ولماذا السبب وراء هذا"
نرى بعض أشكال عناوين هبر ، على سبيل المثال ، "صنعنا / أنشأنا / بنينا" ، وهو مؤشر واضح على أن الناس يحبون تبادل القصص الشخصية على هبر

كيف أنشأنا نظام إنذار للتهديد النووي ، أو كيف قمت بتدريب شبكة عصبية على عناوين هبر