NLP. الأساسيات. التكنولوجيا. التنمية الشخصية. الجزء 2: NER

يمكن قراءة الجزء الأول من المقالة حول أساسيات البرمجة اللغوية العصبية هنا . اليوم سنتحدث عن واحدة من أكثر مهام البرمجة اللغوية العصبية شهرة - التعرف على الكيانات (NER) - ونحلل بالتفصيل بنية الحلول لهذه المشكلة.



تتمثل مهمة NER في إبراز امتدادات الكيانات في النص (يمثل span جزءًا متواصلًا من النص). لنفترض أن هناك نصًا للأخبار ، ونريد إبراز الكيانات الموجودة فيه (بعض المجموعات المحددة مسبقًا - على سبيل المثال ، الأشخاص والمواقع والمؤسسات والتواريخ وما إلى ذلك). تتمثل مهمة NER في فهم أن جزء النص " 1 يناير 1997 " هو التاريخ ، و " كوفي عنان " هو الشخص ، و " الأمم المتحدة " هي المنظمة.


ما هي الكيانات المسماة؟ في الإعداد الكلاسيكي الأول ، الذي تمت صياغته في مؤتمر MUC-6 في عام 1995 ، هؤلاء الأشخاص والمواقع والمنظمات. منذ ذلك الحين ، ظهرت العديد من الحزم المتاحة ، ولكل منها مجموعة خاصة بها من الكيانات المسماة. عادة ، تتم إضافة أنواع الكيانات الجديدة إلى الأشخاص والمواقع والمؤسسات. وأكثرها شيوعًا هي الأرقام (التواريخ ، المبالغ النقدية) ، وكذلك الكيانات المتنوعة (من الكيانات المتنوعة - الكيانات الأخرى المسماة ؛ مثال على ذلك ، iPhone 6).

لماذا تحتاج إلى حل مشكلة NER

من السهل أن نفهم أنه حتى لو كنا قادرين على تحديد الأشخاص والمواقع والمؤسسات في النص ، فمن غير المرجح أن يسبب ذلك اهتمامًا كبيرًا بين العملاء. على الرغم من أن بعض التطبيقات العملية ، بالطبع ، لديه مشكلة في الإعداد الكلاسيكي.

أحد السيناريوهات التي قد تكون هناك حاجة إلى حل للمشكلة في الصيغة التقليدية هي هيكلة البيانات غير المهيكلة. افترض أن لديك نوعًا من النص (أو مجموعة من النصوص) ، ويجب إدخال البيانات منه في قاعدة بيانات (جدول). يمكن للكيانات المسماة الكلاسيكية أن تتوافق مع صفوف مثل هذا الجدول أو أن تكون بمثابة محتوى لبعض الخلايا. وفقًا لذلك ، من أجل ملء الجدول بشكل صحيح ، يجب عليك أولاً تحديد النص الذي ستدخل فيه في النص (عادة بعد هذا هناك خطوة أخرى - تحديد الكيانات في النص ، عندما نفهم أن الأمم المتحدة والأمم المتحدة تمتد "راجع نفس المنظمة ؛ ومع ذلك ، فإن مهمة تحديد الهوية أو ربط الكيان هي مهمة أخرى ، ولن نتحدث عنها بالتفصيل في هذا المنشور).

ومع ذلك ، هناك عدة أسباب تجعل NER أحد أكثر مهام NLP شيوعًا.

أولاً ، استخراج الكيانات المسماة خطوة نحو "فهم" النص. هذا يمكن أن يكون لكل منهما قيمة مستقلة ، ويساعد على حل مهام البرمجة اللغوية العصبية الأخرى بشكل أفضل.

لذلك ، إذا علمنا مكان تمييز الكيانات في النص ، فيمكننا العثور على أجزاء من النص مهمة لبعض المهام. على سبيل المثال ، يمكننا فقط تحديد تلك الفقرات التي تتم فيها مواجهة كيانات من نوع معين ، ثم العمل معها فقط.

لنفترض أنك تلقيت خطابًا ، وسيكون من الجيد إنشاء مقتطف فقط من هذا الجزء حيث يوجد شيء مفيد ، وليس فقط " مرحبًا ، Ivan Petrovich ". إذا كان يمكنك تمييز الكيانات المسماة ، فيمكنك جعل المقتطف ذكيًا عن طريق إظهار ذلك الجزء من الرسالة حيث تكون الكيانات التي تهمنا (وليس فقط إظهار الجملة الأولى من الرسالة ، كما يحدث غالبًا). أو يمكنك ببساطة تسليط الضوء في النص على الأجزاء الضرورية من الرسالة (أو ، مباشرة ، الكيانات المهمة بالنسبة لنا) لراحة المحللين.

بالإضافة إلى ذلك ، تعتبر الكيانات عمليات ربط متينة وموثوقة ؛ يمكن أن يكون اختيارها مهمًا للعديد من المهام. لنفترض أن لديك اسمًا لكيان مسمى ، وعلى أي حال ، فمن المرجح أنه مستمر ، ويجب أن يتم تنفيذ جميع الإجراءات به كما هو الحال مع كتلة واحدة. على سبيل المثال ، ترجم اسم الكيان إلى اسم الكيان. تريد ترجمة "Pyaterochka Shop" إلى الفرنسية في قطعة واحدة ، ولا تنقسم إلى عدة أجزاء لا ترتبط ببعضها البعض. تُعد القدرة على اكتشاف الاقتباسات مفيدة أيضًا للعديد من المهام الأخرى - على سبيل المثال ، في التحليل اللغوي.

بدون حل مشكلة NER ، من الصعب تخيل الحل للعديد من مشكلات البرمجة اللغوية العصبية ، على سبيل المثال ، حل anaphora الضمير أو بناء أنظمة الإجابة على الأسئلة. يسمح لنا ضمير الجناس بفهم أي عنصر في النص يشير إليه الضمير. على سبيل المثال ، دعونا نريد تحليل النص " Charming Galloped on a White Horse". هربت الأميرة لمقابلته وقبلته ". إذا سلطنا الضوء على جوهر Persona على كلمة "Charming" ، فسيكون من الأسهل بكثير فهم الآلة أن الأميرة لم تقبل الحصان ، بل أمير Charming.

الآن نعطي مثالاً على كيف يمكن لتخصيص الكيانات المسماة أن يساعد في بناء أنظمة الإجابة على الأسئلة. إذا قمت بطرح السؤال " من لعب دور دارث فيدر في فيلم" The Empire Strikes Back "في محرك البحث المفضل لديك" ، فبعد احتمال كبير ، ستحصل على الإجابة الصحيحة. يتم ذلك فقط عن طريق عزل الكيانات المسماة: نختار الكيانات (الفيلم ، الدور ، إلخ) ، ونفهم ما نطلبه ، ثم نبحث عن الإجابة في قاعدة البيانات.

ربما يكون أهم اعتبار نظرًا لأن مهمة NER شائع جدًا: بيان المشكلة مرن جدًا. بمعنى آخر ، لا أحد يفرض علينا تحديد المواقع والأفراد والمؤسسات. يمكننا تحديد أي أجزاء نصية مستمرة نحتاجها تختلف إلى حد ما عن بقية النص. نتيجة لذلك ، يمكنك اختيار مجموعة الكيانات الخاصة بك لمهمة عملية محددة قادمة من العميل ، ووضع علامة على مجموعة النصوص مع هذه المجموعة وتدريب النموذج. مثل هذا السيناريو موجود في كل مكان ، وهذا يجعل NER واحدة من أكثر مهام NLP أداءً بشكل متكرر في الصناعة.

سأقدم بعض الأمثلة على مثل هذه الحالات من عملاء محددين ، حيث شاركت في حلها.

إليك أول نسخة: تتيح لك الحصول على مجموعة من الفواتير (التحويلات المالية). تحتوي كل فاتورة على وصف نصي ، والذي يحتوي على المعلومات اللازمة حول النقل (من ، ومن ، ومتى ، ولماذا ، ولأي سبب تم إرساله). على سبيل المثال ، حولت الشركة X مبلغ 10 دولارات إلى الشركة Y في مثل هذا التاريخ ومثل هذا التاريخ وكذا. النص رسمي تمامًا ، لكنه مكتوب بلغة حية. قامت البنوك بتدريب الأشخاص الذين قرأوا هذا النص بشكل خاص ثم أدخلوا المعلومات الموجودة فيه في قاعدة بيانات.

يمكننا تحديد مجموعة من الكيانات التي تتوافق مع أعمدة الجدول في قاعدة البيانات (أسماء الشركات ، ومقدار النقل ، وتاريخه ، ونوع النقل ، وما إلى ذلك) ومعرفة كيفية تحديدها تلقائيًا. بعد ذلك ، يبقى فقط إدخال الكيانات المحددة في الجدول ، وسيكون بمقدور الأشخاص الذين قرأوا النصوص مسبقًا وإدخال المعلومات في قاعدة البيانات القيام بمهام أكثر أهمية وفائدة.

حالة المستخدم الثانية هي: تحتاج إلى تحليل الرسائل مع الطلبات من المتاجر عبر الإنترنت. للقيام بذلك ، تحتاج إلى معرفة رقم الطلب (بحيث يمكن وضع علامة على جميع الأحرف المتعلقة بهذا الطلب أو وضعها في مجلد منفصل) ، وكذلك المعلومات المفيدة الأخرى - اسم المتجر ، وقائمة البضائع التي تم طلبها ، ومقدار الشيك ، وما إلى ذلك. كل هذا - يمكن اعتبار أرقام الطلبات وأسماء المتجر وما إلى ذلك كيانات مسماة ، ومن السهل أيضًا معرفة كيفية التمييز بينها باستخدام الطرق التي سنحللها الآن.

إذا كان NER مفيدًا جدًا ، فلماذا لا يتم استخدامه في كل مكان؟

لماذا لا يتم حل مهمة NER دائمًا ولا يزال العملاء التجاريون على استعداد لدفع ليس أصغر مبلغ مقابل حلها؟ يبدو أن كل شيء بسيط: لفهم أي جزء من النص لتسليط الضوء عليه ، وتسليط الضوء عليه.

ولكن في الحياة ، كل شيء ليس بهذه السهولة ، تنشأ صعوبات مختلفة.

التعقيد الكلاسيكي الذي يمنعنا من العيش في حل مجموعة متنوعة من مشاكل البرمجة اللغوية العصبية هو كل أنواع الغموض في اللغة. على سبيل المثال ، كلمات متعددة الألفاظ المتجانسة (انظر الأمثلة في الجزء 1 ). يوجد نوع منفصل من homonymy يرتبط مباشرة بمهمة NER - يمكن تسمية كيانات مختلفة تمامًا بالكلمة نفسها. على سبيل المثال ، اسمح لنا بكلمة " واشنطن ". ما هذا شخص ، مدينة ، ولاية ، اسم متجر ، اسم كلب ، كائن ، شيء آخر؟ لتسليط الضوء على هذا القسم من النص ككيان محدد ، يجب على المرء أن يأخذ في الاعتبار الكثير - السياق المحلي (ما كان عليه النص السابق) ، والسياق العالمي (المعرفة حول العالم). يأخذ الشخص كل ذلك في الاعتبار ، لكن ليس من السهل تعليم آلة للقيام بذلك.

الصعوبة الثانية هي التقنية ، لكن لا تقلل من شأن ذلك. بغض النظر عن كيفية تعريفك للجوهر ، على الأرجح سيكون هناك بعض الحالات الحدودية والصعبة - عندما تحتاج إلى تسليط الضوء على الجوهر ، عندما لا تحتاج إلى ما تريد تضمينه في نطاق الكيان ، وما لا ، وما إلى ذلك ، (بالطبع ، إذا كان جوهرنا هو ليس شيئًا متغيرًا قليلاً ، مثل البريد الإلكتروني ؛ ومع ذلك ، يمكنك عادة التمييز بين هذه الكيانات التافهة بطرق تافهة - اكتب تعبيرًا منتظمًا ولا تفكر في أي نوع من أنواع التعلم الآلي).

لنفترض ، على سبيل المثال ، أننا نريد إبراز أسماء المتاجر.

في النص " متجر المحترفين للكشف عن المعادن يرحب بكم " ، من شبه المؤكد أننا نريد تضمين كلمة "متجر" في جوهرنا - وهذا بوضوح جزء من الاسم.

مثال آخر هو " أنت موضع ترحيب من Volkhonka Prestige ، متجر العلامات التجارية المفضلة لديك بأسعار معقولة ." ربما ، لا ينبغي إدراج كلمة "store" في التعليق التوضيحي - من الواضح أن هذا ليس جزءًا من الاسم ، ولكن ببساطة وصفه. بالإضافة إلى ذلك ، إذا قمت بتضمين هذه الكلمة في الاسم ، يجب عليك أيضًا تضمين الكلمات "- المفضلة لديك" ، وربما لا أريد أن أفعلها على الإطلاق.

المثال الثالث: "متجر حيوانات أليفة نيمو يكتب لك. " ليس من الواضح ما إذا كان "متجر الحيوانات الأليفة" جزءًا من الاسم أم لا. في هذا المثال ، يبدو أن أي خيار سيكون مناسبًا. ومع ذلك ، من المهم أن نحتاج إلى اتخاذ هذا الخيار وإصلاحه في إرشادات العلامات ، بحيث يتم تمييز هذه الأمثلة في جميع النصوص بالتساوي (إذا لم يتم ذلك ، فسيبدأ التعلم الآلي في ارتكاب الأخطاء بسبب التناقضات في العلامات).

هناك العديد من الأمثلة على الشريط الحدودي ، وإذا كنا نريد أن تكون العلامة متسقة ، فيجب إدراجها جميعًا في الإرشادات الخاصة بالعلامات. حتى لو كانت الأمثلة نفسها بسيطة ، فيجب أن تؤخذ في الاعتبار وتحسب ، وهذا سيجعل التعليمات أكبر وأكثر تعقيدًا.

حسنًا ، كلما كانت التعليمات أكثر تعقيدًا ، فأنت بحاجة إلى علامات أكثر كفاءة. إنه شيء عندما يحتاج الكاتب إلى تحديد ما إذا كان الحرف هو نص الترتيب أم لا (على الرغم من وجود التفاصيل الدقيقة وحالات الحدود هنا) ، وهو شيء آخر عندما يحتاج الكاتب إلى قراءة تعليمات 50 صفحة ، والعثور على كيانات محددة ، وفهم ما يجب تضمينه في الشرح وما لا.

العلامات الماهرة غالية الثمن ، وعادة ما لا تعمل بسرعة كبيرة. سوف تنفق المال بالتأكيد ، لكن ليس من الجيد على الإطلاق أن تحصل على الترميز المثالي ، لأنه إذا كانت التعليمات معقدة ، حتى الشخص المؤهل يمكنه أن يرتكب خطأ ويساء فهم شيء ما. لمكافحة ذلك ، يتم استخدام ترميز متعدد لنفس النص من قبل أشخاص مختلفين ، مما يزيد من سعر الترميز والوقت الذي يتم إعداده به. تجنب هذه العملية أو حتى تقليلها بشكل خطير لن ينجح: من أجل التعلم ، يجب أن يكون لديك مجموعة تدريب عالية الجودة بأحجام معقولة.

هذان هما السببان الرئيسيان لعدم قيام NER بغزو العالم ولماذا لا تنمو أشجار التفاح على سطح المريخ.

كيفية فهم ما إذا كان قد تم حل مشكلة NER بطريقة الجودة

سوف أخبركم قليلاً عن المقاييس التي يستخدمها الأشخاص لتقييم جودة حلهم لمشكلة NER ، والحالات القياسية.

المقياس الرئيسي لمهمتنا هو مقياس صارم. اشرح ما هو.

دعنا نحصل على علامة اختبار (نتيجة عمل نظامنا) ومعيار (العلامات الصحيحة لنفس النصوص). ثم يمكننا حساب اثنين من المقاييس - الدقة والكمال. الدقة هي جزء من الكيانات الإيجابية الحقيقية (أي الكيانات التي نختارها في النص ، والتي توجد أيضًا في المعيار) ، بالنسبة إلى جميع الكيانات التي يختارها نظامنا. والاكتمال هو جزء من الكيانات الإيجابية الحقيقية فيما يتعلق بجميع الكيانات الموجودة في المعيار. مثال على مصنف دقيق للغاية ، لكنه غير مكتمل ، هو مصنف يحدد كائنًا صحيحًا واحدًا في النص ولا شيء آخر. مثال على المصنف الكامل للغاية ، ولكنه غير دقيق بشكل عام ، هو المصنف الذي يختار كيانًا على أي جزء من النص (وبالتالي ، بالإضافة إلى جميع الكيانات القياسية ، يخصص المصنف لدينا كمية هائلة من القمامة).

مقياس F هو الوسط التوافقي للدقة والكمال ، وهو مقياس قياسي.

كما وصفنا في القسم السابق ، فإن إنشاء العلامات باهظ الثمن. لذلك ، لا توجد العديد من المباني التي يمكن الوصول إليها برمز.

هناك بعض التنوع للغة الإنجليزية - هناك مؤتمرات شائعة حيث يتنافس الناس في حل مشكلة NER (ويتم إنشاء العلامات للمسابقات). من أمثلة هذه المؤتمرات التي تم فيها إنشاء هيئاتها مع الكيانات المسماة MUC و TAC و CoNLL. كل هذه الحالات تتكون حصرا تقريبا من النصوص الإخبارية.

الهيئة الرئيسية التي يتم فيها تقييم جودة حل مشكلة NER هي حالة CoNLL 2003 (فيما يلي رابط للحالة نفسها ، وهنا مقال عنها ). يوجد ما يقرب من 300 ألف رمز وما يصل إلى 10 آلاف كيان. تظهر الآن أنظمة SOTA (أحدث التقنيات - أي أفضل النتائج في الوقت الحالي) في هذه الحالة مقياسًا قياسياً قدره 0.93.

بالنسبة للغة الروسية ، كل شيء أسوأ بكثير. هناك هيئة عامة واحدة ( FactRuEval 2016 ، إليك مقال عنها ، هنا مقال عن Habré ) ، وهو صغير جدًا - لا يوجد سوى 50 ألف رمز. في هذه الحالة ، تكون القضية محددة تمامًا. على وجه الخصوص ، يبرز جوهر LocOrg (الموقع في سياق تنظيمي) المثير للجدل إلى حد ما في هذه الحالة ، التي تخلط بين كل من المنظمات والمواقع ، ونتيجة لذلك تكون جودة اختيار الأخير أقل مما يمكن.

كيفية حل مشكلة NER

الحد من مشكلة NER في مشكلة التصنيف

على الرغم من حقيقة أن الكيانات غالبًا ما تكون مطوّلة ، فإن مهمة NER عادة ما تأتي إلى مشكلة التصنيف على مستوى الرمز المميز ، أي أن كل رمز مميز ينتمي إلى واحدة من عدة فئات محتملة. هناك عدة طرق قياسية للقيام بذلك ، ولكن الأكثر شيوعًا يسمى مخطط BIOES. يتمثل المخطط في إضافة بعض البادئة إلى تسمية الكيان (على سبيل المثال ، PER للأشخاص أو ORG للمؤسسات) ، والتي تشير إلى موضع الرمز المميز في نطاق الكيان. مزيد من التفاصيل:

ب - من بداية الكلمة - أول رمز في فترة الكيان ، والذي يتكون من أكثر من كلمة واحدة.
أنا - من الكلمات في الداخل - هذا هو ما في المنتصف.
هـ - من نهاية الكلمة ، هذا هو الرمز الأخير للكيان ، والذي يتكون من أكثر من عنصر.
S واحد. نضيف هذه البادئة إذا كان الكيان يتكون من كلمة واحدة.

وبالتالي ، نضيف واحدة من 4 بادئات محتملة لكل نوع من الكيانات. إذا كان الرمز لا ينتمي إلى أي كيان ، فسيتم وضع علامة عليه مع تسمية خاصة ، وعادةً ما تحمل علامة OUT أو O.

نعطي مثالا. دعونا نحصل على النص " كارل فريدريش جيروم فون مونشاوزن ولد في Bodenwerder ." يوجد هنا كيان مطول واحد - الشخص "كارل فريدريش جيروم فون مونهاوسن" وواحد من كلمة واحدة - موقع "Bodenwerder".



وبالتالي ، فإن BIOES هي وسيلة لتعيين إسقاطات الامتدادات أو التعليقات التوضيحية إلى مستوى الرمز المميز.

من الواضح أنه من خلال هذا الترميز ، يمكننا تحديد حدود جميع تعليقات الكيانات بشكل لا لبس فيه. في الواقع ، حول كل رمز ، نعلم ما إذا كان صحيحًا أن أحد الكيانات يبدأ بهذا الرمز المميز أو ينتهي به ، مما يعني ما إذا كان يجب إنهاء تعليق التعليق التوضيحي للكيان على رمز معين ، أو توسيعه ليشمل الرموز المميزة التالية.

الغالبية العظمى من الباحثين يستخدمون هذه الطريقة (أو أشكالها مع عدد أقل من الملصقات - BIOE أو BIO) ، ولكن لديها العديد من العيوب المهمة. العنصر الرئيسي هو أن المخطط لا يسمح بالعمل مع كيانات متداخلة أو متقاطعة. على سبيل المثال ، جوهر " جامعة موسكو الحكومية التي سميت باسم M.V. Lomonosov "هي منظمة واحدة. لكن لومونوسوف نفسه شخص ، وسيكون من الجيد أن نسأل في الترميز. باستخدام طريقة العلامات الموضحة أعلاه ، لا يمكننا أبدًا نقل كل من هذه الحقائق في نفس الوقت (لأننا لا نستطيع أن نجعل سوى علامة واحدة على رمز واحد). وفقًا لذلك ، يمكن أن يكون رمز "Lomonosov" إما جزءًا من التعليقات التوضيحية للمنظمة ، أو جزءًا من التعليقات التوضيحية للشخص ، ولكن ليس الاثنين معاً في نفس الوقت.

مثال آخر على الكيانات المدمجة: " قسم المنطق الرياضي ونظرية الخوارزمية في كلية الميكانيكا والرياضيات في جامعة موسكو الحكومية ". هنا ، من الناحية المثالية ، أود التمييز بين 3 مؤسسات متداخلة ، لكن طريقة الترميز أعلاه تسمح لك بتحديد إما 3 كيانات منفصلة ، أو كيان واحد يشرح الجزء بالكامل.

بالإضافة إلى الطريقة القياسية لتقليل مهمة التصنيف على مستوى الرمز المميز ، هناك أيضًا تنسيق بيانات قياسي مناسب لتخزين العلامات لمهمة NER (بالإضافة إلى العديد من مهام البرمجة اللغوية العصبية الأخرى). يسمى هذا التنسيق CoNLL-U .

الفكرة الرئيسية للتنسيق هي: تخزين البيانات في شكل جدول ، حيث يتوافق صف واحد مع رمز واحد ، والأعمدة تتوافق مع نوع معين من سمات الرمز المميز (بما في ذلك الكلمة نفسها ، نموذج الكلمة). بالمعنى الضيق ، يحدد تنسيق CoNLL-U أنواع الميزات (أي الأعمدة) المضمنة في الجدول - ما مجموعه 10 أنواع من الميزات لكل رمز. لكن الباحثين عادة ما ينظرون في التنسيق على نطاق أوسع ويتضمنون أنواع الميزات المطلوبة لمهمة معينة وطريقة لحلها.

فيما يلي مثال للبيانات بتنسيق CoNLL-U-like ، حيث يتم اعتبار 6 أنواع من السمات: عدد الجملة الحالية في النص ، شكل الكلمة (أي الكلمة نفسها) ، lemma (نموذج الكلمة الأولي) ، علامة POS (جزء من الكلام) ، المورفولوجية خصائص الكلمة ، وأخيرا تسمية الكيان المخصص لهذا الرمز المميز.

كيف يمكنك حل مشكلة NER من قبل؟

بالمعنى الدقيق للكلمة ، يمكن حل المشكلة دون التعلم الآلي - بمساعدة الأنظمة المستندة إلى القواعد (في أبسط إصدار - بمساعدة التعبيرات العادية). يبدو هذا قديمًا وغير فعال ، ومع ذلك ، تحتاج إلى فهم ما إذا كان مجال موضوعك محددًا ومعرَّفًا بوضوح وإذا كان الكيان ، في حد ذاته ، ليس لديه الكثير من التباين ، عندئذٍ يتم حل مشكلة NER باستخدام الطرق المستندة إلى القواعد إلى حد ما بسرعة وكفاءة.

, (, ), , .

, ( ), . .

, 2000- SOTA . , .

, — . . . , ( ), 1, 0.

, (POS-), ( — , , ), (. . ), (, ), .

, , :

• “ , ”,
• “ ”,
• “ ”,
• “ ” ( , , “iPhone”).

, , - , — .

, – . , , , – , , , – , , , – . , (“” , “” — ), . , , , — ( , NER 2 — ).

, NER, , Nadeau and Sekine (2007), A survey of Named Entity Recognition and Classification . , , , ( - , , , HMM, , , , ), .

(summarized pattern ). NLP. , 2018 (word shape) .

NER ?

NLP almost from scratch

NER 2011 .

SOTA- CoNLL 2003. , . ML , .

NER , , NLP . , , , , . , NER ( , NLP).

, .

, :

• «» (window based approach),
• (sentence based approach).

– , – , .. , .

: , “ The cat sat on the mat ”.



K (, , , , . .). (, , 1 ). سمح — , i- j- .

, sentence based approach , , — , . i i-core, core — , ( , , ).

— , Lookup Table ( “” ). , — , 1, – 0. في , . . ( i 1 K) – , .

word2vec ( , word2vec, ) , , word2vec ( ).

, , في .

, sentence based approach (window based ). , (. . “The cat sat on the mat” 6 ). , , , — core.

: 3-5. , , ( ). m f, m — , (. . ), f — .

, — max pooling (. . ), f. , , , core, (max pooling , , ). “ ” , , core.

- ( — HardTanh), softmax d, d — .

, , — ( ), softmax — , core.

CharCNN-BLSTM-CRF

CharCNN-BLSTM-CRF, , SOTA 2016-2018 ( 2018 , NLP ; ). NER Lample et al (2016) Ma & Hovy (2016) .

, NLP, .

- . . – , – , — : , . . - .

. , , . — . Lookup- , , .

, .

, . — , , ( , ).

CharCNN ( , CharRNN). , - . - (, 20) — . , — , .



, , , , — ( ). - , .

2 .

– ( CharCNN). , sentence based approach .

, (, 3), . max pooling, 1 . .

– (BLSTM BiGRU; , ). RNN.

, - . - .



BLSTM BiGRU. i- , RNN. ( RNN), ( RNN). - .

NLP, NLP.

, , NER. - , . .

– softmax d, d — . ( ).

, — . BiRNN, , . , I-PER B-PER I-PER.

— CRF (conditional random fields). , ( ), , CRF , .

, CharCNN-BLSTM-CRF, SOTA NER 2018 .

. CharCNN f- 1%, CRF — 1-1.5%, ( multi-task learning, Wu et al (2018) ). BiRNN — , , , .

---

, NER. , , .

,
NLP Advanced Research Group