🧚 🐦 🎅🏾 تشريح نظم التوصية. الجزء الثاني 🤰🏽 🧘🏼 🧔🏾

قبل أسبوع ، أجريت نظرة عامة على خوارزميات التوصيات الحالية هنا . في هذه المقالة ، سأواصل هذه المراجعة: سأتحدث عن البديل القائم على العنصر للتصفية التعاونية ، وعن الأساليب القائمة على تحليلات المصفوفة ، ومشاكل الاختبار ، وأيضًا عن خوارزميات أقل "غير مبررة" (ولكن ليس أقل إثارة للاهتمام).

التصفية التعاونية (خيار قائم على العنصر)

يعد النهج القائم على العنصر بديلاً طبيعيًا للنهج الكلاسيكي المستند إلى المستخدم الموصوف في الجزء الأول ، ويكرره بالكامل تقريبًا ، باستثناء نقطة واحدة - ينطبق على مصفوفة التفضيل المنقولة. على سبيل المثال تبحث عن المنتجات ذات الصلة ، وليس المستخدمين.

دعني أذكرك بأن التصفية التعاونية المستندة إلى المستخدم (CF المستندة إلى المستخدم) تبحث عن كل عميل مجموعة من العملاء الأكثر تشابهًا لها (من حيث عمليات الشراء السابقة) ومتوسط تفضيلاتهم. تعمل هذه التفضيلات المتوسطة كتوصيات للمستخدم. في حالة التصفية التعاونية للسلع (CF المعتمد على العناصر) ، يتم البحث عن أقرب الجيران في مجموعة المنتجات - أعمدة مصفوفة التفضيلات. ويحدث المتوسط عليهم بدقة.

في الواقع ، إذا كانت المنتجات متشابهة إلى حد كبير ، فمن المرجح أنها إما محبوب أو غير محبوب في نفس الوقت. لذلك ، عندما نرى أن منتجين لهما ارتباطات قوية ، فقد يشير ذلك إلى أنهما منتجان متشابهان.

مزايا العنصر القائم على المستخدم:

عندما يكون هناك الكثير من المستخدمين (دائمًا تقريبًا) ، تصبح مهمة العثور على أقرب جار محسوبة بشكل سيئ. على سبيل المثال ، تحتاج إلى مليون مستخدم لحساب وتخزين $\ frac {1} {2} 10 ^ 6 * 10 ^ 6$ ~ 500 مليار مسافات. إذا تم تشفير المسافة بـ 8 بايت ، ينتج عن ذلك 4 تيرابايت لمصفوفة المسافة وحدها. إذا قمنا بالاعتماد على العناصر ، فإن تعقيد الحسابات ينخفض مع $O (N ^ 2n)$ من قبل $O (n ^ 2N)$ ولم يعد لمصفوفة البعد بُعد (مليون لكل مليون) ، ولكن ، على سبيل المثال ، (100 لكل 100) بعدد السلع.
تصنيف القرب أكثر دقة من تصنيف القرب. هذا هو نتيجة مباشرة لحقيقة أنه يوجد عادة عدد أكبر بكثير من المستخدمين من السلع ، وبالتالي فإن الخطأ المعياري في حساب ارتباط البضائع أقل بكثير. لدينا المزيد من المعلومات للتوصل إلى استنتاج.
في النسخة التي تعتمد على المستخدم ، عادة ما تكون أوصاف المستخدم قليلة للغاية (هناك العديد من المنتجات ، تقييمات قليلة). من ناحية ، يساعد هذا على تحسين الحساب - نحن نضرب فقط تلك العناصر حيث يوجد تقاطع. ولكن من ناحية أخرى - كم عدد الجيران الذين لا تأخذهم ، فإن قائمة السلع التي يمكنك التوصية بها في النهاية صغيرة جدًا.
قد تتغير تفضيلات المستخدم بمرور الوقت ، ولكن وصف العنصر أكثر استقرارًا.

تكرر بقية الخوارزمية بشكل كامل تقريبًا الخيار المستند إلى المستخدم: نفس مسافة جيب التمام مثل المقياس الرئيسي للقرب ، نفس الحاجة إلى تطبيع البيانات. عادة ما يتم اختيار عدد السلع المجاورة N في منطقة 20.

نظرًا لحقيقة أن ارتباط المنتجات يتم اعتباره في عدد أكبر من الملاحظات ، فليس من الضروري إعادة حسابه بعد كل تقييم جديد ، ويمكنك القيام بذلك بشكل دوري في وضع المعركة.

العديد من التحسينات الممكنة للخوارزمية:

تعديل مثير للاهتمام هو النظر في "تشابه" المنتجات ليس كمسافات جيب التمام النموذجية ، ولكن من خلال مقارنة محتواها (التشابه القائم على المحتوى). إذا لم تؤخذ تفضيلات المستخدم في الوقت نفسه في الاعتبار بأي شكل من الأشكال ، فإن هذه التصفية تتوقف عن كونها "تعاونية". علاوة على ذلك ، لا يتغير الجزء الثاني من الخوارزمية - الحصول على تقديرات متوسطة - بأي شكل من الأشكال.
تعديل آخر محتمل هو وزن المستخدمين عند حساب تشابه العنصر. على سبيل المثال ، كلما زاد عدد المستخدمين الذين أجروا تقييمات ، زاد وزنهم عند مقارنة منتجين.
بدلاً من حساب متوسط تقديرات المنتجات المجاورة ، يمكن اختيار الأوزان عن طريق الانحدار الخطي.

عند استخدام النهج القائم على العناصر ، تميل التوصيات إلى أن تكون أكثر تحفظًا. في الواقع ، مبعثر التوصيات أقل وبالتالي أقل احتمالية لإظهار المنتجات غير القياسية.

إذا استخدمنا في مصفوفة التفضيلات عرض وصف المنتج كتصنيف ، فمن المرجح أن تكون المنتجات الموصى بها نظائرها - وهي المنتجات التي غالبًا ما يتم عرضها معًا. إذا قمنا بحساب التصنيفات في مصفوفة التفضيلات استنادًا إلى عمليات الشراء ، فمن المرجح أن تكون المنتجات الموصى بها هي الملحقات - وهي السلع التي غالبًا ما يتم شراؤها معًا.

تقييم جودة النظام

يعد اختبار نظام التوصية عملية صعبة ويثير دائمًا العديد من الأسئلة ، ويرجع ذلك أساسًا إلى غموض مفهوم "الجودة".

بشكل عام ، في مهام التعلم الآلي ، هناك طريقتان رئيسيتان للاختبار:

اختبار غير متصل للنموذج على البيانات التاريخية باستخدام اختبارات الرجعية ،
اختبار النموذج النهائي باستخدام اختبار A / B (نطلق عدة خيارات ، ونرى أيها يعطي أفضل نتيجة).

يتم استخدام كل من هذه النهج بنشاط في تطوير أنظمة التوصيات. لنبدأ بالاختبار بلا اتصال بالإنترنت.

القيد الرئيسي الذي يجب عليك مواجهته هو تقييم دقة التوقعات التي يمكننا فقط على تلك المنتجات التي قام المستخدم بتقييمها بالفعل.

النهج المعياري هو التحقق المتبادل مع طرق ترك واحد وترك إجازة. التكرار المتكرر للاختبار بمتوسط النتائج يسمح بالحصول على تقييم جودة أكثر استقرارًا.

إجازة واحدة - يتم تدريب النموذج على جميع العناصر التي يقيمها المستخدم ، باستثناء عنصر واحد ، ويتم اختباره على هذا الكائن الواحد. يتم ذلك لجميع الكائنات n ، ويتم حساب المتوسط بين تقديرات الجودة التي تم الحصول عليها.
إجازة p-out هي نفسها ، ولكن يتم استبعاد نقاط p في كل خطوة.

يمكن تقسيم جميع مقاييس الجودة إلى ثلاث فئات:

دقة التنبؤ - تقييم دقة التصنيف المتوقع ،
دعم القرار - تقييم أهمية التوصيات ،
مقاييس دقة الترتيب - تقييم جودة ترتيب التوصيات الصادرة.

لسوء الحظ ، لا يوجد مقياس واحد موصى به لجميع المناسبات ، وكل شخص يشارك في اختبار نظام التوصية يختاره لأغراضه الخاصة.

عندما يتم تصنيف التقييمات على مقياس مستمر (0-10) ، تكون مقاييس فئة دقة التنبؤ كافية عادةً.

العنوان	الصيغة	الوصف
MAE (يعني خطأ مطلق)	$E (\| P-R \|)$	متوسط الانحراف المطلق
MSE (خطأ مربع التربيع)	$E (\| P-R \| ^ 2)$	خطأ معياري
RMSE (خطأ الجذر التربيعي المتوسط)	$\ sqrt {E (\| P-R \| ^ 2)}$	جذر متوسط الخطأ التربيعي

تعمل مقاييس فئة دعم القرار مع البيانات الثنائية (0 و 1 ، نعم ولا). إذا تم تأجيل التصنيفات في مهمتنا في البداية على مقياس مستمر ، فيمكن تحويلها إلى تنسيق ثنائي من خلال تطبيق القاعدة الحاسمة - لنفترض ، إذا كان التصنيف أقل من 3.5 ، فنحن نعتبر التقييم "سيئًا" ، وإذا كان أعلى ، فإن "جيد".

العنوان	الصيغة	الوصف
الدقة	$\ frac {TP} {TP + FP}$	النسبة المئوية لتوصيات المستخدم
أذكر	$\ frac {TP} {TP + FN}$	النسبة المئوية للمنتجات التي تهم المستخدم.
قياس F1	$\ frac {2PR} {P + R}$	متناسق مقاييس الدقة والدقة. وهي مفيدة عندما يكون من المستحيل تحديد أي مقياس أكثر أهمية مقدمًا.
ROC AUC		ما مدى ارتفاع تركيز المنتجات المثيرة للاهتمام في أعلى قائمة التوصيات
الدقة @ N		متري الدقة محسوبة على أعلى السجلات N
أذكر @ ن		استعادة مقياس محسوب على أعلى السجلات N
Averagep		متوسط الدقة على قائمة التوصيات بأكملها

كقاعدة ، يتم عرض التوصيات في قائمة بالعديد من المواضع (أعلى أولاً ، ثم بترتيب تنازلي للأولوية). تقيس مقاييس فئة دقة التصنيف مدى صحة ترتيب عرض التوصيات في قائمة مرتبة.

العنوان	الصيغة	الوصف
يعني رتبة متبادلة	$E (\ frac {1} {pos})$	في أي موضع في قائمة التوصيات ، يجد المستخدم الأول مفيدًا
ارتباط سبيرمان	$E (\| P-R \| ^ 2)$	ارتباط (Spearman) بالرتب الحقيقية والمتوقعة للتوصيات
nDCG	$\ sum {\ frac {R (i)} {max (1، log (i))}}$	المعلوماتية للمسألة مع مراعاة ترتيب التوصيات
جزء من أزواج التوافق	$P (X_ {R}> X_ {P})$	ما مدى ارتفاع تركيز المنتجات المثيرة للاهتمام في أعلى قائمة التوصيات

إذا أخذنا أنظمة التوصية في الأعمال التجارية عبر الإنترنت ، فعندئذ كقاعدة ، يكون لديهم هدفين (متضاربان في بعض الأحيان):

إبلاغ المستخدم بمنتج مثير للاهتمام ،
شجعه على إجراء عملية شراء (عن طريق البريد ، وتجميع عرض شخصي ، وما إلى ذلك).

كما هو الحال في أي نموذج يهدف إلى تحفيز المستخدم على العمل ، يجب تقييم الزيادة الإضافية فقط في الإجراء المستهدف. هذا ، على سبيل المثال ، عند حساب عمليات الشراء حسب التوصية ، نحتاج إلى استبعاد تلك التي كان سيفعلها المستخدم نفسه بدون نموذجنا. إذا لم يتم ذلك ، فسيتم المبالغة في تقدير تأثير تقديم النموذج بشكل كبير.

التأثير هو مؤشر على عدد المرات التي تتجاوز فيها دقة النموذج خوارزمية خط أساس معينة. في حالتنا ، قد تكون خوارزمية خط الأساس ببساطة عدم وجود توصيات. يلتقط هذا المقياس حصة عمليات الشراء الإضافية بشكل جيد وهذا يسمح لك بمقارنة النماذج المختلفة بشكل فعال.

اختبار المستخدم

المصدر

سلوك المستخدم هو شيء غير رسمي ولا يوجد مقياس واحد يصف عمليات التفكير في رأسه بشكل كامل عند اختيار المنتج. يتأثر القرار بالعديد من العوامل. النقر على رابط مع منتج موصى به ليس له حتى الآن تقييمه العالي أو حتى اهتمامه. يساعد الاختبار عبر الإنترنت على فهم منطق العميل جزئيًا. فيما يلي بعض السيناريوهات لمثل هذا الاختبار.

السيناريو الأول والأكثر وضوحًا هو تحليل أحداث الموقع. نحن ننظر إلى ما يفعله المستخدم على الموقع ، هل يهتم بتوصياتنا ، هل يتابعها ، ما هي ميزات النظام المطلوبة ، والتي ليست كذلك ، أي المنتجات الموصى بها بشكل أفضل ، والتي هي أسوأ. لفهم أي من الخوارزميات ككل يعمل بشكل أفضل أو مجرد تجربة فكرة واعدة جديدة ، نقوم باختبار أ / ب ونجمع النتيجة.

السيناريو الثاني هو تلقي التعليقات من المستخدمين في شكل استطلاعات واستطلاعات. كقاعدة عامة ، هذه أسئلة عامة لفهم كيفية استخدام العملاء للخدمة - وهي الأهم: مدى الصلة أو التنوع ، سواء كان من الممكن عرض منتجات مكررة ، أو أنها مزعجة للغاية. ميزة البرنامج النصي هو أنه يوفر إجابة مباشرة على جميع هذه الأسئلة.

مثل هذا الاختبار هو أمر معقد ، ولكن بالنسبة لخدمات التوصية الكبيرة ، فمن الضروري ببساطة. يمكن أن تكون الأسئلة أكثر تعقيدًا ، على سبيل المثال ، "أي من القوائم تبدو أكثر ملاءمة لك" ، "كم تبدو الورقة كاملة" ، "هل ستشاهد هذا الفيلم / تقرأ كتابًا".

التقييمات الضمنية والبيانات الأحادية

في بداية تطويره ، تم استخدام أنظمة التوصيات في الخدمات حيث يقوم المستخدم بتقييم المنتج بوضوح بتصنيفه - وهي مواقع أمازون و Netflix ومواقع أخرى للتداول عبر الإنترنت. ومع ذلك ، مع شعبية أنظمة التوصية ، كانت هناك حاجة لاستخدامها أيضًا حيث لا توجد تقييمات - يمكن أن تكون هذه البنوك ومحلات تصليح السيارات والأكشاك مع الشاورما وأي خدمات أخرى حيث يستحيل لسبب ما إنشاء نظام تقييم. في هذه الحالات ، لا يمكن حساب اهتمامات المستخدم إلا من خلال الإشارات غير المباشرة - تشير بعض الإجراءات مع المنتج إلى تفضيلات المستخدم ، على سبيل المثال ، عرض الوصف على الموقع ، وإضافة المنتج إلى السلة ، وما إلى ذلك. ويستخدم مبدأ "اشترى - يعني الحب!". ويطلق على نظام التصنيف الضمني هذا التصنيف الضمني.

من الواضح أن التصنيفات الضمنية تعمل بشكل أسوأ من تلك الواضحة ، لأنها تضيف ترتيبًا من حيث الحجم لمزيد من الضوضاء. بعد كل شيء ، يمكن للمستخدم شراء منتج كهدية لزوجته أو الذهاب إلى صفحة تحتوي على وصف للمنتج ، فقط لترك تعليق هناك بأسلوب "أي نوع من السوء هو كل نفس" أو لإرضاء فضوله الطبيعي.

إذا كان في حالة التقييمات الصريحة ، يحق لنا أن نتوقع أن يكون تصنيف سلبي واحد على الأقل لا ، لا ونعم ، فلن نأخذ تصنيفًا سلبيًا من أي مكان. إذا لم يشتري المستخدم كتاب "Fifty Shades of Gray" ، فيمكنه فعل ذلك لسببين:

هي حقا ليست مهتمة به (هذه حالة سلبية) ،
هي مهتمة به ، لكنه ببساطة لا يعرف عنها (هذه حالة إيجابية غاب عنها).

لكن ليس لدينا بيانات لتمييز الحالة الأولى عن الحالة الثانية. هذا أمر سيئ ، لأنه عند تدريب نموذج ، يجب علينا تعزيزه في الحالات الإيجابية والغرامة على الحالات السلبية ، لذلك سنكون دائمًا على ما يرام ، ونتيجة لذلك ، سيكون النموذج متحيزًا.

الحالة الثانية هي القدرة على ترك تقييمات إيجابية فقط. من الأمثلة اللافتة على ذلك زر الإعجاب على الشبكات الاجتماعية. تم بالفعل وضع التقييم هنا بشكل صريح ، ولكن كما هو الحال في المثال السابق ، ليس لدينا أمثلة سلبية - نحن نعرف القنوات التي يحبها المستخدم ، لكننا لا نعرف القنوات التي لا يعجبهم.

في كلا المثالين ، تتحول المهمة إلى مهمة تصنيف أحادي الفئة .

الحل الأكثر وضوحًا هو اتباع مسار بسيط والنظر في عدم وجود تصنيف كتقييم سلبي. في بعض الحالات يكون هذا أكثر تبريرًا ، في بعض الحالات الأقل. على سبيل المثال ، إذا علمنا أن المستخدم على الأرجح شاهد المنتج (على سبيل المثال ، أظهرنا له قائمة المنتجات ، وتحول إلى المنتج الذي يتبعه) ، فإن عدم الانتقال يمكن أن يشير حقًا إلى عدم الاهتمام.

المصدر

خوارزميات عامل

سيكون من الرائع وصف اهتمامات المستخدم في "ضربات" أكبر. ليس بصيغة "يحب الأفلام X و Y و Z" ، ولكن بتنسيق "يحب الأفلام الكوميدية الروسية الحديثة". إلى جانب حقيقة أن هذا سيزيد من قابلية تعميم النموذج ، فإنه سيحل أيضًا مشكلة الأبعاد الكبيرة للبيانات - لأن الاهتمامات لن يتم وصفها بواسطة متجه للسلع ، ولكن بواسطة متجه أصغر بكثير من التفضيلات.

تسمى هذه الأساليب أيضًا التحلل الطيفي أو التصفية العالية التمرير (نظرًا لأننا نزيل الضوضاء ونترك إشارة مفيدة). هناك العديد من التحليلات المختلفة للمصفوفات في الجبر ، وأحد أكثرها استخدامًا يسمى تحلل SVD (تحليل القيمة المفردة).

تم استخدام طريقة SVD في أواخر الثمانينيات لتحديد الصفحات التي كانت متشابهة في المعنى ، ولكن ليس في المحتوى ، ثم بدأ استخدامها في مهام التوصيات. تعتمد الطريقة على تحلل المصفوفة الأولية للتصنيفات ® في منتج من 3 مصفوفات:

R = U * D * S

$R = U * D * S$ حيث أحجام المصفوفات

(k ، m) = (k ، r) * (r ، r) * (r ، m)

$(k، m) = (k، r) * (r، r) * (r، m)$ ، و r
رتبة التحلل - معلمة تميز درجة تفاصيل التحلل.

بتطبيق هذا التحليل على مصفوفة التفضيل لدينا ، نحصل على مصفوفتين من العوامل (الأوصاف المختصرة):

يو - وصف مضغوط لتفضيلات المستخدم ،
S هو وصف مضغوط لميزات المنتج.

من المهم ألا نعلم من خلال هذا النهج ما هي الخصائص التي تتوافق مع العوامل في الأوصاف المخفضة ، بالنسبة لنا يتم ترميزها ببعض الأرقام. لذلك ، SVD هو نموذج غير مترجم.

من أجل الحصول على تقريب مصفوفة التفضيل ، يكفي مضاعفة مصفوفة العوامل. بعد القيام بذلك ، نحصل على درجة تصنيف لجميع أزواج منتجات العملاء.

تسمى العائلة العامة لهذه الخوارزميات NMF (معامل المصفوفة غير السلبية). كقاعدة ، يستغرق حساب هذه التوسعات وقتًا طويلاً جدًا ، وبالتالي ، في الممارسة العملية ، غالبًا ما يلجأون إلى المتغيرات التكرارية التقريبية.

ALS (المربعات الصغرى بالتناوب) هي خوارزمية تكرارية شائعة لتحليل مصفوفة التفضيل إلى منتج من مصفوفتين: عوامل المستخدم (U) وعوامل المنتج (I). يعمل على مبدأ تقليل الخطأ المعياري للتصنيفات. يتم التحسين بالتناوب ، أولاً حسب عوامل المستخدم ، ثم حسب عوامل المنتج. أيضًا ، للتحايل على إعادة التدريب ، تتم إضافة معاملات التسوية إلى الخطأ القياسي.

إذا قمنا بتكميل مصفوفة التفضيل ببعد جديد يحتوي على معلومات حول المستخدم أو المنتج ، فسنتمكن من توسيع مصفوفة التفضيل ، ولكن الموتر. وبالتالي ، سنستخدم المزيد من المعلومات المتاحة وربما نحصل على نموذج أكثر دقة.

نهوج أخرى

قواعد الارتباط

تُستخدم القواعد النقابية عادةً في تحليل ارتباطات المنتج (تحليل سلة السوق) وتبدو على النحو التالي: "إذا كان هناك حليب في شيك العميل ، فعندئذٍ في 80٪ من الحالات سيكون هناك خبز". أي إذا رأينا أن العميل قد وضع الحليب بالفعل في السلة ، فقد حان الوقت لتذكير الخبز.

لا يختلف هذا عن تحليل المشتريات المتباينة في الوقت المناسب ، ولكن إذا اعتبرنا التاريخ بأكمله كسلة كبيرة واحدة ، فيمكننا تطبيق هذا المبدأ بالكامل هنا. يمكن تبرير ذلك عندما نبيع ، على سبيل المثال ، سلعًا باهظة الثمن لمرة واحدة (ائتمان ، رحلة طيران).

RBM (ماكينات Bolzman المقيدة)

تعد ماكينات Boltzmann المقيدة نهجًا قديمًا نسبيًا يعتمد على الشبكات العصبية المتكررة المتكررة. إنه نموذج ذو متغيرات كامنة ، وهو مشابه لتحلل SVD. كما أنها تبحث عن أكثر وصف مضغوط لتفضيلات المستخدم ، والتي يتم ترميزها باستخدام المتغيرات الكامنة. لم يتم تطوير الطريقة للبحث عن التوصيات ، ولكن تم استخدامها بنجاح في أفضل حلول جائزة Netflix ولا تزال تستخدم في بعض المهام.

الترميز التلقائي

ويستند إلى نفس مبدأ التحلل الطيفي ، ولهذا السبب تسمى هذه الشبكات أيضًا بإلغاء التشفير التلقائي. تقوم الشبكة أولاً بطي بيانات المستخدم التي تعرفها إلى تمثيل مضغوط ، محاولاً ترك معلومات ذات معنى فقط ، ثم استعادة البيانات إلى أبعادها الأصلية. والنتيجة هي نوع من قالب متوسط وخالي من الضوضاء يمكنك من خلاله تقييم الاهتمام بأي منتج.

DSSM (نماذج التشبيه الدلالي العميق)

أحد الأساليب الجديدة. كل نفس المبدأ ، ولكن في دور المتغيرات الكامنة ، فيما يلي وصف الموتر الداخلي لبيانات الإدخال (التضمين). في البداية ، تم إنشاء النموذج لمطابقة الاستعلام مع المستندات (بالإضافة إلى التوصيات المستندة إلى المحتوى) ، ولكن يتم تحويله بسهولة إلى مهمة مطابقة المستخدمين والمنتجات.

مجموعة متنوعة من معماريات الشبكة العميقة لا حصر لها ، ولهذا السبب يوفر Deep Learning مجالًا واسعًا حقًا من التجارب للأنظمة الموصى بها.

الحلول الهجينة

في الممارسة العملية ، نادرا ما يتم استخدام نهج واحد. كقاعدة ، يتم دمج العديد من الخوارزميات في واحد لتحقيق أقصى تأثير.

ميزتان رئيسيتان للجمع بين النماذج هي زيادة الدقة وإمكانية ضبط أكثر مرونة لمجموعات مختلفة من العملاء. العيوب هي أقل قابلية للتفسير وتعقيد أكبر للتنفيذ والدعم.

عدة استراتيجيات للجمع:

الترجيح - اقرأ متوسط المتوسط المرجح لعدة تقديرات ،
التراص - تنبؤات النماذج الفردية هي مدخلات لمصنف (ميتا) آخر يتعلم وزن التقديرات المتوسطة بشكل صحيح ،

التبديل - تطبيق خوارزميات مختلفة لمنتجات / مستخدمين مختلفين ،
الخلط - يتم حساب التوصيات حول الخوارزميات المختلفة ، ثم يتم دمجها ببساطة في قائمة واحدة.

على سبيل المثال ، يتم استخدام مقترح يعتمد على المحتوى ، وكإحدى الميزات - نتيجة التصفية التعاونية.

ميزة الترجيح (الخطي):

P (u, i) = w_{1} P_{1} (u, i) + w_{2} P_{2} (u, i) + \dots + w_{n} P_{n} (u, i)

$P(u,i) = w_1 P_1(u,i) + w_2 P_2(u,i) + … + w_n P_n(u,i)$

الأوزان

يتم تدريب

على العينة. كقاعدة ، يتم استخدام الانحدار اللوجستي لهذا.التراص بشكل عام:

w_{1}, w_{2} \dots w_{n}

$w_1,w_2 … w_n$

P (u, i) = f_{1} (u, i) P_{1} (u, i) + f_{2} (u, i) P_{2} (u, i) + \dots + f_{n} (u, i) P_{n} (u, i)

$P(u,i) = f_1(u,i) P_1(u,i) + f_2(u,i) P_2(u,i) + … + f_n(u,i) P_n(u,i)$

Netflix

كانت جائزة Netflix مسابقة عقدت في عام 2009 تطلبت من المستخدمين توقع تقييمات مستخدمي مكتبة الأفلام من Netflix. تسببت جائزة مالية جيدة بقيمة مليون دولار في إثارة وجذب عدد كبير من المشاركين ، بما في ذلك أشخاص مشهورين جدًا في الذكاء الاصطناعي.

كانت مهمة ذات تقييمات صريحة ، وتم تحديد الدرجات على مقياس من 1 إلى 5 ، وتم تقييم دقة التنبؤ من قبل RMSE. تم أخذ معظم الأماكن الأولى من قبل مجموعات كبيرة من المصنفات. استخدمت

المجموعة الفائزة نماذج من الفئات التالية:

النموذج الأساسي - نموذج الانحدار بناءً على متوسط التقديرات
التصفية التعاونية - التصفية التعاونية
RBM - ماكينات بولتزمان محدودة
غابات عشوائية - نموذج تنبؤي

تم استخدام تعزيز التدرج التقليدي كخوارزمية ميتا تجمع بين تقديرات الخوارزميات المحلية.

الملخص

إن مهمة إنشاء التوصيات بسيطة للغاية - نقوم بتجميع مصفوفة تفضيل مع تقديرات المستخدم المعروفة لنا ، إذا اتضح لنا ، فإننا نكمل هذه التقديرات بمعلومات عن العميل والمنتج ، ونحاول ملء القيم غير المعروفة.

على الرغم من بساطة البيان ، يتم نشر مئات المقالات التي تصف بشكل أساسي طرقًا جديدة لحلها. أولاً ، يرجع ذلك إلى زيادة كمية البيانات التي تم جمعها والتي يمكن استخدامها في النموذج وتزايد دور التصنيفات الضمنية. ثانيًا ، مع تطور التعلم العميق وظهور بنيات الشبكات العصبية الجديدة. كل هذا يضاعف تعقيد النماذج.

ولكن بشكل عام ، يأتي كل هذا التنوع إلى مجموعة صغيرة جدًا من الأساليب ، التي حاولت وصفها في هذه المقالة.

أذكرك بشواغرنا.

تشريح نظم التوصية. الجزء الثاني