تصنيف Autocentric. تقرير ياندكس عن العثور على الجماهير ذات الصلة للمؤلفين زين

أهم شيء بالنسبة لخدمة Yandex.Zen هو تطوير وصيانة نظام أساسي يربط الجماهير بالكتاب. لتكون منصة جذابة للمؤلفين الجيدين ، يجب أن تكون Zen قادرة على العثور على جمهور مناسب للقنوات التي تكتب على أي موضوع ، بما في ذلك الأضيق. تحدث رئيس مجموعة السعادة للمؤلفين بوريس شارشيليف عن تصنيف المؤلفين ، والذي يختار المستخدمين الأكثر صلة للمؤلفين. من التقرير ، يمكنك معرفة كيف يختلف هذا النهج عن اختيار العناصر ذات الصلة - الأكثر شعبية في أنظمة التوصية.

من خلال تحقيق التوازن بين التصنيف المتمحور حول المستخدم والترتيب التلقائي ، يمكننا تحقيق التوازن الصحيح بين سعادة المستخدم وسعادة المؤلفين.

- الزملاء ، مرحبا بالجميع. اسمي بوريا. أنا أتعامل مع جودة التصنيف في Zen. أنا متأكد من أن هذه واحدة من خدمات Yandex الأكثر إثارة للاهتمام ، ولدينا تعلُّم آلي رائع ، وفي الـ 17 دقيقة التالية سأحاول إقناعك بذلك.

ما هو زين؟ إذا كانت بسيطة للغاية ، فإن Zen هي خدمة توصية شخصية. نحاول أن نوصي المستخدمين بالمحتوى ذي الصلة على أساس ما نعرفه عن اهتمامات هؤلاء المستخدمين. هدفنا الرفيع المستوى هو أن يقضي المستخدمون وقتًا في Zen. والمهم جداً هو أنهم لا يندمون هذه المرة.

شكلنا الأساسي لاستهلاك المحتوى يبدو مثل هذا. هذا هو تيار لا نهاية لها من التوصيات. ومن الواضح أننا نحاول ، من حيث المبدأ ، أن نوصي بمواد مختلفة حول مواضيع مختلفة للغاية. هناك موضوعات مختلفة: شيء عن العمل ، شيء عن الفكاهة ، أو حتى شيء عن الخيال. أي أنه في الشريط ، يمكنك العثور على مقالات تعليمية وتعليمية ، بالإضافة إلى المزيد من المقالات الترفيهية. وبالطبع ، التخصيص. تبدو خلاصة Zen للجميع مختلفة - اعتمادًا على ما يهتم به المستخدم. بالاضافة الى ذلك ، بالطبع ، قليلا من الإعلانات.



نقطة مهمة جدا. في البداية ، عندما ظهرنا لأول مرة ، كنا ، في الواقع ، مجمعا للمحتوى من الإنترنت. وهذا هو ، قمنا بالتجول في المواقع الحالية ، وأخذنا المحتوى منها ، وأظهرنا للمستخدم اعتمادًا على الاهتمامات. الآن الوضع مختلف. يعد Zen الآن نظامًا أساسيًا للتدوين ، حيث يمكن للجميع إنشاء قناتهم الخاصة به ، سواء كان مدونًا مشهورًا أو مؤلفًا مبتدئًا لديه ما تخبره. يرى المؤلفون الجدد شاشة الترحيب اللطيفة التي نتحدث فيها عن الخدمة - بحيث يختار Zen نفسه جمهورًا ، ويحتاج فقط إلى كتابة مواد جيدة.

الآن حسابات النظام الأساسي لأكثر من نصف إجمالي حركة المرور في Zen. وهذا الرقم سوف ينمو فقط. نحن نتفهم أنه يمكن للجميع تصنيف المحتوى الحالي. بالطبع ، سنفعل ذلك بشكل أفضل. ولكن ليس لكل شخص محتوى فريد من نوعه ، ونعتقد أن هذا سيكون ميزتنا التنافسية.



من المهم أن نفهم أن Zen كبير بالفعل. وفقًا لـ Yandex.Radar ، في نهاية العام الماضي ، كان لدينا حوالي 10-12 مليون قارئ يوميًا ، وحوالي 35 مليون قارئ يوميًا ، وحتى وفقًا لبعض البيانات من Yandex.Radar ، فقد قمنا العام الماضي لأول مرة ذهبوا حول جمهور Yandex.News. هذا يعني أننا نجعل الإنترنت بكل جدية ، ولدينا مهام خطيرة للغاية ، وهناك الكثير منها ، ونحن نتطلع حقًا إلى مساعدتكم.



دعونا نتحدث عن تفاصيل كيفية عمله ، ومناقشة ما يمكننا القيام به مع المتدرب ، وكيف يمكننا أن نساعد خدمتنا.

الخطوط العريضة العامة للتوصيات التي لدينا هي مرتبة مثل هذا. كل شيء يبدأ بقاعدة بياناتنا الكبيرة من الوثائق التي نختار منها مواد للتوصيات. وهو يتألف من عشرات الملايين من الوثائق. علاوة على ذلك ، يتم تجديد قاعدة البيانات هذه باستمرار - حوالي مليون مستند جديد تصل إليها يوميًا. من الناحية المثالية ، نود أن نطبق آلة التعلم الآلي الخاصة بنا على كل هذه الملايين من المستندات بشكل شخصي لكل مستخدم ، واختيار الأكثر ملائمة له. لكن لسوء الحظ ، هذا لا ينجح في الممارسة العملية ، لأن Zen هي خدمة تعمل في الوقت الفعلي. لدينا ضمانات صارمة للغاية بشأن مدى سرعة استعدادنا للرد ، وبالتالي ، ولأسباب عملية ، فإننا مضطرون إلى تضييق قاعدة عشرات الملايين من الوثائق إلى الآلاف من التوصيات المحتملة في المرحلة الأولى ، والتي يمكننا ترتيبها تمامًا بالفعل مع نموذجنا واختيار أكثرها صلة. وتسمى هذه المرحلة من تضييق القاعدة من عشرات الملايين إلى حوالي الآلاف اختيار المرشحين أو الترتيب السهل.

عندما يكون لدينا هذه المجموعة ، فإننا نطبق نموذج تعلم الآلة المعقدة الكبير لدينا ، والذي في المستوى الأعلى يعزز التدرج. كل هذا بدون مفاجآت ، لكن لدينا عوامل متنوعة للغاية - من بينها بعض العوامل البسيطة التي تميز ، على سبيل المثال ، مدى ارتباط المجال بالمستخدم ، والمصدر ، وعدد المرات التي يزورها ، والنقرات ، ويترك التعليقات ، ويحب ويكره. لذلك هناك عوامل أكثر تعقيدًا تستند ، على سبيل المثال ، إلى ميزات الشبكة العصبية. نقوم بمعالجة نص المقالة ، ونقوم بمعالجة الصور ، ومصادر البيانات الأخرى ، ونستخدم هذه الميزات المركبة أيضًا. كل هذا المخطط معقد للغاية ، ولن يكون لدي الوقت لأخبرك به بالتفاصيل.

بعد أن صنفنا المرشحين البالغ عددهم ألفي شخص ، نختار القمة منهم. يعتمد حجم الجزء العلوي على مقدار حاجتنا إلى التوصية بالمواد. يتم تعريفه دائما بشكل مختلف. وبالتالي نحن تشكيل القضية النهائية.

هذه هي الطريقة التي تبدو الدائرة على مستوى عال. الآن دعونا نتحدث عن مكونات العملية برمتها التي نهتم بتحسينها.



اتضح أننا مهتمون بالقيام بكل شيء تقريبا. هناك الكثير من المهام. نرغب في زيادة سرعة تقديم البيانات للترتيب: كلما كان لدينا بيانات أحدث ، كلما تقدمنا ​​توصيات أكثر أهمية. أريد تسريع الخدمة: كلما أسرعنا في العمل ، كانت تجربة المستخدم أفضل. نريد زيادة موثوقية الخدمة.

من المهم بالنسبة لنا لتحسين الترتيب. وهذا يعني أننا نحتاج إلى تطبيق نماذج جديدة من التعلم الآلي وتحسين النماذج الحالية لدينا في البلدان الأخرى. نوصي ليس فقط في روسيا ، ولكن أيضًا في العديد من بلدان العالم الأخرى.

نريد أيضًا أن نأخذ بعين الاعتبار المنطقة وننصح الأشخاص بالمحتوى المتعلق بمنطقتهم.

ومن المهم للغاية - نحن بحاجة إلى تطوير منصة التأليف لدينا. هذا هو مستقبلنا ، نحن بحاجة إلى الاستثمار فيه. هناك أيضا الكثير من المهام. على وجه الخصوص ، نحتاج إلى أن نكون قادرين على العثور على محتوى عالي الجودة وإطلاقه. من المهم بالنسبة لنا أن نعرض المواد الجيدة ، وليس القمامة. يجب أن نكون قادرين على ترتيب تنسيقات المحتوى الجديدة. ليس لدينا مقالات فحسب ، ولكن أيضًا مقاطع فيديو قصيرة ومشاركات يشاهدها المستخدمون مباشرةً في الخلاصة. كل هذه الأشكال تحتاج إلى أن تكون في المرتبة.

ونقطة مهمة جدًا ، أريد أن أتحدث عنها بتفاصيل أكثر قليلاً في مزيد من التفاصيل الفنية - من المهم بالنسبة لنا أن نتمكن من كل مؤلف أن يجد جمهورًا مناسبًا له ، حتى لو كان الأمر يتعلق بمؤلفين ومواضيع متخصصة. دعونا نتحدث بمزيد من التفصيل عن المشكلة هنا وكيف نحلها.

لنلقِ نظرة على مثال.



نختار ، لنفترض ، من ورقتين نريد أن نعرضهما على المستخدم.

هذه هي الطريقة التي يعمل بها العالم والطريقة التي يعمل بها الناس ، وأن هناك شيئًا أكثر متوسطًا ، حيث يبلغ احتمال النقرة 20 في المائة في المتوسط ​​، وهناك شيء أكثر ملائمة ، على سبيل المثال ، مقالات حول العلوم أو عن الفضاء.

إذا قمنا ببساطة بتصنيف البطاقات وفقًا لاحتمالية النقرة ، فسوف يقوم بالطبع محتوى أكثر نقرًا وأبسطًا بجمع عدد كبير جدًا من مرات الظهور ، وحتى مقالة جيدة جدًا عن العلم لن تقوم بذلك. بالطبع ، نحن لا نريد هذا. نريد العثور على جمهور مهتم حتى بالنسبة للقنوات المتخصصة.



لماذا تريد أن تفعل هذا؟ في الواقع ، هناك سببان. الأول هو البقالة. أي أننا نريد أن يكون Zen نوعًا من شبكة الإنترنت. بحيث يتم عرض كل ما يمكن للمستخدم العثور عليه وما يهتم به على الإنترنت الكبيرة في Zen. وبهذا يحصل على ما يثير اهتمامه.

القنوات العلمية لها جمهورها الخاص. ولكن هناك مثل هذا فارق بسيط. إذا أظهر عشاق العلوم العلم والمحتوى الشائع ، فمن المرجح أن ينقروا عليه أكثر من العلم. لكن إذا عرضت عليهم العلم فقط ، فسيضغطون على العلم أيضًا ، ولن يندموا عليه. والسؤال هو كيفية العثور على هؤلاء الأشخاص وكيفية عرض المحتوى ، مع التركيز ليس على المستخدم ، ولكن على المؤلف.



كيف نفعل ذلك؟ لن تساعدنا صيغة الترتيب المعتادة ، التي تتنبأ باحتمال حدوث نقرات ، هنا ، لأنه في المتوسط ​​ستفقد المزيد من المقالات المتخصصة. لكن يمكنك الذهاب في الاتجاه الآخر - لتخصيص حصة معينة ، وإعطاء انطباعات للمؤلفين بشكل أو بآخر ، منحهم نوعًا من الضمانات الدنيا. يمكن القيام بذلك ، وهذا سيجعل المؤلفين أكثر سعادة ، لكن ، لسوء الحظ ، سيجعل ذلك مستخدمينا أقل سعادة. سوف ينقر المستخدمون أقل ، ويكون أكثر منزعج ويترك. بالطبع ، نحن لا نريد هذا.

كيف تكون هنا؟



فكرنا لفترة طويلة وتوصلنا إلى مفهوم جديد. أطلقنا عليه تصنيفات autocentric أو الانطباعات للمؤلف.

ما هو هدفنا في الترتيب العادي ، والذي نسميه usercentric؟ ابحث عن المواد الأكثر صلة بالمستخدم. نحن نجيب على سؤال حول ما يجب أن نظهر للمستخدم.

في ترتيب autocentric ، نقلب نوعًا ما بيان المشكلة ونقول إننا نريد أن نظهر هذا المؤلف ، والسؤال هو من الذي يعرضه على من هو الأكثر صلة به. ومن هنا الفرق في المقاييس. في الحالة الأولى ، نحن مهتمون أكثر بالمقاييس المخصصة ، أي النقرات المدمجة والوقت المتكامل في Zen وما إلى ذلك. في الحالة الثانية ، نحن مهتمون بما يسمى مقاييس المؤلف. على سبيل المثال ، نقيس مدى حياة زين ، على سبيل المثال ، قاع 10 ٪ من المؤلفين. إذا كانوا يعيشون بشكل جيد بما فيه الكفاية ، فسيكون الجميع سعداء أيضًا.



كيف نفعل هذا؟ لنفترض أن لدينا صيغة الترتيب المعتادة. للبساطة ، افترض أنه يتنبأ باحتمال قيام مستخدم بالنقر فوق عنصر معين ، على بطاقة معينة. ماذا سنفعل؟ دعونا الآن نصلحها لكل مقال ونطبق نموذجنا لهذه المقالة ، من الناحية المثالية - لجميع المستخدمين ، في الممارسة العملية - لنوع من عينة المستخدم. وسنقوم بتوزيع درجاتنا ، أي تقديرات لاحتمال النقر على مقالة ، لكل مقالة من قبل المستخدمين. الآن لكل مقالة لدينا مثل هذا التوزيع كما في الرسم البياني (الشريحة أعلاه - تقريبا إد.). بعد ذلك ، سنقوم بتصنيف المقالات للمستخدم وتحديد الجزء العلوي ليس فقط من خلال احتمال حدوث نقرة ، ولكن حسب النسبة المئوية التي يقع فيها هذا المستخدم في هذه المقالة. أي أننا نقدر احتمال حدوث نقرة ، ونرى أين يقع المستخدم في هذا التوزيع ، ونرتب حسب هذه القيمة.



لدينا هنا نفس ورقتين ، إحداهما أكثر نقرًا ، 20٪ والأخرى - أقل من 1٪. الآن ، إذا أخذت مستخدمًا معينًا ، فمن المحتمل أن تكون لديه فرصة للنقر على بطاقة أكثر شعبية من تلك الموجودة على بطاقة أقل شعبية ، على سبيل المثال ، 10٪ مقابل 3٪. ولكن نظرًا لأن متوسط ​​احتمال النقر على بطاقة شائعة هو 20٪ ، ولديه 10٪ ، فهو في المتوسط ​​أقل صلة بهذا المنشور من مستخدم Zen العادي. وفي حالة أخرى ، العكس: لديه فرصة بنسبة 3٪ للنقرة ، لكن المادة المتوسطة لها 1٪. لذلك ، يعد الجمهور متوسط ​​الصلة بالمقال أكثر من مستخدمي Zen الآخرين. لذلك ، فإن الفكرة الرئيسية هنا هي أنه حتى لو كان احتمال النقر على مقالة أقل ، فبمساعدة من هذا الإطار ، لدينا فرصة لإظهار مقال أقل شعبية إذا كان المستخدم في جوهره الأكثر موثوقية لهذا المنشور.



إذا جاء إلينا المستخدمون بشكل متساوٍ أو أقل ، فسوف يتم توزيع النتيجة المعطاة ، والتي ترتيبنا بها ، وهي النسبة المئوية التي يسقط عليها كل مستخدم ، بالتساوي بين المستخدمين. هذا يعني أنه إذا تم تصنيف جميع المقالات بهذه الطريقة ، فسوف يجمعون جميعًا عدد مرات الظهور تقريبًا أو أقل. لن يكون هناك انبعاثات لعشرات الملايين من مرات الظهور مقارنة بـ 10 مرات ظهور لبعض البطاقات الأقل صلة. وبالتالي ، من خلال تحقيق التوازن بين التصنيف المتمحور حول المستخدم والترتيب التلقائي ، يمكننا تحقيق نسبة سعادة المستخدم وسعادة المؤلفين التي نعتبرها صحيحة.



بضع كلمات حول كيفية تنفيذ ذلك في الإنتاج. نحن بحاجة إلى إلقاء نظرة على سجلاتنا وحساب التوزيع لكل مقالة منها. أحد القيود المهمة: يجب أن نكون قادرين على القيام بذلك ، أولاً ، بسرعة ، وثانياً ، في وضع التدفق. هذا هو ، من الناحية المثالية ، من أجل تحديث تقدير التوزيع للبيانات الجديدة ، نحن بحاجة إلى أن لا يكون في الذاكرة جميع البيانات السابقة ، ولكن فقط التقدير الحالي. مثل هذا النظام قابل للتطوير ، ويعمل مثل هذا المخطط. من الناحية المثالية ، نحن بحاجة إلى أن نكون قادرين على القيام بذلك على بيانات صغيرة. إذا كانت أي مقالة تحتوي على 300 ظهور فقط ، فعلينا أن نكون قادرين على تقدير التوزيع المناسب لعدد من الملاحظات.

لقد أجرينا تجارب ووجدنا أن توزيعات الدرجات هذه قريبة بشكل مدهش من توزيعات السجل الطبيعي. وهذا هو ، وهذا هو الملاحظة التجريبية. وإذا كان الأمر كذلك ، فبدلاً من تقدير الرسم البياني بأكمله للتوزيع بشكل غير حدودي ، يمكننا تقييم معلمتين فقط من هذا التوزيع. ويمكننا القيام بذلك في الدفق ، باستخدام تقدير المعلمة الحالي والملاحظات الجديدة فقط. مثل هذا المخطط سريع جدا ويعمل بشكل جيد للغاية. هي الآن في الإنتاج معنا.



النتائج جيدة ايضا نزيد بشكل كبير من سعادة المؤلفين الجيدين المهملين في Zen ولا نهدر مقاييس المستخدم الشائعة. وهذا هو ، مهمة العمل تتحقق بالكامل.

لقد عرضت الآن أحد الأمثلة على المهام التي يمكننا التعامل معها. بالطبع ، هناك العديد من هذه المهام ، ومع كل منها نحتاج إلى مساعدتكم. نأمل حقا أنك سوف ترغب في العمل معنا . في النهاية ، سأقول بضع كلمات حول ما نتوقعه من المتدربين وما لا نتوقعه منهم. من المتدرب ، نتوقع أن الشيء الأكثر أهمية - القدرة على كتابة التعليمات البرمجية. ليس لدينا علماء خالصون في الخدمة. نحن جميعًا من مهندسي ML ، يجب أن يكونوا قادرين على القيام بدورة كاملة من المهام. يجب أن تكون قادرة على وتنفيذ حلها في الإنتاج ، وتطبيق ML. وهذا هو ، نتوقع أن تتمكن من كتابة التعليمات البرمجية على مستوى أساسي ، وفهم النهج ، ومعرفة الخوارزميات ، وهياكل البيانات ، وأساسيات التعلم الآلي.

ماذا لا نتوقع من المتدربين؟ بادئ ذي بدء ، لا نتوقع معرفة عميقة بأي لغات أو أطر عمل. هذا هو ، إذا كنت لا تعرف كيف يعمل كوريون في بيثون - لا بأس ، فسوف نعلمك كل شيء. ونحن لا نتوقع الكثير من الخبرة منك. نتوقع معرفة منك ، رغبة في العمل. إذا لم تكن هناك تجربة ، فلا بأس بذلك. سوف نعلم كل شيء ، وكل شيء سيكون على ما يرام. شكرا لك