كيفية التوصية بالموسيقى التي لم يستمع إليها أحد تقريبًا. تقرير ياندكس

تواجه جميع أنظمة التوصيات تقريبًا صعوبات في المحتوى الجديد أو النادر - نظرًا لأن جزءًا صغيرًا فقط من المستخدمين تفاعلوا معه. في تقريره في Yandex Inside ، شارك دانييل بورلاكوف مجموعة من الحيل المستخدمة في توصيات الموسيقى وشرح بالتفصيل النموذج الشائع Singular Value Decomposition (SVD).

بالإضافة إلى ذلك ، لدينا مثل هؤلاء الفنانين الذين يطلق عليهم الملحنين وعادة ما يتم إهمالهم من قبل مالكي حقوق الطبع والنشر تمامًا مثل المعجبين. لقد سجل "موزارت" فقط أكثر من مليون مؤلف.

- مرحبا بالجميع! اسمي دانييل بورلاكوف ، أقود فريقًا من التوصيات في Media Services. اليوم أريد أن أتحدث عن بعض المشكلات التي نحلها عندما نتعامل مع التوصيات في Music.

لدينا فريق رائع يقدم توصيات ليس فقط لـ Yandex.Music ، ولكن أيضًا لجميع خدمات الوسائط: هذا هو Kinopoisk ، Poster. نحن نحل العديد من المشاكل الفنية أكثر من التوصيات.



اليوم أريد أن أتحدث عن المنتج المركزي Yandex.Music ، المنتج الأكثر أهمية والأكثر تفضيلاً لدينا هو قوائم التشغيل الذكية ، والتي ، على الأرجح ، يعرفها كثيرون ويستمعون إليها.



سأتناول بإيجاز نوع قوائم التشغيل الموجودة لديهم والمحتوى الذي نملؤه بها.

تم تصميم قائمة التشغيل لهذا اليوم على أنها مجموعة من المسارات التي سيتم بناؤها لك يوميًا بحيث يمكنك تنزيلها والاستماع إليها حتى في حالة عدم وجود الإنترنت. لكنها ستكون رائعة بالنسبة لك ، وستكون معك ، ويجب تحديثها كل يوم وتحتوي على شيء جديد. ما يناسبك.

Deja Vu هي قائمة تشغيل أكثر إثارة للاهتمام. يتم تحديثه مرة واحدة في الأسبوع ، وستكون هناك مسارات لم تستمع إليها أبدًا ، وفنانين لا تعرفهم أو لا تعرفهم على الإطلاق. العرض الأول - مجموعة مختارة من المنتجات الجديدة من قبل الفنانين التي قد ترغب.



المنتج الثاني هو Yandex.Radio. في عام 2015 ، تم إطلاقه ، نواصل تطويره.

تتمثل الفكرة في السماح للمستخدم بالحصول على دفق مخصص للموسيقى الصوتية دون القيام بأي شيء. في الواقع ، لقد ضغطت على زر واحد وحصلت على تيار رائع لن ينتهي أبداً وسيسعدك لساعات عديدة. على عكس قوائم التشغيل ، يمكن تمييزه بالفعل. يمكنك ، على سبيل المثال ، تشغيل الراديو حسب النوع موسيقى الروك أو الموسيقى الخلفية ، إذا كنت لا ترغب في تشتيت انتباهك أثناء العمل. أو دفق صوتي مخصص بالكامل - ما نسميه الراديو "On Your Wave".



ما هي المشاكل التي نواجهها عند تقديم هذه التوصيات؟ نحن نواجه مشكلتين رئيسيتين ، نموذجية بالنسبة لمعظم أنظمة التوصية. هؤلاء هم المستخدمون الباردون الذين وصلوا للتو إلى خدمتنا والذين لا نعرف أي شيء عنهم ، ومحتوى رائع. لا يشمل فقط المسارات التي ظهرت مؤخرًا ، ولكن أيضًا عدد كبير من المقطوعات النادرة. يحتوي كتالوج Yandex.Music على أكثر من 50 مليون مقطع ، الكثير منها لم يتم الاستماع إليه من قبل أي مستخدم. لذلك ، تنشأ مشكلة: حتى لو خرج المسار لفترة كافية ، لسوء الحظ ، قد لا نعرف أي شيء عن هذا المسار وليس لدينا أي إحصاءات.

تفاقمت كلتا المشكلتين وأصبحت ذات أهمية خاصة بالنسبة لنا ، لأن Yandex.Music أصبحت خدمة دولية وبدأت في الانتقال إلى العديد من البلدان. عند دخول كل بلد ، يصبح المحتوى المحلي لهذا البلد مهمًا أولاً. من الواضح أنه عند دخولك إلى بلد جديد ، فإن تجاهل الموسيقى المحلية أمر غير سار. من الضروري التوصية والتوصية بها بشكل مناسب وفهم بنية هذه الموسيقى الداخلية. في الواقع ، في روسيا لا يستمع أحد إلى الموسيقى الإسرائيلية ، وهناك إحصائيات قليلة للغاية عنها ، حتى لو كان لدينا هذا المحتوى.

دعنا نذهب أكثر من هذه القضايا. لنبدأ مع مشكلة المستخدمين البرد. كيف يمكن حلها؟



أول حل أبسط هو عدم التوصية بأي شيء للمستخدمين الباردين. في الواقع ، الحل بسيط للغاية ، يمكنك فقط أن تسأل عن التفضيلات الصريحة. هذه هي العديد من المعالجات التي يمكن توفيرها للمستخدم.

قبل أن يتلقى المستخدم قائمة التشغيل الأولى لهذا اليوم ، نطلب من المستخدم الانتقال إلى هذا المعالج ، مع الإشارة إلى تفضيلاته ، ومجموعة من الأنواع والفنانين الذين يودون.

نتيجةً لذلك ، تصبح قائمة التشغيل الأولى للمستخدم ذات معنى تمامًا ، ومناسبة للمستخدم ، وعلى الأرجح من قائمة التشغيل الأولى ، سوف يقع المستخدم في حبه.

لسوء الحظ ، لا يمكن أن يتم هذا النهج دائما.



تم تصميم منتجنا الثاني ، Yandex.Radio ، كمنتج لا يحتاج إلى جهد من المستخدم. إنه فقط يريد المجيء وتشغيل الموسيقى دون فعل أي شيء. علاوة على ذلك ، فإن Yandex.Radio مضمن في العديد من الأنظمة الأخرى ، مثل Yandex.Drive ، حيث من الغريب وغير المريح إجبار المستخدم على الجلوس في السيارة ، والنقر على نوع من المعالج إذا وصل إلى هناك.

لذلك ، ذهبنا في الاتجاه الآخر. نبدأ بالتوصيات ، دعنا نقول ، بالنسبة للمستخدم العادي ، بحيث يحصل معظم المستخدمين من المقطوعات الأولى على أقصى درجات المتعة ويحبون الموسيقى. ونحن نقدم التخصيص سريع جدا. على عكس قائمة التشغيل التي تلقيتها وهو معك طوال اليوم ، كل من 60 مسارًا. على سبيل المثال ، إذا لم نخمن حقيقة أن النوع المفضل لديك هو الموسيقى الشعبية (والتي ستكون تخمينًا جيدًا لبداية) ، فلن تكون جميع المقاطع الستين عنك ، وستكون حزينة ، وعلى الأرجح لن تقوم غدًا ارجع

ومع ذلك ، إذا وضعنا المسار الأول للموسيقى الشعبية على الراديو ، وأردت أنك لا ترغب في الاستماع إليه ، فسنقوم فورًا بتخصيص المسار التالي لك وتقديم شيء آخر ، مثل موسيقى الروك أو نوع آخر.

في الواقع ، في الواقع ، فإن هذين الحلين يغلقان مشكلة مستخدمي البرد بدرجة أو بأخرى.

كيف يمكن حل مشكلة المحتوى عن طريق القياس؟ الحل رقم واحد ، وكذلك حول المستخدمين ، هو عدم التوصية بمحتوى رائع. ولكن هنا ، على عكس المستخدمين ، لن يرتفع المحتوى نفسه ولن يتسخ. وبالتالي ، فإن المشكلة هي أنه إذا لم نجمع نحن أنفسنا إحصاءات عنه ، فلن يتم تسليم المنتج الجديد للفنان الذي تم إصداره للتو ، ومن المرجح أن ينزعج المستخدمون الذين لم يروا أخبار فنانهم.



وضع مماثل مع المحتوى الدولي. ذهبنا إلى بلد جديد ، وليس التوصية به ، تجاهل الواقع هذا المحتوى ، بالطبع ، لا يناسبنا.

الحل الثاني ، إذا تصرفنا تمامًا عن طريق القياس ، أوصي به بطريقة أو بأخرى في المتوسط. أبسط تشبيه هو إرفاق هذا المحتوى للجميع على التوالي أو التوصية به كموسيقى شعبية. مع خيار التوصية ، في المتوسط ​​، من غير الواضح عمومًا ما هو متوسط ​​الموسيقى. يمكن أن يسمى هذا الموسيقى الشعبية بالقوة ، لكن بالكاد يمكن القول أن جميع الموسيقى تشبه بعضها البعض بحيث تبدو مثل الموسيقى الشعبية. لذلك ، إذا وجدت تركيبة بيتهوفن بين الموسيقى الشعبية ، فمن غير المرجح أن يسعد معظم الناس بتلقيها. لذلك ، هذا الحل لا يناسبنا أيضًا.



ماذا هناك عن المسارات؟ إلى جانب المسار نفسه ، يأتي إلينا الكثير من البيانات الوصفية من مالك حقوق الطبع والنشر ، مثل نوع المسار والفنان والألبوم وسنة الإصدار. دعنا نذهب أكثر. كيف يمكن استخدامها؟ على سبيل المثال ، هذا النوع. النوع هو معلومات جيدة تسمح لنا بتخمين أكثر أو أقل. على سبيل المثال ، يعمل على حل مشكلة Beethoven أو chanson التي قد تظهر بطريق الخطأ في شخص ما على الراديو: فنحن نعرف نوع المسار ، ومن غير المرجح أن ننزلقه على من لا يناسبهم.

لكن لسوء الحظ ، لا يسمح ببناء توصية جيدة ، لأن مفهوم النوع نفسه غير موضوعي تمامًا ، ولا يسمح ببناء أي توصيات جيدة على أساسه. بطبيعة الحال ، هناك العديد من الأنواع الفرعية داخل الأنواع ، وهذا بالضبط ما يرسله لنا أصحاب حقوق الطبع والنشر.



المشكلة الثانية هي أنه يمكن للشخص العادي عادة تسمية عشرات الأنواع ، بينما يرسل لنا أصحاب حقوق الطبع والنشر آلاف الأنواع ، وهذه مشكلة كبيرة بما يكفي لتجميعها بطريقة أو بأخرى ، والعثور على أنواع متشابهة بينها ، وهكذا. لسوء الحظ ، لا يتم حل هذه المشكلة دائمًا.

ثم ، من الواضح ، أن هناك مشاكل في حقيقة أنه ، لسوء الحظ ، غالبًا ما يكون أصحاب حقوق الطبع والنشر مرتبكين ويرتكبون أخطاء. ولدينا مشاكل وتقارير منتظمة نجمعها المقطوعات الشائعة في موسيقى الروك الإذاعي ، وصاحب حقوق الطبع والنشر يضعون هذا النوع من الصخور عليها. عن طريق القياس ، نجمع موسيقى الجاز ومحطات الراديو الأخرى. ولدينا بانتظام تقارير مستخدمين تطلب تصحيحها ، لأن مسارًا به خطأ قد تم نقله إلى محطات الراديو هذه.

أريد أن أقدم لكم لتخمين هذا النوع من المسار.


هذه ليست موسيقى تصويرية. هذا معدن. ولدينا مشكلة كبيرة عندما يرسلون لنا هذه العلامات.

أقترح الانتقال إلى الجزء التالي والتحدث عن مؤدي المسار. لقد قلت بالفعل أن هناك مشكلة ، فنان جديد ، أو أغنية جديدة أو ألبوم جديد ، ويجب التوصية به. على وجه الخصوص ، ستوفر لنا معلومات حول الفنان دائمًا. نعلم أن المستخدم استمع إلى هذا الفنان ، ويمكننا أن نوصي به وفقًا لذلك. لذلك نحن نفعل. ومع ذلك ، هناك أيضا صعوبات. على سبيل المثال ، إذا لم نكن نعرف شيئًا عن الفنان نفسه أو المستخدم لم يستمع إليه ، فإن المعلومات التي يتضمنها هذا المسار ولم يخبرنا هذا الفنان بأي شيء. وبالمثل مع المسارات النادرة. كان هناك مسار نادر من فنان نادر ، علمنا الآن أن هذا المسار نادر ينتمي إليه. لسوء الحظ ، مرة أخرى ، لا يوجد الكثير من المعلومات التي ستتيح له التوصية بطريقة أو بأخرى للأشخاص الآخرين الذين ليسوا على دراية بعمله.



المشكلة الثانية هي الأغطية ويعيد خلطها. مرة أخرى ، يتدخل أصحاب حقوق النشر الدنيئة هنا وغالبًا ما يرتكبون أخطاء. على وجه الخصوص ، عندما يكون لدينا مسار أصلي وغطاء له ، غالبًا ما لا يكلف أصحاب حقوق الطبع والنشر تسمية هذه المقاطع بطرق مختلفة ، للتوقيع على أن أحدها عبارة عن ريمكس أو حتى وضع فنانين مختلفين فيه ، عندما يكون كذلك.

أريد أن أقدم لك مسارين من أجل فهم مدى اختلاف الصوت في المسارات التي تُسمى نفس الشيء تمامًا. وبالتالي ، لدينا مساران يمكن تسميتهما مشابه ، ولهما إيقاع مماثل نسبيًا ، ونص مشابه نسبيًا ، لكنهما مختلفان. وهو بالنسبة لنا نفس المسار ، لأن اسمه وفنانه وكل شيء آخر متماثلان تمامًا.

بالإضافة إلى ذلك ، لدينا مثل هؤلاء الفنانين المهرة الذين يطلق عليهم الملحنين وعادة ما يتم إهمالهم من قبل أصحاب حقوق الطبع والنشر تمامًا مثل المعجبين. لقد سجل "موزارت" فقط أكثر من مليون مؤلف. من الواضح أنه بالنسبة لعشاق الموسيقى الكلاسيكية ، لن يكون ذلك ممكنًا. إذا قال المستخدم إنه يحب Mozart ، فلدينا ملايين المقاطع ، وأداء مختلف للألحان الكلاسيكية القياسية. نتيجة لذلك ، لا يمكننا فعل أي شيء حيال ذلك.



أريد أن أخبرك أكثر كيف يمكن حل هذه المشكلة ، ولكن في البداية ، دعونا نخفف متطلباتنا. لقد أردنا أن أوصي بمسارات لم يستمع إليها أحد ، والآن دعونا نفكر في كيفية التوصية فقط بالمقاطع التي ستكون نادرة. التصفية التعاونية تأتي لمساعدتنا هنا. كيف يعمل وماذا يحصل في النهاية؟

للبدء ، نحتاج إلى وضع مصفوفة لتصنيفات المستخدمين ، حيث سيكون هناك مستخدمون على الخطوط ، وستكون هناك مسارات على الأعمدة ، عند تقاطع العمود والخط هناك سيكون تصنيفها. من الواضح أنه بالنسبة لمعظم المصفوفة ، لا نعرف ملاحظات المستخدم ، ولم يتمكن المستخدمون من الاستماع إلى الكتالوج بالكامل حتى أنه قريب.



باستخدام هذه المصفوفة ، نريد من المستخدم والمسار أن يربط متجهات صغيرة وقصيرة بما فيه الكفاية بحيث يتنبأ منتج العدد المتجه لمتجه المستخدم وناقل العنصر بتصنيف المستخدم. وبالتالي ، نحصل على ذلك لكل عنصر ولكل مستخدم ، يجب أن نجد متجهين حتى يتنبأ منتجهم النهائي بتقديرنا. على سبيل المثال ، إذا قلنا في هذه الحالة أن المستخدم قد أعجب بالمسار - هذا هو 1 ، إن لم يكن ، - 0. وفي هذه الحالة يمكننا تطبيق التقنية القياسية ، تحلل SVD ، والحصول على المتجهات المثلى للمستخدمين وللمقطوعات.



ماذا يعطينا هذا؟ هذا يعطينا زائد كبيرة المقبل. بالنسبة لمعظم الطرق ، لا يمكننا القول إن المسارين متشابهان إذا لم يستمع أحد معًا. عادةً ما يعتمد جزء كبير من الأساليب على حقيقة أن لدينا بعض المستخدمين الذين تفاعلوا مع العنصر A و B ، ونرى أنهما متشابهان نتيجة لذلك. تتيح لنا التصفية التعاونية على شكل SVD القيام بذلك حتى إذا لم يستمع أي مستخدم إلى مسارين معًا. إنها تسمح لنا بتقييمه جيدًا. هذا هو زائد الأولى.

ماذا يعطينا هذا؟ امتلاك مسار متجه ، يمكننا التوصية به لدائرة أوسع من الناس ، والتوصية بمسارات أقل شعبية. والإضافة الرئيسية ، ما زلنا نحصل على تمثيل متجه للمسارات ، وهو ملائم للغاية للعمل به ، والذي يمكنك من خلاله البحث بسرعة عن المسارات المشابهة.



ومع ذلك ، هذا لا يحل جميع مشاكلنا. لقد قمنا فقط بتحريك الشريط قليلاً لعدد المسارات التي يمكن أن نوصي بها. إذا أنشأنا رسمًا بيانيًا لعدد المستخدمين الذين استمعوا إلى فناني الأداء ، وقمنا بتصنيف فناني الأداء في الواقع حسب شعبيته ، فسنرى أن ملايين المستخدمين يستمعون إلى أفضل فناني الأداء في خدمتنا. إذا نظرنا بالفعل إلى المركز العاشر من هؤلاء الفنانين ، فلن يكون هناك سوى ألف مستخدم. إذا نظرنا حتى إلى الفنان رقم 50000 ، لن يكون هناك سوى مائة مستخدم. من الواضح أن المسارات الخاصة به لن تضم سوى عشرات المستخدمين الذين استمعوا إليه ، مما يجعل من المستحيل التوصية بهم ، حيث إن ناقل SVD لهذه المسارات سيكون غير مستقر للغاية ولن يعمل.

كيف يمكننا محاولة حل هذا؟ ماذا نريد؟

نريد أن نتبع بعض المسارات النادرة والجديدة التي لا نعرف عنها شيئًا ، على سبيل المثال ، مسار نادر من إسرائيل ، ونريد الحصول على نوع من التمثيل المتجه له ، والذي سيكون مشابهًا جدًا لمتجه SVD الخاص بنا ، وهو مناسب جدًا للعمل مع وتقديم توصيات.

الشيء الوحيد الذي لم نفكر فيه هو صوت هذا المسار نفسه. بفضل الصوت ، يمكن أن نوصي المسارات. كيف يمكننا ، باستخدام مسار صوتي ، الحصول على ناقل SVD. أول شيء نريد القيام به هو تحويل صغير.



ما هو الصوت أساسا؟ يمكنك أن تتخيل الرسم البياني الجهد. على أي حال ، هذه مجموعة من الأرقام أحادية البعد ، وهي غير ملائمة للعمل بها ، فهي كبيرة وطويلة للغاية ، ولا معنى لها في حد ذاتها. ولكن يمكننا التحقق من طيفه ، وجعل فوير يحول عليه ، لفترة وجيزة جدا ، لنرى كيف يبدو وكأنه نوع معين من الجيوب الأنفية. كم يشبه نوعا من الجيوب الأنفية. وانظر كم عدد الجيوب الأنفية الموجودة في هذا الرسم البياني ، وتفعل الشيء نفسه بالنسبة لكل تردد من الترددات.

إذا قمنا بذلك من أجل المسار بأكمله ككل ، بالطبع ، سنحصل على بعض المعلومات ، ولكن القليل جدًا ، سيقول القليل جدًا ، على سبيل المثال ، الانتقال بين أجزاء من المسار مهم للغاية بالنسبة للموسيقى ، بينما في الطيف سنكون أن يكون في شكل غير مباشر على تغيير في ترددات كبيرة جدا ، والتي ينبغي أن تتصل الثواني ، إلى دقائق ، وهذا غير مريح للغاية وعرض سيئة في شكل الطيف.

لذلك ، نذهب أبعد من ذلك ونقطع المسار إلى قطع صغيرة. في كل قطعة نقوم بهذا التحول. ونتيجة لذلك ، حصلنا على مثل هذه الصورة ، قمت برسمها في شكل ثلاثي الأبعاد ، بحيث يكون من الواضح أننا قمنا بنشر الترددات في الطائرة في الوقت المناسب ، وفي الارتفاع - الطاقة التي كانت في تلك اللحظة الزمنية في هذا التردد. وحصلوا على ما يسمى الطيفية.

كيف يمكننا ، باستخدام هذا الطيفية ، الحصول على ناقل SVD؟ الجواب في عصرنا هو عادي جدا: دعنا نأخذ شبكة عصبية وتدريبها على التنبؤ ناقل SVD.



هكذا فعلنا. ماذا اخترنا التدريب؟ تلك SVD تتعقب مساراتها التي نعرفها بالتأكيد. لقد اخترنا بشكل خاص المقاطع الشائعة التي كانت ملاحظاتها كبيرة بما يكفي بحيث يكون ناقل SVD هادئًا تمامًا بالفعل ، ويمكننا حسابه بوضوح. و - قاموا بتدريب الشبكة العصبية على التنبؤ بهذه المتجهات.

ماذا حصلنا في النهاية؟ شبكة يمكنها تتبع أي مسار والتنبؤ بموجه SVD الخاص بها. لدينا حل بسيط للغاية يعمل بشكل جيد للغاية.

أريد أن أعرض مثالاً على زوج من المسارات التي انسحبنا منها. أحد هذه المسارات مشهور جدًا ، ويمكن التعرف على ناقل SVD بدقة شديدة ، والثاني لا يحظى بشعبية كبيرة. أريد أن أقترح تخمين أي من هذه المسارات أقل شعبية وأيها أكثر شعبية.

المسار الأول:


المسار الثاني:



عندما طبقنا هذا في الإنتاج ، حصلنا على الكثير من الملاحظات الرائعة. تحسنت بشكل ملحوظ إحدى قوائم التشغيل ، "Deja Vu" ، حيث يتعين علينا تضمين المقاطع التي لم يستمع إليها المستخدم ، وتنظيم الاكتشاف للمستخدم ، بعد أن تمكنا من تطبيق هذه التقنية.



بالطبع ، طبقنا هذا عند دخول بلدان جديدة وتلقينا أيضًا العديد من المراجعات الإيجابية. وأشاروا إلى أن قوائم التشغيل تعرف كيفية تخصيصها بشكل جيد. بالإضافة إلى ذلك ، فوجئ المحررين في إسرائيل بشدة أن الخدمة الروسية في إسرائيل لا تنصح الفنانين الروس بكميات كبيرة ، ولكن الموسيقى المحلية والموسيقى الدولية.



حول الأرقام التي تمكنا من تحقيقها. الأهم من ذلك ، أردنا تحقيق عدد المنتجات الجديدة للمستخدمين في الدفق الصوتي ، بحيث يصبح أكثر تنوعًا. , . , : . . . 1,5% . , . , - , , . , , .

: . , , , . . شكرا لاهتمامكم