tl؛ dr: يتعرف Adblock Radio على الإعلانات الصوتية باستخدام أساليب التعلم الآلي وتقنيات Shazam. المحرك الرئيسي المفتوح المصدر : استخدمه في منتجاتك! يمكنك توحيد الجهود لدعم المزيد من محطات الراديو والبودكاست.

قليل من الناس يحبون الاستماع إلى إعلانات الراديو. لقد أطلقت مشروع AdblockRadio.com حتى يتسنى للمستمعين تخطي الإعلانات على راديو الإنترنت المفضل لديهم. تم نشر الخوارزمية مفتوحة المصدر ، وتصف هذه المقالة كيفية عملها.

لقد اختبر راديو Adblock بالفعل بيانات حقيقية من أكثر من 60 محطة إذاعية في سبع دول . كما أنه متوافق مع البودكاست ويعمل بشكل جيد!

مقارنة بالتطبيقات السابقة ، توفر خوارزمية لدينا نهج عالمي ، معالجة المواضيع من مصادر مختلفة. من بين التطبيقات السابقة ، يعتمد أحدهم على البيانات الوصفية لراديو الإنترنت ، ولكن جزءًا صغيرًا فقط من الراديو متوافق مع هذه الطريقة. يتعرف تطبيق آخر على الأناشيد المعروفة ، ولكن في العديد من الحالات لا يتم تمييز بداية ونهاية الفواصل التجارية بالجلجلة.

بالإضافة إلى اكتشاف الإعلانات التجارية ، يمكن أن تميز الخوارزمية المقترحة بين المحادثة والموسيقى. لذلك ، يتيح لك أيضًا تجنب الثرثرة والاستماع إلى الموسيقى فقط.

هذا هو تقرير عملي الشخصي لمدة ثلاث سنوات تقريبا. أطلقت راديو Adblock في نهاية عام 2015 ، بعد بضعة أشهر من التخرج من كلية الدراسات العليا في فيزياء البلازما الانصهار. عندما اكتسبت Adblock Radio بعض الشهرة في عام 2016 ، تلقيت تهديدات من محامين من محطات الإذاعة الفرنسية (المزيد أدناه). اضطررت إلى إغلاق الموقع جزئيًا ، وتغيير بنية النظام ، ودراسة الآثار القانونية بشكل أفضل ، وما إلى ذلك. اليوم أعتقد أن راديو AdBlock سيتم تطويره بشكل أفضل في نموذج الابتكار المفتوح .

هذه المقالة لها ثلاثة أجزاء. وهي مصممة لمختلف الجماهير. يمكنك التمرير لأسفل أو النقر على الاسم للانتقال مباشرة إلى القسم المطلوب.

• الكشف عن الإعلانات: استراتيجيات مجربة . بالنسبة للأشخاص الأذكياء من الناحية الفنية ، والعلماء ، وأخصائيي تحليل البيانات ... إليك طرقًا تقنية متنوعة حاولت اكتشاف الإعلانات ، بما في ذلك التعرف على الكلام وبصمات الأصابع والتعلم الآلي. الأفكار حول خيارات لمزيد من العمل.
• لا ينصح بتشغيل راديو Adblock في السحابة . لمطوري البرمجيات والمهتمين بحقوق النشر. سنناقش مدى صعوبة إيجاد حل وسط مرضي بين القيود الفنية والقانونية عند تشغيل راديو Adblock في الخدمات السحابية. لهذه الأسباب ، من الأفضل تشغيل راديو Adblock فقط على أجهزة المستخدم النهائي.
• يمكنك دمج راديو Adblock في المشغل الخاص بك . بالنسبة للمصنعين ومالكي المنتجات ومصممي UX والتقنيين ... أنا أفكر في أفكار لدمج خوارزمية مفتوحة المصدر في المنتجات النهائية ، بما في ذلك مشغلات السيارات ، والتأكيد على الحاجة إلى تعليقات المستخدمين حول حالات الخلل. هذا ضروري للحفاظ على النظام. أخيرًا ، إليك بعض النصائح حول كيفية إنشاء واجهات المستخدم المناسبة. أتوقع الكثير من التعليقات حول هذا الموضوع.

راديو Adblock يعيد متعة الاستماع إلى الراديو

كشف الإعلانات: استراتيجيات مثبتة

لمنع إعلان ، تحتاج أولاً إلى اكتشافه. الهدف هو اكتشاف الإعلانات في الدفق الصوتي دون أي مساعدة من محطة الراديو. هذه ليست مهمة سهلة. حاولت عدة طرق قبل الحصول على نتيجة جيدة.

1. طرق بسيطة (لا تعمل)

حجم

الفكرة الأولى هي التحقق من حجم الصوت ، لأن الإعلان مرتفع جدًا! للإعلان ، يستخدم الضغط الصوتي غالبًا. يعد هذا معيارًا مثيرًا للاهتمام ، لكنه لا يكفي للتمييز بين الإعلانات. على سبيل المثال ، تعمل هذه الاستراتيجية بشكل جيد لمحطات الموسيقى الكلاسيكية ، حيث تكون الإعلانات عادة أعلى من الموسيقى. ولكن البوب ​​بصوت عال مثل الإعلان. علاوة على ذلك ، يمكن جعل بعض الإعلانات هادئة عمدا من أجل تجنب الكشف.

قفل الساعة

فكرة أخرى هي أن يتم بث الإعلان على جدول زمني في وقت محدد. هذا صحيح إلى حد ما ، لكن لا توجد دقة. على سبيل المثال ، شاهدت العرض الصباحي في المحطة الفرنسية لا يبدأ في نفس الوقت تمامًا ، مع وجود اختلافات تصل إلى دقيقتين. يمكن لمحطات الراديو التحايل بسهولة على هذا القفل عن طريق تغيير برامجها بشكل عشوائي بعشرات الثواني.

البيانات الوصفية

الحل الواضح هو الاعتماد على بيانات ICY / Shoutcast للاعبين مثل VLC لعرض معلومات الدفق. لسوء الحظ ، هذه البيانات معطلة في معظم الحالات. يمكن أن يأخذ المرء معلومات من البث المباشر على مواقع محطات الراديو (قمت بتطوير أداة لذلك ) ، ولكن في أغلب الأحيان لا يتم تحديد الإعلان كما هو. عادة أثناء الإعلان على الموقع ، يعرض اسم الأغنية أو البرنامج السابق. أحد الاستثناءات البارزة هو Jazz Radio ، الذي يكتب "la musique revient vite ..." خلال الإعلانات التجارية (ستعود الموسيقى قريبًا). في الختام ، تجدر الإشارة إلى أن هذه استراتيجية غير موثوق بها ، حيث يمكن لمحطات الراديو بسهولة تغيير البيانات الوصفية.

وضع علامات يدوية

بعد كل شيء ، يمكن الكشف عن الإعلانات دون أي خوارزمية على الإطلاق! يمكنك ببساطة أن تطلب من بعض المستمعين الضغط على زر عندما يبدأ الإعلان وينتهي. سيستفيد المستمعون الآخرون من هذا. هذه هي إستراتيجية صندوق تيفو بولت . يسمح لك بإزالة الإعلانات على القنوات المنشأة في وقت محدد. هذا يعطي نتائج ممتازة ، لكنه لا يتناسب مع الآلاف من محطات الراديو.

العيب هو أنه من الصعب بدء تشغيل النظام من نقطة الصفر. قد لا يكون هناك عدد كاف من الجمهور في المحطة الجديدة للتشغيل السليم. سوف ينزعج المستمعون الأوائل ويغادرون ، لذلك لن تجمع المحطة جمهورًا كبيرًا بما يكفي.

صعوبة أخرى هي أن المحطات الإذاعية تريد إرسال إشارات وهمية لتخريب النظام. إنها تتطلب آلية للاعتدال أو نظام إجماع أو عتبة للتصويت.

التعهيد الجماعي فكرة جيدة. أعتقد أنه يبدو أفضل إذا كانت الخوارزمية تقوم بمعظم العمل ، مما يترك الحد الأدنى للأشخاص. هذا ما فعلته.

2. التعرف على الكلام والتحليل الميداني المعجم (الفشل)

الإعلان دائمًا هو نفس الموضوع والمجال المعجمي: شراء سيارة ، والحصول على كوبونات سوبر ماركت ، والاشتراك في التأمين ، وما إلى ذلك. إذا كنت تتعرف على الكلام ، فيمكنك استخدام الأدوات القياسية لمكافحة الرسائل غير المرغوب فيها . كان هذا أول مسار بحثي في ​​نهاية عام 2015 ، لكنني لم أتمكن من تطبيق التعرف على الكلام.

كمبتدئ في معالجة الكلام ، بدأت بقراءة معالجة خطاب هوانغ ، وهو كتاب رائع ، رغم أنه مؤرخ قليلاً. وضعت يدي الصغيرة على CMU Sphinx ، أفضل محرك للتعرف على الكلام في ذلك الوقت.

أعطت المحاولة الأولى نتائج سيئة للغاية وتطلبت حسابات مكثفة على وحدة المعالجة المركزية. استخدمت المعلمات الافتراضية: القاموس الفرنسي القياسي (قائمة بالكلمات الممكنة والصوتيات المقابلة) ، ونموذج اللغة (احتمالات تسلسل الكلمات) والنموذج الصوتي (اتصال الصوتيات مع شكل الموجات الصوتية).

كانت محاولات تحسين النظام عديمة الجدوى: لا يزال الاعتراف ضعيفًا. قمت بإعداد المفردات ونموذج اللغة على مجموعة بيانات صغيرة ، ومشاركة الصوت باستخدام أداة تحويل الأحرف . قام أيضًا بتكييف النموذج الصوتي MLLR لمحطة راديو أوروبا 1 (الفرنسية) ، حيث قام بتدريب النظام.

بشكل عام ، يجب التخلي عن فكرة التعرف على الكلام. هذا ربما للخبراء. ومع ذلك ، في المستقبل يمكنك العودة إليها. منذ عام 2015 ، تم إحراز تقدم كبير في التعرف على الكلام. تم نشر أدوات جديدة مفتوحة المصدر ، مثل Mozilla Deep Speech .

3. التعهيد الجماعي لقاعدة الإعلان ، والكشف عن طريق بصمات الأصابع (مشجعة)

عملت النسخة الأولى من راديو Adblock في عام 2016 مع قاعدة بيانات الإعلانات التجارية. استمع النظام باستمرار إلى دفق الصوت بحثًا عن الإعلانات. كانت النتائج واعدة حقًا ، لكن كان من الصعب تحديث هذه القاعدة.

تشبه تقنية البحث عن بصمات الأصابع ما تقوم به Shazam على خوادمها للتعرف على الأغاني. يُعرف هذا النوع من الخوارزميات باسم المعالم . أنا تكييفها للعمل على التدفق وفتح شفرة المصدر .

تعتبر البصمة مناسبة للكشف عن الإعلانات التجارية ، لأنها يتم بثها بشكل متكرر بنفس الشكل. لنفس السبب ، فهو يتعرف على الموسيقى. لكن هذه التقنية لن تعمل على الكلام ، لأن الناس لا ينطقون الكلمات أبداً بالطريقة نفسها. هذا ممكن فقط مع إعادة بث البرامج في الليل ، الأمر الذي لا يهمنا. وبالتالي ، يجب إدخال الإعلانات والموسيقى (مثل "عدم الإعلان") في قاعدة بيانات البصمات ، ولكن من غير المجدي معالجة الكلام.

بصمات الأصابع الأساسية هي تحويل بعض خصائص الصوت إلى سلسلة من الأرقام تسمى بصمة الإصبع. إذا تطابقت العديد من المطبوعات مع القاعدة ، فيمكننا استنتاج أن الإعلانات يتم إرسالها. للحصول على الدقة المثلى ، هناك حاجة إلى بعض الوقت والتعديل مدى التردد. يجب أن تختلف أنماط مختلفة بشكل جيد. ومع ذلك ، يجب أن يعمل النظام حتى مع حدوث تغيير بسيط في خوارزميات ضغط الصوت أو إذا كان الراديو قد قام بتغيير إعدادات التعادل. أخيرًا ، يجب أن تحد من عدد المطبوعات حتى لا يتم تحميل موارد الحوسبة.


مثال لحساب المطبوعات الصوتية. خلفية حمراء - الطيفية. يعكس التغير في كثافة الصوت في التردد (الترددات المنخفضة أدناه). على هذه الخريطة ، يتم تحديد القمم الطيفية (النقاط الزرقاء) ومتصلة (الخطوط الرمادية). يتم تحويل موضع كل خط رمادي وطوله واتجاهه إلى رقم فريد ، وهو طباعة

يعطي التصنيف الثنائي النتيجة: هل العينة إعلان أم لا. إذا قمنا بتحليل حالات الأخطاء ، فكان النظام دائمًا ينتج عنه نتيجة سلبية خاطئة ، بمعنى أنه فقد الإعلانات ، ونادراً ما لاحظ محتوى جيدًا كإعلان. يمكن للمستخدمين الإبلاغ عن الإعلانات التي لم يتم كشفها بنقرة واحدة ، والتي توفر واجهة مستخدم ممتازة. يضاف الصوت المقابل تلقائيا إلى قاعدة البيانات. أنا خاضعة للإشراف هذه الإجراءات الخلفي.

كان من الصعب تحديث قاعدة البيانات ، حيث تتغير الإعلانات التجارية في كثير من الأحيان ، ويتم بث الإعلانات دون تغيير يذكر. كما يتم تحديثها بشكل متكرر ، في بعض الحالات كل بضعة أيام. بعض التدفقات ذات العدد غير الكافي من المستمعين معترف بها بشكل سيء للغاية.

لقد اكتشفت استراتيجيات مثيرة للاهتمام لأتمتة عمل المستمعين جزئيًا. يتم بث الإعلانات بنفس الطريقة عدة مرات كل يوم. هذا يمكن استخدامه لتحديد هويتهم. بحثت السجلات عن الحد الأقصى لتسلسل التكرار (MRS). يتم تكرار المحتوى الآخر أيضًا ، على سبيل المثال ، الأغاني والأناشيد (شاشات التوقف). قمت بفرز جميع المتواليات حسب الطول وأخذت عينات بطول حوالي 30 ثانية ، وهو نموذجي للإعلانات التجارية. وبالتالي ، في كثير من الأحيان تمكنت من التقاط إعلان. لكن في بعض الأحيان ظهرت مجموعة من الأغاني أو حتى تنبؤات الطقس المسجلة.

لقد وجدت طريقة لتصفية معظم التكرارات الموسيقية: لقد قمت بتحليل قوائم التشغيل للمحطة ، وقمت بتنزيل الأغاني وأدمجتها في قاعدة البيانات مع ملصق "بدون إعلانات". لذلك ، تبين أن عددًا أكبر من المرشحين لـ MRS يمثلون إعلانات تجارية حقيقية. ولكن لا يزال ، وليس كل شيء ، لذلك ظلت مساعدة المستخدم ضرورية.

مطلوب عمل يدوي أقل ، ولكن تحميل الخادم كان بالفعل مشكلة. إذا نظرنا إلى الوراء ، فإن اختيار سكليتي لعمليات قاعدة البيانات هذه التي تتطلب موارد كثيفة الاستخدام والوقت ليست الأفضل.

لحسن الحظ ، كان الخوارزمية بضع ثوان لتحديد ما إذا كان الصوت هو إعلان أم لا. وذلك لأن أجهزة الراديو على الإنترنت تستخدم مخزنًا صوتيًا مؤقتًا ، عادة ما يتراوح بين 4 إلى 30 ثانية ، ولا يتم تشغيله على الفور على جهاز المستخدم النهائي. هذا يساعد على منع انقطاع البث في حالة فقدان شبكة مؤقتة.

لقد استخدمت هذا تأخير المخزن المؤقت postprocessing لجعل توقعات الخوارزمية أكثر استقرارا وحساسة للسياق. مباشرة قبل تشغيل الصوت على جهاز المستخدم النهائي ، تبحث الخوارزمية في نتائج التنبؤات التي لا تزال في المخزن المؤقت ، بالإضافة إلى التوقعات القديمة التي تم تشغيلها بالفعل. يقطع نقاط البيانات المشكوك فيها عن طريق مطابقة بصمات الأصابع المتعددة ، مما يظهر التباطؤ . كما أنه يأخذ في الاعتبار متوسط ​​الوقت المرجح لتخفيف حالات الفشل المحتملة.


راديو Adblock في مرحلة ما في عام 2016. تسليط الضوء الأحمر من محطات الراديو حيث يتم تشغيل الإعلان حاليًا كان رائعًا! يمكن للمستخدمين تعليم الإعلانات التي تم تخطيها باستخدام الزر الأزرق. يتيح لك زر الموسيقى في السحاب في الجزء العلوي تصدير دفق MP3 مخصص مع إزالة الإعلان منه ، وإذا تم تكوين هذه الوظيفة ، فإن الانتقال السلس بين محطات الراديو. فيما يلي الأزرار والوظائف الإضافية.

4. تصنيف الإعلان والمحادثة والموسيقى في التعلم الآلي (جاهز تقريبًا!)

يحلل الإصدار التالي من الخوارزمية الصوتيات: من الأصوات المنخفضة إلى الأصوات العالية وتغييرها في الوقت المناسب. يتم اكتشاف إعلانات تجارية جديدة غير معروفة تقريبًا وكذلك الإعلانات القديمة التي تم إجراء التدريب عليها ، وذلك فقط من خلال علامات الضوضاء والاستيراد. هذه طريقة أكثر تعقيدًا لتحليل حجم الصوت (انظر المناقشة السابقة).

لذلك ، استخدمت أدوات التعلم الآلي ، وهي مكتبة Keras ، المتصلة بـ Tensorflow . أعطى هذا نتائج جيدة للغاية مع القليل من استخدام وحدة المعالجة المركزية. عملت هذه النسخة في الإنتاج لأكثر من عام ، من بداية عام 2017 حتى منتصف عام 2018. أصبح من الممكن الآن التمييز بين المحادثات والموسيقى ، وبالتالي أصبح التصنيف أكثر دقة: بدلاً من "الإعلان / عدم الإعلان" - "الإعلان / المحادثة / الموسيقى".

سوف ندرس التفاصيل. يتم تحويل الصوت إلى خريطة ثنائية الأبعاد ، حيث يتم تقديم شدة الصوت كدالة للتردد والوقت (على مقياس حوالي أربع ثوانٍ). تشبه هذه البطاقة من الناحية النظرية البطاقة الحمراء في فصل البصمات. الفرق الرئيسي هو أنه بدلاً من طيف فوريير الكلاسيكي ، استخدمت معاملات Mel-cepstral ذات الصلة في سياق التعرف على الكلام.

ثم تم تحليل البطاقات المتسلسلة ذات الطوابع الزمنية المختلفة كصور في شبكة عصبية متكررة مثل LSTM (ذاكرة قصيرة المدى طويلة). تم تحليل كل بطاقة بشكل مستقل عن الآخر (RNN دون الحفاظ على الدولة ) ، ولكن البطاقات تداخلت مع بعضها البعض. كانت البطاقات 4 ثوانٍ ، وفي كل ثانية ظهرت واحدة جديدة. وكانت النتيجة النهائية لكل بطاقة هي ناقل softmax ، على سبيل المثال ، ad: 72%, talk: 11%, music 17% . ثم تمت معالجة هذه التوقعات باستخدام نفس الطريقة كما هو موضح في قسم البصمات.


معاينة نتائج تعلم الآلة النموذجية لمحطتين إذاعيتين. يمثل المحور الأفقي حوالي 17 دقيقة من الوقت. ينتقل الخط الأخضر بين ثلاثة مواضع: الإعلان في الأعلى ، والمحادثة في الوسط والموسيقى في الأسفل (الأقرب إلى خلفية رمادية موحدة). المناطق الحمراء - فواصل الاستماع للمستخدم. إذا أعطت الخوارزمية تنبؤًا غير صحيح ، فيمكن للمستخدم تصحيحه

في البداية ، قمت بتدريب شبكة عصبية على مجموعة بيانات صغيرة جدًا. قمت بتطوير واجهة المستخدم (انظر الصورة أعلاه) لتصور التنبؤات ، ويمكنني إضافة المزيد من البيانات لتدريب الطرز ذات الأداء الأفضل. في وقت كتابة هذا التقرير ، تحتوي مجموعة بيانات التدريب على حوالي عشرة أيام من الصوت: 66 ساعة من الإعلانات ، و 96 ساعة من الحديث ، و 73 ساعة من الموسيقى.

على الرغم من العمل الجيد ، لا تزال دقة التصنيف أقل قليلاً من توقعات المستخدمين (انظر القسم الخاص بالتحسينات المستقبلية أدناه). في التدريب ، كانت دقة فئة التنبؤ 95 ٪ ، ولكن التصنيفات غير الصحيحة المتبقية تركت المستخدمين غير راضين.

ملاحظة للمتخصصين في معالجة البيانات: من المعتاد إعطاء نتائج رسمية ، بتقسيم مجموعة البيانات إلى مجموعات فرعية من التدريب والاختبار. أعتقد أن هذا غير منطقي هنا ، لأن مجموعة البيانات يتم بناؤها تدريجيًا على البيانات التي أخطأت فيها النماذج السابقة. هذا يعني أن مجموعة البيانات تحتوي على مزيد من الأمراض من متوسط ​​البث ، وسيتم التقليل من الدقة. ستكون هناك حاجة إلى عمل منفصل لقياس المؤشرات الحقيقية. يمكن للمشغل وضع علامة على مقاطع مستمرة من التسجيلات الصوتية التقليدية كبيانات اختبار ، ثم حساب الدقة والتذكر عليها. سيسمح لك هذا الفحص المنتظم بمراقبة أداء المرشحات.

أضاف تصنيف الإعلانات / المحادثات / الموسيقى راحة للمستمعين. ومع ذلك ، فقد أدى هذا التصنيف إلى تعقيد واجهة المستخدم ، وأصبح العمل مع تقارير المستخدم أكثر صعوبة. إذا كانت الإشارة تشير إلى أن بعض المحتوى ليس موسيقى ، فهل هو إعلان أم محادثة؟ هنا تحتاج إلى اعتدال فوري ، وليس بعد الأمر.

لزيادة تحسين الجودة ، قمت بتطوير أحدث إصدار من Adblock Radio ، مما أدى إلى تحسين هذه الاستراتيجية قليلاً.

5. مزيج من تصنيف الصوت ومطابقة البصمات (النجاح!)

يتم نشر أفضل خوارزمية على جيثب . لزيادة الموثوقية ، يجمع بين المفاهيم من محاولتين سابقتين: التصنيف الصوتي وقاعدة بيانات البصمات.

يوفر مؤشر تعلم الآلة المدربة تدريباً صحيحاً التصنيف الصحيح لمعظم المواد المصدرية ، لكنه لا يعمل في بعض الحالات (انظر القسم الخاص بالتحسينات المستقبلية أدناه). يتمثل دور وحدة مطابقة بصمات الأصابع في تقليل أخطاء وحدة تعلم الآلة.

لا يتم إدخال جميع بيانات التدريب المعروفة في قاعدة بيانات بصمات الأصابع ، ولكن فقط مجموعة فرعية صغيرة يظهر فيها التعلم الآلي أخطاء. أنا أسميها "قاعدة بيانات القائمة الساخنة". يساعد الحجم الصغير في تقليل معدل الخطأ الكلي مع الحفاظ على انخفاض تحميل وحدة المعالجة المركزية.

على كمبيوتر محمول عادي ، تستهلك الخوارزمية فقط 5-10 ٪ من وحدة المعالجة المركزية على الملفات و 10-20 ٪ على الهواء.

التحسينات المستقبلية

بعض أنواع المحتوى لا تزال مشكلة.

يعمل الكاشف بشكل غير صحيح على بعض أنواع المحتوى الصوتي المحددة:

• غالبًا ما يتم التعرف على موسيقى الهيب هوب كإعلان. يمكنك التغلب على المشكلة عن طريق إضافة مقطوعات إلى القائمة الساخنة ، ولكن هذا كثير من الموسيقى. يمكن تطوير شبكة عصبية أكثر عمومية ، ربما على حساب الأداء.
• غالبًا ما يتم التعرف على إعلانات ألبوم الموسيقى كموسيقى. لكن حجب بصمات الأصابع سيؤدي إلى إيجابيات كاذبة عند بث أغنية حقيقية. يمكن حل المشكلة عن طريق تحليل أعمق للسياق ، لكنه صعب على الهواء ، حيث يُعرف السياق قبل ثوانٍ قليلة.
• غالبًا ما يتم التعرف على إعلانات البرامج الحوارية كمحادثة. هناك حدود غير واضحة ، لأنها محادثة وإعلان على حد سواء. نرى الحد من إمكانيات المصنف الإعلان / محادثة / الموسيقى. للتصنيف من خلال بصمات الأصابع ، استخدمت فئة ad_self لبعض الوقت ، والتي تحتوي على إعلانات برامج حوارية في محطات محددة ، ولكن مع إدخال خوارزمية التعلم الآلي ، توقفت عن القيام بذلك. قد يكون من الحكمة إعادة إنشاء هذه الفئة. خيار آخر هو تحليل أفضل للسياق.
• الإعلان الأصلي ، حيث يقرأ المضيف نص الرعاية. على الراديو ، هذا أمر نادر الحدوث ، وغالبًا ما يكون في ملفات podcast. الخطوة المنطقية التالية لمنع هذا الإعلان هي إدخال برنامج التعرف على الكلام.

سلاسل ماركوف لمزيد من الاستقرار بعد المعالجة

يمكن تحسين الاستقرار بعد المعالجة. حاليًا ، يتم استخدام عتبات الثقة فقط. عندما يتم الوصول إلى قيمة العتبة ، يتم أخذ آخر التوقعات الواثقة. وبالتالي ، فإن النظام يحفظ في بعض الأحيان خطأ.

دورات الإعلانات والمحادثات والموسيقى دورية إلى حد ما في كل بث. على سبيل المثال ، عادة ما تستغرق الإعلانات بضع دقائق. لكل فترة زمنية في فاصل تجاري ، يمكنك حساب احتمال الانتقال إلى دولة أخرى (محادثة أو موسيقى). سيساعد هذا الاحتمال في تفسير التنبؤات الصاخبة للخوارزمية بشكل أفضل: هل هي مجرد مقطع قصير من الموسيقى في الإعلان أم أنه تم الانتهاء من فترة الإعلان؟ هنا ، ستكون نماذج ماركوف المخفية مجالًا جيدًا للبحث.

راديو تمثيلي غير مدعوم حتى الآن

لم يتم اختبار الإشارات التماثلية (FM) ولا يتم دعمها حاليًا. الضوضاء التناظرية تتجاوز الأساليب المستخدمة هنا. قد تكون هناك حاجة إلى مرشحات و / أو خوارزميات التعرف على بصمات الأصابع المقاومة للضوضاء. إذا حدث هذا ، فسيتمكن البرنامج من العثور على تطبيق أوسع بين المستخدمين. ومع ذلك ، يتحول الراديو بشكل متزايد إلى التقنيات الرقمية الخالية من الضوضاء مثل DAB وراديو الإنترنت.

لا ينصح بتشغيل راديو Adblock في السحابة

من الناحية المثالية ، يجب تشغيل راديو Adblock فقط على الأجهزة الطرفية. ولكن الآن الخدمات السحابية في الموضة. علاوة على ذلك ، هذه فكرة عمل رائعة! اختبر راديو Adblock خيارين للهندسة المعمارية مع مثل هذا النموذج. ومع ذلك ، تظهر التجربة أن هذا ليس الخيار الأفضل لأسباب فنية وقانونية.

الخيار 1. ترحيل من الخادم

يمكن أن يقوم الخادم بنقل المحتوى الصوتي باستخدام علامات الإعلان / الحديث / الموسيقى إلى المستمعين. اختبرناه في عام 2016. تنشأ هنا مشاكل قانونية ، لأن ترحيل الدفق يمكن اعتباره مزيفًا و / أو انتهاكًا لحقوق الطبع والنشر (على الرغم من أنني لست محامياً). كما أنه لا يتطور بشكل جيد لأنك الآن شبكة CDN ويجب أن تتحمل التكاليف.

من أجل مزحة ، يوم الأحد ، عندما كنت بعيدًا لأسباب عائلية ، تلقى راديو Adblock شعبية كبيرة ، سقطت منه . حقيقة ممتعة: بعد بضعة أيام ، قامت فرانس إنتر ، وهي محطة إذاعية عامة فرنسية كبرى ، بالإعلان عن Adblock Radio في وقت الذروة (ولكن دون تسميتها). هذا قرار تحريري غير متوقع في سياق حقيقة أن المنظمين قرروا في عام 2016 تخفيف القيود المفروضة على الإعلانات على محطات الراديو المملوكة للدولة ، مما أدى إلى تفاقم الخلاف بين موظفي راديو فرنسا والإدارة .

بعد بضعة أسابيع ، تلقيت تهديدات من محامي شبكة الإذاعة الفرنسية الخاصة Les Indés Radio ، على أساس انتهاك حقوق النشر والعلامة التجارية. مع عدم وجود موارد مالية للحماية الجدية ، اضطررت إلى إزالة بعض التدفقات من الموقع ، وإغلاق الموقع جزئيًا وتغيير بنية النظام. في الوقت نفسه ، رفضت شبكة الراديو هذه التعاون بحثًا عن حل وسط. نظرًا لأنني أرى في السجلات أنهم استمروا في مراقبة موقعي (أحيانًا بحسابات مستعارة) ، فقد تشاوروا أيضًا مع محاميهم . يا له من شرف لي! إذا نظرنا إلى الوراء ، فقد فازوا بالوقت بنجاح ، لكن لا شيء أكثر. مرحبا شباب من اينديس! آمل أن تستمتع بقراءة هذا! xoxoxo .


إعلان الحب من Les Indés ، شبكة من 131 محطة إذاعية فرنسية

الخيار 2. الخادم ينقل الصوت ، ولكن من القطاع الخاص

هذا يفترض التحليل على الخادم وترحيل الصوت الذي تم مسحه لمستخدم معين. قد يتم إعفاء مثل هذا النظام من قانون حقوق النشر كنسخته الخاصة من الوسائط. إذا تم إدارة الخادم بواسطة المستخدم النهائي ، وكان المصدر الأصلي قانونيًا ومتوفر رسميًا في منطقتك ، فمن المحتمل أن يكون كل شيء نظيفًا من الناحية القانونية. راجع مناقشة Station Ripper [FR] و VCast [FR] لمزيد من المعلومات. لكن المستخدمين نادراً ما يتمتعون بالدهاء التقني لاستئجار وتثبيت خادم بمفردهم.

من المغري للغاية وضع الخادم تحت سيطرة طرف ثالث ، لكن هذا يؤدي إلى مشاكل قانونية ، لأن المشغل الذي يقوم بنسخ النسخة والمستخدم النهائي ليس هو نفس الشخص. في هذه الحالة ، يتم فرض قيود قانونية ، على الأقل في فرنسا. واجهت خدمة الإنترنت الفرنسية Wizzgo [FR] هذه القاعدة في عام 2008. في الآونة الأخيرة ، في الولايات المتحدة الأمريكية ، تم إغلاق خدمة Aereo التلفزيونية ، على الرغم من أنها اتخذت الاحتياطات من خلال توزيع موالف منفصل (!) على كل عميل .

في الوقت الحالي ، تحارب خدمة Molotov.TV [FR] ضد مالكي حقوق الطبع والنشر الذين يريدون تقييد وظائفها [FR] ، على الرغم من التأثير الكبير لمؤسسيها المشتركين. يجب دفع ضريبة النسخ الخاصة [بالفرنسية] إلى المؤسسة الرسمية . يتم تحديد المبلغ من خلال حسابات غامضة إلى حد ما [فرنسي] ويزيد [فرنسي] كل عام ، حيث يصل إلى عدة عشرات من الأوروبيين لكل مستخدم شهريًا. أصبح هذا المنتدى مرتفعًا لدرجة أن Molotov.TV قام مؤخرًا بإزالة ميزات خدمته للمستخدمين المجانيين [فرنسي] . (ملحوظة: أشكر خالص الشكر على صحفيي الموقع الفرنسي NextINpact على التغطية الجيدة لهذا الموضوع).

الدفع ليس كافيًا: يشترط القانون على كيانات مثل Molotov.TV توقيع اتفاقيات [FR] مع شركات محمية بحقوق الطبع والنشر حول وظائف خدمتهم. حاول التوصل إلى اتفاق مع شركات الراديو إذا بدأت في خفض إعلاناتهم.

الخيار 3. يرسل الخادم البيانات الأولية فقط

خيار آخر هو أن يستمع كل من المستخدم والخادم إلى نفس راديو الإنترنت في نفس الوقت. في هذه الحالة ، يقوم الخادم بتحليل الصوت وإرسال بيانات تعريف تصنيف المستخدم (إعلان / نقاش / موسيقى) ، ولكن ليس المحتوى الصوتي. منذ عام 2017 ، يعمل adblockradio.com على هذا الهيكل. يعتمد على CDN ، لذلك لا يتحمل أي تكاليف فيما يتعلق ببث الصوت.

تعمل هذه البنية على إزالة مشكلة انتهاك حقوق الطبع والنشر (إخلاء المسئولية: أنا لست محامياً). ومع ذلك ، قد لا يزال هناك بعض عدم اليقين فيما يتعلق بقوانين العلامات التجارية. في الآونة الأخيرة (أكتوبر 2018) ، طالب مالكو راديو Skyrock بإزالة المحتوى على هذا الأساس.


الرومانسية من Skyrock Law Department

بالإضافة إلى الاعتبارات القانونية ، هناك مشكلة فنية تتعلق بالمزامنة الصحيحة بين الصوت والبيانات الوصفية. في معظم الحالات ، كل شيء يعمل بشكل جيد مع فاصل التزامن أقل من ثانيتين. لكن بعض محطات الإذاعة لديها شبكات CDN غريبة / ضارة أو أنها تحقن الإعلانات ديناميكيًا في الدفق. هذا يعني أن التدفقات بين الخادم والعملاء المختلفين يمكن أن تختلف اختلافًا كبيرًا. على سبيل المثال ، في Radio FG ، لوحظت فترات تأخر تصل إلى 20 ثانية ، وعلى راديو Jazz - حتى 45 ثانية. هذا يخيب المستمعين.

يمكن تنفيذ التزامن بإحكام من خلال مقارنة كتل البيانات بين الخادم والمستخدم. لسوء الحظ ، هذا لا يعمل في متصفحات الويب ، لأن معظم شبكات CDN على محطات راديو الإنترنت لا تستخدم رؤوس CORS . لذلك ، لن تتمكن JavaScript في المستعرض من قراءة المحتوى الصوتي للمقارنة. للعمل ، ستحتاج إلى وحدات منفصلة منفصلة (على سبيل المثال ، Electron ) أو وحدات Flash (نعم) أو ملحقات الويب ، والتي تبدو زائدة عن الحاجة.

يمكنك دمج راديو Adblock في المشغل الخاص بك

هذا المشروع ليس للمستخدمين النهائيين ، ولكن للشركات التي تصدر منتجًا ضخمًا. يمكنك فعل ذلك!

للمطورين خياران لدمج راديو Adblock. أولاً ، يأخذ SDK ببساطة البيانات الوصفية من خادم adblockradio.com. هذا ليس حلاً مثاليًا للأسباب الموضحة أعلاه (المشكلات القانونية والمتعلقة بالمزامنة). من الأفضل تشغيل خوارزمية تحليل كاملة.

البرمجيات

• تطبيقات الهاتف المحمول لراديو الإنترنت والبودكاست. يجب تحويل نماذج Keras إلى Tensorflow الأصلي ، ويمكن استبدال مكتبة Keras + Tensorflow بـ Tensorflow Lite لنظامي Android و iOS . يتم تنفيذ إجراءات Node.JS باستخدام البرنامج المساعد React Native أو ، في الحالات القصوى ، مع Termux .
• تعمل ملحقات المستعرض مع Tensorflow JS و SQL.js. يمكن للتحكم في التحكم في منزلق الصوت في دلائل راديو الإنترنت الشائعة ، مثل TuneIn أو Radio.de . لقد عملت بالفعل على هذا التمديد. لقد كان الأمر ممتعًا في تشغيل مشغلات JavaScript للحصول على هذا التحكم. حسب التطبيق ، ضع في اعتبارك مشكلات المزامنة التي ناقشناها أعلاه.

الأجهزة

• الإنذارات الرقمية ومشاريع الهواة ، رهنا بتوافر طاقة حسابية كافية والوصول إلى الشبكة. يجب أن تكون المنصات مثل Raspberry Pi Zero / A / B كافية لتحليل دفق واحد ، على الرغم من أن RPi 3B / 3B + موصى به للتحكم الموازي في التدفقات المتعددة. Tensorflow على Raspbian .
• مكبرات الصوت المتصلة مثل سونوس . لن تعمل الخوارزمية نفسها على مثل هذه المعدات ، لذلك تحتاج إلى معالجة البيانات إما في السحابة أو على جهاز منفصل في نفس الشبكة المحلية (على سبيل المثال ، على التوت). فكرة رائعة لحملة التمويل الجماعي.

راديو Adblock في السيارة

السيارة هي واحدة من أكثر الأماكن شعبية للاستماع إلى الراديو. هناك ، يحتاج الناس حقًا إلى مانع الإعلانات. ولكن هذا هو أيضًا السياق الذي لا يكون فيه تطبيق Adblock Radio سهلاً. بعد كل شيء ، يجب أن يتلقى النظام ردود الفعل من أجل تصفية الإعلانات الجديدة بشكل فعال ، لذلك يحتاج البرنامج إلى اتصال الشبكة. أرى ثلاثة مفاهيم ممكنة لمنتجات السيارات مع راديو Adblock.

• تطبيق متوافق مع أنظمة المعلومات والترفيه للسيارات الحديثة . ربما أسهل طريقة لنقل البيانات عبر الهاتف الذكي للمستخدم يمكن أيضًا استخدام الهاتف الذكي بشكل منفصل - من خلال تطبيق الهاتف المحمول ، بث راديو الإنترنت ، عبر إخراج الصوت ، الاتصال AUX أو Bluetooth بالسيارة. يمكن أيضًا دمجه مع نظام المعلومات والترفيه في السيارة ، بروح Apple Car Play و Android Auto و MirrorLink . سيكون من الرائع الاستماع إلى الراديو الأرضي (FM ، DAB). ولكن هناك حاجة إلى العمل لتحديد أي تكوينات معينة يمكن لـ Adblock Radio الوصول إلى إخراج الصوت من موالف الراديو وفي الوقت نفسه التحكم فيها (مستوى الصوت ، القناة).
• محول الأجهزة العالمي ، واجهة المستخدم المخصصة . من الممكن أيضًا تطوير معدات مخصصة مماثلة لمحولات DAB الحالية للسيارات . تقوم هذه الأجهزة بضبط محطات الراديو ونقل البيانات الصوتية إلى نظام السيارة عبر مقبس AUX أو عبر قناة FM غير مستخدمة ، مثل محولات iPod FM القديمة . يمكن الوصول إلى الشبكة من خلال الهاتف الذكي عن طريق البلوتوث. يمكن النظر في الحلول البديلة ، مثل Sigfox و LoRa ، إذا كان معدل البت والسعر مناسبين. يجب تطوير واجهة مستخدم خاصة ، منفصلة عن جهاز السيارة الرئيسي. في النهاية ، قد يكون هذا مكلفًا للغاية.
• جهاز أضيق الحدود ينقسم جهاز استقبال FM . يمكن لمثل هذا الجهاز الصغير التحكم في الموالف إذا لزم الأمر. تحتاج إلى واجهة قياسية ، ولكن سهلة للاتصال. مفاتيح تبديل عجلة القيادة هي مرشح جيد ، ولكن لا يمكن للمستخدمين النهائيين تعديلها بسهولة لهذا الغرض. لذلك تحتاج إلى اختراق النظام.
  
  سيكون لهذا الجهاز مقطوع الرأس موالف FM وميكروفون لتحليل المحطة التي يستمع إليها المستخدم (الارتباط المتبادل). عند اكتشاف إعلان ، يقوم الجهاز بإرسال بيانات RDS وهمية (مثل إعلانات حركة المرور ) لخداع موالف السيارة وتغيير المحطة طوال مدة الإعلان.يمكنه أيضًا بث الصمت على تردد FM الحالي.
  
  واجهة مثل هذا الجهاز بسيطة للغاية ، مع عدد قليل من الأزرار. أرخص بكثير من محول سيارة كامل المواصفات. ومع ذلك ، فمن غير الواضح ما إذا كان هذا سيعمل بشكل موثوق ، لأنه بدون ترخيص يقتصر القانون على استخدام أجهزة الإرسال اللاسلكية . أخيرًا ، من غير المعروف ما إذا كان يمكن تكييف مثل هذه الاستراتيجية للعمل مع التدفقات الرقمية DAB.

إذا كان من الممكن تطوير جهاز رخيص ، فيجب أن يكون لهذا المنتج نجاح تجاري. كما أنها مناسبة للتمويل الجماعي.

يحتاج المشروع إلى إشارات حول الاستجابات غير الصحيحة والمساعدة في معالجتها.

عند دمج راديو Adblock في المنتج ، يرجى ترك الفرصة لملاحظاتك. يجب الإبلاغ عن الأعطال على الفور حتى أتمكن من تحديث نماذج التعلم الآلي وقاعدة القائمة الساخنة.

يتم عرض التقارير يدويًا: ما عليك سوى تحديد اسم محطة (محطات) الراديو والوقت الذي نشأت فيه المشكلة. المكتبة تأسست آلية إعداد التقارير لإرسال.

معالجة التقرير يستغرق وقتا. إلى جانب تكاليف الخادم ، هذا سبب آخر لعدم إضافة المزيد من محطات الراديو إلى adblockradio.com. بحاجة إلى مساعدة للاستماع إلى المقاطع الصوتية وتصنيف المحتوى في واجهة الويب الخاصة بالمشرف. بفضل هذا ، يمكننا زيادة عدد المحطات الإذاعية وتقديم الدعم للبودكاست. إذا كنت على استعداد للمساعدة ، من فضلكقم بالتسجيل هنا واتبع المستودع الذي ستتم فيه مناقشة مؤشرات الترابط المدعومة.

كيفية استبدال الإعلانات: سؤال UX

يعد تخطي الإعلانات في البودكاست تافهاً: من وجهة نظر المستمع ، يشبه تخطي أجزاء من أغنية. لسوء الحظ ، هذا لا يعمل للإذاعة. لا يمكننا التقدم بسرعة إلى الأمام!

يقدم Adblockradio.com الآن ثلاثة خيارات للتصفية:

• خفض الصوت
• التبديل إلى محطة أخرى والعودة في نهاية الإعلان. هذا صحيح إذا كان المستخدم يستمع إلى محادثة. أثناء الإعلان ، ينتقل مؤقتًا إلى محطة الموسيقى.
• التحول الدائم إلى محطة أخرى. مفيد عند الاستماع إلى محطات الموسيقى.

حاولت قصارى جهدي لجعله مناسبًا قدر الإمكان ، لكن النظام لا يزال معقدًا. ليست بهذه البساطة إذاعة عادية أو مانع إعلانات على جهاز كمبيوتر يمكنك تثبيته ونسيانه . أنا حقاً أعول على مساعدة العقل الجماعي. واجهة ويب Adblock Radio


الحالية


نموذج أولي قديم لم يخرج مطلقًا. هنا يتمتع المستخدم بحرية كاملة تمامًا في الإعدادات. البث المحادثة فقط من محطة واحدة ، والموسيقى فقط من محطة أخرى ، وما إلى ذلك ولكن المختبرين في حيرة من أمرهم! إذا نظرنا إلى الوراء ، حتى بالنسبة لي ، من الصعب فهم هذه الواجهة

، ويبدو الأمر مثيراً للاهتمام بالنسبة لي طريقة أخرى للاستماع إلى المحتوى. لم أتمكن من بيعه على adblockradio.com للأسباب القانونية المذكورة أعلاه. بدلاً من ذلك ، صنعت مشغل سطح مكتب مستقل (متاح أيضا على جيثب ) ، بروح مسجلات الفيديو الرقمية . يبدأ المستخدمون في الاستماع مع إزاحة زمنية تبلغ حوالي 10 دقائق (على سبيل المثال ، في الساعة 7.30 في الصباح ، يبدأون في الاستماع إلى البث الصوتي من الساعة 7.20). في كل استراحة تجارية ، يحدث التقدم السريع - ويمكنك الاستمتاع ببرنامجك دون انقطاع. بفضل كمية الإعلان المعتادة ، يتيح لك التحول لمدة عشر دقائق الاستماع إلى الراديو دون انقطاع لمدة ساعة أو ساعتين. في حالة تطبيق الهاتف المحمول ، سيكون هذا كافيًا للعمل.

عندما يقوم المستخدم بتشغيل الجهاز ، يجب عليه توصيل البث قبل عشر دقائق. كيفية القيام بذلك في سياق التنقل ، مع فرض قيود على كمية الطاقة والبيانات؟ يرجى ملاحظة أن القانون يمنع الأطراف الثالثة غير المرخصة (في السحابة) من بث التسجيلات الإذاعية.


نموذج عمل أولي لمشغل راديو يعمل على تغيير الوقت. يتم تصنيف كتل الصوت حسب القطاع. الموسيقى باللون الأزرق والمحادثات باللون الأخضر والإعلان باللون الأحمر. عندما يصل المؤشر الوردي إلى المنطقة الحمراء (الإعلانات) ، فإنه يتخطاها

على المدى الطويل ، يمكن للنظام استقبال محتوى البث من جميع المحطات - وتخصيصه بالكامل وفقًا لأذواق كل مستمع. قم ببث برامجك المفضلة ، والموسيقى حسب ذوقك ، وأدخل ملفات podcast ، وما إلى ذلك في رأيي ، المحتوى المباشر الذي يصعب تأجيله وتحميله لاحقًا: الأحداث الرياضية والأخبار وتوقعات الطقس والموسيقى الحية و إلخ. ربما سيصبح هذا نموذجًا تجاريًا بديلًا للإذاعة .

الخاتمة

تبين أن الحل التقني لحظر الإعلانات على الراديو وفي البودكاست أكثر تعقيدًا مما نود. يجب تحديث النماذج بشكل دوري بمقاطع فيديو جديدة. هذا يعني أنه يجب استخدام النظام في الأجهزة المتصلة بالإنترنت ، مثل الهواتف الذكية وراديو WiFi. الخدمة ليست مناسبة بعد لأجهزة الراديو التقليدية المستقلة (FM ، DAB +). لحسن الحظ ، مع انتشار الاتصالات المتنقلة ، يغير الناس عاداتهم ، لذا يجب أن يكون حظر الإعلانات أسهل في المستقبل.

يمكنك المساعدة في تطوير Adblock Radio.

• كمستمع راديو: قم بتشغيل المشغل ، واستمع إلى الراديو وأخطاء التعرف على الملاحظات حتى تتمكن الخوارزمية من التعلم. ليس لديك محطاتك المفضلة؟ ليست مشكلة ، اذهب هنا وترك الطلب.
• كمطور: انتقل إلى المستودع ، وقم بتشغيل العرض التوضيحي ، يمكنك الانضمام إلى المناقشة. تحقق من عرض آخر لمشغل سطح المكتب على الإلكترون.
• كمدير للمنتج: اتصل بنا إذا كنت تريد دمج راديو Adblock في منتجك. سأكون سعيدا للمساعدة.

في المستقبل ، سيبقى الإعلان الصوتي فقط في ذكريات بعيدة! شكرا للقراءة.