हम विज्ञापनों को कैसे मॉडरेट करते हैं

प्रत्येक सेवा, जिसके उपयोगकर्ता अपनी स्वयं की सामग्री (यूजीसी - उपयोगकर्ता-जनित सामग्री) बना सकते हैं, को न केवल व्यावसायिक समस्याओं को हल करने के लिए मजबूर किया जाता है, बल्कि यूजीसी में चीजों को रखने के लिए भी कहा जाता है। अंत में सामग्री का खराब या खराब-गुणवत्ता वाला मॉडरेशन उपयोगकर्ताओं के लिए सेवा के आकर्षण को कम कर सकता है, जब तक कि इसके काम की समाप्ति नहीं हो जाती।

आज हम आपको Yula और Odnoklassniki के बीच तालमेल के बारे में बताएंगे, जो हमें Yule में प्रभावी रूप से विज्ञापन देने में मदद करता है।

सामान्य तौर पर सिनर्जी बहुत उपयोगी है, और आधुनिक दुनिया में, जब तकनीक और रुझान बहुत तेज़ी से बदलते हैं, तो यह एक लाइफसेवर में बदल सकता है। क्यों आप पहले से ही आविष्कार किया गया है और दिमाग में लाया है के आविष्कार पर दुर्लभ संसाधनों और समय खर्च करते हैं?

हमने उसी तरह सोचा था जब हमें उपयोगकर्ता-जनित सामग्री - चित्र, पाठ और लिंक को मॉडरेट करने की चुनौती का सामना करना पड़ा था। हमारे उपयोगकर्ता हर दिन यूला को लाखों यूनिट सामग्री अपलोड करते हैं, और स्वचालित प्रसंस्करण के बिना, मैन्युअल रूप से इस सभी डेटा को मॉडरेट करना बिल्कुल भी यथार्थवादी नहीं है।

इसलिए, हमने पहले से ही तैयार किए गए मॉडरेशन प्लेटफॉर्म का लाभ उठाया, जो उस समय तक ओडनोकलास्निक से हमारे सहयोगियों ने "लगभग पूर्ण" की स्थिति के लिए डब किया था।

सहपाठी क्यों?

हर दिन करोड़ों यूजर्स अरबों कंटेंट को प्रकाशित करने के लिए सोशल नेटवर्क पर आते हैं: फोटो से लेकर वीडियो और टेक्स्ट तक। Odnoklassniki का मॉडरेशन प्लेटफ़ॉर्म बहुत बड़ी मात्रा में डेटा और काउंटर स्पैमर और बॉट्स की जांच करने में मदद करता है।

ओके मॉडरेशन टीम ने बहुत अनुभव प्राप्त किया है, क्योंकि यह 12 वर्षों से अपने उपकरण में सुधार कर रहा है। यह महत्वपूर्ण है कि वे न केवल अपने तैयार किए गए समाधानों को साझा कर सकते हैं, बल्कि हमारे विशिष्ट कार्यों के लिए अपने मंच की वास्तुकला को भी कॉन्फ़िगर कर सकते हैं।



संक्षिप्तता के लिए हम मॉडरेशन प्लेटफॉर्म को केवल "प्लेटफॉर्म" कहेंगे।

यह कैसे काम करता है

युला और ओडनोकलास्निकिकी डेटा के बीच अपाचे काफ्का के माध्यम से डेटा एक्सचेंज स्थापित किया गया है।

हमने यह उपकरण क्यों चुना:

• यूलिया में, सभी विज्ञापन पोस्ट-मॉडरेट होते हैं, इसलिए शुरू में एक तुल्यकालिक प्रतिक्रिया की आवश्यकता नहीं थी।
  
• यदि एक भयंकर पैराग्राफ होता है, और कुछ चरम भार के कारण युला या ओडनोक्लासेंकी दुर्गम होगा, तो काफ्का का डेटा कहीं भी गायब नहीं होगा और बाद में पढ़ा जा सकता है।
  
• मंच को पहले से ही काफ्का के साथ एकीकृत किया गया है, इसलिए अधिकांश सुरक्षा मुद्दों को हल किया गया है।
  

यूल में उपयोगकर्ता द्वारा बनाए या संशोधित किए गए प्रत्येक विज्ञापन के लिए, JSON डेटा के साथ उत्पन्न होता है, जिसे बाद के मॉडरेशन के लिए काफ्का में रखा जाता है। कफ़्का से, विज्ञापन प्लेटफ़ॉर्म पर अपलोड किए जाते हैं, जहाँ निर्णय स्वतः या मैन्युअल रूप से किए जाते हैं। खराब विज्ञापनों को एक कारण से अवरुद्ध किया जाता है, और जिन प्लेटफ़ॉर्म में उल्लंघन नहीं मिला, उन्हें "अच्छे" के रूप में चिह्नित किया जाता है। फिर सभी निर्णयों को युला में वापस भेज दिया जाता है और सेवा में लागू किया जाता है।

नतीजतन, युला के लिए, यह सभी सरल कार्यों के लिए उबलता है: ओडनोक्लास्निक मंच पर एक विज्ञापन भेजें और वापस प्रस्ताव "ओके" प्राप्त करें, या "ओके" क्यों नहीं।

स्वचालित प्रसंस्करण

प्लेटफ़ॉर्म पर हिट होने के बाद किसी विज्ञापन का क्या होता है? प्रत्येक विज्ञापन को कई संस्थाओं में तोड़ा गया है:

• नाम,
  
• विवरण,
  
• फ़ोटो
  
• उपयोगकर्ता-चयनित श्रेणी और विज्ञापन की उपश्रेणी,
  
• कीमत।
  

फिर, प्रत्येक इकाई के लिए, प्लेटफ़ॉर्म डुप्लिकेट खोजने के लिए क्लस्टर। इसके अलावा, पाठ और फ़ोटो अलग-अलग तरीकों से क्लस्टर किए जाते हैं।

क्लस्टरिंग से पहले ग्रंथों को विशेष वर्ण, परिवर्तित अक्षरों और अन्य कचरे को मिटाने के लिए सामान्यीकृत किया जाता है। प्राप्त डेटा को एन-ग्राम में विभाजित किया गया है, जिनमें से प्रत्येक हैशेड है। परिणाम बहुत कुछ अद्वितीय हैश है। ग्रंथों के बीच समानता को दो परिणामी सेटों के बीच जैक्वार्ड माना जाता है । यदि समानता सीमा से अधिक है, तो ग्रंथों को एक क्लस्टर में एक साथ चिपका दिया जाता है। समान समूहों की खोज में तेजी लाने के लिए, मिनहाश और स्थानीयता के प्रति संवेदनशील हैशिंग का उपयोग किया जाता है।

तस्वीरों के लिए ग्लूइंग छवियों के लिए विभिन्न विकल्पों का आविष्कार किया गया था, जिसमें फेश छवियों की तुलना करने से तंत्रिका नेटवर्क का उपयोग करके डुप्लिकेट खोजने के लिए किया गया था।

उत्तरार्द्ध विधि सबसे "कठोर" है। मॉडल को प्रशिक्षित करने के लिए, छवियों के ऐसे त्रिभुज (एन, ए, पी) चुने गए थे जिसमें एन ए की तरह नहीं दिखता है, और पी - ए की तरह दिखता है (एक आधा डुप्लिकेट है)। फिर, तंत्रिका नेटवर्क ने ए और पी को जितना संभव हो सके बनाना सीखा, और ए और एन को जितना संभव हो सके। यह केवल पूर्व-प्रशिक्षित नेटवर्क से एम्बेड करने की तुलना में कम गलत सकारात्मक परिणाम देता है।

जब एक तंत्रिका नेटवर्क इनपुट पर छवियां प्राप्त करता है, तो यह उनमें से प्रत्येक के लिए एक एन (128)-आयामी वेक्टर उत्पन्न करता है और छवि की निकटता का आकलन करने के लिए अनुरोध किया जाता है। अगला, एक दहलीज की गणना की जाती है जिस पर नज़दीकी छवियों को डुप्लिकेट माना जाता है।

मॉडल कुशलता से स्पैमर पा सकता है जो विशेष रूप से अलग-अलग कोणों से एक ही उत्पाद का चित्र बनाता है ताकि पीएचएएस तुलना को कम किया जा सके।


डुप्लिकेट के रूप में एक तंत्रिका नेटवर्क से चिपके हुए स्पैम फ़ोटो का एक उदाहरण।

अंतिम चरण में, डुप्लिकेट विज्ञापनों को पाठ और छवि दोनों में एक साथ खोजा जाता है।

यदि किसी क्लस्टर में दो या अधिक विज्ञापन अटके हैं, तो सिस्टम एक स्वचालित अवरोधन शुरू करता है, जो कि कुछ एल्गोरिदम के अनुसार, चयन करता है जो हटाने के लिए डुप्लिकेट करता है और जिसे छोड़ना है। उदाहरण के लिए, यदि दो उपयोगकर्ताओं के विज्ञापन में एक ही फ़ोटो है, तो सिस्टम अधिक हाल के विज्ञापन को रोक देगा।

निर्माण के बाद, सभी क्लस्टर स्वचालित फिल्टर की एक श्रृंखला से गुजरते हैं। प्रत्येक फ़िल्टर क्लस्टर को एक स्कोर देता है: यह फ़िल्टर किस खतरे को पहचानता है, इसकी संभावना क्या है।

उदाहरण के लिए, सिस्टम विज्ञापन में विवरण का विश्लेषण करता है और इसके लिए संभावित श्रेणियों का चयन करता है। फिर वह सबसे अधिक संभावना के साथ एक लेता है और विज्ञापन के निर्माता द्वारा इंगित श्रेणी के साथ इसकी तुलना करता है। यदि वे मेल नहीं खाते हैं, तो विज्ञापन गलत श्रेणी के लिए अवरुद्ध है। और जब से हम दयालु और ईमानदार हैं, हम सीधे उपयोगकर्ता को बताते हैं कि उसे किस श्रेणी में चयन करने की आवश्यकता है ताकि विज्ञापन मॉडरेशन से गुजर जाए।


गलत श्रेणी के लिए अधिसूचना को ब्लॉक करें।

हमारे मंच में, मशीन लर्निंग घर पर सही लगता है। उदाहरण के लिए, इसकी मदद से हम नामों और विवरणों में रूसी संघ में निषिद्ध वस्तुओं की तलाश करते हैं। और तंत्रिका नेटवर्क के मॉडल सावधानीपूर्वक URL, स्पैमर टेक्स्ट, फोन और उसी "निषिद्ध" छवियों के लिए "देखें"।

ऐसे मामलों के लिए, जब वे स्वयं को कुछ कानूनी रूप से प्रच्छन्न करके निषिद्ध माल बेचने की कोशिश कर रहे हैं, और साथ ही नाम या विवरण में कोई पाठ नहीं है, हम छवि टैगिंग का उपयोग करते हैं। प्रत्येक छवि के लिए 11 हजार अलग-अलग टैगों से चिपका जा सकता है जो वर्णन करते हैं कि छवि क्या है।


वे एक हुक्का बेचने की कोशिश कर रहे हैं, इसे एक समोवर के रूप में दिखाते हुए।

जटिल फिल्टर के साथ समानांतर में, पाठ कार्य से संबंधित स्पष्ट, सरल कार्य को हल करना:

• antimat;
  
• URL और फ़ोन नंबर डिटेक्टर;
  
• तत्काल दूतों और अन्य संपर्कों का उल्लेख;
  
• कम कीमत;
  
• विज्ञापन जो कुछ भी नहीं बेचते हैं, आदि।
  

आज, प्रत्येक विज्ञापन 50 से अधिक स्वचालित फिल्टर की बारीक छलनी से गुजरता है जो विज्ञापन में कुछ बुरा खोजने की कोशिश करता है।

यदि किसी भी डिटेक्टर ने काम नहीं किया है, तो एक प्रतिक्रिया युलु को भेजी जाती है कि घोषणा "सबसे अधिक संभावना" पूर्ण है। हम इस उत्तर का उपयोग घर पर करते हैं, और विक्रेता की सदस्यता लेने वाले उपयोगकर्ताओं को एक नए उत्पाद की उपस्थिति के बारे में एक सूचना प्राप्त होती है।


अधिसूचना कि विक्रेता का एक नया उत्पाद है।

परिणामस्वरूप, प्रत्येक विज्ञापन मेटाडेटा के साथ "अतिवृद्धि" होता है, जिनमें से कुछ विज्ञापन (लेखक का आईपी पता, उपयोगकर्ता-एजेंट, प्लेटफ़ॉर्म, जियोलोकेशन, आदि) निर्मित होने पर उत्पन्न होता है, और शेष प्रत्येक फ़िल्टर द्वारा दिया गया स्कोर होता है।

विज्ञापन की कतार

जब कोई विज्ञापन प्लेटफ़ॉर्म से टकराता है, तो सिस्टम उसे एक कतार में खड़ा कर देता है। प्रत्येक कतार एक गणितीय सूत्र का उपयोग करके बनाई गई है जो किसी तरह के खराब पैटर्न का पता लगाने के लिए इस तरह से विज्ञापन मेटाडेटा को जोड़ती है।

उदाहरण के लिए, आप यूला के उपयोगकर्ताओं से सेंट पीटर्सबर्ग के "सेल फ़ोन" श्रेणी में विज्ञापनों की एक कतार बना सकते हैं, लेकिन मास्को या अन्य शहरों से उनके आईपी पते।


विभिन्न शहरों में एक उपयोगकर्ता द्वारा पोस्ट किए गए विज्ञापनों का एक उदाहरण।

या, आप उन बिंदुओं के आधार पर कतार बना सकते हैं जो तंत्रिका नेटवर्क विज्ञापनों को असाइन करते हैं, उन्हें अवरोही क्रम में रखते हैं।

प्रत्येक रेखा, अपने सूत्र के अनुसार, विज्ञापन को अंतिम अंक प्रदान करती है। तब आप विभिन्न तरीकों से कार्य कर सकते हैं:

• उस सीमा मान को निर्दिष्ट करें जिस पर विज्ञापन को एक निश्चित प्रकार का अवरोधन प्राप्त होगा;
  
• कतार में सभी विज्ञापनों को मैनुअल समीक्षा के लिए मॉडरेटर को भेजा जाना चाहिए;
  
• या पिछले विकल्पों को मिलाएं: स्वचालित ब्लॉकिंग के लिए सीमा निर्दिष्ट करें और उन विज्ञापनदाताओं को भेजें जो इस सीमा तक नहीं पहुंचे हैं।
  

ये लाइनें क्यों आवश्यक हैं? मान लीजिए कि एक उपयोगकर्ता ने एक बन्दूक की एक तस्वीर अपलोड की है। तंत्रिका नेटवर्क इसे 95 से 100 तक स्कोर देता है और 99 प्रतिशत सटीकता के साथ यह निर्धारित करता है कि तस्वीर में हथियार क्या है। लेकिन अगर स्कोर मान 95% से कम है, तो मॉडल की सटीकता कम होने लगती है (यह तंत्रिका नेटवर्क मॉडल की एक विशेषता है)।

नतीजतन, स्कोर मॉडल के आधार पर एक कतार बनाई जाती है, और जो विज्ञापन 95 से 100 तक प्राप्त होते हैं, वे स्वचालित रूप से "निषिद्ध माल" के रूप में अवरुद्ध हो जाते हैं। 95 से नीचे के अंक वाले विज्ञापन मैनुअल प्रोसेसिंग के लिए मॉडरेटर को भेजे जाते हैं।


कारतूस के साथ चॉकलेट बेरेटा। केवल मैनुअल मॉडरेशन के लिए! :)

मैनुअल मॉडरेशन

2019 की शुरुआत में, यूल के सभी विज्ञापनों में लगभग 94% स्वचालित रूप से संचालित होते हैं।



यदि प्लेटफ़ॉर्म किसी घोषणा पर निर्णय नहीं ले सकता है, तो उन्हें मैन्युअल मॉडरेशन के लिए भेजता है। सहपाठियों ने अपना स्वयं का उपकरण विकसित किया: मध्यस्थों के कार्यों को तुरंत एक त्वरित निर्णय लेने के लिए सभी आवश्यक जानकारी प्रदर्शित करते हैं - विज्ञापन उपयुक्त है या कारण के संकेत के साथ अवरुद्ध होना चाहिए।

और इसलिए कि मैनुअल मॉडरेशन के साथ सेवा की गुणवत्ता को नुकसान नहीं होता है, लोगों के काम की लगातार निगरानी की जाती है। उदाहरण के लिए, कार्यों की धारा में मध्यस्थ "जाल" दिखाता है - घोषणाएं जिनके लिए पहले से तैयार समाधान हैं। यदि मॉडरेटर का निर्णय तैयार के साथ मेल नहीं खाता है, तो एक त्रुटि मॉडरेटर को गिना जाता है।

एक विज्ञापन की जांच के लिए औसत मॉडरेटर 10 सेकंड खर्च करता है। इसके अलावा, सभी परीक्षित विज्ञापनों में त्रुटियों की संख्या 0.5% से अधिक नहीं है।

लोक संयम

Odnoklassniki के सहकर्मी इससे भी आगे बढ़ गए, "हॉल की मदद" का लाभ उठाया: उन्होंने सोशल नेटवर्क के लिए एक एप्लीकेशन गेम लिखा जिसमें आप बड़ी मात्रा में डेटा को जल्दी से चिह्नित कर सकते हैं, कुछ बुरे संकेत को उजागर कर सकते हैं, - Odnoklassnikov मॉडरेटर ( https://ok.ru/app/ मॉडरेटर )। ओके उपयोगकर्ताओं की मदद का लाभ उठाने का एक अच्छा तरीका जो सामग्री को अधिक सुखद बनाने की कोशिश करता है।


एक गेम जिसमें उपयोगकर्ता फ़ोन नंबर वाले फ़ोटो को चिह्नित करते हैं।

प्लेटफ़ॉर्म में विज्ञापनों की किसी भी कतार को खेल Odnoklassniki मॉडरेटर पर पुनर्निर्देशित किया जा सकता है। खेल के उपयोगकर्ता जो कुछ भी चिह्नित करते हैं, उसके बाद सत्यापन के लिए आंतरिक मध्यस्थों के पास जाता है। यह योजना आपको उन विज्ञापनों को ब्लॉक करने की अनुमति देती है जिनके लिए फ़िल्टर अभी तक नहीं बनाए गए हैं, और साथ ही साथ प्रशिक्षण नमूने भी बनाते हैं।

मॉडरेशन परिणामों का संग्रहण

हम मॉडरेशन के दौरान किए गए सभी निर्णयों को सहेजते हैं, ताकि बाद में हम उन घोषणाओं को संसाधित न करें जो पहले से ही एक निर्णय है।

विज्ञापन प्रतिदिन लाखों क्लस्टर बनाते हैं। समय के साथ, प्रत्येक क्लस्टर को "अच्छा" या "बुरा" का निशान मिलता है। प्रत्येक नया विज्ञापन या उसका संस्करण, चिह्न के साथ क्लस्टर में गिरना, स्वचालित रूप से क्लस्टर का संकल्प प्राप्त करता है। प्रति दिन ऐसे स्वचालित प्रस्तावों के लगभग 20 हजार।



यदि क्लस्टर को नई घोषणाएं प्राप्त नहीं होती हैं, तो इसे मेमोरी से हटा दिया जाता है, और इसके हैश और समाधान को अपाचे कैसेंड्रा को लिखा जाता है।

जब प्लेटफ़ॉर्म एक नई घोषणा प्राप्त करता है, तो यह पहले से पहले से ही बनाए गए लोगों के बीच एक समान क्लस्टर खोजने की कोशिश करता है और इससे निर्णय लेता है। यदि ऐसा कोई क्लस्टर नहीं है, तो प्लेटफ़ॉर्म कैसंड्रा में जाता है और वहां खोज करता है। मिल गया? महान, क्लस्टर के समाधान को लागू करता है और इसे युला को भेजता है। औसतन, इन "दोहराया" फैसलों में से 70,000 को भर्ती किया जाता है - कुल का 8%।

संक्षेप में देना

हम ढाई साल के लिए Odnoklassniki मॉडरेशन प्लेटफॉर्म का उपयोग करते हैं। हमें परिणाम पसंद हैं:

• हम स्वचालित रूप से प्रति दिन सभी विज्ञापनों का 94% मॉडरेट करते हैं।
  
• एक विज्ञापन की मॉडरेशन लागत 2 रूबल से 7 kopecks तक कम हो गई थी।
  
• तैयार उपकरण के लिए धन्यवाद, वे मध्यस्थों के प्रबंधन की समस्याओं के बारे में भूल गए।
  
• मध्यस्थों और बजट की समान संख्या के साथ मैन्युअल रूप से संसाधित विज्ञापनों की संख्या में 2.5 गुना वृद्धि हुई है। स्वचालित नियंत्रण के कारण मैन्युअल मॉडरेशन की गुणवत्ता में भी वृद्धि हुई है, और लगभग 0.5% त्रुटियों में उतार-चढ़ाव होता है।
  
• नए प्रकार के स्पैम को तुरंत फ़िल्टर करें।
  
• युला वर्टिकल की नई इकाइयों को मॉडरेशन से जल्दी कनेक्ट करें। 2017 से, यूल में रियल एस्टेट, जॉब्स और ऑटो के वर्टिकल सामने आए हैं।