विज्ञापन एक्सचेंज सर्वर - दूसरों के विपरीत

रीयल-टाइम बिडिंग (RTB) के हिस्से के रूप में विज्ञापन एक्सचेंज AdTech समाधानों में से एक है जो ऑनलाइन विज्ञापन बाजार को बदल रहे हैं। इसका मुख्य कार्य बड़ी संख्या में एसएसपी और डीएसपी को डॉक करना है जो एक दूसरे के बीच प्रत्यक्ष एकीकरण नहीं करते हैं, साथ ही साथ उनके बीच विभिन्न प्रकार के विज्ञापन ट्रैफ़िक को पुनर्व्यवस्थित करते हैं।

अमेरिकी बाजार के लिए एक आदेश के लिए धन्यवाद, हमने विज्ञापन एक्सचेंज प्लेटफॉर्म के निर्माण की बारीकियों में कदम रखा। और इस लेख में हम कुछ विचार और परिणाम प्रस्तुत करते हैं।

समस्या का बयान

रियल-टाइम बिडिंग (RTB) लक्षित दर्शकों के लिए प्रासंगिक विज्ञापन प्रदर्शित करने के लिए वास्तविक समय में साइटों पर विज्ञापन स्थान की बिक्री प्रदान करता है।

संक्षेप में, प्रक्रिया आरेख इस प्रकार है:

• अंतिम उपयोगकर्ता एक वेब पेज या मोबाइल एप्लिकेशन का अनुरोध करता है, जहां एक बैनर के लिए एक स्थान आरक्षित है (विज्ञापन सूची बेचने के लिए मंच का कोड बिल्ट-इन - एसएसपी, सप्लाई साइड प्लेटफॉर्म है);
• इन्वेंट्री की अधिकतम बिक्री मूल्य सुनिश्चित करने के लिए, एसएसपी विज्ञापन एक्सचेंज के माध्यम से विभिन्न डीएसपी (डिमांड साइड प्लेटफॉर्म) के बीच निविदाओं का आयोजन करता है, जिसका लक्ष्य इन्वेंट्री को सस्ते में खरीदना है;
• नीलामी के विजेता की घोषणा के बाद, विजेता डीएसपी एक एसएसपी बैनर कोड भेजता है, जो उपयोगकर्ता को प्रदर्शित किया जाता है;
• इस प्रक्रिया का एक और पक्ष डीएमपी है, एक तृतीय-पक्ष प्रणाली है जो खरीदारी के विस्तार और प्रस्तावित लागत को उचित ठहराने के लिए अंतिम उपयोगकर्ता (कुकीज़, आदि के रूप में एसएसपी द्वारा प्रेषित किया जा सकता है) के बारे में विस्तृत जानकारी के साथ डीएसपी प्रदान करता है।

आज बहुत से Ad Exchange Exchange हैं। इसके अलावा, कई एसएसपी अपनी खुद की बोली लगाते हैं (वास्तव में विज्ञापन एक्सचेंज की कार्यक्षमता को बंद करते हैं)। लेकिन हमारे ग्राहक को यकीन था कि कुछ नए विचारों के कारण वह बाजार में तेजी से प्रवेश कर सकते हैं और प्रतिस्पर्धा का सामना कर सकते हैं।

एक्सचेंज विभिन्न सिद्धांतों पर काम करते हैं: कोई बड़ा मार्जिन प्रदान करता है, कोई कम, कोई अद्वितीय उपकरण बेचता है, अन्य लोग सशर्त उपभोक्ता वस्तुओं पर ध्यान केंद्रित करते हैं। बाजार काफी युवा है और सक्रिय रूप से विकसित हो रहा है, इसलिए यहां वर्षों से परीक्षण किए गए कोई व्यावसायिक मॉडल नहीं हैं: सब कुछ बोल्ड परिकल्पना और प्रयोगों पर बनाया गया है। अधिकांश खिलाड़ी एक साधारण योजना के अनुसार काम करते हैं: उन्हें कई एसएसपी में से एक से एक अनुरोध प्राप्त होता है, जिसके साथ वे सहमत होने में सक्षम थे, और एक बेहतर शर्त की प्रत्याशा में सभी एकीकृत डीएसपी को भेजते हैं। विज्ञापन विनिमय राजस्व - एसएसपी और डीएसपी माइनस परिचालन लागत पर विज्ञापन सूची की खरीद और बिक्री मूल्य के बीच का अंतर।

हमारे ग्राहक ने डीएसपी को एसएसपी अनुरोधों को सही ढंग से वितरित करके इस योजना का अनुकूलन करने का सुझाव दिया - जानबूझकर "खोने" के अनुरोधों को नहीं भेजना, जिससे परिचालन लागतों को कम किया जा सके। इसके कारण, आप राजस्व खोए बिना विनिमय के कमीशन को कम कर सकते हैं, और एसएसपी और डीएसपी के लिए संघर्ष में विज्ञापन एक्सचेंज की प्रतिस्पर्धा के खिलाफ अपनी पेशकश को और अधिक आकर्षक बना सकते हैं। और अधिक भागीदारों को जोड़ने से बाजार में आय और स्थिरता दोनों मिलेंगे।

अमेरिकी बाजार में इस रणनीति को लागू करने के लिए, हमें विज्ञापन एक्सचेंज को अनुरोधों के एक चतुर वितरण के साथ बनाने का काम सौंपा गया था, जो कि एक अच्छा बायबैक प्रतिशत प्रदान करना था। सिद्धांत रूप में, इस तरह के वितरण के लिए, आप बहुत सी जानकारी का उपयोग कर सकते हैं जो अनुरोध के साथ, यहां तक ​​कि उपर्युक्त तृतीय-पक्ष सिस्टम (डीएमपी) के डेटा भी हैं। हालांकि, जटिल विश्लेषण के लिए संसाधनों की आवश्यकता होती है, इसलिए कार्य वास्तव में इसके वितरण से स्मार्ट वितरण की लागत और लाभ (बाजार के अन्य खिलाड़ियों की तुलना में) के बीच एक संतुलन खोजने के लिए है। अपेक्षाकृत नए अपरिपक्व बाजार में, बहुत जटिल समाधानों का निर्माण करना, अनुकूलन के दसियों को निचोड़ना, बस समझ में नहीं आता है।

एसएसपी द्वारा लगाई गई नीलामी की गति के लिए अपेक्षित उच्च भार के अलावा परियोजना की एक महत्वपूर्ण विशेषता गैर-कार्यात्मक आवश्यकताओं की पूर्ति थी। इस मार्केट सेगमेंट में पर्याप्त समय एसएसपी से 300 एमएस की प्रतिक्रिया की प्रतीक्षा करने का समय है, जिसे बाहरी सिस्टम (डीएसपी) पर कॉल के साथ मिलना था।

परियोजना 2016 के पतन में शुरू हुई। इस क्षेत्र में टीम के अनुभव के लिए धन्यवाद, तीन महीने के बाद हमने पहला प्रोटोटाइप बनाया, और तीन और एमवीपी (न्यूनतम व्यवहार्य उत्पाद) तैयार होने के बाद, जिसने हमें विज्ञापन एक्सचेंज के अंदर अनुरोधों के बुद्धिमान वितरण शुरू करने के लिए पहला विश्लेषिकी इकट्ठा करने की अनुमति दी।

एमवीपी के लॉन्च से पता चला कि परियोजना की व्यावसायिक सफलता के बारे में परिकल्पना सही है - विज्ञापन एक्सचेंज ने ग्राहक के लिए धन अर्जित करना शुरू किया। Ad Exchange की प्रारंभिक विकास योजनाओं में डेटा का गहन अध्ययन शामिल है - बाहरी सिस्टम से विश्लेषण तक उपयोगकर्ता की जानकारी को जोड़ना। लेकिन एमवीपी चरण में, एसएसपी के पास केवल डेटा का उपयोग करने का निर्णय लिया गया था। यह अपेक्षित लाभ कमाने के लिए पर्याप्त था।

समाधान वास्तुकला

समाधान जिम्मेदारी टेम्पलेट की श्रृंखला पर बनाया गया है, जो सिस्टम से अनुरोधों के मार्ग को ठीक करने की अनुमति देता है, आसानी से प्रोसेसर और विभिन्न सेवाओं को जोड़ते हुए, नीलामी से लेकर फ़िल्टरिंग टूल तक।



ग्राहक ने हमें इस्तेमाल की जाने वाली तकनीकों के ढेर में सीमित नहीं किया। इसलिए, भविष्य के विकास और परियोजना के समर्थन का ख्याल रखते हुए, हमने पोस्टग्रेज और हडोप का उपयोग करके एक क्षैतिज रूप से स्केलेबल समाधान बनाया।

Ad Exchange स्वयं जावा में लिखा है - एक ही समय में, हमने किसी भी फ्रेमवर्क का उपयोग नहीं किया, ताकि लोड में न गाया जाए (हमने निम्न स्तर पर काम किया)।
उल्लिखित SSP समय-सीमा के भीतर रखने के लिए, हमने कचरा संग्राहक मापदंडों (G1 का उपयोग किया गया था) का चयन किया और बड़ी संख्या में अनुरोधों के साथ समकालिक कार्य किया - हमने एक HTTP क्लाइंट का उपयोग किया, जो प्रवाह को अवरुद्ध नहीं करता है, साथ ही साथ में रखने वाले HTTP प्रोटोकॉल का एक विस्तार जो कई अनुरोधों को भीतर भेजने की अनुमति देता है। एक टीसीपी कनेक्शन।

सॉफ़्टवेयर घटकों को होस्ट से लीज़ किए गए हार्डवेयर पर तैनात किया जाता है, जैसे कार्य की शर्तों ने वर्चुअल क्लाउड मशीनों के अतिव्यापी संसाधनों के कारण क्लाउड के उपयोग की अनुमति नहीं दी (आवश्यक संसाधनों के आवंटन में समय लग सकता है, लेकिन हमारे पास यह नहीं है)। फिलहाल, Ad Exchange चार भौतिक सर्वरों का उपयोग करता है, जिनमें से एक निरर्थक है (सहज अपडेट के लिए, आदि)।

खुला स्रोत अपाचे काफ्का एक संदेश दलाल के रूप में उपयोग किया जाता है - यह आदर्श रूप से हमारे "एक ग्राहक - कई प्रकाशक" मॉडल में एकीकृत होता है, हालांकि इसे थोड़ा मोड़ना पड़ता था ताकि दोहराया संदेश न आए।

प्रत्येक सर्वर सामान्य मोड प्रसंस्करण में प्रति सेकंड लगभग 10 हजार अनुरोध प्रदान करता है (इन मापदंडों को समाधान के विकास के दौरान नीचे रखा गया था)। अब औसत लोड 15-20 हजार अनुरोध प्रति सेकंड है, और चरम पर अनुरोध प्रवाह कई घंटों के लिए 40 हजार प्रति सेकंड तक पहुंच गया, और विज्ञापन एक्सचेंज ने इस पर बहुत अच्छा काम किया।

सर्वर के बीच अनुरोधों का वितरण nginx सॉफ्टवेयर लोड बैलेंसर द्वारा किया जाता है, जिसे हमारे कार्य के लिए कॉन्फ़िगर किया गया है। हमारे अनुभव में, एक अलग हार्डवेयर बैलेंसर को आवंटित किए बिना, नगनेक्स पर आप प्रति सेकंड 60-70 हजार अनुरोध रख सकते हैं। अगर भविष्य में विज्ञापन एक्सचेंज पर भार इस सीमा से ऊपर होगा, तो हम एक हार्डवेयर बैलेंसर खरीदने की योजना बनाते हैं जो एक ही प्रकार के नगनेक्स के बीच अनुरोधों को वितरित करेगा।

यह मॉनिटर करता है कि क्या हो रहा है, लोड में लगातार वृद्धि के अधीन, एक निगरानी प्रणाली, जो निर्मित विज्ञापन एक्सचेंज का हिस्सा है।

कोष

क्वेरी वितरण के दौरान एनालिटिक्स पर निर्भरता को देखते हुए, डेटाबेस हमारे विज्ञापन एक्सचेंज का एक अभिन्न हिस्सा है। सिस्टम बोली, नीलामी प्रतिभागियों और लेनदेन के बारे में जानकारी संग्रहीत करता है।

ऐड एक्सचेंज की पूरी अवधि के लिए इस तरह के डेटा को इकट्ठा करने का कोई मतलब नहीं है, इसलिए भंडारण में एक बहु-स्तरीय वास्तुकला है। सभी नीलामी डेटा प्रति सप्ताह संग्रहीत किया जाता है। उनके आधार पर, उच्च-स्तरीय मध्यवर्ती इकाइयाँ बनाई जाती हैं, जो कई महीनों तक संग्रहीत की जाती हैं। और मध्यवर्ती लोगों के आधार पर, अंतिम समुच्चय का उपयोग किया जाता है, जिसका उपयोग दीर्घकालिक एनालिटिक्स और एसएसपी और डीएसपी के साथ सामंजस्य के लिए किया जाता है। इन इकाइयों में अन्य सूचनाओं के बीच यह भी डेटा है कि कितने दांव लगाए गए हैं और एक्सचेंज कितना पैसा एसएसपी को देगा या डीएसपी से प्राप्त करने की उम्मीद करेगा।
एंडपॉइंट्स विज्ञापन एक्सचेंज की पूरी अवधि के लिए संग्रहीत किए जाते हैं।

विश्लेषिकी का संग्रह और समुच्चय का गठन अलग-अलग सेवाएं प्रदान करता है।

ताकि भंडारण स्वयं सिस्टम की गति के अनुरूप हो, मुझे भी इसके साथ काम करना था। विशेष रूप से, कुछ समय के लिए हमने छात्रावास के साथ संघर्ष किया, क्योंकि लेन-देन डेटा के पास डेटाबेस को लिखने का समय नहीं था। यह पता चला है कि दोष RAID सरणी के साथ एक हार्डवेयर समस्या थी। इसकी जगह लेने के बाद, हम Postgres (डेटाबेस में डेटा डालकर) पर प्रति सेकंड 90,000 अनुरोधों को निचोड़ने में सक्षम थे।

शेष विज्ञापन एक्सचेंज स्टेटलेस है, जो भविष्य में आसान क्षैतिज स्केलिंग प्रदान करता है। यह अनुरोधों पर कोई डेटा संग्रहीत नहीं करता है - अधिकतम प्राप्त जानकारी जिसके बारे में डीएसपी को चुना जाना चाहिए। ताकि हम आवश्यकतानुसार अनुरोधों को संसाधित करने के लिए नए सर्वर जोड़ सकें।

ट्रैफ़िक फ़िल्टरिंग

सिस्टम का एक प्रमुख तत्व जो आपको लोड को कम करने और ग्राहक द्वारा बताए गए टाइमआउट के भीतर रखने की अनुमति देता है, ट्रैफ़िक फ़िल्टरिंग है।

हाथ में कार्य के अनुसार, कोई भी विज्ञापन एक्सचेंज:

• एसएसपी से अनुरोध स्वीकार करता है;
• एक नीलामी आयोजित करता है (कई डीएसपी को अनुरोध भेजता है, पेशकश की गई कीमतों की तुलना करता है, विजेता की पहचान करता है);
• एसएसपी की जीत से सहमत हैं (विजेता के कमीशन की कीमत की रिपोर्ट करता है, शो की अंतिम कीमत के साथ प्रतिक्रिया का इंतजार करता है);
• लेन-देन को पूरा करता है (अपनी जीत के बारे में आवश्यक डीएसपी को रिपोर्ट करता है, उपयोगकर्ता यातायात का संचालन करता है)।

हमारे विज्ञापन एक्सचेंज में स्मार्ट अनुरोध वितरण नीलामी के प्रारंभिक चरण में शामिल है।

जब हमें कुछ जानकारी (IP, उपयोगकर्ता एजेंट) के साथ SSP से एक अनुरोध प्राप्त होता है, तो हम इसे सिस्टम में संचित जानकारी - उपयोगकर्ता के बारे में ज्ञात डेटा, डीएसपी की एक सूची जिसमें समान अनुरोध भेजे गए थे, उनकी प्रतिक्रियाएं आदि का उपयोग करके विस्तार से बताते हैं। प्रत्येक अनुरोध के लिए डीएसपी के सबसे लाभप्रद संयोजन का चयन करना आवश्यक है। इस तरह के संयोजन के चयन के लिए धन्यवाद, सिस्टम आपको उन डीएसपी को अनुरोध भेजने की अनुमति नहीं देता है जो बोली या नहीं करते हैं, लेकिन बहुत कम हैं। ऐसा करने के लिए, वास्तविक समय में एक अलग सेवा मैप का संकलन करती है कि डीएसपी अनुरोधों का जवाब कैसे देता है (ये कार्ड रेडिस में संग्रहीत हैं)।

समानांतर में, हम डीएसपी की स्थिति की जांच करते हैं - यदि टाइमआउट के भीतर प्रतिक्रियाओं का अनुपात गिरता है, तो सिस्टम स्वचालित रूप से इस डीएसपी के लिए अनुरोधों की संख्या कम कर देता है। जैसे ही डीएसपी पर लोड कम हो जाता है (और स्वीकार्य समय में सही उत्तरों का अनुपात बढ़ रहा है), अनुरोधों की संख्या धीरे-धीरे अपने पिछले स्तर पर लौट आती है।

समय पर जवाब देने वाले डीएसपी में, हम एक आंतरिक नीलामी आयोजित करते हैं - सबसे अच्छे प्रस्ताव का चयन करें और इसे एसएसपी को भेजें। एसएसपी से अनुरोध के समय से, हमारी प्रतिक्रिया के अनुसार, उद्योग की आवश्यकता के अनुसार, 300 से अधिक एमएस पास नहीं होते हैं।

चूंकि हम एसएसपी को डेटा भेजते हैं, जहां हमारी नीलामी होती है, हमें वहां बोली लगाने पर विचार करना होगा। उपयोगकर्ता ट्रैफ़िक को संसाधित करते समय नीलामी सर्वर अगले चरण में पहले से ही अपने लॉगिंग में लगा हुआ है। उसके लिए धन्यवाद, डीएसपी प्रतिक्रिया मानचित्र नए डेटा (अंत उपयोगकर्ता के बारे में एकत्रित जानकारी के साथ) के साथ समृद्ध है।

नीलामी चरण में प्राप्त डेटा की तुलना और उपयोगकर्ता ट्रैफ़िक से ज्ञात पैरामीटर हमें बॉट्स (विज्ञापन क्लिकर्स, सर्च बॉट्स आदि) को फ़िल्टर करने की अनुमति देता है। इस तरह के ट्रैफ़िक को डीएसपी द्वारा भुनाया नहीं जाता है, और अपने स्वयं के फ़िल्टरिंग सिस्टम की अनुपस्थिति में, यह क्लाइंट के नुकसान में बदल जाता है, जिसे मार्जिन द्वारा कवर करना होगा।

यह ध्यान दिया जाना चाहिए कि बॉट ट्रैफिक फ़िल्टरिंग तुरंत शुरू नहीं किया गया था। लेकिन साधारण तालों को शामिल करने के बाद, मार्जिन का लाभ लगभग 50% था।

वैसे, हमारे सिस्टम में स्वचालित ट्रैफ़िक फ़िल्टरिंग टूल के अलावा, ग्राहक के लिए कई मापदंडों की सीमा मानों को मैन्युअल रूप से बदलना संभव है, इस प्रकार मार्जिन को समायोजित करना।

उपयोगकर्ता ट्रैफ़िक हमारे लिए महत्वपूर्ण है, लेकिन जब इसे संसाधित किया जाता है, तो इसे 300 एमएस में फिट करना आवश्यक नहीं है। यह एक अलग प्रसंस्करण प्रणाली का उपयोग करता है, जो उपयोगकर्ता को थोड़ा पकड़ सकता है, लेकिन इस अनुरोध को खोने की अनुमति नहीं देगा।

समाधान की स्थिरता सुनिश्चित करने के लिए, एक सबसिस्टम पेश किया गया था, जो वर्तमान विज्ञापन विनिमय भार को समझते हुए, नीलामी के लिए अनुरोधों को "काट" देता है, जिसे वह शारीरिक रूप से संसाधित नहीं कर सकता है। इस प्रकार, एसएसपी से अनियंत्रित लोड वृद्धि से सिस्टम सुरक्षित है।

संभावनाओं

आज तक, विज्ञापन एक्सचेंज ने हमारे द्वारा बनाए गए कार्यों और अच्छा लाभ कमाया है। और हम आवश्यक के रूप में नए भागीदारों (डीएसपी / एसएसपी) का समर्थन और एकीकरण प्रदान करते हैं। कुल मिलाकर, कई दर्जन प्रणालियां पहले ही एकीकृत हो चुकी हैं। इस तरह के प्रत्येक एकीकरण का तात्पर्य न केवल सॉफ्टवेयर कनेक्शन से है, बल्कि सेवा का व्यापक परीक्षण भी है, क्योंकि भारी लोड के तहत कनेक्टेड सेवा की समस्याएं अन्य भागीदारों को प्रभावित कर सकती हैं।

सामान्य तौर पर, बाजार इस तथ्य की ओर बढ़ रहा है कि एसएसपी और डीएसपी सीधे जुड़ेंगे, जो एक्सचेंजों को अनावश्यक बना देगा। लेकिन एकीकरण एसएसपी और डीएसपी की क्षमताओं पर निर्भर करता है। खुले वर्णित एपीआई (ओपनआरटीबी प्रोटोकॉल) के अस्तित्व के बावजूद, यह अभी तक बाजार पर सार्वभौमिक रूप से मान्यता प्राप्त नहीं है। उदाहरण के लिए, Appnexus जैसे एक प्रमुख खिलाड़ी ने हाल ही में OpenRTB के लिए एकीकृत समर्थन किया है।

अनिवार्य रूप से, Ad Exchange एक तरलता प्रदाता है। इसलिए निकट भविष्य में निर्णय इसकी प्रासंगिकता खोने की संभावना नहीं है। इसके अलावा, एक्सचेंज मॉडल केवल विज्ञापन बाजार के बाकी हिस्सों में लोकप्रियता हासिल कर रहा है।

---

लेख लेखक: निकोले एरेमिन

पुनश्च हमने अपने लेख रनेट की कई साइटों पर प्रकाशित किए हैं। वीके , एफबी या टेलीग्राम-चैनल पर हमारे सभी प्रकाशनों और अन्य मैक्सिलैक्ट समाचारों के बारे में जानने के लिए हमारे पेज की सदस्यता लें।