उपयोगकर्ता के हितों की पहचान करने के लिए Instagram पर क्रॉस-समुदाय की पहचान करें

सोशल नेटवर्क पर एक प्रोफ़ाइल किसी व्यक्ति के बारे में कितना बता सकती है? फोटो, पोस्ट, टिप्पणियां, सदस्यता - विश्लेषण के लिए एक अछूता क्षेत्र। आज हम बात करते हैं कि हम अपने इंस्टाग्राम सब्सक्रिप्शन के आधार पर उपयोगकर्ताओं के हितों का निर्धारण कैसे करते हैं।

स्रोत

स्पष्ट दृष्टिकोण किसी व्यक्ति की सदस्यता को वर्गीकृत करना है। उदाहरण के लिए, उपयोगकर्ता इवान की सदस्यता के बीच हमने दो ऑटोब्लॉगर और तीन खातों को मजाकिया चित्रों के साथ पाया, बाकी प्रोफाइल विषयगत नहीं हैं (हम मानते हैं कि ये मित्र, रिश्तेदार, सहकर्मी, आदि हैं)। इससे हम निष्कर्ष निकालते हैं: इवान एक हंसमुख व्यक्ति है, कारों का शौकीन है। लाभ। हमें केवल पत्राचार "ब्लॉगर + सामग्री थीम" की आवश्यकता है, लेकिन यहां सब कुछ इतना सरल नहीं है।

ब्लॉगर कौन है? इंस्टाग्राम पर एक ब्लॉगर एक नियमित खाते से अलग नहीं है (और सामान्य तौर पर, यह मन की स्थिति जैसा है)। आदर्श रूप से, हम लाइव दर्शकों की एक बड़ी हिस्सेदारी के साथ विषयगत खातों में रुचि रखते हैं, जबकि हम केवल ग्राहकों की संख्या में कटौती नहीं करना चाहते हैं, हम कुछ याद कर सकते हैं।

एक अच्छी टैक्सोनॉमी कहाँ से प्राप्त करें? यदि आप स्वयं श्रेणियों के साथ आते हैं, तो कुछ दिलचस्प "विभिन्न चीजों" में खो जाना निश्चित है, और जब सब कुछ तैयार हो जाता है, तो यह पता चलता है कि श्रेणियां बहुत व्यापक हैं। हम एक प्राकृतिक विभाजन प्राप्त करना चाहते हैं, और इसलिए हम ब्लॉगर्स को क्लस्टर करेंगे।

क्या एक ब्लॉगर कई श्रेणियों से संबंधित हो सकता है? बस ऐसे ही! बहुत बार, वह एक साथ एक स्विस, एक रीपर, और एक ड्यूड खेलता हुआ दोस्त (साथ ही यात्रा, जीवन शैली, पत्नी और माँ) है।
इसलिए, हमें बहुत बड़ी संख्या में ब्लॉगर्स के साथ एक डेटासेट की आवश्यकता होती है और आउटपुट पर क्लस्टर को इंटरसेक्ट करने के साथ क्लस्टरिंग एल्गोरिथ्म।

यह सब कैसे शुरू हुआ

हमें उन ग्राहकों से संपर्क करना है जो अपने विज्ञापनों को सबसे प्रभावी रूप से इंस्टाग्राम पर राय नेताओं के साथ रखना चाहते हैं। कभी-कभी ब्लॉगर्स की एक सूची होती है, और फिर हम अनुकूलन समस्या को हल करते हैं - कम पैसे के लिए अधिक लोगों तक पहुंचने के लिए, और कभी-कभी कोई सूची नहीं होती है और प्रासंगिक ब्लॉगर्स को खोजने की आवश्यकता होती है। इस बार उन्होंने नेत्र चिकित्सकों के प्रोफाइल की खोज की।

हमने अनुशंसा प्रणाली के समान एक दृष्टिकोण का उपयोग किया:

1. अपने हाथों से 3-7 उपयुक्त प्रोफ़ाइल चुनें ("मुख्य समुदाय")
   
   
   
   
2. ग्राहकों के प्रतिच्छेदन का उपयोग करते हुए, हम उन लोगों की पहचान करते हैं जो विषय में रुचि रखते हैं ("उत्साही")
   
   
   
   
3. हम "उत्साही" लोगों की सदस्यता में नए डॉक्टरों की तलाश कर रहे हैं
   
   
   
   
   
4. यदि आवश्यक हो, तो 1-3 चरण दोहराएं (नए डॉक्टरों को "कोर" में जोड़कर या इसे बदलकर)
   

अब एक उदाहरण पर विस्तार से।

चरण 1. एक Instagram खोज का उपयोग करके, हमने रूस के विभिन्न क्षेत्रों के नेत्र रोग विशेषज्ञों के 6 खातों का चयन किया:


सूची काफी यादृच्छिक है, लेकिन यह हमारे लिए पर्याप्त था कि ब्लॉग वास्तव में विषय से मेल खाता है और ग्राहक 1000 लोगों से कम नहीं हैं।

चरण 2. सभी ग्राहकों को पार करने के बाद, हम वितरण को देखते हैं।

हुर्रे! चौराहे हैं।

इसके अलावा, दो लोग हैं जो सभी छह प्रोफाइलों के सदस्य हैं! तो, अब आपको यह निर्धारित करने की आवश्यकता है कि हम किसे "उत्साही" नेत्र विज्ञान मानते हैं। हमने फैसला किया कि हम सभी को लेते हैं, तीन सदस्यता के साथ शुरू करते हैं। जैसा कि वे कहते हैं, 1 समय एक दुर्घटना है, 2 बार एक संयोग है, 3 एक नियमितता है। इस प्रकार, 131 (2 + 3 + 24 + 102) "उत्साही" उपयोगकर्ता पाए गए।

चरण 3. "उत्साही" लोगों की सदस्यता डाउनलोड करें और फिर से हर संभव तरीके से एकत्र करें।


हमें खातों की एक प्रभावशाली सूची मिली है, जिसमें से अब हम नए नेत्र रोग विशेषज्ञों का चयन करेंगे। दाहिने कॉलम से पता चलता है कि दूसरे चरण में चुने गए 131 लोगों में से कितने प्रोफ़ाइल में सदस्य हैं। शीर्ष में हमारे मूल छह से प्रोफाइल थे, जो आश्चर्य की बात नहीं है। यदि हम अब दहलीज का चयन करते हैं और कहते हैं: "दस से अधिक की गणना मूल्य वाले सभी प्रोफाइल नए डॉक्टर हैं", तो हम ओल्गा बुज़ोवा जैसे लोकप्रिय खातों को नेत्र रोग विशेषज्ञों को जिम्मेदार ठहराते हैं और एक ही समय में छोटे, लेकिन प्रासंगिक प्रोफाइल खो देते हैं, इसलिए एक और जोड़ें ग्राहकों की संख्या को स्तंभित करें और ग्राहकों के बीच उत्साही उपयोगकर्ताओं के प्रतिशत की गणना करें।


सुविधा के लिए, अंश को 100 से गुणा किया जाता है (इसलिए शेयर वास्तव में प्रतिशत है)। नतीजतन, हालत गिनती के साथ> = 6 और शेयर> = 0.05, 166 नए नेत्र रोग विशेषज्ञ प्राप्त हुए। क्लास!

चरण 4. 172 खाते समुदाय के नए "कोर" बन गए, इससे लगभग 500 और नए नेत्र रोग विशेषज्ञों को खोजने में मदद मिली, लेकिन परिणाम पहले ही विदेशी खातों में स्थानांतरित कर दिया गया।

इंस्टाग्राम सिफारिशों में इसी तरह के खाते

यह सब दिलचस्प है, निश्चित रूप से, और अब हम जानते हैं कि कैसे उन खातों को ढूंढना है जो एक-दूसरे के समान हैं, लेकिन हम अभी भी श्रेणियों में सभी इंस्टॉलरों के टूटने का सपना देखते हैं। और फिर यह विचार मेरे दिमाग में तैयार इंस्टाग्राम की सिफारिशों को देखने के लिए आया।


तथ्य यह है कि विषयगत खातों की सिफारिशें हैं, लेकिन सामान्य लोग नहीं करते हैं। यहां इस सवाल का जवाब दिया गया है कि ब्लॉगर्स और माइनस में से कौन एक को सिरदर्द मानता है। हुर्रे!

सिफारिशों में, एक ब्लॉगर में 80 समान प्रोफ़ाइल हैं। हमारे पास 1000 रूसी ब्लॉगों की एक सूची थी, हमने इसके साथ शुरुआत की। उन्होंने समान लिया, फिर समान, फिर ... ठीक है, आप समझते हैं :)

योजना यह थी कि किसी दिन यह प्रक्रिया समाप्त हो जाएगी, क्योंकि सैकड़ों ग्राहकों के साथ छोटे प्रोफाइल सिफारिशों में शामिल नहीं होंगे, लेकिन वास्तव में जब धैर्य समाप्त हो गया तो हम रुक गए। आप हमेशा डेटासेट एकत्र करना जारी रख सकते हैं, लेकिन अभी तक यह काम नहीं आया है, उच्च संभावना के साथ हमने लगभग सभी रूसी ब्लॉगर्स को कवर किया है, और ठीक है।

अब हमारे पास 3,428,453 कोने (ब्लॉगर्स) और 96,967,974 किनारों (एक दूसरे से दो ब्लॉगर्स की समानता) के साथ एक ग्राफ है।

इस तरह हमारा ग्राफ बहुत छोटे नमूने पर दिखता है

वैसे, यह पता चला है कि हम इस दृष्टिकोण को चुनने वाले पहले व्यक्ति नहीं थे ।

जाहिरा तौर पर, इंस्टाग्राम पर सिफारिशें इस आधार पर बनाई जाती हैं कि इस प्रोफाइल के अनुयायी अभी भी किसका अनुसरण कर रहे हैं, इसलिए ब्रायस्क के डॉक्टर की सिफारिशों में लोकप्रिय ब्रायस्क खाते और अन्य डॉक्टर होंगे। यह नेत्र रोग विशेषज्ञों के लिए हमारी खोज के समान है, लेकिन अब हम उन सभी समुदायों को ध्यान में रख सकते हैं, जो ब्लॉगर उसी समय के हैं। साथ ही, प्रसंस्करण की गति काफी बढ़ जाती है, क्योंकि सभी ब्लॉगर के ग्राहकों का विश्लेषण करने की आवश्यकता नहीं है, यह केवल 80 अनुशंसित खाते लेने के लिए पर्याप्त है।

एल्गोरिथम का चयन और विवरण

बहुत बढ़िया! डेटा तैयार किया गया है, अब हमें एक उपकरण और एक एल्गोरिथ्म चुनने की आवश्यकता है जो इतने बड़े ग्राफ के साथ सामना कर सकते हैं, अधिमानतः पर्याप्त समय में। आपको याद दिला दूं कि आउटपुट में हम उन समुदायों का एक समूह प्राप्त करना चाहते हैं जहां एक ब्लॉगर उनमें से कई से संबंधित हो सकता है।

हमने स्टैनफोर्ड नेटवर्क एनालिसिस प्लेटफॉर्म (SNAP) लाइब्रेरी का विकल्प चुना

स्टैनफोर्ड नेटवर्क विश्लेषण प्लेटफ़ॉर्म (SNAP) एक सामान्य उद्देश्य नेटवर्क विश्लेषण और ग्राफ़ खनन पुस्तकालय है। यह सी ++ में लिखा गया है और आसानी से सैकड़ों लाखों नोड्स, और किनारों के बड़े पैमाने पर नेटवर्क के लिए तराजू है। यह कुशलतापूर्वक बड़े रेखांकन में हेरफेर करता है, संरचनात्मक गुणों की गणना करता है, नियमित और यादृच्छिक रेखांकन उत्पन्न करता है, और नोड्स और किनारों पर विशेषताओं का समर्थन करता है।

हमारा ध्यान AGMfit एल्गोरिथ्म (AGM - Affilated Graph Model) द्वारा आकर्षित किया गया था, और अंत में हमने BIGCLAM (बिग नेटवर्क के लिए क्लस्टर संबद्धता मॉडल) का उपयोग किया। वे केवल पहले मामले में इसमें भिन्न होते हैं, अनुकूलन समस्या का हल दहनशील रूप से किया जाता है, जो इसे कम मापनीय बनाता है, और दूसरा आपको हमारे जैसे ग्राफ़ को खिलाने की अनुमति देता है।

मुख्य और बल्कि सहज विचार: अधिक से अधिक दो नोड्स में आम समुदाय होते हैं, इन दो नोड्स के बीच संचार की संभावना अधिक होती है। दोनों एल्गोरिदम Affilated Graph मॉडल पर आधारित हैं, तो आइए इस पर अधिक विस्तार से ध्यान दें:

मान लीजिए हमारे पास एक द्विदलीय ग्राफ है जिसमें गोल चोटियां समुदाय हैं ( $$$ए$ और $$$ब$ ), और वर्ग - सामाजिक नेटवर्क के उपयोगकर्ता और प्रत्येक व्यक्ति ( $$$यू$ ) विशिष्ट भार वाले विभिन्न समुदायों को संदर्भित करता है ( $$$F_ {uA}$ और $$$F_ {uB}$ )। अधिक से अधिक वजन, अधिक से अधिक संभावना है कि प्रतिभागी समुदाय के अन्य सदस्यों के साथ (परिचित) जुड़ा हुआ है।


उदाहरण: एक ही विश्वविद्यालय में पढ़ने वाले सहकर्मी एक-दूसरे को इंस्टाग्राम पर फॉलो करते हैं। वे दोनों एक ही विश्वविद्यालय (समुदाय 1) के स्नातक हैं और एक ही कंपनी (समुदाय 2) में काम करते हैं, हम नहीं जानते कि नेटवर्क पर "दोस्ती" का कारण क्या हुआ और कब मिले। एक को केवल विश्वविद्यालय से स्नातक होने दें और एक नौकरी प्राप्त करें, और दूसरा स्नातक पांच साल पहले और इस समय कंपनी में काम कर रहा है, तो पहले समुदाय 1 से संबंधित का वजन अधिक होगा, और समुदाय 2 कम और इसके विपरीत।

कुछ लोगों के प्रत्येक सामान्य समुदाय के लिए, हमें परिचित होने का एक स्वतंत्र मौका मिलता है:

$$

$$1 - ऍक्स्प (-F_ {uc} \ cdot F_ {vc})$$

इस प्रकार, जितने अधिक आम समुदाय हैं, उतनी ही अधिक संभावना है कि वे एक-दूसरे को जानते हैं:

$$

$$1 - exp (- \ sum_c F_ {uc} \ cdot F_ {vc})$$

यदि हम प्रत्येक जोड़ी के उपयोगकर्ताओं के बीच एक कनेक्शन की संभावना की गणना करते हैं, तो आउटपुट पर हमें एक ग्राफ मिलता है जहां कोने लोग होते हैं और उनके बीच के किनारे एक दूसरे के परिचित या सदस्यता के तथ्य होते हैं।

इस प्रकार, बाईं ओर के दृश्य से, हम दाईं ओर की तस्वीर में चले गए।


अब आइए समझते हैं कि सामुदायिक खोज में इस मॉडल का उपयोग कैसे किया जाता है।

हमारे पास समान ब्लॉगर्स का ग्राफ है और हमारा लक्ष्य खोज करना है $$$K$ सबसे उपयुक्त वजन मैट्रिक्स का चयन करके, ऊपर वर्णित मॉडल का उपयोग करने वाले समुदाय $$$एफ$ (इसका आयाम $$$एन$ पर नोड्स $$$K$ समुदाय) ताकि आउटपुट पर प्राप्त ग्राफ हमारे मूल के समान हो। यह संभावना फ़ंक्शन को अधिकतम करके किया जाता है।

$$

$$l (F) = log P (G | F)$$

और फिर भी इस पूरी चीज को एक गैर-नकारात्मक मैट्रिक्स अपघटन के रूप में दर्शाया जा सकता है, जो एजीएमएफएफटी की तुलना में बीआईजीसीएलएएम एल्गोरिदम की मापनीयता में एक प्लस देता है।

यहाँ और यहाँ पढ़ें।

सामुदायिक नंबर और लॉन्च

BIGCLAM में, आप समुदायों की सही संख्या और अंतराल दोनों को निर्दिष्ट कर सकते हैं। एल्गोरिथ्म प्रति परीक्षण नोड्स के 20% जोड़े का चयन करता है, और 80% विभिन्न समुदायों के साथ मॉडल के लिए उपयुक्त है।

हमने किनारों की सूची के साथ एक इनपुट फ़ाइल बनाई और उसे चलाया:

./bigclam -o:bloggers -i:query_graph_all.edgelist -c:-1 -nc:20 -mc:50000 -xc:200000 -nt:10 

पैरामीटर आपको प्रयासों की संख्या, समुदायों की न्यूनतम और अधिकतम संख्या (या सटीक, यदि आवश्यक हो), समानांतरकरण के लिए थ्रेड्स की संख्या और आउटपुट फ़ाइलों के उपसर्ग को निर्दिष्ट करने की अनुमति देता है। हमारे मामले में, हम 10 थ्रेड्स पर 20 प्रयासों के साथ 50 से 200 हजार समुदायों से अंतराल सेट करते हैं। इस सभी वैभव को पांच दिनों में 2 Intel® Xeon® Gold 6150 CPU @ 2.70GHz पर गिना गया। आउटपुट को दो फाइलें मिलीं, एक गेफी के लिए, दूसरा पाठ, जिसमें प्रत्येक पंक्ति एक समुदाय है।

वास्तव में, हमने एल्गोरिथ्म को दो बार चलाया और पहली बार 50 हजार समुदायों की ऊपरी सीमा में चला गया, परिणाम बुरा नहीं था, लेकिन मिश्रित समुदाय अक्सर सामने आए। इस बार हम फिर से 200 हजार समुदायों के अधिकतम मूल्य पर पहुंच गए, लेकिन वे बहुत बेहतर थे, और हम उस पर रुक गए। आप शायद बेहतर परिणाम प्राप्त कर सकते थे, लेकिन दो सौ हजार अनाम समुदायों ने हमारी कल्पना को डरा दिया।

सुंदर चित्र

अब इस सब से क्या लेना-देना?

एक ओर, परिणामी समुदाय हमें जल्दी से ब्लॉगर्स के संकीर्ण समूहों (जैसे नेत्र रोग विशेषज्ञों के साथ) की खोज करने में मदद करते हैं। यदि उदाहरण के रूप में ब्लॉगर्स की एक जोड़ी है, तो हम उन सभी समुदायों को लेते हैं जिनमें वे हैं, अनावश्यक लोगों को छोड़ दें और यह है। आप नाम से एक खोज का उपयोग कर सकते हैं, उदाहरण के लिए, सजावट और आंतरिक डिजाइन के बारे में समुदायों में से एक:


दूसरी ओर, उपयोगकर्ताओं के हितों को निर्धारित करने के लिए, इन सभी समुदायों को किसी भी तरह से सार्थक रूप से कहा जाना चाहिए। या हो सकता है कि सभी आवश्यक न हों।

सनकी

दुर्भाग्य से, प्राप्त सभी समुदाय समान रूप से अच्छे नहीं हैं, और सबसे दिलचस्प लोगों को खोजने के लिए, हमने उसी एसएनएपी लाइब्रेरी से सीआरक प्राथमिकता प्राथमिकता पद्धति का उपयोग करने का प्रयास करने का फैसला किया। इसे ग्राफ की संरचना के आधार पर प्रत्येक समुदाय के रैंक से स्वचालित रूप से मिलान करने के लिए डिज़ाइन किया गया है: जितना अधिक मूल्य, उतना बेहतर समुदाय।

कार्यक्रम के इनपुट पर, हम पहले पाए गए समुदायों को प्रस्तुत करते हैं, उनमें से प्रत्येक के लिए प्राथमिकता मैट्रिक्स की गणना की जाती है (4 टुकड़े), फिर इन मैट्रिक्स को एकत्र किया जाता है, और हमें एक अनुमान मिलता है।


और पढ़ें यहाँ

लांच

 ./crank -i:bloggers_cmtyvv.txt -c:query_graph_all.edgelist -o:bloggers_prioritization.txt 

लॉन्च के दौरान, उन्हें Ubuntu 18.04 के साथ संगतता समस्या का सामना करना पड़ा, वे यहां एक समाधान पेश करते हैं ।

चूँकि हमारे ब्लॉगर्स_cmtyvv.txt सामुदायिक फ़ाइल और किनारों की क्वेरी_graph_all.edgelist सूची में शुरू में उपनाम (प्रकार के स्ट्रिंग) थे, इसलिए हमें उन्हें हैश करना पड़ा ताकि यह अंतर हो, अन्यथा क्रैंक शपथ।

आइए देखें कि यह एक उदाहरण के साथ कैसे काम करता है:

हम कई समुदायों का चयन करेंगे जहां ऐसे प्रोफाइल हैं, जिनमें नियोजित रूप में स्ट्रिंग "lokomotiv" है, जैसा कि यह है, यह लोकोमोटिव क्लब के फुटबॉल प्रशंसकों का समुदाय होना चाहिए, और आइए देखें कि यह वास्तव में क्या है। समुदाय के सदस्यों को लाल रंग में चिह्नित किया जाता है, प्रत्येक तस्वीर के नीचे एक समान स्कोर होता है।

समुदाय 1, स्कोर 0.4
समुदाय 2, स्कोर 0.41
समुदाय 3, स्कोर 0.34
समुदाय 4, स्कोर 0.13

फिर, इस उपसमूह से सभी प्रोफाइलों को देखने के बाद, हम उन लोगों का चयन करते हैं जो वास्तव में वांछित समुदाय से हैं, यह इस तरह निकला:

यह पता चलता है कि पहले दो समुदायों में वास्तव में हम क्या चाहते हैं, लगभग बिना त्रुटियों (रूसी फुटबॉल टीम की प्रोफ़ाइल को छोड़कर), तीसरा समुदाय अच्छा है, लेकिन पहले दो की तुलना में कम खाते शामिल हैं, इसलिए स्कोर छोटा है, और चौथा समुदाय, हालांकि इसमें एक फुटबॉल विषय पर खाते शामिल हैं (यहां अन्य क्लबों के खिलाड़ी, उनकी पत्नियां और प्रबंधक) हैं, लेकिन इसके अनुसार, यह हमारे अनुरूप नहीं है।
हम यह निष्कर्ष निकाल सकते हैं कि सीआरंक काफी अच्छा काम करता है।

रंग और परिणामों के लिए मैनुअल अंकन।

उपयोगकर्ताओं द्वारा रुचियों को रंगने की समस्या को हल करने के लिए, हम पदों के ग्रंथों का विश्लेषण भी करते हैं और हम यह देखना चाहते हैं कि परिणाम बेहतर कहाँ है / अधिक रोचक (ग्रंथों में या ग्राहकी में) और क्या इसमें कोई मेल हैं। लोगों के एक छोटे से नमूने के लिए, लगभग 800 समुदायों को स्वतंत्र रूप से लेबल करना पड़ा। हम परिणाम से अधिक संतुष्ट थे और फैसला किया कि इस दृष्टिकोण को विकसित किया जाना चाहिए। समुदाय का पता लगाने की विधि आपको बहुत संकीर्ण और असामान्य ब्याज श्रेणियों को खोजने की अनुमति देती है, उदाहरण के लिए, चूहे प्रोफाइल (छोटे ग्रे कृन्तकों के अर्थ में) और अन्य आश्चर्यजनक चीजों की सदस्यता, आप यह पता लगा सकते हैं कि किसी व्यक्ति को किस तरह के खेल में दिलचस्पी है, और सब कुछ "चरम" श्रेणी में धकेल दें। और इसी तरह

हमने संभवतः सभी 200 हज़ार समुदायों को चिह्नित नहीं किया है, लेकिन शायद हम CRank परिणामों के साथ खेलते हैं और केवल उच्च गति वाले समुदायों को छोड़ देते हैं, और शायद हम उन्हें आवश्यक रूप से चिह्नित करते हैं। ऐसी बातें :)

धन्यवाद!

यह लेख मेरे पर्यवेक्षक अर्योम कोरोलेव ( कोरोलेवार्ट ) आरएंडडी डेंटसु एजिसिस रूस के साथ संयुक्त रूप से लिखा गया था

स्रोत