[केस लोकोमाइज़र] वास्तव में उपयोगकर्ता निर्देशांक वाले अनाम डेटासेट से क्या ज्ञान निकाला जा सकता है

यह लेख केस लोकोमाइज़र श्रृंखला का हिस्सा है, यह भी देखें

• ढाई साल में 20,000 गुना तक गर्मी के नक्शे की गणना कैसे तेज करें
• एक अंगूठी खोलें - क्लाउड में स्पार्क पर जटिल डेटा प्रोसेसिंग प्रक्रियाओं के लचीले विन्यास के लिए एक टूलकिट (जल्द ही आ रहा है)

नमस्ते



हाल ही में, द न्यूयॉर्क टाइम्स ने अपने आंदोलनों के निर्देशांक के साथ व्यावसायिक रूप से उपलब्ध गुमनाम डेटासेट द्वारा उपयोगकर्ताओं को ट्रैक करने के तरीके पर एक सनसनीखेज लेख प्रकाशित किया था, और यहां, हैबे पर, एक अज्ञात कॉर्पोरेट कॉपीराइटर के परिवर्धन के साथ उसके मुफ्त अनुवाद ने चिंता की डिग्री बदलती की बड़ी संख्या में टिप्पणियों को एकत्र किया।

ऐसा हुआ कि पिछले ढाई वर्षों से मैं एक भूनिर्माण परियोजना में एक तकनीकी नेता रहा हूं जो ठीक ऐसे वाणिज्यिक डेटासेट से सीधे ज्ञान निकालने का काम करता है। लेकिन घबराहट को दूर करने के अनुरोध के साथ मेरी टिप्पणियों ने बड़ी संख्या में मंत्रियों को इकट्ठा किया। तो ठीक है। व्यामोह की अनुपस्थिति के बारे में कहा जा रहा है और इस तथ्य के बारे में कि आप का पालन नहीं किया जा रहा है, सच्चाई की एक निश्चित राशि है।

लेकिन काले दर्पण के दूसरी तरफ कुछ सच्चाई है, शायद बहुत अधिक। या दिलचस्प है।

तो, मैं आपको विस्तार से बताता हूं कि हम कैसे अनुसरण करते हैं (और क्या हम जासूसी के अर्थ में अनुसरण करते हैं) आप (और क्या आप व्यक्तिगत रूप से), और उपयोगकर्ता के बारे में किस तरह का ज्ञान प्राप्त किया जा सकता है बिना उसके आंदोलनों के निर्देशकों के अलावा कोई संदर्भ नहीं है। मोबाइल सब्सक्राइबर टर्मिनलों से एकत्र किया गया। अत्यधिक पत्रकारिता और प्रचार-प्रसार के बिना, एक तकनीकी विशेषज्ञ के दृष्टिकोण से, जिसके पास काल्पनिक ग्राहकों के लिए काल्पनिक कार्यों को हल करने में कुछ वास्तविक अनुभव हैं, जिसमें न केवल विभिन्न विज्ञापन एजेंसियां, कोका-कोला और गिनीज शामिल हैं, बल्कि उदाहरण के लिए, यूएन। और एक ट्विंकल के साथ ।

इतना ही नहीं! लेखों की इस श्रृंखला के अंत में, मैं उन उपकरणों को साझा करना चाहता हूं जिन्हें हम ढाई साल से विकसित कर रहे हैं ताकि आप एक उपयुक्त डेटासेट खरीदने या प्राप्त करने के लिए खुद पर शोध कर सकें। अब तक, जहां तक ​​मुझे पता है, किसी ने भी ऐसे उपकरण सार्वजनिक रूप से उपलब्ध नहीं कराए हैं। कम से कम, जब हमने दो साल पहले खोजा था, तो कुछ भी नहीं मिला था, और हमें खुद लिखना था। त्वरित गणनाओं का मार्ग कठिन और लंबा था, दूसरा भाग इसके बारे में होगा।

So. इस आमनेसिस की सामग्री की तालिका:

• एक अनाम डेटासेट का एनाटॉमी
• मध्य पट्टी में निर्देशांक की सटीकता की समस्या
• शोर और मलबे से डेटा की सफाई के लिए आंकड़े
• "ज्ञान" किस तरह का है?
• रुचि के अंक
• ज्ञान निष्कर्षण मुद्दे
• उपयोगकर्ता रुचि स्कोरिंग

बोनस:

• धन्यवाद और एक संक्षिप्त पूछे जाने वाले प्रश्न

एक अनाम डेटासेट का एनाटॉमी

वाणिज्यिक प्रदाता तामोको को लें और देखें कि यह कौन सी फाइलें जहाज करता है। उदाहरण के लिए, यूनाइटेड किंगडम ऑफ ग्रेट ब्रिटेन और उत्तरी आयरलैंड के देश से एक वास्तविक डेटासेट का एक टुकड़ा है, तारीख 4 दिसंबर, 2018 है:

sdk_ts,device_id,latitude,longitude,accuracy,country,device_type,device_make,device_model,device_language,device_os,device_os_version,device_hw_version,device_screen_width,device_screen_height,device_battery,altitude,inv_id,trigger_type,app_account_id 1575390011,d75f97488c430502046fdb4ebfcc0ffd,51.516766,-0.1279744,10,GB,,,SM-G950W,en-CA,,,,0,0,0,0,4260328,GEO_FENCE_ENTER,115 1575414847,d75f97488c430502046fdb4ebfcc0ffd,51.516766,-0.1279821,10,GB,,,SM-G950W,en-CA,,,,0,0,0,0,4260328,GEO_FENCE_ENTER,115 1575424373,7e3323b382ddaafb9f774af95631cc44,51.51379,-0.0999953,7.6,GB,,,SM-G925F,en-GB,,,,0,0,0,0,31572218,GEO_FENCE_ENTER,115 1575417663,90165d78553fb37b0d62500733b39d11,53.724384,-6.879851,11,IE,aaid,,SM-A605FN,,android,9,,0,0,0,138,0,UNKNOWN_TRIGGER,229 1575417977,b6f2375275a21c40e03e4c6ea9ea4da0,52.75558,-7.9915,5,IE,idfa,,iPhone7.1,,ios,12.4.3,,0,0,0,122,0,UNKNOWN_TRIGGER,229 

यहाँ हम इस डेटासेट के क्षेत्र में देखते हैं:

• sdk_ts - यूनिक्स युग में समय टिकट,
• device_id - अज्ञात डिवाइस आईडी (मोबाइल ग्राहक टर्मिनल, जैसे स्मार्टफोन या टैबलेट),
• अक्षांश / देशांतर - भौगोलिक निर्देशांक ,
• सटीकता - क्षैतिज समन्वय सटीकता, मीटर,
• देश - देश
• शेष क्षेत्र कचरा हैं जो किसी विशेष शब्दार्थ भार को वहन नहीं करते हैं।

कचरा तुरंत क्यों है?

दुर्भाग्य से, ऐसा प्रतीत होता है कि उपयोगी ऊंचाई क्षेत्र अर्थहीन है, क्योंकि ऊँचाई को फर्श संख्याओं के निर्माण में खराब रूप से अनुवादित किया गया है, और विमान द्वारा उड़ान इसके बिना समाप्त की जा सकती है (लेकिन हम इस बारे में बाद में बात करेंगे)।

शुरुआत में इंगित किए गए लेखों के पत्रकारों के विपरीत, हमारे पास उपयोगकर्ताओं के बारे में कोई अतिरिक्त संदर्भ नहीं है, और हम निराधार धारणाएं "डिफ़ॉल्ट रूप से" नहीं बनाते हैं, जैसे कि "पेंटागन में था - इसका मतलब है कि यह पेंटागन में काम करता है"। हम भी कुछ ऐसे फ़ेसबुक नहीं हैं जो आपके बारे में वो सब कुछ जानते हैं जो आपने अपने बारे में बताया था (और औसत उपयोगकर्ता अपने बारे में बहुत कुछ बताता है), और साथ ही आपका पूरा सामाजिक ग्राफ। हमने कच्चा डेटा खरीदा है, और हम उन पर विश्वास नहीं करते हैं।

इसलिए इस संदर्भ में केवल एक उपयोगकर्ता लोकेल है - यह विदेशी पर्यटकों को पहचानने में मदद कर सकता है, लेकिन यह सटीक नहीं है।

वैसे, निर्देशांक और समय के अलावा, एक फोन मॉडल भी है - सैद्धांतिक रूप से, यह व्यक्तिगत रूप से आईओएस और एंड्रियोड पर विभिन्न उपकरणों के मालिकों को संसाधित करने की संभावना को खोलता है। उस कॉरपोरेट ब्लॉग के लेख पर टिप्पणी में, कुछ ने अतिरिक्त-महंगे मोबाइल फोन के साथ गोप-स्टॉप के लिए जाने का सुझाव दिया, उन्हें जियोलोकेशन द्वारा ट्रैक किया ... हम्म, आप जानते हैं, लेकिन सामान्य कार्यालयों के लिए ऐसा व्यवसाय मॉडल जो डेटा खरीदने के लिए कुछ हद तक लाभहीन हो सकता है :)

यह समझना महत्वपूर्ण है कि आपूर्तिकर्ता से डेटा कच्चा आता है, अर्थात, उपकरणों से लिया जाता है और किसी भी तरह से संसाधित नहीं किया जाता है, सिवाय, शायद, जीडीपीआर की आवश्यकताओं के अनुसार एक हैश के साथ वास्तविक डिवाइस_आईडी की जगह (यह स्थिर है, एक ही डिवाइस को विभिन्न मासिक डंप के बीच प्रस्तुत किया जाएगा) समान रूप से)।

प्रत्येक विक्रेता के पास खेतों का अपना सेट और प्रारूप होता है, लेकिन सभी के पास निर्देशांक, सटीकता, समय और डिवाइस_आईडी है, और मैंने तमोको को सबसे अधिक औसत के रूप में लिया। और यदि आप किसी व्यक्ति को कच्चे डेटा की एक पंक्ति को देखने वाले उपयोगकर्ता के बारे में क्या मान सकते हैं, अगर वह कॉफी के आधार पर बीमा और भाग्य से नहीं कहता है?

जब तक, तथ्य यह है कि वह, शायद, संकेतित समय पर, कहीं न कहीं संकेत निर्देशांक के करीब था। अधिक सटीक रूप से, यह किसी के एसडीके से कुछ पुस्तकालय द्वारा तय किया गया था जो अपने ग्राहक टर्मिनल पर आवेदन में जियोलोकेशन एकत्र करता है और इस डेटा को एग्रीगेटर पर अपलोड करता है। ऐसा लगता है कि वह वहां था, लेकिन अंतिम निर्णय, कि उसे विश्वास करना है या नहीं, हमारे द्वारा बनाया गया है, और यह तथ्य के बाद दृढ़ता से है।

मध्य पट्टी में निर्देशांक की सटीकता की समस्या

जीपीएस एक कमाल की चीज है। हाल ही में इसकी क्षमताओं के बारे में एक उत्कृष्ट लेख था, पढ़ना सुनिश्चित करें, यदि पहले से ही नहीं।

यह सिर्फ सभी शांत उदाहरण आदर्श मामलों के बारे में बताते हैं, जो, अफसोस, वाणिज्यिक डेटासेट पर लागू नहीं होते हैं।

सबसे पहले, वाणिज्यिक डेटासेट से मोबाइल सब्सक्राइबर टर्मिनल पेशेवर जीपीएस रिसीवर बिल्कुल नहीं हैं, जो एक उद्देश्य की सेवा के लिए डिज़ाइन किए गए हैं, और अच्छे एम्पलीफायरों और बड़े एंटेना के साथ बहुत अधिक उपयुक्त तत्व आधार पर बने हैं। एक स्मार्टफोन एक स्मार्टफोन है - अर्थात, छोटे एंटेना के साथ एक छोटे मामले में पैक किए गए सबसे सस्ते घटक जो एक ही समय में कई रेंज में जंगली तकनीकी चाल के लिए धन्यवाद काम करते हैं, जिनमें से जीपीएस मुख्य से दूर है।

दूसरे, शहरी वातावरण बहुत ही ऊबड़-खाबड़ इलाका है। अपने लिए सोचें - यदि आप अमेरिकी एक-कहानी उपनगर को फेंक देते हैं, तो किसी भी आधुनिक शहर की सड़क बहुत खड़ी दीवारों के साथ एक गहरी खड्ड है, न केवल यह कि क्षितिज दिखाई नहीं देता है, बल्कि आपके सिर के ऊपर आकाश का एक टुकड़ा बहुत छोटा दिखाई देता है। और सामान्य सटीकता के लिए, आपको एक ही समय में 4 उपग्रहों को सीधी रेखा में देखने की आवश्यकता है, बेहतर। हित के लिए, किसी तरह अपनी ऊंची इमारत के आंगन में बाहर जाएं और देखें कि आपके स्मार्ट कितने उपग्रह देखते हैं। (सबसे अधिक संभावना है, आपको रूट किए गए एंड्रॉइड और / या किसी प्रकार के सशुल्क जीपीएस ट्रैकर की आवश्यकता होगी।)

तीसरा, औसत उपयोगकर्ता लगातार बढ़ रहा है, वह कई मिनटों तक मौके पर इंतजार नहीं करता है, जब तक कि उसके सब्सक्राइबर मोबाइल टर्मिनल वांछित संख्या में उपग्रहों को पकड़ नहीं लेता, वह जाता है या जाता है, बदल जाता है, और दृश्यता लगातार बदल रही है।

चौथा, उपयोगकर्ता हमेशा फोन को अपने हाथों में नहीं रखता है। एक जेब, पर्स या बैग में, वह बग़ल में या किसी भी तरह झूठ बोल सकता है, और कुछ भी नहीं पकड़ेगा।

पाँचवें, प्रबलित कंक्रीट से बनी कोई भी इमारत या तो क्लासिक फैराडे केज या चरणबद्ध सरणी हो सकती है , या दिलचस्प गैर-रैखिक गुणों वाला दर्पण हो सकता है, जो सिग्नल को बढ़ा सकता है और चारों ओर कुछ स्थानों पर हस्तक्षेप के कारण इसे दबा सकता है। या एक अप्रत्याशित कोण, चरण शिफ्ट और इतने पर प्रतिबिंबित करें। यह सब कंक्रीट की दीवारों में धातु की पिच पर निर्भर करता है।

छठी, आसपास की कारें भी धातु से बनी हैं।

इमारत के अंदर गहरी सातवीं, जीपीएस आमतौर पर पकड़ में नहीं आता है, और यहां तक ​​कि मेट्रो में भी।



ये सभी कारक शहर में जीपीएस को बेहद अविश्वसनीय बनाते हैं, और मोबाइल सब्सक्राइबर टर्मिनलों के निर्माताओं (साथ ही मोबाइल ओएस के लिए स्थान सेवाओं के प्रदाता) को विभिन्न सहायक जीपीएस तकनीकों के साथ बाहर निकलना पड़ता है।

सबसे आम सेलुलर बेस स्टेशनों और वाईफाई नेटवर्क (और यहां तक ​​कि ब्लूटूथ) पर त्रिकोणीय हैं।

कैमरे के साथ ये सभी हास्यास्पद Google और यैंडेक्स कारें, जो सड़क दृश्य के लिए पैनोरमा शूट करती हैं, वास्तव में, मुख्य रूप से सेलिड, नेटवर्क के नाम और राउटर के सिग्नल के स्तर और चित्रों के बारे में जानकारी एकत्र करती हैं - और इसलिए, एक गुजर भोग। उनके अलावा, HERE मैप्स इस जानकारी को एकत्रित करता है - और विकसित देशों, Apple और एक दर्जन से अधिक छोटे कार्यालयों में। खैर, उन पुस्तकालयों को जो मोबाइल अनुप्रयोगों में वायर्ड हैं और जियोलोकेशन डेटा की आपूर्ति करते हैं, ठीक उसी तरह से करते हैं, जैसे कि उदाहरण के लिए, लगभग किसी भी नक्शे को दिखाने वाला विजेट।

यहाँ मुख्य प्रश्न ठीक है।

जीपीएस के विपरीत, एलबीएस इसके साथ खराब है। सबसे आदर्श मामले में एलटीई के लिए 20 मीटर (सामान्य रूप से - कुछ किलोमीटर तक), और वाई-फाई के रूप में, यहां राउटर के दिशात्मक पैटर्न, रिपीटर्स के साथ विस्तारित जाल नेटवर्क और 2.4 और 5 गीगाहर्ट्ज सिग्नल की भौतिक विशेषताओं की विश्वसनीयता कम हो जाती है। 150 मीटर या उससे अधिक तक आउटडोर।

और यह सड़क या चौराहे के दूसरी तरफ उपयोगकर्ता का लगातार कूदता है, या उस जगह से भी आधा चौथाई है जहां वह वास्तव में है - यदि, उदाहरण के लिए, राउटर 5 वीं मंजिल पर है, और उच्च-उगता से कण्ठ के आसपास है, तो कोई संकेत नहीं होगा प्रवेश द्वार पर पकड़ा जा सकता है, लेकिन यह इस कण्ठ के अंत में पूरी तरह से पकड़ लेगा।

अंत में, कई आपूर्तिकर्ता एक और बुरी सुविधा के साथ पाप करते हैं। यदि स्वीकार्य सटीकता के साथ स्थिति का निर्धारण करना संभव नहीं है, तो उपयोगकर्ता को कुछ निश्चित पिनकोड या प्रशासनिक क्षेत्र के अनुरूप बहुभुज के केंद्र के लिए टेलीपोर्ट किया जाएगा, जो अप्रत्यक्ष संकेतों द्वारा निर्धारित होता है, और मैप हजारों संकेतों के साथ ऐसे "हॉट स्पॉट" से भरा होगा।



इससे भी बदतर, प्रत्येक कार्टोग्राफिक सब्सट्रेट में ऐसे "जिला केंद्र" अलग-अलग हैं, और अगर Apple और Google उन्हें आवासीय भवनों से स्थानांतरित करने का प्रयास करते हैं (संयुक्त राज्य में मुकदमों के साथ खराब मिसालें थीं), तो कोई भी गैर-आवासीय भवन से एक बिंदु बदलाव से परेशान नहीं होगा।

हजारों वर्ग मीटर के क्षेत्र के साथ एक बड़े शॉपिंग सेंटर के अंदर स्थिति का निर्धारण एक अलग दर्द है। जीपीएस नहीं पकड़ता है, पूरे केंद्र के लिए सेलुलर नेटवर्क आमतौर पर समान होता है, और यह समझने के लिए कि उपयोगकर्ता ने सैकड़ों दुकानों में से कौन सा स्टोर किया है, आपको किसी तरह से मंजिल का पता लगाने की भी आवश्यकता है। इससे सौभाग्य मिला।

दरअसल, यहां तक ​​कि अगर कोई ऊंचाई वाला क्षेत्र है, तो यह हमेशा स्पष्ट नहीं होता है कि किस भू-भाग की गणना की गई (जरूरी नहीं कि डब्ल्यूजीएस84 ), और एफआईजी को पता है कि भवन में कितनी ऊंची मंजिलें खुद से गणना करना है। और कितने हैं? एशियाई देशों में, अंधविश्वास के कारण, उदाहरण के लिए, केवल 13 नहीं हैं, बल्कि 4 मंजिल भी हैं। ऐसी जानकारी खोजना बहुत मुश्किल है, और बड़े पैमाने पर प्रसंस्करण के साथ, श्रम कभी भी भुगतान नहीं करेगा।

इसलिए, कोई फर्क नहीं पड़ता कि हम इसे कितना पसंद करेंगे, हमें परिष्कृत कच्चे डेटासेट का उपयोग करना होगा

शोर और मलबे से डेटा की सफाई के लिए आंकड़े

लेकिन पहले मैं आपको बताता हूं कि हमारा मरीज कौन है।

हमारा मरीज गुमनाम है, और उसका नाम हजारों, या बेहतर, लाखों है, क्योंकि हमारे ग्राहक एकत्रित किए गए आँकड़ों के लिए भुगतान करते हैं। एक विशिष्ट व्यक्ति कोका-कोला के लिए मौसम नहीं बनाता है, भले ही वह एक बार में एक सोडा ट्रक खरीदता है। व्यापारियों को सामान्य पैटर्न और रुझानों की आवश्यकता होती है, साथ ही समय के साथ उन्हें कैसे सेट किया जाता है, इसकी एक तस्वीर। लंदन पब नेटवर्क के मालिकों के लिए यह जानना महत्वपूर्ण है कि मौसम के दिन और समय के दौरान उनके पास मेट्रो स्टेशन के पास कोने में स्थित पब में आगंतुकों का एक प्रवाह होगा, और जिसमें - सिनेमाघरों के बगल में, और वे पूरी तरह से नशे में हैं यदि ये नमूने हजारों अनाम से आते हैं Ryazan से एक निश्चित Vassily Poupkine , या नहीं।

मुख्य बात यह है कि कई हैं, और वे प्रासंगिक हैं। हम आबादी के साथ काम करते हैं।

इसलिए, उदाहरण के लिए, कार से यात्रा करने वाले उपयोगकर्ता और पैदल चलने वाले उपयोगकर्ता विभिन्न मूल्यों के उपयोगकर्ता हैं। पूर्व में देखने का एक संकीर्ण चक्र है, आंदोलन की गति जितनी अधिक होगी, और वे पोस्टर पर ध्यान नहीं देंगे। लेकिन अगर वे ट्रैफिक जाम या लंबे ट्रैफिक लाइट में खड़े होते हैं, तो क्यों नहीं। बस में यात्रा करने वाले उपयोगकर्ताओं की तरह, जो चारों ओर देख रहे हैं, यह मुख्य व्यवसाय है (यदि वे इस समय अपने पसंदीदा सामाजिक नेटवर्क में गूंगे नहीं हैं)।

उन उपयोगकर्ताओं को अलग करना भी महत्वपूर्ण है जो लक्ष्य जियोफेंस में काम करते हैं - स्टोर के विक्रेता को उस स्टोर के आगंतुकों से अलग किया जाना चाहिए जिसे हम शिकार कर रहे हैं। अधिक सटीक रूप से, खरीदारों की पूरी आबादी से खुदरा नेटवर्क के सभी स्टोरों के विक्रेताओं की पूरी आबादी।

और इसका मतलब यह है कि हमें निम्नलिखित तरीकों से गुणवत्ता वाले ट्रैक की आवश्यकता है:

• निर्देशांक की कम सटीकता के बिना,

• बिना गड़बड़ जियोलोकेशन:
- साइड और बैक पर आधा चौथाई टेलीपोर्ट करता है,
- सड़क के पार कूदता है,
- गर्म स्थानों के बाहर

• विस्थापन के प्रकार द्वारा वर्गीकृत:
- पैदल
- कार से
- बस में
- बाइक या स्कूटर पर,
- शिंकानसेन पर या विमान पर ...

• भू-स्थान में अनुचित रूप से गलत उपयोगकर्ताओं के बिना,

• खंडित पटरियों के बिना, एक छोटे से क्षेत्र (जहां से वे आते हैं, पर पूरी तरह से स्पष्ट नहीं है, पर घेरे को काटते हुए, लेकिन वे उन्हें एक अलग समस्या वर्ग में अलग करने के लिए पर्याप्त हैं - सबसे अधिक संभावना है, ये जीएसएम अलार्म या बेबी मॉनिटर के साथ सभी प्रकार के ताले हैं - वे जियोलोकेशन भी एकत्र करते हैं )।

और अगर बहुत पहली शर्त तुच्छ है - डाटासेट पर पुनरावृत्ति करें और उन सभी बिंदुओं को बाहर फेंक दें जिनके लिए सटीकता क्षेत्र <10 मीटर है, तो बाकी सभी समस्याओं का एक गुच्छा हैं।

आप खुद अंदाजा लगा सकते हैं कि कौन से हैं। उदाहरण के लिए, आस-पास के ट्रैफिक जाम में खड़े ड्राइवर से बस स्टॉप पर प्रतीक्षा कर रहे पैदल यात्री को कैसे अलग किया जाए?

हमें कुछ मान्यताओं से परिपूर्ण, और इस तरह के प्रत्येक फिल्टर के लिए गणितीय मॉडल का निर्माण करना होगा, विभिन्न मान्यताओं से भरा हुआ। कभी-कभी आबादी का एक महत्वपूर्ण हिस्सा छोड़ने के संदर्भ में धारणा काफी मजबूत होती है।

उदाहरण के लिए, एक शॉपिंग सेंटर में एक आउटलेट विक्रेता, हर दूसरे दिन दो दिनों की पाली में काम करता है। यदि कार्यदिवस पर यह निश्चित रूप से अनुचित है, तो सप्ताहांत पर एक ही शॉपिंग सेंटर में मूवी थियेटर के लिए अच्छी तरह से लक्षित किया जा सकता है। लेकिन मज़ाक यह है कि सोमवार से शुक्रवार और दो दिन की छूट का मानक शेड्यूल उसके लिए लागू नहीं है, और क्लासिफायर को किसी तरह काम करना चाहिए, या इसे पूरी तरह से समीकरण से बाहर फेंक देना चाहिए।

किसी भी मामले में, प्रत्येक मॉडल के लिए एक हेरास्टिक दृष्टिकोण का उपयोग करके सेटिंग्स का एक गुच्छा के साथ एक फिल्टर बनाया गया है।

हम बड़े आंकड़े इकट्ठा करते हैं, मैन्युअल रूप से इसमें अवांछित पैटर्न पाते हैं, एक कार्य तैयार करते हैं, इसे अंतःक्रियात्मक रूप से डिबग करते हैं, एक अलग प्रसंस्करण लिखते हैं, और फिर इसे डेटासेट के प्रसंस्करण में एकीकृत करते हैं - अगर हमें यकीन है कि इसे ऐसी तैयारी की आवश्यकता है।

कई तैयार एल्गोरिदम हैं। उदाहरण के लिए, हॉट स्पॉट निर्धारित करने के लिए, आप ग्रेटिंग पर सिग्नल की आवृत्ति द्वारा क्लासिक फिल्टर का उपयोग कर सकते हैं।

लेकिन आंदोलन के प्रकार के अनुसार क्लासिफायर, एक स्लाइडिंग विंडो के सिद्धांत पर काम करना और एक राज्य मशीन (परीक्षण और त्रुटि से, हमने इसके विकास पर लगभग आधा साल बिताया), यह इतना परिष्कृत है कि इसे "फिल्टर" कहना पहले से ही गलत है।

इसके अलावा, कुछ आपूर्तिकर्ता प्रति ट्रैक पर कुछ गैर-जिम्मेदार संख्या लिखते हैं - या तो वे माप के बीच के अंतराल पर मध्यवर्ती बिंदुओं का अनुमान लगाते हैं, या वे बस उन्हें हर दो मीटर दूर करने की कोशिश करते हैं, लेकिन कई किलोमीटर तक चलने के लिए कई हजारों संकेत प्राप्त होते हैं। यह स्पष्ट रूप से बहुत अधिक है, और मात्रा में डूबने के लिए नहीं, हमें खिड़कियों और जटिल गणित के साथ एक और पेचीदा अनुमानी का उपयोग करके पटरियों को पतला करने के लिए मजबूर किया जाता है ताकि पटरियों के सभी बिंदुओं से उनके सेंट्रोइड्स की दूरी की गणना की जा सके।

इसलिए, हम कच्चे डेटा को समृद्ध करके मूल डेटासेट पर उत्तराधिकार की एक श्रृंखला को सुपरमैप करने की प्रक्रिया कहते हैं। और हम पहले से समृद्ध डेटा से पहले से ही ज्ञान निकालते हैं।

और यहां किसी भी आंकड़े के साथ एक परेशानी है: आवेदन का क्रम परिणाम को बहुत प्रभावित करता है। इसलिए, प्रत्येक बार प्रसंस्करण प्रक्रिया अद्वितीय हो जाती है, और एक ही क्षेत्र में एक ही आपूर्तिकर्ता से डेटा पर भी बहुत अच्छी तरह से दोहराया नहीं जाता है, लेकिन छह महीने बाद।

और एक और बात - आप एक परियोजना में विभिन्न आपूर्तिकर्ताओं से कच्चे डेटा को नहीं मिला सकते हैं, भले ही आप उन्हें एक आम भाजक में लाएं। लेकिन अगर प्रत्येक कच्चे डेटासेट को इसके लिए एक उपयुक्त एल्गोरिथ्म द्वारा स्वतंत्र रूप से संसाधित किया जाता है, तो समृद्ध सिग्नल (बिना शोर के) पहले से ही एकल स्रोत में विलय हो सकते हैं। हमें विभिन्न आपूर्तिकर्ताओं के डेटा में डुप्लिकेट उपयोगकर्ता नहीं मिले।

किसी भी मामले में, यदि आप कोशिश करते हैं तो समृद्ध डेटासेट से कुछ ज्ञान हमेशा निकाला जा सकता है।

"ज्ञान" किस तरह का है?

बड़ा सवाल है।

- हमें Ust-Perduysk के सभी उपयोगकर्ताओं को खोजने की आवश्यकता है जो अगस्त के अंत में सामूहिक खेत से ताजा मकई चोरी करना पसंद करते हैं।
- क्षमा करें?
"ठीक है, यह मकई क्षेत्र है।" पिछले साल अगस्त में।
- हम "चोरी" के बारे में हैं ...
- किसी भी तरह निर्धारित करें, आप विशेषज्ञ हैं!
- ठीक है। और कुछ?
- उन्हें पाल मॉल को धूम्रपान करना चाहिए।
- (अपने आप से) क्यों पाल मॉल ... हालांकि, ध्यान नहीं है, हम रुचि नहीं रखते हैं। यदि वे बदल जाते हैं, तो हम पाएंगे: D (ज़ोर से, दृढ़ता से) केवल यदि आप जानकारी देते हैं कि वे इसे कहाँ खरीदते हैं।

आपने निर्वात में एक गोलाकार ग्राहक के साथ एक संवाद को सुना, भले ही यह "Ust-Perduysk में जीना", "मकई क्षेत्र", "चोरी" और सिगरेट के एक विशिष्ट ब्रांड के संदर्भ में वास्तविक नहीं है, लेकिन यह सार में पूरी तरह से प्रामाणिक है। कार्यों को इस तरह से निर्धारित किया जाता है - आपको एक निश्चित आबादी खोजने की आवश्यकता है, जिसे भू-स्थान और उपयोगकर्ता के व्यवहार के संदर्भ में वर्णित किया गया है, जैसे कि निवास स्थान, एक निश्चित समय पर कुछ श्रेणियों के स्थानों का दौरा करना, आदि। ऐसे कार्यों की सीमा बहुत व्यापक है, और मापदंडों का सेट काफी विदेशी हो सकता है।

लेकिन अगर किसी प्रकार का मैटमॉडल है , तो समृद्ध (यानी, उच्च गुणवत्ता वाले, विसंगतियों के बिना) डेटा के एक बड़े सेट के लिए सांख्यिकीय तरीकों को लागू करना, एक उपयुक्त जनसंख्या प्राप्त करना काफी संभव है। अनुमान सभी संभावनावादी होंगे। हम असमान रूप से यह नहीं कह सकते हैं कि एक उपयोगकर्ता Ust-Perduysk में रहता है और हर अगस्त को मक्का चुराता है, लेकिन अगर उनमें से कम से कम एक हजार हैं, तो हम उन्हें 90% संभावना के साथ पाएंगे। शायद हम धूम्रपान भी कर सकते हैं, लेकिन सिगरेट के ब्रांड के बारे में, एक अतिरिक्त संदर्भ की आवश्यकता है, और यदि ग्राहक इसे प्रदान करता है, तो हम उनमें से सही पाएंगे - लेकिन हम सटीकता की गारंटी नहीं दे सकते।

लेकिन संदर्भ के साथ इस तरह के कार्य वास्तव में दुर्लभ हैं, और आमतौर पर हम डीबग और परीक्षण किए गए मैटमॉडल के कुछ मानक सेटों के आधार पर अनुसंधान करते हैं जो सामान्य आबादी को ऐसे खंडों में पार्स करते हैं:

• जियोफेंस में रहते हैं / जिओफेंस में काम करते हैं,
• घरेलू आय स्तर द्वारा वितरण,
• मोटर चालक
• रेस्तरां और कैफे देखने के लिए प्रेमी,
• shopaholic,
• खेल प्रशंसक
• छोटे बच्चों वाली माँ,
• व्यापार यात्रा
• विदेशी पर्यटक ...

प्रत्येक श्रेणी (एक-दो हजार की कुल) के लिए, प्रसंस्करण प्रक्रिया को सेटिंग्स के एक समूह के साथ पूर्वनिर्धारित संचालन से टेम्पलेट के अनुसार बनाया जाता है, और ग्राहक की विशिष्ट आवश्यकताओं के आधार पर इसे मानकीकृत किया जाता है।

संचालन निम्नानुसार विकसित किए जाते हैं: डेटा वैज्ञानिक श्वेत पत्र के रूप में मॉडल लिखते हैं, फिर इसे पायथन मानक डेटासेट पर क्रमादेशित और डीबग किया जाता है, और अंत में प्रसंस्करण स्पार्क में किया जाता है (हम जावा में लिखते हैं, लेकिन हम स्काला का उपयोग भी कर सकते हैं), जिसे मैं अनुकूलित करता हूं। (, , , .)

— data analyst. — keskiy , . , , Excel-, , , .

, S3 Amazon Web Services, ( ), EMR.

— , . , , , 95- , — .

, . , , .


— , . . «, -, .» -.

. POI.

Points of Interest

, — , , - … .

, , . , . «77 »:

 • 77-1  • 77-8  o 77-8-6      77-8-6-90 McDonalds • 77-8-6-90-1 MacAuto  77-8-6-91 Burger King  77-8-6-92 Pasta Hut 

— .

«» , , . - , POI , , , , .

, , , POI . . , , OSM. , .

- , POI, , , . , . , - .

POI, mitra_kun .

, , , - GIS- POI , ( ). , , .

The New York Times — « , , ». .

« »? , 5/2 , 8- 9 18 . , , - ( , ). « » , , .

, , -, : , , , - , «» ( , — ) «» ( , , , ) . , , . .

, . , , , .

, , , , . , , , , .

, . POI . , , , . - , , , 29 ? ( ) , , ? , , , - , . , , .

, , , -, . , ( ), , , .

, - , POI . , , - , , . , « » «McDonalds», «Burger King».

« » , , , — POI . , , , — , — , , , , .

, , , , . , , — .

— , , , , POI . - , .

— .

, , . , , , , , . .


.

FAQ

— :

• @ajtkulov
• pomadchin
• fall_out_bug

HUDWAY . धन्यवाद!

FAQ .

Q. // «» ? device_id ? ?
A. , ( « »; 5- 95- ), . , , , « », . , .

Q. ? 2-3 ? ?
A. . , . , . - , , .

Q. , ? कैसे? - device_id, , . - device_id? ? - finger_print ?
A. device_id, , , , , , . , , . , , .

Q. , . , « » - ? , , — - ? , , ?
A. , , , . , ( ). , , , .

Q. . , . , 10/20/40/70%? - ? /, , -? , ?
A. , , . - , - — . , . . — . , , , .., .

, keskiy mitra_kun . , .

.