शहरों और उनके बिग डेटा

शहर का "बड़ा डेटा" क्या बात करता है? उन्हें स्पष्ट रूप से कैसे पेश किया जाए और - इससे भी महत्वपूर्ण बात यह है कि उनकी मदद से नागरिकों के जीवन को बेहतर कैसे बनाया जाए?

हमने इस बारे में उर्बीका के सीईओ आंद्रेई करमाटस्की से बात की । कंपनी शहरी डेटा के विज़ुअलाइज़ेशन में माहिर है। उनकी परियोजनाओं में MAPS.ME के ​​लिए एक मैप रिडिजाइन, वेलोबाइक के लिए यात्रा के आंकड़ों का एक इंटरएक्टिव विज़ुअलाइज़ेशन और मैगीस्ट्रल ग्राउंड ट्रांसपोर्ट सिस्टम को लॉन्च करने के लिए एक विज़ुअलाइज़ेशन है।


मास्को के केंद्र में क्षेत्रों के बीच साइकिल यातायात। इमेज सोर्स - मीडियम उरबिकी ब्लॉग



अपनी कई परियोजनाओं में, उरबिका शहर के भीतर लोगों के आंदोलनों को ट्रैक करती है। आप किस प्रकार के डेटा का उपयोग करते हैं?

हम अपने आप डेटा एकत्र नहीं करते हैं। प्रत्येक परियोजना के लिए, हम ग्राहक डेटा का उपयोग करते हैं या उनके संग्रह को व्यवस्थित करते हैं (उदाहरण के लिए, क्षेत्र अध्ययन और डेटा सत्यापन के लिए सड़क अवलोकन)।

Yandex.Taxi की यात्राओं की कल्पना करने के लिए, हमने टैक्सी ट्रांसफ़र पर डेटा का उपयोग किया, "वेलोबाइक" के लिए, हमने सेवा उपयोगकर्ताओं के आंदोलनों पर अनाम डेटा का इस्तेमाल किया, मैजिस्ट्राल भूमि परिवहन मार्ग नेटवर्क के परिवहन की योजना के लिए, वाहनों के लिए यात्रियों के आंदोलनों पर डेटा, मोबाइल ऑपरेटरों के डेटा। वाहन यातायात के टेलीमेट्री डेटा (सभी बसें, ट्रॉलीबस और ट्राम ग्लोनास सेंसर से लैस हैं)।

स्वाभाविक रूप से, हमारे लिए प्रेषित डेटा पहले से ही एकत्रित है और व्यक्तिगत डेटा पर कानून का उल्लंघन नहीं करता है।

इंटरेक्टिव मानचित्र urbica.co/bikes पर रहता है

मॉस्को अर्बन फ़ोरम में एक स्टैंड के लिए सीज़न के परिणामों के बाद वेलोबाइक के साथ हमारी कहानी साइकिल के आंदोलन के दृश्य के साथ शुरू हुई। ये विज़ुअलाइज़ेशन "पोस्टर" विशेष परियोजना ऑनलाइन के लिए भी उपयोग किए गए थे।

डेटा की कल्पना करने के बाद, हमें बहुत सी दिलचस्प चीजें मिलीं: हमने स्पष्ट रूप से दिखाया कि शहर के अलग-अलग क्षेत्रों में दिन के अलग-अलग समय में अलग-अलग दरों पर किराये की साइकिल का उपयोग करने के परिदृश्य कैसे भिन्न होते हैं। सीधे शब्दों में कहें, डेटा विज़ुअलाइज़ेशन (इस बिंदु तक सभी विश्लेषण वेलोबाइक एक्सेल में था) ने सिटी सेंटर में किराये स्टेशन के बीच अंतर को देखना संभव बना दिया है, और, उदाहरण के लिए, बिटसेवस्की पार्क के पास - ये एक साइकिल का उपयोग करने के लिए पूरी तरह से अलग परिदृश्य हैं, और, परिणामस्वरूप। , मांग के विभिन्न पैटर्न।

डेटा में दिलचस्प टिप्पणियों के बीच, हमने एक समस्या देखी, जिसे एनालिटिक्स की मदद से हल किया जा सकता है। बाइक किराये स्टेशन पर मांग असमान है। इसका मतलब है कि आप स्टेशन पर आ सकते हैं और मुफ्त बाइक नहीं ढूंढ सकते हैं या पहले से किराए पर बाइक पार्क करने के लिए मुफ्त स्थान नहीं ढूंढ सकते हैं। वेलोबाइक ट्रकों के एक छोटे बेड़े के साथ इस समस्या को हल करता है जो 450 स्टेशनों के बीच किराये की प्रणाली को पुन: संतुलित करता है। हमने एक मांग पूर्वानुमान प्रणाली विकसित करने और शहर किराये की सेवा में सुधार करने और रखरखाव की लागत का अनुकूलन करने के लिए ड्राइवर प्रेषण प्रक्रिया में इस प्रणाली को लागू करने का निर्णय लिया।

वेलोबाइक डिस्पैचर के लिए पूर्वसूचक प्रणाली कैसे काम करती है? गणना के लिए इसमें किन विधियों का उपयोग किया जाता है?

साइकिल के लिए मांग की भविष्यवाणी के लिए एक मॉडल बनाने के लिए, हमने पिछले सभी मौसमों के लिए स्टेशन लोड (कितनी साइकिलें उपलब्ध हैं) के आंकड़ों का उपयोग किया, शहर के जिलों को जनसंख्या घनत्व और नौकरियों के परिवर्तनों के संकेतों के आधार पर वर्गीकृत किया, सप्ताह और दिन के विभिन्न दिनों में, स्थलाकृति को ध्यान में रखा (यह प्रस्थान के संतुलन को बहुत प्रभावित करता है) स्टेशन पर साइकिल चालकों का आगमन)। प्रेडिक्टिव मॉडल XGBoost मेथड का उपयोग करता है और स्टेशन के वर्कलोड (संभावित डिमांड) की अनुमानित वैल्यू को एक घंटे आगे बढ़ाता है - यह इस समय अंतराल के दौरान होता है कि ड्राइवर स्टेशन पर आ सकता है और साइकिल उठा या ला सकता है।

सिस्टम के साथ संवाद करने के लिए, ड्राइवरों को टेलीग्राम में चैटबॉट का उपयोग करना पड़ता था। क्या आपको ताले के कारण संवाद करने का तरीका बदलना पड़ा?

हमने इस गर्मी में सिस्टम ड्राइवरों के लिए एक चैटबॉट शुरू करने की योजना बनाई है ताकि इस प्रक्रिया में डिस्पैचर को शामिल न किया जाए, क्योंकि ज्यादातर मामलों में मॉडल को मानव भागीदारी की आवश्यकता नहीं होती है। दुर्भाग्य से, इस वसंत में रुकावटों के कारण, चैट बॉट को पेश नहीं किया गया था।

इसी तरह के एल्गोरिदम के माध्यम से चलने के लिए अन्य शहरी डेटा का क्या मतलब है? यह सबसे अधिक लाभकारी कहाँ होगा?

यह विशेष मॉडल, ऐसा लगता है, इसे केवल बाइक किराए पर लेने के स्टेशनों पर लागू किया जा सकता है, लेकिन शहर में बहुत सारे दिलचस्प कार्य हैं जहां डेटा विश्लेषिकी मदद कर सकती है। उदाहरण के लिए, हमें उप-भू-परिवहन परिवहन मार्गों की पहचान करना और अधिक कुशल मार्ग नेटवर्क बनाना दिलचस्प लगता है।

सामान्य प्रेषण इंटरफ़ेस

उरबिका एआई सम्मेलन में प्रदर्शकों में से एक है :
“हम बड़ी मात्रा में डेटा की कल्पना करने के लिए उपकरण और प्रौद्योगिकियां दिखाएंगे जो हमने अपनी कंपनी में विकसित और उपयोग किए हैं। यह उन कंपनियों के लिए दिलचस्प होगा जिनके पास बड़ी मात्रा में जानकारी के दृश्य विश्लेषण का कार्य है। ”

चलो अपने काम के डिजाइन घटक के बारे में बात करते हैं। डेटा विज़ुअलाइज़ेशन के क्षेत्र में क्या रुझान हैं? क्या डिजाइन स्पष्ट रूप से पुराना लग रहा है?

सवाल शायद डिजाइन के बारे में नहीं है, बल्कि सुविधा और सूचना सामग्री के बारे में है। विश्लेषणात्मक इंटरफेस, जहां विज़ुअलाइज़ेशन की आवश्यकता होती है, मुख्य रूप से लागू समस्याओं को हल करते हैं, और बड़े डेटा सेट के साथ इंटरफेस डिज़ाइन करने का मुख्य लक्ष्य समस्या को हल करने के लिए सुविधाजनक उपकरण बनाना है।

डेटा विज़ुअलाइज़ेशन में लगे होने के कारण, मूल कार्य के बारे में भूल जाना और विज़ुअलाइज़ेशन प्रक्रिया द्वारा खुद को दूर करना बहुत आसान है। शहर के डेटा के साथ कई अच्छी परियोजनाओं को डेटा आर्ट के रूप में लिया जाना चाहिए, यह एक अलग रास्ता है और विज़ुअलाइज़ेशन का लक्ष्य अलग है।

सहकर्मियों के काम का मूल्यांकन करें: हाल ही में आपके क्षेत्र में क्या शांत परियोजनाएं सामने आईं?

हम वास्तव में उबेर विज़ुअलाइज़ेशन टीम के सहयोगियों के काम को पसंद करते हैं। उन्होंने अपने स्वयं के डेटा विज़ुअलाइज़ेशन टूल केप्लर.जीएल बनाया, इसे सभी उपयोगकर्ताओं के लिए सुलभ बनाया और ओपन-सोर्स में इसका कोड प्रकाशित किया।


गुलाग का एक इंटरेक्टिव मानचित्र तैयार करने में दो साल लगे। Gulagmap.ru देखें

आपकी सभी परियोजनाओं के बीच, समय-समय पर और खर्च किए गए समय के अनुसार, एक इंटरैक्टिव GULAG मानचित्र के साथ एक परियोजना सामने आती है। उस पर काम करने की प्रक्रिया में क्या अंतर था?

कैंपों का एक इंटरेक्टिव मानचित्र बनाने के लिए गुलाग इतिहास के राज्य संग्रहालय के लिए काम हमारे लिए बहुत महत्वपूर्ण है। इस कार्ड का अंतिम उपयोगकर्ता या संग्रहालय का एक आगंतुक (यह कार्ड दिसंबर में अपडेट किए गए प्रदर्शनी में प्रस्तुत किया जाएगा) कार्ड को देखता है और वर्षों में बदलते कैदियों की संख्या पर केवल एक अस्थायी स्लाइडर और आंकड़े देखता है। यह परियोजना की सबसे ऊपरी परत है। इस इंटरफ़ेस को बनाने के लिए, बड़ी मात्रा में डेटा एकत्र करना आवश्यक था जो उस क्षण तक केवल कागज पर मौजूद था। संग्रहालय के वैज्ञानिक विभाग के साथ मिलकर, हमने अभिलेखागार से मानचित्र तक बिट्स को स्थानांतरित करने के लिए एक विशेष डेटाबेस और डेटा संग्रह उपकरण विकसित किए। यह परियोजना सामाजिक रूप से भी महत्वपूर्ण है - इस तरह हम अपने देश के इतिहास पर ध्यान आकर्षित कर सकते हैं। आपको गुलाग जैसी भयानक चीजों के बारे में जानने की जरूरत है, उन्हें भुलाया नहीं जा सकता।

पहले संस्करण से लेकर फ़ाइनल तक प्रोजेक्ट में क्या बदलाव आए हैं?

नक्शा इंटरफ़ेस और शैली, शायद, थोड़ा बदल गया। हमने क्रमिक पुनरावृत्तियों में एक प्रोटोटाइप और विकसित उपयोगकर्ता इंटरफ़ेस बनाया। लेकिन परियोजना की आंतरिक सामग्री बहुत बदल गई - पहले संस्करण में डेटाबेस में डेटा भरने के लिए एक प्रणाली नहीं थी। परियोजना के दौरान, हमने संग्रहालय के साथ अध्ययन किया, कार्ड की "भरने" में सुधार के लिए नई जरूरतों और अवसरों को सीखा।

आपने इस मानचित्र के लिए अपना स्वयं का घटक विकसित किया है, प्रतिक्रिया मानचित्र जीएल। यह तैयार किए गए समाधानों से बेहतर क्यों है?

हम मैपबॉक्स से तकनीकों का सक्रिय रूप से उपयोग करते हैं, यह मेरी राय में, कार्टोग्राफिक परियोजनाओं के डेवलपर्स के लिए सबसे अच्छा उपकरण प्रदान करता है। इसी समय, हम फ्रंटएंड पर React.js का उपयोग करते हैं। हमने React.js में मौजूदा मैपबॉक्स मानचित्र समाधानों की जांच की और महसूस किया कि हमें अपने स्वयं के घटक की आवश्यकता है।

शहरी समानताओं के अध्ययन से डेटा की कल्पना करने की परियोजना के साथ भी ऐसा ही हुआ: हमने देखा कि मौजूदा तैयार किए गए समाधान हमारे अनुरूप नहीं थे और हमने अपने स्वयं के वेक्टर टाइल सर्वर को विकसित किया, जिसे हम एआई सम्मेलन में प्रदर्शित करेंगे।

आप अपने काम में किन तकनीकों का सबसे अधिक उपयोग करते हैं?

जैसा कि मैंने पहले ही कहा था, फ्रंट-एंड डेवलपमेंट के लिए रिएक्ट / रेडक्स है, बैकएंड के लिए - डेटा एनालिटिक्स के लिए Node.js / Rust / Python, डेटा स्टोरेज और जियोप्रोसेसिंग के लिए - PostgreSQL / PostGIS। यहाँ शायद कोई सुपर-एक्सक्लूसिव टेक्नोलॉजी नहीं हैं।

आपके काम में आपके लिए सबसे महत्वपूर्ण क्या है? आप किस वैश्विक चुनौती को हल करने की कोशिश कर रहे हैं?

सबसे महत्वपूर्ण बात यह है कि मूल्य ले जाने और आसपास के शहरी अंतरिक्ष में अपने काम के परिणामों को देखने के लिए: एक संग्रहालय, एक बाइक किराए पर लेना या सार्वजनिक परिवहन। "अर्बिकी" बनाने का मूल विचार अपरिवर्तित रहा है - हम ऐसे इंटरफेस बनाते हैं जिनमें जटिल डेटा सरणियों को समझना और समझना आसान हो जाता है।