60 मिलियन खेत और 27 फसलें। हमने यूरोप और अमरीका के सभी क्षेत्रों का नक्शा कैसे बनाया

कुछ महीने पहले, हमने दुनिया का पहला मुफ्त इंटरेक्टिव मानचित्र लॉन्च किया, जिसके साथ आप अमेरिका और यूरोप के किसी भी क्षेत्र के बारे में जानकारी देख सकते हैं। दर्जनों प्रकाशनों ने मानचित्र के बारे में लिखा, और प्रोडक्ट हंट पर उन्होंने कृषि क्षेत्र के एक उत्पाद के लिए एक अभूतपूर्व डेढ़ हजार लाइक्स एकत्रित किए (और आखिरकार वर्ष 2018 का AI & Machine Learning Product बन गया)। हमने दो महीने के लिए नक्शा विकसित किया - यही वह था।

इंटरेक्टिव मानचित्र मशीन लर्निंग एल्गोरिदम और उपग्रह इमेजरी पर आधारित है। इसमें यूरोप और अमेरिका के 44 देशों में 60 मिलियन क्षेत्रों और 27 संस्कृतियों के बारे में जानकारी शामिल है। डेटा - तीन साल के लिए। हमने उपग्रह चित्रों से एमएल की मदद से सभी क्षेत्रों को मान्यता दी। मानचित्र का उपयोग करके, आप दोनों देशों और क्षेत्रों के स्तर पर रुझानों की निगरानी कर सकते हैं, और एक विशिष्ट क्षेत्र के विकास का निरीक्षण कर सकते हैं। उदाहरण के लिए, आप पता लगा सकते हैं कि 2016 में संयुक्त राज्य अमेरिका में मकई ने कितनी भूमि पर कब्जा किया था (49.1 मिलियन हेक्टेयर) या बेल्जियम के किस क्षेत्र में सबसे अधिक गेहूं के खेत (वालोनिया) हैं।


न्यूनतम ज़ूम में यूरोप

मानचित्र का उपयोग करके, आप एक अलग क्षेत्र की जानकारी भी प्राप्त कर सकते हैं: इसका आकार, संस्कृति, विकास अनुसूची और एक व्यापक संकेतक फ़ील्ड स्कोर। इसकी गणना NDVI सूचकांक, जलवायु संकेतक और संबंधित क्षेत्र उत्पादकता द्वारा की जाती है। किसी भी समय, आप देख सकते हैं कि आपके क्षेत्र में बीट कैसे विकसित हो रहे हैं या पड़ोसी को पिछले साल फलियां किस क्षेत्र के लिए आवंटित की गई हैं। अन्य बातों के अलावा, यह सुंदर है। हमने "यादृच्छिक सुंदर फ़ील्ड" बटन बनाया: यह आपको दुनिया भर में 35+ स्थानों पर ले जाता है, जिनमें से प्रत्येक सार कला के काम की तरह दिखता है।

इस तरह के कार्ड बनाने का विचार पिछले साल जुलाई में सामने आया था। हमारे पास एक ऐसे उपकरण का अभाव था जो हमें अपनी सभी तकनीकी क्षमताओं को स्पष्ट रूप से प्रदर्शित करने की अनुमति देता है। अगस्त में, पूरी टीम ने बारीकी से विकास करना शुरू किया।

डेटा: इकट्ठा, प्रक्रिया, सेक

नक्शा विकसित करते समय, हमने यूरोपीय संघ के कोपरनिकस कार्यक्रम के प्रहरी -2 उपग्रह की छवियों का उपयोग किया। कुल मिलाकर, लगभग 250 टेराबाइट्स की जानकारी यूरोप और यूएसए के लिए संसाधित की गई थी। पहले चरण में, हमने छवियों का प्रीप्रोसेसिंग किया: हमने बादलों, छाया, बर्फ को साफ किया और डेटा संपीड़न किया। फिर, परिणामी 50 टेराबाइट्स पर, उन्होंने हमारे मशीन लर्निंग मॉडल पर क्षेत्र की सीमाओं को खोजने और संस्कृतियों को वर्गीकृत करने की प्रक्रिया शुरू की। आउटपुट में, हमें लगभग 250 गीगाबाइट वेक्टर नक्शे मिले जिनमें फ़ील्ड ज्यामिति और संस्कृतियाँ थीं।

डेटा को संसाधित करने और आंकड़ों की गणना करने के लिए, हमने PostgreSQL और PostGIS डेटाबेस का उपयोग किया। मूल वेक्टर डेटा को निर्यात करने के बाद, हमें एक डेटाबेस मिला जिसमें फ़ील्ड ज्यामिति के लगभग 180 मिलियन रिकॉर्ड थे, साथ ही तीन वर्षों में स्वयं फ़ील्ड के बारे में अतिरिक्त विशेषता जानकारी के एक अरब से अधिक रिकॉर्ड थे। डेटा की इस राशि पर, हमने आंकड़ों, रेटिंगों की गणना की, दुनिया के क्षेत्रों में विभिन्न संस्कृतियों की लोकप्रियता का निर्धारण किया - बाएं स्तंभ और इंटरेक्टिव युक्तियों में मानचित्र पर प्रदर्शित होने वाली सभी चीजें।


क्रोएशिया के क्षेत्र

हम जल्दी से क्षेत्र के लिए कृषि संकेतकों की गणना और प्रदर्शित करना चाहते थे, साथ ही साथ मौसम में पौधे के विकास के ग्राफ की कल्पना भी करते थे। ऐसा करने के लिए, हमने कैशिंग और उपग्रह डेटा के संपीड़न के लिए अपने स्वयं के दृष्टिकोण का उपयोग किया। इसने हमें डेटा वेयरहाउस के आकार को 100-200 गुना कम करने और क्षेत्र में सूचना प्राप्त करने की गति को 1 सेकंड तक कम करने की अनुमति दी।

नक्शे के इस संस्करण में भी, हमने एक व्यापक फ़ील्ड स्कोर संकेतक जोड़ा, जो आपको फ़ील्ड रेटिंग का त्वरित मूल्यांकन करने की अनुमति देता है। फील्ड स्कोर उपज पूर्वानुमान की दिशा में पहला कदम है, जिस पर वर्तमान में हमारी टीम काम कर रही है। मानचित्र थोड़े समय में बनाया गया था, इसलिए मुझे चलते-चलते कई मूल समाधानों का आविष्कार करना पड़ा। लेकिन हम अपने मुख्य उत्पाद पर काम में सभी नए विकास को लागू करते हैं।

नक्शा: प्रारूप चुनें और डेटा तैयार करें

डेटा की कल्पना करने के लिए, हमने मैपबॉक्स का उपयोग किया। नक्शा बनाने के लिए दो दृष्टिकोण हैं, हमने दोनों की कोशिश की। पहले में रैस्टर मैप बनाना शामिल है। इस मामले में, हम नक्शे को वर्गों में विभाजित करते हैं, जिसे हम चित्रों में प्रस्तुत करते हैं और सर्वर पर संग्रहीत करते हैं। जब उपयोगकर्ता मानचित्र पर घूमता है तो ब्राउज़र कई चित्र डाउनलोड करता है और उन्हें स्थानांतरित करता है। यह दृष्टिकोण आपको सभी क्षेत्रों को प्रदर्शित करने की अनुमति देता है, आपको कुछ भी फ़िल्टर करने की आवश्यकता नहीं है। यह सुंदर है, माइनस यह है कि मानचित्र स्थिर है, साथ ही बिटमैप छवियां बहुत अधिक वजन करती हैं।

दूसरा दृष्टिकोण वेक्टर नक्शा बनाने के लिए है। ब्राउज़र वेक्टर डेटा को लोड करता है और इसे क्लाइंट साइड पर एनिमेट करता है। यह है कि आधुनिक Google और यैंडेक्स नक्शे कैसे काम करते हैं। डेटा चित्रों से कम वजन का होता है और आपको किसी भी तत्व के डिज़ाइन को बदलने की अनुमति देता है। यह नक्शा मैपबॉक्स सेवा द्वारा बनाया जा सकता है, विशेष रूप से, उनका मैपबॉक्स जीएल लाइब्रेरी वेब पर मानचित्र प्रदर्शित करने के लिए एक खुला स्रोत उपकरण है। अन्य बातों के अलावा, मैपबॉक्स एक पेड मैप स्टोरेज सेवा प्रदान करता है। आप अपने डेटा को अपने सर्वर पर मैन्युअल रूप से अपलोड कर सकते हैं, और मैपबॉक्स सटीक मानचित्र संचालन सुनिश्चित करते हुए, जल्दी से जानकारी वितरित करेगा। यह काम का एक अनिवार्य हिस्सा है, और इस तथ्य के लिए धन्यवाद कि मैपबॉक्स इसे अपने आप में लेता है, टीम के कार्य को बहुत सरल किया गया है।


एमिलिया रोमाग्ना, इटली

वेक्टर डेटा के साथ काम करते समय, एक सशर्त सीमा होती है: आप मानचित्र पर जितनी अधिक जानकारी प्रदर्शित करना चाहते हैं, सब कुछ धीमा हो जाएगा। इस समस्या को हल करने के लिए, हमने मैपबॉक्स से एक उपयोगिता का उपयोग किया जिसे टिपेकानो कहा जाता है। हमारे द्वारा चुने गए एल्गोरिदम के आधार पर, यह निर्धारित करता है कि कौन से ज़ूम फ़ील्ड दिखाई देंगे और जो नहीं थे, और अदृश्य वेक्टर ऑब्जेक्ट्स को परत से हटा दिया गया था। कुल मिलाकर, Tippecanoe में 20 से अधिक फ़िल्टरिंग एल्गोरिदम हैं, हमने हर चीज की कोशिश की और कुछ बुनियादी लोगों को चुना। हमने मैपबॉक्स से 50 गीगाबाइट तक की mbtiles तकनीक का उपयोग करके तैयार किए गए डेटा को तैयार किया और फिर इसे कंपनी के सर्वर पर अपलोड कर दिया।

नेक्स्ट JS फ्रेमवर्क का उपयोग, जो पेज के सर्वर-साइड रेंडरिंग को अंजाम देता है, जिससे मैप को और भी ज्यादा तेज किया जा सकता है। आधुनिक दुनिया में अधिकांश एप्लिकेशन क्लाइंट पक्ष पर पूरी तरह से प्रस्तुत किए जाते हैं: जब एक विंडो खोली जाती है, तो ब्राउज़र एक खाली एचएमटीएल पृष्ठ और एक स्क्रिप्ट प्रदर्शित करता है जो सभी जानकारी लोड करता है। अगला जेएस फ्रेमवर्क सर्वर पर सब कुछ प्रदान करता है, और यह क्लाइंट के लिए एप्लिकेशन को जल्दी लोड करता है।

नक्शा: दृश्य सेट करें और रिलीज से पहले रात को "जादू बटन" के साथ आएं

मैपबॉक्स हमारे डिजाइनर के लिए एक सुखद खोज थी। सेवा ने उनके कार्य को सरल बना दिया क्योंकि वह बिना फ्रंट-डेवलपर को शामिल किए डेटा की कल्पना करने में सक्षम थे। बाहर से यह लग सकता है कि तैयार इंटरफ़ेस में खेतों को रंगना आसान है, लेकिन कई बारीकियां हैं। हमारे पास 27 संस्कृतियां हैं, और उनके लिए रंग चुनना आसान नहीं था। लोकप्रिय संस्कृतियों के लिए, विपरीत रंगों की आवश्यकता होती है, कम लोकप्रिय, कम विषम रंगों के लिए, और इन सभी को अलग-अलग ज़ूम स्तरों पर स्पष्ट रूप से दिखाई देना चाहिए। मानचित्र में बहुत सारे घोंसले के शिकार और इंटरैक्टिव संकेत हैं, इसलिए सबसे कठिन बात यह थी कि विभिन्न स्तरों पर संक्रमण के तर्क को सोचना चाहिए।

रिलीज से पहले की रात, हमें एहसास हुआ कि हालांकि यह नक्शे और संख्याओं को देखना दिलचस्प है, लेकिन मैं इसे सोशल नेटवर्क पर साझा नहीं करना चाहता। इसलिए, हमने "यादृच्छिक सुंदर फ़ील्ड" बटन जोड़ने का फैसला किया, जो उपयोगकर्ताओं को ग्रह पर विभिन्न स्थानों के बीच फेंकता है। पूरे कार्यालय में हमने सुंदर स्थानों की खोज की, एक घंटे में हमने एक बटन खींचा और हमने सब कुछ बना लिया। सुबह हमने इसका परीक्षण किया और इसे शुरू किया। ऐसा लगता है कि यह यह समारोह था जिसने हमें बहुत अधिक कवरेज दिया। अन्यथा, किसी ने भी इस तथ्य पर ध्यान नहीं दिया कि क्षेत्र अमूर्त चित्रों के समान हैं। अंतिम-मिनट के निर्णयों की शक्ति को कम मत समझो।


फ्रांस के क्षेत्र

हमने लॉन्च के बाद मानचित्र में एक और फ़ंक्शन जोड़ा। हमें पता था कि कभी-कभी हम नक्शे पर फ़ील्ड और संस्कृतियों को बिल्कुल नहीं पहचानते हैं, और उपयोगकर्ता प्रतिक्रिया हमें अपने एल्गोरिदम में सुधार करने की अनुमति देती है। रिहाई के बाद, किसानों ने फसल की पहचान में अशुद्धियों के बारे में संदेश भेजना शुरू किया: "मेरे पास खेत में सूरजमुखी उग रहा है, और आपके पास मकई है।" इस समस्या को हल करने के लिए, हमने फ़ील्ड कार्ड में एक बटन जोड़ा जो हमें त्रुटि सूचना भेजता है। हमारे द्वारा उपयोग की जाने वाली जानकारी का उपयोग हमारी फसल मान्यता मॉडल की सटीकता में सुधार के लिए किया जाता है।

अंत में

इसके विकास के दौरान, कार्ड की अवधारणा बहुत अधिक जटिल हो गई है। यदि पहले तो हमने दुनिया भर में खेतों और फसलों का एक सरल दृश्य बनाने की योजना बनाई, तो अंतिम उत्पाद बहुत अधिक जटिल हो गया। लेकिन कार्ड प्रयास के लायक था। रिलीज के बाद, सैकड़ों निवेशकों, नींव और वैज्ञानिक शोधकर्ताओं ने हमें लिखा। हम अपने निशुल्क OneSoil परिशुद्धता खेती वेब प्लेटफॉर्म पर काम करने के लिए, तकनीकी समाधान के भाग का उपयोग करेंगे, उदाहरण के लिए, Next JS फ्रेमवर्क और Tippecanoe उपयोगिता।

हम तीन साल में संयुक्त राज्य अमेरिका और यूरोप के सभी क्षेत्रों का नक्शा बनाने वाले पहले व्यक्ति थे। हमें जो डेटा मिला है वह अद्वितीय है। पहले से ही, हम किसी भी कंपनी या राज्य से अधिक क्षेत्रों के बारे में जानते हैं। और जो आंकड़े हमें मशीन लर्निंग एल्गोरिदम का उपयोग करते हैं, वे अक्सर उन लोगों की तुलना में अधिक सटीक होते हैं जो मैन्युअल रूप से एकत्र किए गए थे। हमने दुनिया भर के क्षेत्रों को स्वचालित रूप से पहचानने की दिशा में पहला कदम उठाया है - निकट भविष्य के लिए यह हमारी योजना है।