قبل بضعة أشهر ، أطلقنا أول
خريطة تفاعلية مجانية في العالم ، والتي يمكنك من خلالها الاطلاع على معلومات حول أي مجال في الولايات المتحدة وأوروبا. كتبت العشرات من المنشورات عن الخريطة ، وفي Product Hunt قامت بجمع واحد ونصف المليون غير مسبوق لمنتج من القطاع الزراعي (وأصبحت في نهاية المطاف منتج AI & Machine Learning of the Year 2018). لقد طورنا الخريطة لمدة شهرين - هكذا كان الحال.
تعتمد الخريطة التفاعلية على خوارزميات التعلم الآلي وصور القمر الصناعي. أنه يحتوي على معلومات حول 60 مليون حقل و 27 الثقافات في 44 دولة من أوروبا والولايات المتحدة. البيانات - لمدة ثلاث سنوات. لقد أدركنا جميع الحقول بمساعدة ML من صور الأقمار الصناعية. باستخدام الخريطة ، يمكنك مراقبة الاتجاهات على مستوى البلدان والمناطق ، ومراقبة تطور حقل معين. على سبيل المثال ، يمكنك معرفة مساحة الأراضي التي احتلتها الذرة في الولايات المتحدة في عام 2016 (49.1 مليون هكتار) أو أي منطقة في بلجيكا بها معظم حقول القمح (والونيا).
أوروبا في الحد الأدنى التكبيرباستخدام الخريطة ، يمكنك أيضًا العثور على معلومات في حقل منفصل: حجمها وثقافتها وجدولها الزمني للتطوير ومؤشرها الشامل. يتم حسابه بواسطة مؤشر NDVI والمؤشرات المناخية والإنتاجية الميدانية النسبية. في أي وقت ، يمكنك أن ترى كيف تتطور البنجر في مجالك أو المنطقة التي خصصها الجار للبقوليات العام الماضي. من بين أشياء أخرى ، إنه جميل. لقد صنعنا زر "الحقول الجميلة العشوائية": ينتقل بك إلى 35 مكان في جميع أنحاء العالم ، كل منها يبدو وكأنه عمل فني مجردة.
ظهرت فكرة إنشاء مثل هذه البطاقة في يوليو من العام الماضي. افتقرنا إلى أداة تسمح لنا بإظهار جميع قدراتنا التكنولوجية بوضوح. في أغسطس ، بدأ الفريق بأكمله بالتطور عن كثب.
البيانات: جمع ومعالجة وضغط
عند تطوير الخريطة ، استخدمنا صورًا للقمر الصناعي Sentinel-2 لبرنامج Copernicus التابع للاتحاد الأوروبي. في المجموع ، تم معالجة حوالي 250 تيرابايت من المعلومات لأوروبا والولايات المتحدة الأمريكية. في المرحلة الأولى ، قمنا بإجراء المعالجة المسبقة للصور: قمنا بتنظيف السحب والظلال والثلوج وقمنا بضغط البيانات. ثم ، على 50 تيرابايت الناتجة ، أطلقوا عملية البحث عن حدود الحقل وتصنيف الثقافات على نماذج التعلم الآلي لدينا. في الخرج ، تلقينا حوالي 250 غيغابايت من خرائط المتجهات التي تحتوي على هندسة الحقول والثقافات.
لمعالجة البيانات وحساب الإحصاءات ، استخدمنا قواعد بيانات PostgreSQL و PostGIS. بعد تصدير بيانات المتجهات الأصلية ، حصلنا على قاعدة بيانات تحتوي على حوالي 180 مليون سجل لهندسة المجال ، بالإضافة إلى أكثر من مليار سجل لمعلومات السمة الإضافية حول الحقول نفسها على مدار ثلاث سنوات. على هذا القدر من البيانات ، قمنا بحساب الإحصاءات والتقييمات وحدد شعبية الثقافات المختلفة في مناطق العالم - كل ما يتم عرضه على الخريطة في العمود الأيسر والنصائح التفاعلية.
حقول كرواتيالقد أردنا أن نحسب بسرعة ونعرض المؤشرات الزراعية لهذا المجال ، بالإضافة إلى تصور رسم بياني لتطور النبات على مدار الموسم. للقيام بذلك ، استخدمنا نهجنا في التخزين المؤقت وضغط بيانات الأقمار الصناعية. هذا سمح لنا بتقليل حجم مستودع البيانات بمقدار يتراوح بين 100 و 200 مرة ، وتقليل سرعة الحصول على المعلومات في الحقل إلى ثانية واحدة.
أيضًا في هذا الإصدار من الخريطة ، أضفنا مؤشرًا شاملًا لتسجيل النقاط ، والذي يسمح لك بتقييم تصنيف الحقل بسرعة. تعتبر Field Field هي الخطوة الأولى نحو التنبؤ بالعائد ، والذي يعمل عليه فريقنا حاليًا. تم إنشاء الخريطة في وقت قصير ، لذلك كان لابد لي من ابتكار العديد من الحلول الأصلية أثناء التنقل. لكننا نطبق جميع التطورات الجديدة في العمل على منتجاتنا الرئيسية.
خريطة: اختيار تنسيق وإعداد البيانات
من أجل تصور البيانات ، استخدمنا Mapbox. هناك طريقتان لإنشاء خريطة ، حاولنا كليهما. الأول ينطوي على إنشاء خريطة النقطية. في هذه الحالة ، نقسم الخريطة إلى مربعات ، نعرضها على صور ونخزنها على الخادم. يقوم المتصفح بتنزيل العديد من الصور ونقلها عندما يتحرك المستخدم في جميع أنحاء الخريطة. يتيح لك هذا النهج عرض جميع الحقول ، ولا تحتاج إلى تصفية أي شيء. هذا جميل ، ناقص أن الخريطة ثابتة ، بالإضافة إلى أن الصور النقطية تزن كثيرًا.
النهج الثاني هو إنشاء خريطة ناقلات. يقوم المتصفح بتحميل بيانات المتجهات ويقوم بتنشيطها على جانب العميل. هذه هي الطريقة التي تعمل بها خرائط Google و Yandex الحديثة. تزن البيانات أقل من الصور وتتيح لك تغيير تصميم أي عنصر. يمكن إجراء هذه الخريطة بواسطة خدمة Mapbox ، على وجه الخصوص ، مكتبة Mapbox GL الخاصة بهم هي أداة مفتوحة المصدر لعرض الخرائط على الويب. من بين أشياء أخرى ، يوفر Mapbox خدمة تخزين الخرائط المدفوعة. يمكنك تحميل بياناتك يدويًا إلى خوادمها ، وسيقوم Mapbox بتوزيع المعلومات بسرعة ، مما يضمن تشغيل الخريطة بدقة. هذا جزء أساسي من العمل ، وبفضل حقيقة أن Mapbox يأخذ على عاتقه ، تم تبسيط مهمة الفريق إلى حد كبير.
إميليا رومانيا ، إيطالياعند العمل مع بيانات المتجهات ، هناك قيود مشروطة: كلما زادت المعلومات التي تريد عرضها على الخريطة ، كلما كان كل شيء أبطأ. لحل هذه المشكلة ، استخدمنا أداة مساعدة من Mapbox تسمى Tippecanoe. استنادًا إلى الخوارزميات التي حددناها ، حددت حقول التكبير / التصغير التي ستكون مرئية والتي لم تكن كذلك ، وأزلت الكائنات المتجهة غير المرئية من الطبقة. في المجموع ، يحتوي Tippecanoe على أكثر من 20 خوارزمية تصفية ، لقد جربنا كل شيء واخترنا اثنين من الخوارزميات الأساسية. لقد قمنا بإعداد البيانات التي تم إعدادها باستخدام تقنية mbtiles من Mapbox حتى 50 غيغابايت ، ثم قمنا بتحميلها على خوادم الشركة.
استخدام إطار عمل JS التالي ، الذي يؤدي عرض الصفحة من جانب الخادم ، جعل من الممكن تسريع الخريطة أكثر. يتم تقديم معظم التطبيقات في العالم الحديث بالكامل من جانب العميل: عندما يتم فتح نافذة ، يعرض المستعرض صفحة hmtl فارغة ونص برمجي يقوم بتحميل جميع المعلومات. يعرض إطار عمل JS التالي كل شيء على الخادم ، مما يجعل تحميل التطبيق سريعًا للعميل.
الخريطة: قم بإعداد الصورة المرئية وتوصل إلى "زر سحري" في الليلة التي سبقت الإصدار
كان Mapbox اكتشافًا لطيفًا لمصممنا. تبسيط الخدمة مهمته لأنه كان قادراً على تصور البيانات دون إشراك مطور الواجهة الأمامية. من الخارج قد يبدو أنه من السهل تلوين الحقول في الواجهة النهائية ، ولكن هناك العديد من الفروق الدقيقة. لدينا 27 ثقافة ، ولم يكن اختيار الألوان لها أمرًا سهلاً. بالنسبة للثقافات الشائعة ، هناك حاجة إلى ألوان متناقضة ، وألوان أقل شعبية وأقل تباينًا ، ويجب أن تكون جميعها مرئية بوضوح على مستويات تكبير مختلفة. تحتوي الخريطة على الكثير من التلميحات والتلميحات التفاعلية ، لذلك كان الأمر الأكثر صعوبة هو التفكير في منطق التحولات على مستويات مختلفة.
في الليلة التي سبقت الإصدار ، أدركنا أنه على الرغم من أنه من المثير للاهتمام النظر إلى الخريطة والأرقام ، إلا أنني لا أريد مشاركة هذا على الشبكات الاجتماعية. لذلك ، قررنا إضافة زر "الحقول الجميلة العشوائية" ، والذي يلقي المستخدمين بين أماكن مختلفة على الكوكب. بحثنا في جميع أنحاء المكتب عن أماكن جميلة ، وخلال ساعة قمنا برسم زر وقمنا بتكوين كل شيء. في الصباح ، اختبرناه وبدأنا تشغيله. يبدو أن هذه الوظيفة هي التي أعطتنا الكثير من التغطية. خلاف ذلك ، لم يكن لأحد أن ينتبه إلى حقيقة أن الحقول تشبه اللوحات التجريدية. لا نقلل من قوة قرارات اللحظة الأخيرة.
حقول فرنساأضفنا وظيفة أخرى إلى الخريطة بعد الإطلاق. كنا نعلم أننا في بعض الأحيان لا نتعرف على الحقول والثقافات على الخريطة تمامًا ، وتتيح لنا ملاحظات المستخدم تحسين خوارزمياتنا. بعد الإصدار ، بدأ المزارعون في إرسال رسائل حول عدم الدقة في التعرف على المحاصيل: "لدي عباد الشمس ينمو في الحقل ، ولديك الذرة". لحل هذه المشكلة ، أضفنا زرًا إلى بطاقة الحقل التي ترسل إعلامات الخطأ إلينا. يتم استخدام المعلومات التي نستخدمها لتحسين دقة نماذج التعرف على المحاصيل لدينا.
في النهاية
خلال تطويرها ، أصبح مفهوم البطاقة أكثر تعقيدًا. إذا كنا في البداية نخطط لتصور بسيط للحقول والمحاصيل في جميع أنحاء العالم ، فإن المنتج النهائي أصبح أكثر تعقيدًا. لكن البطاقة كانت تستحق الجهد المبذول. بعد الإصدار ، كتب لنا مئات المستثمرين والمؤسسات والباحثين العلميين. سنستخدم جزءًا من الحلول التكنولوجية ، على سبيل المثال ، Next JS framework و Tippecanoe ، للعمل على منصة الويب المجانية
OneSoil للفلاحة الدقيقة لدينا.
كنا أول من رسم خريطة لجميع مجالات الولايات المتحدة الأمريكية وأوروبا خلال ثلاث سنوات. البيانات التي تلقيناها فريدة من نوعها. بالفعل ، نحن نعرف المزيد عن الحقول أكثر من أي شركة أو ولاية. وغالبًا ما تكون الإحصائيات التي نحصل عليها باستخدام خوارزميات التعلم الآلي أكثر دقة من تلك التي تم جمعها يدويًا. لقد اتخذنا الخطوة الأولى نحو التعرف تلقائيًا على الحقول في جميع أنحاء العالم - هذه هي خطتنا للمستقبل القريب.