60 Millionen Felder und 27 Pflanzen. Wie wir eine Karte aller Bereiche Europas und der USA erstellt haben

Vor einigen Monaten haben wir die weltweit erste kostenlose interaktive Karte veröffentlicht , mit der Sie Informationen zu allen Bereichen in den USA und in Europa anzeigen können. Dutzende von Veröffentlichungen schrieben über die Karte, und bei Product Hunt sammelte sie beispiellose anderthalbtausend Likes für ein Produkt aus dem Agrarsektor (und wurde schließlich zum AI & Machine Learning-Produkt des Jahres 2018). Wir haben die Karte zwei Monate lang entwickelt - so war es.

Die interaktive Karte basiert auf Algorithmen für maschinelles Lernen und Satellitenbildern. Es enthält Informationen zu 60 Millionen Feldern und 27 Kulturen in 44 Ländern Europas und der USA. Daten - für drei Jahre. Wir haben alle Felder mit Hilfe von ML aus Satellitenbildern erkannt. Mithilfe der Karte können Sie sowohl Trends auf Länder- und Regionsebene überwachen als auch die Entwicklung eines bestimmten Felds beobachten. Sie können beispielsweise herausfinden, wie viel Land 2016 in den USA von Mais besetzt war (49,1 Millionen Hektar) oder in welcher Region Belgiens die meisten Weizenfelder (Wallonien) liegen.


Europa bei minimalem Zoom

Mithilfe der Karte finden Sie auch Informationen zu einem separaten Feld: Größe, Kultur, Entwicklungsplan und ein umfassender Indikator Field Score. Sie wird anhand des NDVI-Index, der Klimaindikatoren und der relativen Feldproduktivität berechnet. Sie können jederzeit sehen, wie sich die Rüben auf Ihrem Feld entwickeln oder welchen Bereich der Nachbar letztes Jahr für Hülsenfrüchte reserviert hat. Unter anderem ist es schön. Wir haben die Schaltfläche „Zufällig schöne Felder“ erstellt: Sie bewegt Sie an mehr als 35 Orte auf der ganzen Welt, von denen jeder wie ein Kunstwerk abstrakter Kunst aussieht.

Die Idee, eine solche Karte zu erstellen, kam im Juli letzten Jahres auf. Uns fehlte ein Werkzeug, mit dem wir alle unsere technologischen Fähigkeiten klar demonstrieren konnten. Im August begann sich das gesamte Team eng zu entwickeln.

Daten: sammeln, verarbeiten, komprimieren

Bei der Entwicklung der Karte haben wir Bilder des Sentinel-2-Satelliten des Copernicus-Programms der Europäischen Union verwendet. Insgesamt wurden rund 250 Terabyte an Informationen für Europa und die USA verarbeitet. In der ersten Phase haben wir die Bilder vorverarbeitet: Wir haben die Wolken, Schatten und den Schnee gereinigt und die Datenkomprimierung durchgeführt. Auf den resultierenden 50 Terabyte starteten sie dann den Prozess der Suche nach Feldgrenzen und der Klassifizierung von Kulturen in unseren Modellen für maschinelles Lernen. Bei der Ausgabe erhielten wir ungefähr 250 Gigabyte Vektorkarten mit Feldgeometrien und Kulturen.

Um Daten zu verarbeiten und Statistiken zu berechnen, haben wir die Datenbanken PostgreSQL und PostGIS verwendet. Nach dem Export der ursprünglichen Vektordaten erhielten wir eine Datenbank mit etwa 180 Millionen Datensätzen zur Feldgeometrie sowie mehr als einer Milliarde Datensätzen mit zusätzlichen Attributinformationen zu den Feldern selbst über drei Jahre. Aus dieser Datenmenge berechneten wir Statistiken, Bewertungen, bestimmten die Beliebtheit verschiedener Kulturen in den Regionen der Welt - alles, was auf der Karte in der linken Spalte angezeigt wird, und interaktive Tipps.


Felder von Kroatien

Wir wollten schnell agronomische Indikatoren für das Feld berechnen und anzeigen sowie ein Diagramm der Pflanzenentwicklung über die Saison visualisieren. Zu diesem Zweck haben wir unseren eigenen Ansatz zum Zwischenspeichern und Komprimieren von Satellitendaten verwendet. Dadurch konnten wir die Größe des Data Warehouse um das 100- bis 200-fache reduzieren und die Geschwindigkeit, mit der Informationen vor Ort abgerufen werden, auf 1 Sekunde reduzieren.

Auch in dieser Version der Karte haben wir einen umfassenden Feldwertindikator hinzugefügt, mit dem Sie die Feldbewertung schnell bewerten können. Der Field Score ist der erste Schritt zur Ertragsprognose, an dem unser Team derzeit arbeitet. Die Karte wurde in kurzer Zeit erstellt, so dass ich unterwegs viele originelle Lösungen erfinden musste. Wir wenden jedoch alle neuen Entwicklungen in der Arbeit an unserem Hauptprodukt an.

Karte: Format auswählen und Daten vorbereiten

Um die Daten zu visualisieren, haben wir Mapbox verwendet. Es gibt zwei Ansätze zum Erstellen einer Karte, wir haben beide ausprobiert. Das erste beinhaltet das Erstellen einer Rasterkarte. In diesem Fall teilen wir die Karte in Quadrate, die wir in Bilder rendern und auf dem Server speichern. Der Browser lädt mehrere Bilder herunter und verschiebt sie, wenn sich der Benutzer auf der Karte bewegt. Mit diesem Ansatz können Sie alle Felder anzeigen, Sie müssen nichts filtern. Das ist wunderschön, das Minus ist, dass die Karte statisch ist und Bitmap-Bilder viel wiegen.

Der zweite Ansatz besteht darin, eine Vektorkarte zu erstellen. Der Browser lädt die Vektordaten und animiert sie auf der Clientseite. So funktionieren moderne Google- und Yandex-Karten. Daten wiegen weniger als Bilder und ermöglichen es Ihnen, das Design eines Elements zu ändern. Diese Karte kann vom Mapbox-Dienst erstellt werden. Insbesondere die Mapbox GL-Bibliothek ist ein Open Source-Tool zum Anzeigen von Karten im Web. Mapbox bietet unter anderem einen kostenpflichtigen Kartenspeicherdienst an. Sie können Ihre Daten manuell auf ihre Server hochladen, und Mapbox verteilt Informationen schnell und sorgt so für einen genauen Kartenbetrieb. Dies ist ein wesentlicher Teil der Arbeit. Dank der Tatsache, dass Mapbox diese Aufgabe übernimmt, wurde die Aufgabe des Teams erheblich vereinfacht.


Emilia Romagna, Italien

Bei der Arbeit mit Vektordaten gibt es eine bedingte Einschränkung: Je mehr Informationen Sie auf der Karte anzeigen möchten, desto langsamer funktioniert alles. Um dieses Problem zu lösen, haben wir ein Dienstprogramm von Mapbox namens Tippecanoe verwendet. Basierend auf den von uns ausgewählten Algorithmen wurde ermittelt, bei welchem ​​Zoom bestimmte Felder sichtbar sind und welche nicht, und unsichtbare Vektorobjekte aus der Ebene entfernt. Insgesamt verfügt Tippecanoe über mehr als 20 Filteralgorithmen. Wir haben alles ausprobiert und einige grundlegende ausgewählt. Wir haben die so aufbereiteten Daten mit der mbtiles-Technologie von Mapbox bis zu 50 Gigabyte aufbereitet und dann auf die Server des Unternehmens hochgeladen.

Die Verwendung des Next JS-Frameworks, das das serverseitige Rendern der Seite durchführt, ermöglichte es, die Karte noch weiter zu beschleunigen. Die meisten Anwendungen in der modernen Welt werden vollständig auf der Clientseite gerendert: Wenn ein Fenster geöffnet wird, zeigt der Browser eine leere HTML-Seite und ein Skript an, das alle Informationen lädt. Das Next JS-Framework rendert alles auf dem Server, wodurch das Laden der Anwendung für den Client schnell erfolgt.

Karte: Richten Sie das Bild ein und lassen Sie sich am Abend vor der Veröffentlichung einen „magischen Knopf“ einfallen

Mapbox war eine angenehme Entdeckung für unseren Designer. Der Service vereinfachte seine Aufgabe, da er die Daten ohne Beteiligung eines Front-End-Entwicklers visualisieren konnte. Von außen mag es scheinen, dass es einfach ist, die Felder in der fertigen Oberfläche einzufärben, aber es gibt viele Nuancen. Wir haben 27 Kulturen und es war nicht einfach, Farben für sie auszuwählen. Für populäre Kulturen werden kontrastierende Farben benötigt, für weniger populäre, weniger kontrastierende Farben, und sie sollten alle bei verschiedenen Zoomstufen deutlich sichtbar sein. Die Karte enthält viele Verschachtelungen und interaktive Hinweise. Daher war es am schwierigsten, die Logik von Übergängen auf verschiedenen Ebenen zu überdenken.

In der Nacht vor der Veröffentlichung wurde uns klar, dass es zwar interessant ist, die Karte und die Zahlen zu betrachten, ich dies jedoch nicht in sozialen Netzwerken teilen möchte. Aus diesem Grund haben wir uns entschlossen, die Schaltfläche "Zufällig schöne Felder" hinzuzufügen, mit der Benutzer zwischen verschiedenen Orten auf dem Planeten hin- und hergeschleudert werden. Im ganzen Büro haben wir nach schönen Orten gesucht, in einer Stunde haben wir einen Knopf gezogen und alles erfunden. Am Morgen haben wir es getestet und gestartet. Es scheint, dass es diese Funktion war, die uns so viel Berichterstattung gab. Sonst hätte niemand darauf geachtet, dass die Felder abstrakten Gemälden ähneln. Unterschätzen Sie nicht die Macht von Entscheidungen in letzter Minute.


Felder von Frankreich

Nach dem Start haben wir der Karte eine weitere Funktion hinzugefügt. Wir wussten, dass wir manchmal die Felder und Kulturen auf der Karte nicht genau erkennen, und das Feedback der Benutzer ermöglicht es uns, unsere Algorithmen zu verbessern. Nach der Freilassung begannen die Landwirte, Nachrichten über Ungenauigkeiten bei der Pflanzenerkennung zu senden: „Auf dem Feld wächst Sonnenblume, und Sie haben Mais.“ Um dieses Problem zu beheben, haben wir der Feldkarte eine Schaltfläche hinzugefügt, die uns Fehlerbenachrichtigungen sendet. Die von uns verwendeten Informationen werden verwendet, um die Genauigkeit unserer Pflanzenerkennungsmodelle zu verbessern.

Zusammenfassend

Während seiner Entwicklung ist das Konzept der Karte viel komplizierter geworden. Wenn wir zunächst vorhatten, Felder und Pflanzen auf der ganzen Welt einfach zu visualisieren, stellte sich heraus, dass das Endprodukt viel komplexer war. Aber die Karte hat sich gelohnt. Nach der Veröffentlichung haben uns Hunderte von Investoren, Stiftungen und wissenschaftlichen Forschern geschrieben. Wir werden einen Teil der technologischen Lösungen, beispielsweise das Next JS-Framework und das Tippecanoe-Dienstprogramm, verwenden, um an unserer kostenlosen OneSoil Precision Farming-Webplattform zu arbeiten.

Wir waren die ersten, die seit drei Jahren alle Bereiche der USA und Europas kartierten. Die Daten, die wir erhalten haben, sind einzigartig. Wir wissen bereits mehr über die Bereiche als jedes Unternehmen oder Bundesland. Und die Statistiken, die wir mithilfe von Algorithmen für maschinelles Lernen erhalten, sind oft genauer als diejenigen, die manuell erfasst wurden. Wir haben den ersten Schritt zur automatischen Erkennung von Feldern auf der ganzen Welt getan - dies ist unser Plan für die nahe Zukunft.