Foto: Lisa Alert .Wenn eine Person im Wald verschwunden ist, können Sie sie am besten finden, indem Sie geschulte Suchmaschinen zum Kämmen schicken. Noch kann keine Suchtechnologie Menschen ersetzen. Im Frühsommer haben wir über mehrere Teams geschrieben, die im Rahmen des Odyssey-Wettbewerbs Lösungen für wild lebende Tiere entwickelt haben. Viele Ingenieure verließen sich auf Drohnen mit Kameras und Computer Vision, hatten jedoch keine offensichtlichen Probleme - schlechte Kommunikation, geringe Verarbeitung und Übertragung großer Datenmengen, dichte Baumkronen und vieles mehr.
Infolgedessen erreichte keine einzige Lösung mit Computer Vision das Finale des Wettbewerbs. Technische Experten sagten jedoch: Wenn sich die Teams zusammenschließen, einen Datensatz zusammenstellen und darauf Algorithmen trainieren, könnte Computer Vision eine Chance haben.
Letzte Woche, am 9. August, kündigte die Suchtruppe Lisa Alert zusammen mit Beeline den Start eines Tools an, mit dem nach Personen auf Fotos von Drohnen gesucht werden kann. Wir gingen zu einer Pressekonferenz, die dem Start gewidmet war, und fanden heraus, wie es funktioniert.
Zehntausende Fotos
Die Präsentation fand am Tag nach der skandalösen Ankündigung des Notfallministeriums über den Hurrikan statt, der zehn Minuten lang in der Luft der Hauptfernsehkanäle hing. Der Hurrikan fand nicht statt, aber das Wetter war immer noch schrecklich. Für die Liza Alert-Abteilung ist dies manchmal der Fall - die Anzahl der Anträge für vermisste Personen im Wald sinkt stark, da sie bei schlechtem Wetter einfach nicht dorthin gehen. Dies setzt Kräfte für komplexere Suchvorgänge frei. Auf der anderen Seite sind vermisste Personen während eines Kälteeinbruchs in noch größerer Gefahr.
Zum Beispiel erhielt Lisa Alert im Juli 1.083 Anträge für den Wald. Etwa 700 von ihnen befinden sich in den Vororten. Viele verlorene Menschen haben noch ein Telefon und befinden sich im Netzabdeckungsbereich. Aus dem Wald werden sie von der Gruppe „Forest in Touch“ herausgeführt, die erklärt, wie man durch die Sonne oder natürliche Sehenswürdigkeiten herauskommt. Manchmal schicken sie eine Gruppe, die eine Sirene aufstellt oder eine Person herausnimmt.
Die schwierigsten Suchanfragen sind jedoch solche, bei denen kein Zusammenhang mit den Vermissten besteht. Zum Beispiel wurde zum Zeitpunkt der mehrtägigen Pressekonferenz nach einer 73-jährigen Frau in der Region Shchelkovo gesucht. Suchmaschinengruppen gingen insgesamt 2.300 Kilometer und machten 8.400 Fotos von der Drohne über dem Wald.
„Jetzt funktioniert unsere Technologie so“, sagt Grigory Sergeyev. „Wir machen Fotos, laden sie in den Dienst hoch, der von unseren Freiwilligen geschrieben wurde, und spezielle Gruppen sehen sich Fotos an. Eine große Anzahl von Personen außerhalb des Kaders kann ebenfalls dabei helfen. In diesen Frames suchen wir etwas, das sich vom Wald unterscheidet. Wandergruppen gehen sofort raus, um zu sehen, was es ist. Jetzt haben wir bei der Suche in Shchelkovo mehr als hundert Markierungen, die überprüft werden müssen. Um sie alle zu umgehen, muss man mehr als dreihundert Kilometer laufen. “
Als wir mit den Teilnehmern des Odyssey-Wettbewerbs sprachen, waren sie skeptisch, den Wald aus der Luft zu fotografieren. Aber dieses Jahr findet „Lisa Alert“ mit Hilfe von Coptern mindestens eine Person pro Woche. Laut Gregory fanden sie vor zwei Jahren auf diese Weise nur zwei Personen für die gesamte Saison. Letztes Jahr - sechs.
Drohnen fliegen über Gebiete, in denen es für eine Person sehr schwierig ist zu gehen - Windschutz, Sümpfe. Alexander Lomonosov, Leiter des unbemannten Luftfahrzeugs Lisa Alert, zeigte Aufnahmen von Verfolgern von Suchgruppen. Das Kämmen mit Einheiten hinterließ viele weiße Flecken. Drohnen bedeckten dieses Gebiet vollständig.
„Wenn die Gruppe stürmisch würde, würden sie mindestens drei Stunden verbringen. Die Drohne hat diesen Bereich in 15 Minuten bearbeitet. Dort wurde ein Mann gefunden - aus der Luft. Er konnte in den Windschutz geraten, und es gab nicht mehr genug Kraft, um da rauszukommen. Mehrere ausgebildete Personen evakuierten ihn mehr als vier Stunden lang. Und in dieser Zeit gingen nur 370 Meter vorbei. Als Drohne, offene Felder und Sümpfe arbeitet die Drohne um ein Vielfaches schneller als eine normale Wandergruppe. Wenn das Feld um 15 cm mit Gras bewachsen ist, wird es von einer Gruppe geschulter Suchmaschinen 6 bis 8 Stunden und die Drohne eine Stunde lang gekämmt. Er wird Fotos des gesamten Gebiets mitbringen, und tote Zonen werden vollständig ausgeschlossen. “
Im Durchschnitt bringt eine Suche 250 Fotos. Sechs Monate lang sammeln sie 33.000. Aber jetzt sind nur noch wenige Hubschrauber und Piloten im Kader. Wenn die Anzahl steigt und Drohnen in allen 20 Regionen eingesetzt werden, in denen Lisa Alert tätig ist, werden an einem Tag 33.000 Bilder gesammelt. Und die Abteilung verbrachte 240 Stunden damit, sich nur Fotos von einer Suche in Shchelkovo anzusehen.
Datensätze von Suchmaschinen und Telekommunikationsleistung
Vor zwei Monaten haben Lisa Alert und Beeline begonnen, den Beeline AI - People Search-Algorithmus zu testen, mit dem Fotos von Drohnen analysiert werden.
Das Projekt begann mit der Idee zu lernen, wie leere Fotos automatisch herausgefiltert werden, damit nur die Fotos, die die Anwesenheit einer Person vermuten, an die Gruppe gesendet werden, die sie beobachtet.
"Früher habe ich versucht, spezielle Datensätze zu finden, aber sie existierten nicht auf der Welt, obwohl einige versuchten, sie zu sammeln", sagt Alexander Lomonosov. "Deshalb haben wir selbst die Fotos der Entwickler weitergegeben, auf denen sich Menschen befanden: gewöhnliche Passanten, die in den Rahmen kamen, Pilzsammler , die Suchmaschinen selbst bei der Arbeit. All dies legte den Grundstein für den Datensatz, auf dem Machine Vision funktioniert. “
Das Zusammenstellen eines solchen Datensatzes ist auch eine Aufgabe mit vielen subtilen Feinheiten. Menschen können in jeder Position in den Rahmen gelangen: sitzen, liegen, stehen. Sie können so mit Ästen bedeckt sein, dass nur ein kleiner Teil sichtbar ist. Der Hintergrund ist je nach Landschaft, Region und Jahreszeit sehr unterschiedlich.
„In vielen Regionen haben wir die Menschen ausdrücklich gebeten, zu typischen Posen für die Opfer zu gehen und sie zu fotografieren. Dann wurden die Bilder künstlich vermehrt. Zum Beispiel haben sie eine in Rostow fotografierte Person auf Substrate aus anderen Regionen gebracht “, sagt Grigory Sergeev.
Auf den erhaltenen Fotos begannen Beeline-Datenwissenschaftler, Algorithmen zu lernen.
„Wir als Betreiber sind es gewohnt, mit einer großen Datenmenge zu arbeiten. Wir haben fünf riesige Rechenzentren. Nur das Jaroslawl-Rechenzentrum, in dem wir mit Lisa Alert arbeiten, verarbeitet 15 Petabyte Daten. Dank dessen haben wir gelernt, wie man sehr moderne Modelle baut “, sagt George Held, Vice President für digitale Geschäftsentwicklung bei Beeline.
„Fotos kommen in unser System, und wir müssen feststellen, ob sich eine Person auf ihnen befindet oder nicht. Sehen Sie einen Hut, einen Stiefel, eine Hand, ein Ohr, was auch immer. Daher schneiden wir jedes Bild in 30-35 Ebenen. Es wurde gigantische Arbeit geleistet, um die dafür geeignete Architektur zu finden und einen Algorithmus zu erstellen, da jeder Fehler dazu führt, dass wir Menschen auf Fotos vermissen. Für die schnelle Verarbeitung jeder Schicht sind enorme Rechenressourcen erforderlich. Wir verwenden dieselben Modelle, die wir für das Targeting verwenden. Wir nehmen ihre Komponenten und verwenden sie für dieses Projekt wieder. “
Das Modell kann nicht nur nach der ganzen Person suchen, sondern bemerkt auch alle kleinen und verdächtigen Artefakte im Wald auf den Bildern. Jetzt beginnt die erste Testphase, in der der Algorithmus alle Fotos verwirft, bei denen eine Wahrscheinlichkeit von 98% besteht, dass keine Person vorhanden ist.
Die restlichen Bilder gehen sofort an die Freiwilligen, die dort nach Menschen suchen, und werden bei Bedarf zu Suchmaschinen oder Drohnen geschickt, um weitere Aufnahmen zu machen. Während das System getestet wird, werden auch Personen überprüft, die die Bilder verworfen haben - aber an zweiter Stelle.
Im nächsten Schritt planen die Entwickler, den Algorithmus zu lehren, um die Bilder von Menschen genauer zu bestimmen und Vorhersagemodelle für ihre Bewegungen im Wald zu erstellen.
Warum 5G hier?
Jetzt hat das System zwei Möglichkeiten. Das erste ist ein Offline-Programm zum Verarbeiten von Bildern auf Laptops unter Bedingungen, bei denen keine Verbindung besteht. Die Leistung ist begrenzt und muss jedes Mal aktualisiert werden, wenn Sie eine Verbindung zum Netzwerk herstellen, da der Algorithmus ständig lernt. Der Onlinedienst schöpft sein volles Potenzial aus - darin werden die Fotos auf Beeline-Server hochgeladen. Bereits 15 Millionen Bilder sind durch die Rechenzentren gegangen.
Lisa Alert verwendet DJI-Drohnen bei der Suche, weil sie ihre Programme für den autonomen Flug verwendet. Eine Aufnahme des Mavic 2 Pro-Modells wiegt etwa 20 MB. Nach jedem Flug müssen Sie durchschnittlich 20 GB Fotos hochladen und an den Dienst übertragen. Dies gilt auch für Orte mit guter Netzabdeckung.
George Held glaubt, dass die Arbeit von Suchalgorithmen ein Argument für den
Aufbau von 5G-Netzwerken ist .
„Es ist sehr wichtig, dass Informationen über ein großes, qualitativ hochwertiges Netzwerk übertragen werden. Deshalb investieren wir jetzt viel Geld in die Verbesserung von Basisstationen. Es wird ein 5G-Netzwerk aufgebaut. Viele Betreiber sagen dies mit Stolz. Aber die größte Frage ist - wofür ist es? Um einfach ein Video auf YouTube anzusehen? Es wird auch genau gut auf 4G funktionieren. 5G braucht echte Gründe. Die Zusammenarbeit mit Lisa Alert ist ein sehr gutes Beispiel, da eine große Menge an Informationen schnell übertragen werden muss. “
Keine Wärmebildkameras erforderlich
Im Frühsommer qualifizierte sich in einem Suchtechnologie-Wettbewerb nur ein Team, das sich auf Computer Vision stützte, für das Finale. Aber sie benutzte eine Wärmebildkamera zum Filmen. Grigory Sergeev spricht dies mit Skepsis an.
„Seit 9 Jahren haben wir mit Hilfe einer Wärmebildkamera keine einzige Person gefunden. Jeder möchte glauben, dass dies eine coole Sache ist. Ja, wir können damit nicht aufhören zu suchen, zum Beispiel nachts in offenen Räumen. Aber für alles andere ist es nicht geeignet. Gras ist nicht transparent, alle Kronen sind undurchsichtig. Eine Person ist in Kleidung im Wald und Kleidung hat Umgebungstemperatur. Die Wärmebildkamera ist eine coole Fantasie, aber für Suchvorgänge unwirksam. Wir haben alle unsere Verteidigungsgeräte ausprobiert, ausländische Modelle ausprobiert. "Sie eignen sich zur Vervielfältigung, aber angesichts der Kosten und der Effektivität würde ich Wärmebildkameras ablehnen."
Auf die Frage, warum niemand in diesem Wettbewerb Computer Vision effektiv nutzen konnte, antwortet Georgy einfach: "Sie hatten nicht die Entwicklungskraft, die wir jetzt haben."