Navigation im Laden: durch Augmented Reality zum gewünschten Regal

Wir haben kürzlich ein Pilotprojekt gestartet: In unseren 10 Moskauer Filialen können Sie mit Hilfe einer kleinen Augmented-Reality-Anwendung M.Go schnell durch die Handelsflächen navigieren und sofort Regale mit den erforderlichen Warengruppen finden. Soweit wir wissen, ist dies das erste derartige Projekt in der weltweiten Einzelhandelspraxis. Ich möchte Ihnen mehr über diese Anwendung erzählen, wie sie funktioniert und woraus dieses Projekt entstehen kann, wenn Kunden es mögen.

Vor ungefähr 8-10 Jahren erschienen verschiedene Augmented-Reality-Projekte erstmals auf Smartphones. Sie ermöglichten es, auf dem Bild, statisch oder Video, eine bestimmte flache Markierung zu finden, die einem QR-Code ähnelt. Die Anwendung konnte ihre Größe und Position im Raum erkennen. Seitdem wurde diese Technologie aktiv weiterentwickelt. Das lauteste Beispiel für ein Augmented-Reality-Produkt ist das Pokemon GO-Spiel, das vor einigen Jahren alle Charts in die Luft gesprengt hat. Auch auf dem heutigen Markt gibt es Lösungen, die Drittentwicklern die Erstellung von AR-Produkten erheblich erleichtern.

Wie M.Go funktioniert

Beim Start ermittelt die Anwendung automatisch Ihren Standort und bietet an, das Geschäft auszuwählen, in dem Sie sich befinden. Danach werden Sie von M.Go aufgefordert, den Marker zu kalibrieren. Sie werden in allen 10 Geschäften, die heute die Anwendung unterstützen, auf den Boden geklebt (jeweils zwei Marker, mit Ausnahme eines großen zweistöckigen Geschäfts in Sadovaya-Spasskaya - Sie finden bereits drei Marker darin):


Sie müssen die Kamera des Smartphones auf diesen Aufkleber auf dem Boden richten. Die Anwendung erkennt ihn und „versteht“ genau, wo Sie stehen.


Nach einigen Sekunden wird eine Liste der in diesem Geschäft verfügbaren Kategorien von Waren und Dienstleistungen auf dem Bildschirm angezeigt.


Klicken Sie auf das gewünschte Symbol und zwei Zeiger werden auf dem Bildschirm angezeigt. Einer „hängt“ in der Entfernung über der Stelle, an der Sie sich befinden müssen (er kann vom Bildschirm verschwinden, wenn die Kamera auf die andere Seite zeigt), und der zweite Zeiger befindet sich immer am unteren Bildschirmrand - dies ist ein Pfeil, der die Richtung wie ein Navigator anzeigt.






Warum werden in jedem Geschäft mehrere Marker eingefügt? Tatsache ist, dass die Anwendung korrekt funktioniert, während sie aktiv ist. Sobald Sie es minimieren oder eine andere Anwendung aktiv wird (z. B. wenn Sie jemand anruft), wird die Navigation im Geschäft unterbrochen. Und um M.Go wieder zu verwenden, müssen Sie kalibrieren. Damit die Kunden nicht jedes Mal zum Anfang zurückkehren müssen, haben wir in den Filialen einen zusätzlichen Marker eingefügt.

Wie M.Go funktioniert

Als wir mit der Erstellung der Anwendung begannen, haben wir uns auf unsere Vision und unseren gesunden Menschenverstand verlassen. Schließlich gab es zu diesem Zeitpunkt im Einzelhandel keine ähnlichen Entscheidungen. Es gab nur gute Beispiele für die Verwendung des Technologie-Stacks zur Erstellung von Augmented-Reality-Anwendungen. Wir haben mehrere Privatpiloten ausgegeben. Sie testeten den Betrieb der AR-Technologie und verschiedene Schnittstellenoptionen, was für solche Anwendungen besonders wichtig ist.

Die erste Option war mit einem Pfeil, der die Richtung anzeigt. In der zweiten Version gab es einen fliegenden Bot, der sich entlang einer vordefinierten Route bewegte. Wir haben die Option mit einem Pfeil ausgewählt, damit Sie zur gewünschten Abteilung des Geschäfts gelangen, eine andere Warengruppe auswählen und fortfahren können. Und in der Version mit dem Bot war es notwendig, wieder zur Kalibrierungsmarkierung zurückzukehren, die nächste Warengruppe auszuwählen und erst danach eine neue Route zu beschreiten. Unbequem. Darüber hinaus sind unsere Geschäfte bereits recht einfach eingerichtet, dies ist kein Labyrinth von Lebensmittel-Verbrauchermärkten, in denen Sie es leid sind, zum Ausgang zu gelangen.

Heute gibt es auf dem Markt zwei Bibliotheken, ARKit und ARCore, die im Darm von Apple und Google erstellt wurden. Bibliotheken können nicht nur Markierungen erkennen, sondern auch den Bereich, in dem sich das Gerät des Benutzers befindet. Jedes Bild der Kamera wird kontrastreich auf Schwarzweiß umgeschaltet, sodass nur Konturlinien auf dem Bild verbleiben. Das System findet die Schlüsselpunkte (den Schnittpunkt der Konturen im Bild) und verwandelt sie in eine "Punktwolke". Dies sind räumliche Markierungen.

Diese Technologie bildete die Grundlage unserer Anwendung.

Zusätzlich zu den ARCore- und ARKit-Engines haben wir eine spezielle Architektur für die Arbeit mit Lagerräumen erstellt. Sie haben ihre eigenen Besonderheiten - die Produktreihen sind recht homogen und optisch nicht immer einzigartig. Je länger der Kunde im Geschäft herumläuft, desto mehr akkumuliert sich der Positionierungsfehler. Wir korrigieren es auf viele Arten. Eine Lösung sind zusätzliche Marker, mit denen Sie neu kalibrieren können, ohne zum Anfang zurückzukehren.

Übrigens haben wir zuerst Kalibrierungsmarker rot-weiß in Firmenfarben hergestellt. Sie waren sehr schön, wurden aber sehr schnell schmutzig. Ich musste eine andere Farbkombination wählen, wonach die Marker von der Anwendung noch zuverlässiger erkannt wurden.

In Bezug auf die CPU-Auslastung ist M.Go mit einigen Messenger vergleichbar. Der Hauptverbraucher von Energie ist die Kamera. M.Go kann auf den meisten iOS- und Android-Geräten verwendet werden, beginnend mit Android 7.0 und iOS 11. Diese Einschränkung wird dem SDK von Google und Apple selbst auferlegt.

Warum „kennt“ unsere AR-Anwendung nur 10 Geschäfte? Die Implementierung der Unterstützung für jedes Geschäft erfordert viel Arbeit:

• ein digitales Planogramm (Geschäftskarte) erstellen, das die Platzierung aller Warenkategorien angibt,
• vereinbaren, wo die Markierungen platziert werden,
• Testen Sie, wie genau die Anwendung "navigiert".
  

Aber das Projekt ist noch ein Pilotprojekt. Wir möchten verstehen, ob Menschen solche Funktionen benötigen.

Was weiter?

Wenn der Pilot erfolgreich ist, werden wir die AR-Funktionalität in unsere Hauptanwendung einbetten und neue Funktionen hinzufügen. Es gibt viele Möglichkeiten. Zum Beispiel, um die Änderung der Platzierung von Waren im Geschäft zu vereinfachen. Damit der Administrator auf dem Tablet im Store-Diagramm einfach angibt, wo diese oder jene Kategorien jetzt liegen. Und diese Daten würden mit der von den Benutzern installierten Anwendung synchronisiert.

Sie können ein vollständiges universelles System für Geschäftsleiter erstellen, so dass:

• Waren detaillierter in Unterkategorien einteilen,
• Geben Sie den Warenbestand an
• Fügen Sie aktuelle Aktionen hinzu.

Wir planen, die Anruftaste eines Verkäufers zu einem bestimmten Bereich in der Kundenanwendung hinzuzufügen und Gamification-Elemente einzuführen: Erhalten Sie Rabatte, die im Raum herumfliegen, oder suchen Sie nach virtuellen Boni hinter dem Kühlschrank. Darüber hinaus können Sie mit der Lösung Waren finden, die nicht auf dem Handelsplatz ausgestellt sind, mit einer detaillierten Beschreibung und einem 3D-Modell.