Schlafe nicht Wie wir gelernt haben, 12.000 Ticketangebote pro Nacht zu veröffentlichen

Der unterbrechungsfreie Betrieb von Tausenden von Pyaterochka-Filialen hängt weitgehend von zuverlässiger und kundenspezifischer Software ab. Jetzt verwendet das Netzwerk das Produkt GK SOFTWARE, das von der Box-Version zur Entwicklung von Code in X5 verbessert wurde. In unserem Artikel erklären wir Ihnen, welchen Weg wir bei der Installation von Releases eingeschlagen haben, um das Geschäftswachstum des Unternehmens von Einzelgeschäften mit neuer Software auf derzeit 15.000 zu sichern.

Fälle vergangener Tage, eine tiefe Tradition

Die zehnjährige Periode der IT in der modernen Welt ist Geschichte. Im Jahr 2009 wechselten die ersten Pyaterochka-Filialisten gerade zu GK, die ersten Software-Update-Aufgaben traten auf. Der Prozess sah ungefähr so ​​aus: vollständig manuelle Arbeit, Analyse der Protokolle mit den „Augen“ in jedem Geschäft, ständige Probleme beim Starten der Software - beim Checkout wird die Initialisierung des Geräts abgebrochen, und die GK-Dienste werden nicht auf dem Server gestartet.

Während sich das GK-System stabilisierte und die Tools aktualisierten, wurden wir über die zentrale Komponente des GK-Systems - den Storemanager - in einer Anzahl von 100 bis 200 Filialen pro Nacht (pro Mitarbeiter) bereitgestellt. Dann galt es als große Leistung. Um die Aktualisierungsgeschwindigkeit in 1000 Filialen zu gewährleisten, war bereits ein Außendienst erforderlich - nur mit einem Team von 6 Personen pro Nacht konnten wir die erforderliche Anzahl von Filialen erreichen. Um eine Update-Aufgabe zu erstellen, musste jeder Laden mit seinen Händen „durchgeklickt“ werden. Jeder Job enthielt nur 50 Objekte, da aufgrund eines internen Fehlers die Möglichkeit bestand, dass nach dem Update alle Status verloren gingen und eine vollständige manuelle Überprüfung erforderlich war.



Zu diesem Zeitpunkt wurde der Gesundheitscheck des Geschäfts zunächst anhand des Auftragsstatus durchgeführt und schließlich über die Verbindung zum Desktop des Kassierers und die visuelle Analyse des Kassiererbildschirms.

Im Jahr 2014 betrug die Arbeitsintensität für die Aktualisierung für 1 Person pro Nacht 150 Geschäfte.

Erster Durchbruch

Eine solche Situation mit der Geschwindigkeit und den Kosten der Aktualisierung könnte weder uns noch dem Unternehmen zusagen. Der wichtigste Arbeitsbereich war der Prozess der Verbesserung und Automatisierung des Prozesses, um eine schnelle und qualitativ hochwertige "Zustellung" von Änderungen an Geschäften zu gewährleisten, um Unternehmen bei der effektiven Lösung von Aufgaben zu unterstützen.

Da der GK-Code nicht zu X5 gehörte, konnten wir die Storemanager-Verbesserungen nicht selbst durchführen, den Prozess nicht ändern oder Fehler beheben. Aus diesem Grund haben wir gemeinsam mit Auftragnehmern begonnen, ein technologisches alternatives Tool von Grund auf zu entwickeln, das wir „Booster“ nannten.

Wir sind der Analyse des Update-Prozesses umfassend nachgegangen und haben sie von allen Seiten betrachtet. Und sie erhielten ein Verständnis für den Prozess, der die Grundlage für alle zukünftigen Änderungen wurde. Der Erfolg der Implementierung der Änderungen hängt davon ab, wie schnell wir die Distributionen der neuen Version in den Stores bereitstellen, wie wir sie für das Upgrade vorbereiten, wie der Installationsprozess organisiert wird und wie die nachfolgende Leistungsprüfung abläuft.

"Booster" enthält eine einzige Liste aller Geschäfte im Dashboard, Vorabprüfungen und Status für jede Phase sowie die erste automatische Prüfung nach dem Update.



Durch die Umsetzung des Projekts „Booster“ konnten die Arbeitskosten um das Sechsfache gesenkt und mit Hilfe eines Mitarbeiters (bis Ende 2016) ca. 1000 Geschäfte pro Nacht aktualisiert werden. Zu dieser Zeit war es ein beispielloser Durchbruch.

Erfolgsentwicklung

Die nächste Etappe bestand darin, unseren Erfolg zu festigen und weiterzuentwickeln. Wir haben einen Pool von Verbesserungen mit dem Namen "Booster2" gestartet.

Die Plattform wurde auf eine neue Hardware umgestellt, die Benutzeroberfläche wurde komplett überarbeitet, wir haben das Bremsen beseitigt. Neue Prüfungen und Status für jede Stufe eingeführt.



Wir haben dem nachts aktualisierten Mitarbeiter alle Informationen zur Verfügung gestellt, um Probleme zu identifizieren und schnell zu beheben. Die maximale Wirkung zur Unfallverhütung wurde uns durch eine automatisierte Überprüfung der Funktionsfähigkeit der Kasse anhand von Screenshots verliehen. Das System ermittelte, wo der Bildschirmzustand vom Standard abweicht, und es waren diese Geschäfte, die die Mitarbeiter zuerst betrachteten.

Mit dem aktualisierten „Booster“ konnten von Ende 2017 bis Anfang 2018 1.500 Geschäfte pro Mitarbeiter und Nacht aktualisiert werden.

Vorwärts zu neuen Höhen

1.500 Geschäfte pro Nacht sind gut, wir können den Release-Zeitplan problemlos verwalten, zusätzliche Sprints für die Installation durchführen, sind bereit, eine Fehlerkorrektur durchzuführen und bis zu 6 Baugruppen an der Kasse und im Backoffice zu installieren. Unsere Aufgabe ist es jedoch, den Einzelhandel der nächsten Generation aufzubauen . Das prozessuale, technische und technologische Fundament der Digitalisierung unseres Geschäfts ist unter anderem die Geschwindigkeit der Entwicklung und Verbreitung neuer Softwareversionen. Und im März 2019 wurde eine ehrgeizige Aufgabe gestellt - bis zum Herbst, die Aktualisierung von 3000 Servern und 12000 Kassen in einer Nacht zu erreichen. Wir haben uns von unserer gegenwärtigen Realität gelöst und erneut eine großartige analytische Arbeit geleistet, um Engpässe in diesem Prozess zu identifizieren. Es wurden Aufgaben identifiziert, die Automatisierung, technische Verbesserungen, die Entwicklung neuer Spezialsoftware sowie ein allgemeines Umdenken erfordern. Darüber hinaus haben wir einen Pool organisatorischer Aufgaben gebildet.

Als Ergebnis wurde ein internes IT-Projekt ins Leben gerufen, eine Roadmap erstellt, ein Budget berechnet, Meilensteine ​​definiert und der Kreis der Abteilungen und Auftragnehmer für die interne und externe Interaktion klar definiert.

Fahrplan

Lassen Sie uns die gestellten Aufgaben genauer betrachten. Wir haben 3 Bereiche identifiziert:

• Risikominderungsziele;
• administrative und organisatorische Aufgaben;
• Aufgaben, um aktualisierte Geschäfte pro Tag zu erhöhen.

Risikominderung. Unsere Aufgabe - unabhängig vom Erfolg oder Misserfolg des Updates - ist es, den Betrieb des Geldknotens und die Fähigkeit zur Kundenbetreuung sicherzustellen, d. H. Morgens ein Geschäft eröffnen. Mit der Zunahme der Anzahl der Verkaufsstellen steigt das Risiko um ein Vielfaches, dass etwas schief geht.

Ein Mitarbeiter der Release Distribution Group ist wie ein Flugzeugpilot oder Fluglotse, der viel Verantwortung trägt. Unter solchen Bedingungen ist es notwendig, einfache und automatisierte Tools zu entwickeln, die den Faktor menschlicher Fehler minimieren.
In diesem Bereich wurden Aufgaben formuliert, um ein neues System für Ladeninspektionen zu entwickeln, die Vorbereitung von Einrichtungen für die Aktualisierung zu automatisieren, Mechanismen für die Aufzeichnung von Arbeiten an der Netzwerkinfrastruktur und für die automatische Wiederherstellung zu erstellen.

Mit dem neuen Überprüfungstool können Sie schnell den Zustand des gesamten Geschäfts bestimmen, einen Bericht über eine größere Anzahl von Parametern erstellen und dem Supportmitarbeiter sofort die Objekte anzeigen, die am Morgen nach der Aktualisierung nicht geöffnet werden können. Wir analysieren sowohl den Start der Software als auch die Schritte des Herunterladens. Wir überprüfen die Bildung der Basis für den Kassierer auf der Seite des Backoffices, die Initialisierung des Equipments, das Verlassen der Registrierkassensoftware in den Registrierkassenmodus usw. Der Prozess basiert auf dem neuesten Stand unseres Unternehmenssystems - „Business Monitoring“ unter Verwendung eines modernen Technologie-Stacks (Filebeat, Kafka, ClickHouse, Grafana).

In dem Tool (System) zur umfassenden Vorbereitung der Filialen für die Aktualisierung haben wir alle verstreuten Überprüfungsskripte zusammengefasst, die sich sogar auf verschiedenen Servern befinden könnten. Wir haben automatische Skripte angeschlossen, um typische Fehler zu korrigieren (es gibt nicht genügend Speicherplatz, es gibt keine erforderlichen Rechte usw.) und an verantwortliche Mitarbeiter in verschiedenen Richtungen zu senden, wenn das Problem nicht automatisch behoben wird. Wir haben einen Roboter hinzugefügt, der "unermüdlich" Wollanfragen in MFSM bearbeitet und Registrierkassen aus Verbrauchermärkten von der Aktualisierung der Kasse ausschließt. Ein solcher Roboter spart jeden Tag mehr als drei Stunden Arbeitszeit.

Robotertool für die Abrechnung von Arbeiten an der Netzwerkinfrastruktur : Es bietet die Analyse von vollständig verteilten Briefen von Anbietern, die Identifizierung von Geschäftscodes an den angegebenen SAP-Adressen und das Laden von Daten zu Datum und Uhrzeit der Arbeit in die Datenbank. Auf der Grundlage dieser Informationen wird der Verbreitungsplan aktualisiert. Dies beseitigt nach und nach die Momente, in denen 300 Geschäfte ohne Kommunikation bleiben und wir den Status von Aktualisierungen oder Überprüfungen nicht erhalten können.

Automatischer Wiederherstellungsmechanismus : Auf der Seite des Geschäfts wird die Selbstdiagnose des Geldknotens ermöglicht, die Unmöglichkeit des Startens der Kasse ermittelt und das System von einem Backup wiederhergestellt, wodurch das Geschäft in den meisten Fällen morgens geöffnet werden kann, selbst wenn das Support-Personal keine Remote-Verbindung zur Lösung des Problems herstellen kann.

Administrative und organisatorische Aufgaben. Effektive Arbeit des Systems ist die halbe Miete, für den Erfolg ist es notwendig, die effektive Arbeit des Teams sicherzustellen.

Die Lösung sind zusätzliche Schulungen, zusätzliche Wochenenden zum Arbeitszeitplan und die Einrichtung der Interaktion mit allen Linien. Am Wochenende bereitstellen.

Wir haben interne Schulungen für Mitarbeiter durchgeführt, um die Austauschbarkeit und die Möglichkeit der Neuverteilung von Aufgaben sicherzustellen. Der Arbeitsplan des Teams wurde ebenfalls überarbeitet: Alle Mitarbeiter wurden nachts in die Schicht versetzt, was die Möglichkeit bot, kontinuierliche Aktualisierungen sicherzustellen. Diese Option haben wir in diesem Jahr umgesetzt. Jetzt finden GK-Updates 7 Tage die Woche statt, ohne dass zusätzliches Personal hinzukommt.

Aufgaben zum Erhöhen der Anzahl der Geschäfte pro Nacht. Hier lösen wir das Problem der schnellen und garantierten Lieferung von Distributionen, um die Aktualisierung einer beliebigen Anzahl von Filialen zu gewährleisten, unabhängig davon, wie schnell die Änderungen veröffentlicht werden. Dies beinhaltet auch Verbesserungen am System.

Zunächst haben wir begonnen, das aktuelle Update-Tool „Booster“ so effizient wie möglich zu nutzen. Auslastungstests haben die schwierigsten Vorgänge ergeben. Wir haben die Grenzen der Möglichkeiten ermittelt und Optionen für die horizontale Skalierung von Aktualisierungsinstanzen gefunden.

Außerdem haben wir im Rahmen des Projekts entschieden, welches Tool aktualisiert und welches weiterentwickelt werden soll. Als Zieltool wurde der Storemanager ausgewählt, da wir mit dem Erwerb des GK-Quellcodes eigenständig Standardtools entwickeln und verbessern konnten.

Seit dem Start des Projekts haben wir Schritte zur Implementierung aller „Booster“ -Funktionen in Storemanager festgelegt und in diesem Jahr zusätzliche Anforderungen für Verbesserungen festgelegt, um die Aktualisierung der erforderlichen Anzahl von Filialen sicherzustellen.

Wir haben auch Optionen für die Verwendung aktueller Tools ausgearbeitet, diese verbessert und die Zielinfrastruktur exklusiv für den Download-Server auf Linux portiert. Und gemeinsam mit Kollegen haben sie ein zusätzliches neues Tool eingeführt, das unsere Fähigkeiten erheblich erweitert hat.

Was ist schon passiert

Im Moment sind die meisten Aufgaben aus unserem Plan bereits umgesetzt:

• Aufrüstung und Verbesserung des Pumpensystems.
• Reduzierung der Größe von GK-Verteilungen.
• Administrative und organisatorische Aufgaben im Team.
• Automatisierung der Vorbereitung der Geschäfte für die Aktualisierung.
• Buchhaltung für Netzwerkarbeit.

Es bleibt die Aufgabe, eine neue Überprüfung der Speicher einzuführen und das Zielaktualisierungstool zu verfeinern.

Was kommt als nächstes

Weiter mehr. Jetzt zielen unsere Bemühungen darauf ab, 20.000 (+) Geschäfte pro Nacht zu aktualisieren, aber es wird bereits eine neue Plattform mit neuen Tools und Methoden geben. Wir werden in Zukunft definitiv darüber berichten.

Die Autoren

Vasily Golubev, Leiter der Software Release Distribution Group # ITX5
Evgeny Lapshin, Leiter der Abteilung Support für Store Solutions # ITX5