Ozon.ru ist fast so alt wie Runet, mit 20 sind wir älter als viele unserer Kunden. Aus dem Online-Buchladen entwickelte sich das Unternehmen zu einer E-Commerce-Plattform, die die Infrastruktur von Fulfillment-Centern und Logistik-, Web- und Mobilanwendungen integriert und den Angriffen von zig Millionen Benutzern während des Verkaufs und den Angriffen von Online-Betrügern standhält.
In diesem Beitrag erzählen wir Ihnen ein wenig über uns selbst: Wie wir die Plattform neu aufbauen und entwickeln und dabei täglich 1,2 Millionen Benutzer bedienen. Gleichzeitig zeigen wir dem Büro, in dem das OZON IT-Labor arbeitet, ein paar herrliche Ausblicke aus den Fenstern.
Im vergangenen Jahr ist der Technologiebereich des Unternehmens um das Achtfache gewachsen - jetzt haben wir mehr als 600 Mitarbeiter. Im Juli zog OZON in ein neues Hauptquartier um - es befindet sich in einem der Türme der Stadt Moskau. Wir haben acht Stockwerke belegt (und während Sie dies lesen, greifen wir zum neunten).
Stapelwechsel
Je länger das Unternehmen besteht und je mehr Kunden es hat, desto vielfältiger ist der Zoo der IT-Systeme und desto schwieriger ist es, sie zu warten und weiterzuentwickeln. Im Laufe der Jahre hat OZON eines der besten Logistik- und Fulfillment-Factory-Management-Systeme aufgebaut, während die E-Commerce-Plattform mit gespeicherten Prozeduren und Logik in der Datenbank massiv MS SQL geblieben ist.
Mit einem geschlossenen Microsoft Windows-Stack zu leben, ist IIS schwierig - diese Technologien sind am Eingang relativ billig, aber irgendwann werden sie unerträglich teuer in der Unterstützung.
Zusätzlich zum MS-Stack hat das IT-Team viele Systeme geerbt, die vor fast 20 Jahren in Delphi geschrieben wurden. Sie müssen einfach neu geschrieben werden, weil sie nicht den Anforderungen der modernen Realität entsprechen.
Infolgedessen begann OZON vor etwa einem Jahr mit einer globalen Umstrukturierung der IT. Wir haben begonnen, Entwickler aktiv einzustellen, auf Open Source und Microservices umzusteigen.
Die Hauptaufgabe besteht darin, die in den Datenbanken enthaltene Logik zu kürzen, um sie skalierbar zu machen. Ein Teil dieser Arbeit wurde bereits erledigt - und dank dessen kann OZON um 80-90% pro Jahr wachsen.
Jetzt sind viele Systeme auf GO geschrieben - dies ist ein vernünftiger Kompromiss zwischen Leistung, Entwicklungskomplexität und Entwicklungsgeschwindigkeit. Die Sprache ist niedrig genug, um produktive Dienste zu schreiben, und gleichzeitig einfach genug - sie kann schnell unterrichtet werden. In Moskau (und in Russland) gibt es keine solche Anzahl von GO-Shnikov, die wir brauchen. Deshalb stellen wir Spezialisten ein, die bereit sind, einen neuen Stapel zu lernen und zu unterrichten. Der Ansatz funktioniert wie eine Win-Win-Situation - Spezialisten erwerben Wissen, und wir können endlich proprietäre Lösungen aufgeben und diese durch unsere eigenen ersetzen. Darüber hinaus wird das Team für seine Aufgaben höchstwahrscheinlich eine Lösung schreiben, die optimaler ist als die auf dem Markt verfügbaren.
Auskommen
Das neue Büro haben wir oben bereits erwähnt, und jetzt haben wir uns allmählich darin niedergelassen: Designer streichen die Wände, Entwickler nehmen die veralteten Magnete heraus und bringen Motorroller und Sammlungen von Pepsi-Dosen zum Arbeiten.
Wir haben keine komplexe Hierarchie und Unterordnung - und der CEO hat kein Büro. Sie können ihm per E-Mail schreiben - und am selben Tag oder in Slack eine Antwort erhalten - dort ist er fast ständig verfügbar.
Mit diesem Ansatz können Sie Probleme schnell und in kleinen Teams lösen. Wichtige Projektindikatoren werden in Echtzeit auf Bildschirmen mit Grafana angezeigt, bei denen es sich jeweils um Teams handelt.
Auf dem Bildschirm im CTO-
Anatolix- Schrank befinden sich
Dutzende solcher Diagramme. Zum Beispiel ist zu sehen, dass mehrere Zehntausend Pakete noch nicht im Lager abgeholt wurden. Dies ist normal - wir liefern mehr als 100.000 Bestellungen pro Tag und mehrere Zehntausend Pakete - dies ist ein Rückstand, der weniger als eine Schicht ist. Aber wenn der Rückstand mehr als einen Tag beträgt, ist dies ein Problem. Dank der Grafiken ist sofort klar, ob sich ein Problem „ansammelt“ und in welchem der Systeme etwas schief gelaufen ist.
Der Nachhaltigkeitstest von OZON wird während des Verkaufszeitraums mehrmals im Jahr bestanden. In diesem November, am Black Friday, stieg die Anzahl der Bestellungen um das 2,5-fache - zu diesem Zeitpunkt war dies ein Rekord für die gesamte Existenz des Dienstes, aber die Verkäufe im Dezember brachen diesen Rekord.
Im System der Erfüllung und Logistik, in dem Waren in Paketen sortiert und abgeholt werden - ihre komplexe IT, die für den Benutzer nicht sichtbar ist, und schwerwiegende Belastungen. Und es könnte auch in Momenten von Spitzenlasten ertrinken.
Gleichzeitig wächst die Anzahl der Produkte, der Suchalgorithmus (kürzlich sind wir zu Elasticsearch gewechselt) und Empfehlungen (jetzt basierend auf maschinellem Lernen) ändern sich, neue Funktionen werden angezeigt. In den letzten sechs Monaten haben wir die Website (von ASP.NET Web Forms zu node.JS) fast vollständig umgeschrieben, mobile Anwendungen aktualisiert und arbeiten nun an der Reduzierung der technischen Schulden.
Die IT verzeichnet derzeit ein explosives Wachstum - wir haben Mitarbeiter und Technologien, die OZON noch nie zuvor gesehen hat. Wir versuchen viel, und wenn etwas nicht fliegt, lehnen wir ab und treffen eine andere Lösung. Also haben wir einen Kubernetes-Cluster erstellt, und wie in jedem Cube-Cluster gibt es dort Verkehrsrouting. Wir haben uns für den trendigen Linkerd entschieden, der beispielsweise von Twitter verwendet wird. Aber es gab ständige Probleme mit ihm: Er würde entweder fallen oder alle CPUs auffressen oder sich unangemessen verhalten. Wir haben viel Zeit mit der Überprüfung verbracht, versucht, etwas zu patchen - und es dann rausgeworfen und es für Ingress und Nginx einfacher gemacht.
Wir entwickeln das Data Engineering aktiv weiter - es gibt eine riesige Liste von Technologien. Wir probieren verschiedene Datenspeicher, Algorithmen und allgemein alle Technologien des maschinellen Lernens aus.
Wir sind ständig zwischen dem Wunsch, das Richtige zu tun, und dem Tempo des Geschäftswachstums. Die Teams haben keine sechs Monate Zeit, um über die besten Lösungen nachzudenken, denn um an Ort und Stelle zu bleiben, müssen Sie sehr, sehr schnell laufen. Wir arbeiten im Modus: Features-Features-Features - Gewährleistung der Stabilität.
Im neuen Jahr plant OZON, den Umsatz in einigen Kategorien um das Zehnfache und im Bereich der Fulfillment-Fabriken um das 2,5-fache zu steigern, neue Wege einzuschlagen und neu geschaffene zu entwickeln.
1998 waren wir ein Online-Buchladen, dann Kategorien hinzufügen, hinzufügen und hinzufügen und wurden zu einem Online-Hypermarkt. Aber heute sind wir ihm entwachsen. OZON hat sich zu einer E-Commerce-Plattform entwickelt, auf der sich nicht nur Produktkategorien und die unterstützende Logistikinfrastruktur entwickeln, sondern auch Finanzdienstleistungen und etwa 20 neue Projekte.
Im Jahr 2018 haben wir beispielsweise einen Marktplatz im Beta-Modus gestartet - obwohl wir ihn bereits testen, hat er bereits Hunderte von Verkäufern.
Die nächste Aufgabe im Rahmen dieses spezifischen Projekts besteht darin, ein Ökosystem zu schaffen, indem Verkäufern Tools für Präsentation, Erfüllung und Logistik, Analyse und Überwachung der Lieferkette zur Verfügung gestellt werden. Im Idealfall haben Partner auf dem Markt Zugriff auf alle Tools des Commerce-Teams von OZON und noch mehr.
Im Allgemeinen hat unsere IT-Abteilung viel zu tun. Obwohl wir uns auch gerne entspannen. Besuchen Sie uns übrigens - wir haben freitags Partys.
