Innovative Cloud-Technologie: Katastrophale Cloud

Der Cloud-Service-Markt wächst sowohl weltweit als auch in Russland rasant. Immer mehr Unternehmen verlagern ihre Anwendungen und Daten, auch geschäftskritische, in die Cloud. Laut Vermarktern können Unternehmen so die fortschrittlichsten innovativen Cloud-Lösungen nutzen, die Kapitalkosten senken (CAPEX in OPEX umwandeln), neue Produkte schneller auf den Markt bringen und neue Services einführen. Und solche Argumente lassen potenzielle Kunden nicht gleichgültig. Es ist kein Zufall, dass die Wachstumsrate des russischen Cloud-Marktes dem Wachstum des Marktes für traditionelle, klassische IT-Infrastruktur deutlich voraus ist.


Allmählich werden Zweifel an der Zuverlässigkeit und Sicherheit der Wolken ausgeräumt. Wie eine kürzlich von iKS-Consulting durchgeführte Studie gezeigt hat, sehen fast 40% der befragten russischen Unternehmen die Nutzung öffentlicher Clouds als Chance, die Sicherheit ihrer IT-Systeme zu verbessern. Der beliebteste Cloud-Dienst für die Infrastruktur ist die Vermietung virtueller Server. An zweiter Stelle in der Beliebtheit steht der Cloud-Backup-Service (Backup-as-a-Service). Etwa ein Drittel der Befragten verwendet Cloud-Dienste zum Hosten von Speicher- und DR-Infrastruktur.


Mit der zunehmenden Abhängigkeit des Geschäfts von der IT steigen auch die Anforderungen an die Zuverlässigkeit von IT-Diensten, einschließlich Cloud-Diensten. Und oft besteht die Notwendigkeit, nicht nur Hardware-Zuverlässigkeit, sondern auch Katastrophen-Toleranz bereitzustellen.

Untersuchungen zufolge sind fast drei Viertel der Unternehmen weltweit nicht ganz sicher, ob sie ihre Systeme und Daten wiederherstellen können. Ungeplante Ausfallzeiten und Datenverluste kosten Unternehmen auf der ganzen Welt jährlich mehr als 1,7 Milliarden US-Dollar. Laut Acronis-Forschung sind in Russland nur 2% der befragten Unternehmen absolut sicher, dass ihre IT-Infrastruktur jedem Test standhält. Die Hälfte der russischen Spezialisten erwartet im Falle einer Naturkatastrophe oder eines Unfalls lange Arbeitsunterbrechungen. Laut Weltstatistik gehen 93% der Unternehmen, die ihr Rechenzentrum nur 10 Tage lang verloren haben, innerhalb eines Jahres in Konkurs.

In technisch komplexen Systemen sind Unfälle unvermeidlich, können jedoch für das Geschäft nicht kritisch gemacht werden. Um solche Situationen zu vermeiden, werden katastrophenresistente Clustersysteme erstellt, die Ausfallzeiten bei Unfällen und Ausfällen praktisch vermeiden.

Ein weiterer wichtiger Punkt, der beim Entwurf einer katastrophenresistenten IT-Infrastruktur nicht vergessen werden sollte, sind Benutzerarbeitsstationen. Es ist notwendig, Geschäftsprozesse fortzusetzen und nicht nur zum Sicherungsserver zu wechseln oder die Datenbank zu erhöhen. Die Katastrophentoleranz beginnt im Büro des Kunden. Selbst ein Backup-Büro mit Mitarbeiterjobs ist nicht die beste Option. Virtuelle Workstations (VDIs) oder andere Arbeitsplatzformen in der Cloud können eine gute Lösung sein. Der Zugriff auf eine solche Workstation in einer virtuellen Maschine im Rechenzentrum ist von jedem Computer im Zweigstellennetzwerk aus einfach zu organisieren.

Cloud-Innovation


Der russische Telekommunikationsbetreiber MasterTel und Lenovo haben gemeinsam ein katastrophenresistentes Cloud-Projekt namens Innovate Cloud Technology vorbereitet und implementiert. Basierend auf dieser Cloud werden hochzuverlässige IaaS-Services für eine Vielzahl von Kunden bereitgestellt, die kritische IT-Infrastrukturen in der Cloud bereitstellen möchten. Die Cloud basierte auf dem U-Bahn-Cluster zwischen zwei Standorten - DataPro- und IXellerate-Rechenzentren in Moskau.

Bei der Auswahl eines Partners für dieses Projekt wurde das Unternehmen MasterTel zunächst von der Fähigkeit des Anbieters geleitet, umgehend die vollständigste Lösung zu einem angemessenen Preis bereitzustellen. An der Implementierung der im Oktober 2018 gestarteten Cloud war ein Team von Lenovo Professional Services-Spezialisten beteiligt. MasterTel fungiert als Cloud-Dienstanbieter und als Telekommunikationsbetreiber, der sichere Kommunikationskanäle organisiert und direkte Glasfaserleitungen bereitstellt. Er ist für den Betrieb der Cloud und deren Unterstützung verantwortlich.

Innovate Cloud Technology ist eine private Cloud für Unternehmenskunden, die hochzuverlässige und skalierbare Echtzeit-Cloud-Dienste IaaS, BaaS, DRaaS, VDS usw. bietet. Was bietet die Nutzung von Innovate Cloud Technology-Diensten?

Hohe Zuverlässigkeit


Derzeit bieten die meisten Cloud-Projekte tatsächlich Mietkapazitäten. Dies ist in der Regel die Erstellung virtueller Server (der häufigste kommerzielle Rechenzentrumsdienst in Russland) und der Zugriff auf einen bereits gebildeten Ressourcenpool. Bei der Innovate Cloud-Technologie kann der Kunde alle Einstellungen online vornehmen, die Ressourcen werden dynamisch zugewiesen und freigegeben und anschließend ausschließlich für die verwendeten Ressourcen bezahlt, wie es sich für einen klassischen Cloud-Service gehört.

Das vielleicht wichtigste Merkmal der Innovate Cloud-Technologie ist jedoch ihre hohe Zuverlässigkeit. Kunden können die Cloud-Infrastruktur mit hoher Verfügbarkeit nutzen und hochkritische Daten in geografisch verteilten Rechenzentren von DataPro und IXcellelle speichern. Allein diese Websites garantieren Zuverlässigkeit und ein hohes Maß an physischer Sicherheit und Informationssicherheit. Zuverlässige Hochgeschwindigkeitskommunikationskanäle und der Zugriff auf beide Rechenzentren werden von MasterTel bereitgestellt.

Innovate Cloud Technology ist eine Cloud-Ressource mit einer garantierten SLA-Verfügbarkeit von 99,99%. Diese Cloud zeichnet sich jedoch nicht nur durch hohe Zuverlässigkeit, sondern auch durch Katastrophenverträglichkeit aus, da es sich um einen geografisch verteilten Virtualisierungscluster an zwei Tier III-Standorten handelt.

Rechenzentrum DataPro


Dieses Rechenzentrum Tier III auf der Straße. Aviamotornaya in Moskau ist eines der wenigen russischen kommerziellen Rechenzentren, die die Uptime Design and Facility-Zertifizierung erhalten haben. Alle im Rechenzentrum verwendeten Technologien und Lösungen sind zertifiziert. Dies bedeutet maximale Fehlertoleranz, garantierte Verfügbarkeit von Ressourcen und Versicherung gegen unerwartete Situationen.


DataPro Data Center Management Center. Die internationale Zertifizierung von Uptime Design and Facility bedeutet, dass es gemäß allen geltenden Standards für die Tier III-Zuverlässigkeitskategorie entworfen und gebaut wurde.
Die Sicherheit ist für die Sicherheit des Rechenzentrums selbst und der Umgebung verantwortlich. Das Sicherheitssystem umfasst mehr als 350 Netzwerkkameras. Für eine unterbrechungsfreie und garantierte Stromversorgung werden unterbrechungsfreie Stromversorgungen (USV) und Dieselaggregate (DGU) verwendet, die den Betrieb des Rechenzentrums bei einem längeren Unfall im Stromversorgungsnetz unterstützen.

Im DataPro-Rechenzentrum gibt es zwei unabhängige 10-kV-Eingänge vom Umspannwerk Mosenergo, und die Kabel werden in verschiedenen Kollektoren verlegt, um die Anlage mit der erforderlichen elektrischen Energie zu versorgen. Die Stromversorgung des Rechenzentrums ist tatsächlich durch das 2N-Schema reserviert.

IXcellerate Moscow One


Das Moskauer One-Rechenzentrum von IXcellerate verfügt außerdem über eine Tier III Uptime Institute-Zertifizierung in der Kategorie Design. Die Einrichtung erfüllt auch die Zuverlässigkeitsstufe 3 in den Kategorien „Projekt“, „Bau“ und „Betrieb“ gemäß der IBM Reliability Rating System-Methodik. IXcellerate Moscow One ist technisch implementiert und auf SLA-Ebene mit einem Verfügbarkeitsindikator von 99,999% garantiert. Die Gesamtfläche des IXcellerate Moscow One Rechenzentrums in Degunino beträgt 15.741 Quadratmeter. m. Die Auslegungskapazität der Anlage erreicht 13,7 MW. Zu den Kunden von Rechenzentren zählen rund hundert internationale und russische Unternehmen.


Das Bestehen der Zertifizierungstests des Uptime Institute zeigt, dass der IXcellerate-Computerkomplex in Übereinstimmung mit den modernen Praktiken beim Bau von Rechenzentren konzipiert wurde.

Katastrophenschutz


Die Verteilung auf zwei Standorte erfordert die Organisation redundanter Kommunikationskanäle und die Datenreplikation zwischen Speichern. Wir benötigen einen Datensynchronisationsmechanismus, um seine Relevanz im Falle eines Ausfalls eines der Knoten sicherzustellen und den Betrieb der Informationssysteme zu unterstützen, die eine solche Synchronisation erfordern.

Ein katastrophenresistentes Rechenzentrum basiert häufig auf einer geografisch verteilten Cluster-Server-Konfiguration mit einer Verbindung zu einem Common Storage Area Network (SAN). Die Knoten dieses beabstandeten Clusters befinden sich an den Haupt- und Reservestandorten und bilden ein einziges System. Dies stellt eine unterbrechungsfreie Verfügbarkeit der Dienste sicher, selbst wenn eines der Rechenzentren verloren geht. Mit Hilfe von Clustering ist es möglich, im Falle eines Unfalls eine automatische Lastumschaltung zwischen den Standorten eines verteilten Rechenzentrums bereitzustellen.

Speichersysteme an diesen Standorten können sich vollständig duplizieren, und die Standorte selbst sind durch redundante Hochgeschwindigkeitskommunikationskanäle verbunden, sodass Sie Projekte mit den höchsten Anforderungen an die Zuverlässigkeit der Datenübertragung und deren Verfügbarkeit, einschließlich der synchronen Datenreplikation, implementieren können.


Beispiel für eine VMware vSphere-basierte Metrocluster-Konfiguration. Es basiert auf der Duplizierung von Speichersystemen an zwei geografisch getrennten Standorten mit Datenreplikation und möglichem Lastausgleich auf der Ebene des Rechenzentrumsnetzwerks. Wenn eines der Rechenzentren nicht verfügbar ist, werden virtuelle Maschinen automatisch auf der zweiten Plattform gestartet. Ein Metro-Cluster hat fast keine Ausfallzeit. Die Arbeit wird nur während des Starts virtueller Maschinen unterbrochen, wenn VMware High Availability (HA) die VM an einem Remotestandort mit Speicher im Cluster neu startet.

Wenn Sie DR-Lastausgleichsmechanismen (Global Server Load Balancing, GSLB) verwenden, können Sie Benutzer bei einem primären Fehler automatisch zum Sicherungsstandort wechseln. Für Benutzer ist dieser Prozess transparent.

Im Gegensatz zu DR mit Datenreplikation werden im Fall eines Metro-Clusters nur die gleichen Festplattentypen für die Spiegelung verwendet. An beiden Standorten ist eine identische Konfiguration erforderlich.

Die VMware-basierte Innovate Cloud Technology Cloud ist auf diese Weise aufgebaut. Es ermöglicht den kontinuierlichen Betrieb kritischer Anwendungen und Daten in der Cloud. Alle Elemente des Virtualisierungsclusters werden an zwei Standorten dupliziert, die fast 30 km voneinander entfernt sind. Dazwischen wird die Datenspiegelung auf Speichersystemebene konfiguriert. Aus diesem Grund stehen Daten und Dienste bei Ausfällen an einem der Standorte zur Verfügung: Stromausfall, teilweiser Ausfall von Speichersystemen, Controllern, Kommunikationskanälen zwischen dem Rechenzentrum und sogar bei vollständiger Inoperabilität eines der Standorte.


Wenn eines der Rechenzentren nicht verfügbar ist, werden virtuelle Maschinen auf den Sicherungsstandort migriert. Das Starten einer virtuellen Maschine an einem Sicherungsstandort (Recovery Time Objective, RTO) dauert ca. 3 Minuten.

Kunden wird ein detailliertes Service Level Agreement (SLA) angeboten. Hauptindikatoren: Serviceverfügbarkeit auf dem Niveau von 99,99%; Einfach - nicht mehr als 4,38 Minuten pro Monat, garantierte Parameter der Prozessorleistung (MIPS / 1 vCPU), des Festplattensystems (IOPS, GB / s), Verzögerungen beim Zugriff auf Speichersysteme. Für deren Einhaltung ist der Anbieter finanziell verantwortlich.

Metro Cluster Anatomie


Die Cloud basiert auf dem klassischen Architekturmodell, bei dem der gesamte Komplex der erforderlichen Hardware und Software erworben wird: Server mit der Organisation des physischen und logischen Zugriffs, Speicher, Netzwerkkomponenten, Virtualisierungssoftware und Sicherheitslösungen.

Zwei Rechenzentren in Moskau haben geschlossene Zonen für vier Racks mit Computer- und Netzwerkknoten. Die Lösung basiert auf Komponenten von Lenovo. Als Hardware-Computersysteme werden 1U Lenovo ThinkSystem SR530 / SR570 / SR630-Server mit Emulex 16 Gb Gen6 FC-Dual-Port-HBA-Adaptern, Lenovo Storage V3700 V2 XP-Arrays zur Datenspeicherung und 10-Gigabit-32-Port-Rack-Switches zur Datenübertragung verwendet mit Lenovo ThinkSystem NE1032 RackSwitch. Das Paket enthält die werkseitig installierte VMware ESXi 6.5-Software auf Servern. Die Standorte sind über zwei 8-Gbit / s-FC-Kanäle und zwei 10-Gbit / s-Ethernet-Kanäle verbunden.


Die Struktur eines geografisch verteilten Clusters. Der zwischen den beiden Standorten verteilte U-Bahn-Cluster bietet Katastrophenschutz und ermöglicht die Bereitstellung zuverlässiger IaaS-Dienste für eine breite Palette von Kunden. Die Standorte sind über redundante Ethernet- (2x10 Gbit / s) und FC-Kanäle (2x8 Gbit / s) verbunden.

Durch den Erwerb von Infrastrukturkomponenten von einem Lieferanten werden die Zuverlässigkeit und Ausfallsicherheit des gesamten Komplexes erhöht und Konflikte zwischen Elementen, Standards und Protokollen beseitigt.

Die gemeinsamen Anstrengungen der beiden Teams führten zur Erstellung des Projekts, zur Vorbereitung und Entwicklung technischer Spezifikationen, zur Installation der Geräte, zur Inbetriebnahme, zu Stresstests und zur Inbetriebnahme des U-Bahn-Clusters.

Lenovo Metrocluster bietet eine vollständige Sicherung aller Elemente: Server, Speicher, Controller, FC-Adapter, optische Switches. Die synchrone Datenreplikation auf Speicherebene bietet kein RPO (Recovery Point Objective).

Eine hohe Verfügbarkeit wurde immer durch Redundanz erreicht - dies gilt auch für die Vorbereitung auf Extremsituationen, in denen das gesamte Rechenzentrum vor Stromausfällen oder Naturkatastrophen geschützt werden muss. Wenn einer der Standorte ausfällt, wechselt ein geografisch verteilter Cluster automatisch und ohne Unterbrechung der Arbeitsprozesse in ein zweites Rechenzentrum. Tatsächlich ist der Metro-Cluster ein lokaler Cluster mit einem gespiegelten Speichersystem, das zwischen zwei Standorten angeordnet ist.

Geografisch verteilte Cluster weisen keine kritischen Fehlerstellen auf. Der Metro-Cluster implementiert die gegenseitige synchrone Datenreplikation zwischen Standorten. Wenn ein Problem auftritt, ist der Wechsel zu einer anderen Site vollständig transparent und ohne Eingreifen des Administrators. Die Automatisierung dieses Prozesses gewährleistet den kontinuierlichen Betrieb aller Anwendungen. Metro-Cluster müssen auch nicht gestoppt werden, um ihre Hardware oder Software zu aktualisieren.

Im Falle eines gesamten Serverausfalls werden seine Verantwortlichkeiten beispielsweise innerhalb weniger Sekunden auf einen zweiten Server übertragen, der sich am selben Standort befindet. Die in diesem Fall auftretende kurzfristige Unterbrechung der Dateneingabe / -ausgabe wirkt sich nicht auf den Betrieb von Anwendungen aus, da die Daten synchron auf die zweite Plattform gespiegelt werden. Wenn beim Betrieb des Switches, Kabels oder Fibre Channel HBA ein Problem auftritt, ist kein Backup-Switching zum zweiten Rechenzentrum erforderlich, und der Endbenutzer kann keine Verringerung der Anwendungsleistung feststellen.


Bei einem Ausfall des gesamten Dienstknotens tritt eine kurzfristige Unterbrechung (mehrere Sekunden) der E / A-Flüsse auf: Die Dienste werden zuerst an benachbarte Knoten übertragen, und die Notwendigkeit, zu einem geografisch entfernten Knoten zu wechseln, tritt nur auf, wenn der Standort vollständig unterbrochen ist.

In dieser Situation verwendet ein geografisch verteilter Cluster Redundanz auf Rechenzentrumsebene, um den Fehler zu beheben, und die am zweiten Standort befindlichen Systeme übernehmen die Unterstützung aller Dienste. Daher behalten Anwendungsserver den Zugriff auf alle Dienste bei, jedoch mit eingeschränkter Leistung.

Wenn der Standort, an dem der Fehler aufgetreten ist, wieder in den Betriebsmodus wechselt, müssen nur die Daten übertragen werden, die während der Ausfallzeit geändert wurden. Nach Beseitigung lokaler Probleme kann das betroffene Rechenzentrum daher schnell zum normalen Betrieb zurückkehren.

Im Falle eines Hostverlusts startet VMware High Availability (HA) die VM sofort an einem Remotestandort neu. Wenn eines der Speichersysteme ausfällt, kündigt das Speichersystem an einem anderen Standort Festplattenpfade zu den verbleibenden Hosts an. Die verlorenen VMs werden auf ihnen neu gestartet, alles geschieht automatisch.
Wenn die Verbindung zwischen den Standorten unterbrochen wird, funktioniert alles an seinem Platz weiter und sobald die Verbindung wiederhergestellt ist, beginnt der Synchronisierungsprozess.

Lösungszusammensetzung

Acht Lenovo ThinkSystem SR630-Server mit 2 Intel Xeon Gold 6132 14C 140W 2,6-GHz-Prozessoren, 32 GB TruDDR4-Speicher mit 2666 MHz (RDIMM), 10 2,5-Zoll-Laufwerksschächten, M.2 32 GB SATA-SSD-Laufwerken und werkseitig installierter VMware ESXi 6.5-Software.
Der Dual-Prozessor-Server im 1U-Formfaktor bietet Flexibilität und Leistung aufgrund der Unterstützung von Festplatten und Solid-State-Laufwerken (HDD und SSD) mit SAS- oder SATA-Schnittstellen (12 SFF oder 4 LFF). Die Möglichkeit, NVMe-Laufwerke anzuschließen, bietet hohe Lese- und Schreibgeschwindigkeiten. Die Lenovo XClarity Administrator-Software vereinfacht die Verwaltung und Wartung der Infrastruktur. Diese Konstruktionslösung konzentriert sich auf ein Gleichgewicht zwischen Leistung und Preis, um eine breite Palette von Arbeitslasten zu unterstützen, die für den Dauerbetrieb bei einer Temperatur von 45 ° C ausgelegt sind.
Zwei Lenovo Storage V3700 V2 XP-Speichersysteme mit 1,92 TB 2,5 "SAS-SSD und 1,2 TB 2,5" 10K-Festplatte mit Easy Tier-, FlashCopy- und Remote Mirroring-Software.
Mit einer Reihe funktionaler Speicherwerkzeuge können Sie Probleme mit großen Datenmengen und mit Multithread-Zugriff auf Informationsressourcen effizient lösen. V3700 V2 XP bietet die Möglichkeit, Lasten zu konsolidieren und unterstützt die Bildung von Speichersystemen, die zahlreiche anspruchsvolle Anwendungen unterstützen. Das System auf Intel-Prozessoren zeichnet sich durch hohe Leistung und Datenaustauschgeschwindigkeit über den SAS-Bus aus, funktionale Tools, die bisher nur in High-End-Geräten verfügbar waren. Storage bietet eine webbasierte Oberfläche mit integrierten Verwaltungsfunktionen, ermöglicht die Bildung flexibler Arbeitskonfigurationen und deren schnelle Bereitstellung mithilfe von Virtualisierung und Backup-Anwendungen mithilfe von FlashCopy. Es unterstützt die vertikale Skalierung von bis zu 240 2,5-Zoll-Laufwerken oder 120 Laufwerken in einem 3,5-Zoll-Formfaktor. Sie können neun Erweiterungseinheiten zum Skalieren verwenden.
Speicher für Lenovo V3700 V2 mit 20 Laufwerken 2 TB 2,5 "7,2K-Festplatte
Das System bietet eine Reihe von Tools, die eine einheitliche Virtualisierung, Skalierung und Verwaltung ermöglichen. Es ist eine Hybridlösung mit Virtualisierungsfunktionen. Speicher Lenovo Storage V3700 V2 verfügt über zwei RAID-Controller, mit denen Sie jedes Speicherformat verwenden können - sowohl Festplatten mit einem Formfaktor von 3,5 Zoll als auch einen Festplatten- oder SSD-Formfaktor von 2,5 Zoll. SHD wird standardmäßig mit Systemsoftware mit den Funktionen Virtualisierung des internen Speichers, Thin Provisioning, One-Way-Datenmigration und FlashCopy (64 Kopien) geliefert. Zusätzliche Funktionen - FlashCopy (2048 Kopien), Easy Tier, Remote Mirroring.
32- Ethernet 10 / Lenovo ThinkSystem NE1032 SFP+ SR.
24 10GBase-T 8 SFP+ 10 / . Lenovo Cloud NOS, . NE1032 . L2/L3 IP-, BGP, , Lenovo XClarity.
Fibre Channel Lenovo B6505 FC SAN c 12 SFP 16 /.
Fibre Channel 5- -. - 16 /.

Der Lenovo ThinkSystem SR630-Server mit dem leistungsstärksten Speichersubsystem und der höchsten Leistung aller Lenovo 1U-Server kann eine Vielzahl von Workloads bewältigen. Sie können Referenzmodelle zum Erstellen von Clouds verwenden.

Der ThinkSystem SR630-Server enthält zwei Intel Xeon-Leistungsprozessoren mit bis zu vier PCIe 3.0-Steckplätzen für die Installation verschiedener E / A-Adapter. Die AnyBay-Technologie bietet Unterstützung für Festplatten und SSDs mit SAS- oder SATA-Schnittstellen (12 SFF-Formfaktorgeräte oder 4 LFF-Formfaktorgeräte). Vier NVMe-Ports auf dem Motherboard sind für den direkten Anschluss von NVMe-Laufwerken ausgelegt.


Lenovo Storage V3700 V2 XP - die Fortsetzung der IBM Storwize-Produktreihe. Version XP zeichnet sich durch hohe Leistung und Konfigurationsflexibilität aus.

Was ist das Ergebnis? Der bereitgestellte Metro-Cluster „MasterTel“ ermöglicht eine konstante Verfügbarkeit und eliminiert Datenverluste vollständig, indem synchrone Spiegelung und Clustering basierend auf Arrays unterstützt werden. Die Software bietet Failover-Transparenz, die den reibungslosen Betrieb geschäftskritischer Anwendungen gewährleistet. Lenovo ist nicht der erste, der an solchen Projekten teilnimmt. Das Produktportfolio des Unternehmens umfasst Server, Speicher und Netzwerke. X86-Server fungieren alsVMware- Virtualisierungsplattform .

Natürlich ist der Metro-Cluster eine schwierige und teure Lösung, aber in den Fällen, in denen ein unterbrechungsfreier Betrieb gewährleistet werden muss, wenn die Kosten für Ausfallzeiten oder Datenkorruption hoch sind, ziehen sie es normalerweise vor, nicht zu sparen.

Source: https://habr.com/ru/post/de437802/


All Articles