Wie wir das neue Netzwerk auf Huawei im Moskauer Büro entworfen und implementiert haben, Teil 2

In früheren Serien: Jet wechselte zu einem neuen Netzwerk, das auf dem berüchtigten Anbieter basiert. Wie der Prozess der Prüfung von Systemen, des Sammelns von „Wunschliste“ und des Zähmens der „Mutantenreserve“ ablief, lesen Sie im ersten Teil .

Dieses Mal werde ich über den Prozess der Migration von Benutzern (mehr als 1600 Personen) vom alten zum neuen Netzwerk sprechen. Ich lade alle Interessierten unter Katze ein.

So besteht das bestehende Netzwerk des Unternehmens seit letztem Sommer:

• Die einfachste reduzierte Backbone-Topologie ist der Netzwerkkern (dieselbe Verteilungsebene), der aus zwei Switches auf Netzwerkebene besteht, die zu einem VSS-Cluster zusammengefasst sind.
• Die Zugriffsebene wird durch Schalter und Stapel von Kanalebenenschaltern dargestellt, die im Kreuz und manchmal direkt in den Korridoren und sogar in den Arbeitsräumen installiert sind.
• Einige der Zugriffsschalter sind in der Kette enthalten, dh der Schalter ist in einem anderen Schalter enthalten, und der letzte befindet sich bereits im Kernel.
• Die Fehlertoleranz beim Anschließen von Zugriffsschaltern an den Kern wird hauptsächlich über LACP bereitgestellt, manchmal wird sie überhaupt nicht bereitgestellt.
• Zugriffskontrolle - über VLAN, VLAN-Routing - im Kern;
• Zugriffsschalter von drei Herstellern und vier Generationen werden verwendet, Benutzer werden mit Geschwindigkeiten von 100 Mbit / s bis 1 Gbit / s verbunden;
• Einige Benutzer verwenden weiterhin analoge Telefone, andere IP-Telefone, die über PoE-Injektoren verbunden sind, und eine Minderheit IP-Telefone, die über Zugriffsschalter mit PoE betrieben werden.

Herausforderung:

• das Netzwerk in eine anständige Form bringen;
• die Arbeit der Mitarbeiter während der Modernisierung nicht zu stören;
• Beheben Sie die maximal mögliche Anzahl von Problemen, die sich in den letzten 15 Betriebsjahren angesammelt haben.

Altes Leben

Bisher war das System zum Betreiben und Erweitern des Netzwerks im Büro wie folgt: Nehmen wir an, wir müssen Jobs für neue Mitarbeiter organisieren. Weitere Bereiche wurden im Business Center angemietet, Reparaturen durchgeführt, SCS verlegt und anschließend ein Computer- und Telefonnetz eingerichtet.

Auf einen Arbeitsplatz entfielen je nach Bedarf des Geräts 2 bis 4 RJ-45-Steckdosen. Eine der Steckdosen wurde telefonisch zugewiesen (erhielt eine grüne Markierung), die anderen (von eins bis drei) wurden per Computer zugewiesen (erhielt eine blaue Markierung).


Steckdosen an einem typischen Arbeitsplatz

Jede Computersteckdose im Stadium des Netzwerkaufbaus wurde mit einem separaten Anschluss des Zugangsschalters, jeder Telefonsteckdose verbunden - mit dem analogen Anschluss der Telefonzentrale (in alten Räumen) oder mit dem für die VoIP-Datenübertragung vorkonfigurierten Zugangsschalteranschluss (in neuen Räumen).

Ein solches Schema war für den Servicebetrieb zweckmäßig. Benutzer zogen in einen neuen Raum, verbanden den Computer mit einer verfügbaren Computerbuchse und das Telefon mit einer verfügbaren Telefonbuchse.

Danach verschrieb das Personal des technischen Supports, das sich auf die MAC-Adressen der angeschlossenen Geräte konzentrierte, die erforderlichen VLANs und andere Parameter an den Ports der Zugriffsschalter.

Der Ansatz hatte jedoch seinen Nachteil: Er war unwirtschaftlich, bis zur Hälfte der Häfen blieben ungenutzt. Eine solche Reserve ist nützlich, wenn im Laufe der Zeit zusätzliche Arbeitsplätze im Raum organisiert werden, wir es jedoch nicht geschafft haben, die Reserve von 50% bis zum Ende zu nutzen.

Vorbereitung auf die Migration

In der ersten Phase haben wir beschlossen, alle Zugangsschalter auszutauschen. Standardmäßig wurde das Modell der Huawei S5720- Familie ausgewählt, insbesondere das S5720-52X-PWR-SI-AC. Ihre Eigenschaften:

• verbindet sich mit einer Geschwindigkeit von 10 Gbit / s mit dem Trunk;
• gestapelt über herkömmliche 10G-Schnittstellen;
• ermöglicht die Verbindung zu allen Benutzerports mit einer Geschwindigkeit von 1 Gbit / s;
• Bietet PoE-Stromversorgung für alle Benutzerports.

Somit ist es zulässig, einen Computer, ein IP-Telefon, einen Computer über einen beliebigen IP-Port, drahtlose Zugangspunkte, Videoüberwachungskameras und andere Geräte mit einem beliebigen Port zu verbinden.
Wir mussten herausfinden, welche Steckdosen in den Räumen tatsächlich genutzt werden und was mit ihnen verbunden ist. Wir hatten:

• Daten alter und nicht sehr alter SCS-Verlegeprojekte;
• Kabelmagazine auf dem gesamten Firmengelände „nicht ganz auf dem neuesten Stand“;
• Tabellen mit MAC-Adressen auf vorhandenen Zugriffsschaltern, die wir mit den integrierten Netzwerkgeräten erhalten haben;
• Korrespondenztabellen mit MAC-Adressen von Telefonapparaten und internen Nummern von Teilnehmern - von der Telefonzentrale.

Als nächstes haben wir ein kleines Skript geschrieben, das basierend auf diesen Daten Switching- und Migrationstabellen erstellt hat (eine separate Tabelle für jede nächste Arbeitsstufe). Sie enthielten folgende Informationen:

• das Zimmer;
• Hafenmarkierung am Arbeitsplatz;
• Markieren der Steckdose auf dem Patchfeld im Kreuz;
• Name (Hostname) des alten Switch (Stack);
• Portnummer am alten Switch;
• VLAN ID
• Die MAC-Adresse des angeschlossenen Geräts (oder mehrerer);
• Typ des angeschlossenen Geräts (bestimmt durch die MAC-Adresse);
• Name (Hostname) des neuen Switch (Stack);
• Portnummer am neuen Switch.

Skriptergebnisse

Aus einer solchen Tabelle ging sofort hervor, was an einen bestimmten Port angeschlossen war - einen Computer, ein Telefon, einen Computer per Telefon (wenn zwei MAC-Adressen vorhanden sind) oder etwas Komplexeres.
Basierend auf den Tabellen entwickelten die Konstrukteure neue Kabelprotokolle und die Implementierungsingenieure konfigurierten neue Switches vor, die in der nächsten Migrationsphase anstelle der alten in Crossover installiert wurden.


Fragment eines neuen Kreuzmagazins


Zugriff auf Porteinstellungen

Somit war die Arbeit wie folgt:

• alte Zugangsschalter deaktivieren, Patchkabel entfernen;
• neue Zugangsschalter installieren, Strom anschließen;
• Magazinübergreifende Umschaltung durchführen;
• Gehen Sie in Arbeitsräumen herum und stellen Sie sicher, dass Telefone und Computer ordnungsgemäß funktionieren.

Es sieht einfach aus, aber ...

Die erste Phase ist der Austausch von Zugangsschaltern: drei Monate Arbeit ohne arbeitsfreie Tage

Seit Mitte 2018 haben wir jedes Wochenende drei Monate lang die Zugriffsschalter ausgetauscht und einen Jobwechsel gemäß unseren Migrationstabellen durchgeführt (insgesamt ca. 3.500 Ports).
Die erste Migration dauerte mehr als 12 Stunden. In dieser Zeit gelang es uns, einen Zugriffsstapel von fünf Switches zu ersetzen und etwa 200 damit verbundene Ports wieder zu verbinden.
Die meiste Zeit wurde damit verbracht, Patchkabel vorzubereiten. Jedes Patchkabel musste von der Verpackung befreit und auf beiden Seiten mit Nummernschildern verklebt werden. Erst danach konnte das Patchkabel zum Umschalten verwendet werden.

Bei den nächsten Migrationen haben wir den Prozess optimiert und Patchkabel im Voraus vorbereitet. Daher dauerte die letzte Migration die gleichen 12 Stunden. In dieser Zeit konnten wir fünf Zugriffsstapel mit jeweils 3 bis 5 Switches ersetzen und mehr als 1000 Ports wieder verbinden.

Was haben wir als Ergebnis bekommen?

Erstens das aktualisierte Cross-Country-Magazin, das wir mit dem Operationsdienst geteilt haben. Der Dienst hat eine eigene Webanwendung entwickelt, um den aktuellen Wechselstatus zu unterstützen. Diese befindet sich jetzt immer in der internen Ressource.

Zweitens Jobs, die mit neuen modernen Zugangsschaltern verbunden sind. Parallel dazu haben wir endlich analoge Telefone und separate Netzteile für IP-Telefone entfernt, die Firmware in IP-Telefonen aktualisiert und vereinheitlicht, sodass sich Telefon und Switch mithilfe des LLDP-Protokolls korrekt erkennen. Dies ist erforderlich, damit das Telefon versteht, in welchem ​​VLAN es Sprachrahmen übertragen soll und in welchen - Rahmen der über das Telefon verbundenen Geräte. Somit kann das Telefon auf die Telefonvermittlungsserver zugreifen, und Benutzer können Computer an Arbeitsstationen entweder direkt an die Wandsteckdose oder über das Telefon anschließen.

Drittens haben wir alle nicht verwendeten Ports der aktiven Geräte deaktiviert und die Port-Sicherheitsfunktion konfiguriert. Gleichzeitig haben wir die Regelung für Verbindungen formuliert, vereinbart und genehmigt, jetzt gibt es keine Verbindungen mehr „an der Kasse“.

So haben wir:

• alle Anschlüsse von Bürogeräten aufgeräumt und dokumentiert;
• alte Schalter, PoE-Injektoren, analoge Telefone losgeworden;
• reduzierter Energieverbrauch von Geräten (für einzelne Kreuz- und Arbeitsräume - bis zu 30%);
• Verbesserung der Benutzererfahrung und Aufrechterhaltung einer ausreichend ausreichenden Reserve an Häfen für aktive Geräte (auf Kosten einer gewissen Zunahme der Belastung durch Spezialisten für technischen Support, insbesondere beim Umzug von Mitarbeitern in neue Räumlichkeiten).

Die Migration ist in vollem Gange - die Umstellung auf eine neue Autobahn

Nach Abschluss der ersten Phase normalisierte sich die Situation mit Benutzerverbindungen wieder, aber am Backbone änderte sich nichts. Wie oben erwähnt, war es vor der Modernisierung ganz einfach angeordnet. Es gab ungefähr 100 VLANs, die auf einem zentralen Switch oder vielmehr auf zwei Switches geroutet wurden, die mithilfe der VSS-Technologie zu einem Cluster zusammengefasst wurden.

Parallel zur ersten Migrationsphase haben wir eine neue Autobahn nach den im ersten Artikel dargelegten Grundsätzen gebaut und getestet:

• Installierte Huawei CE8850 Core Switches
• installierte Huawei CE6870 Verteilungsschalter;
• gepflasterte zusätzliche FOCL;
• alle Verbindungen abgeschlossen;
• Konfigurierte die Overlay- und Underlay-Routing-Protokolle (aber bis die erste Stufe abgeschlossen war, waren die Schalter im Leerlauf und erwärmten die Luft).

Als nächstes begann die nächste Stufe der Migration. Nicht sehr lang, aber am schwierigsten.

Zunächst haben wir einen neuen IP-Adressierungsplan entwickelt und vereinbart, der unsere aktuellen und zukünftigen Anforderungen berücksichtigt. Der neue Plan sah separate Bereiche für alle geplanten L3VPNs vor - für normale Benutzer und Benutzer des technischen Zentrums, für Telefoniesysteme, Videokonferenzsysteme, Videoüberwachungskameras, Demonstrationsstände verschiedener Typen und andere Anforderungen.

Dann haben wir das gesamte alte Netzwerk als einen einzigen Zugriffsstapel mit einem Paar Verteilungs-Switches verbunden. Danach haben wir begonnen, Stacks auf den neuen Trunk umzustellen, indem wir die VLAN-Nummern geändert und dementsprechend die IP-Adressen der verbundenen Benutzer in neue Bereiche geändert haben.

Wir haben die Arbeiten so geplant, dass jeweils eine ausreichend große Gruppe von Zugangsschaltern geschaltet wird. Sie arbeiteten entweder nachts oder am Wochenende, abhängig von den Besonderheiten der Arbeit der geschalteten Einheiten.

Vor Arbeitsbeginn haben wir vorab folgende Operationen durchgeführt:

1. Richten Sie einen Unternehmens-DHCP-Server so ein, dass er IP-Adressen aus dem neuen Bereich für Switched-Benutzer bereitstellt.
2. Konfigurieren Sie die Ports auf den Verteilungsschaltern, in die während der Migration Zugriffsschalter einbezogen werden sollten.
3. Mit einem anderen speziell entwickelten Skript haben wir modifizierte Konfigurationen für umschaltbare Switches vorbereitet.

Sie arbeiteten in der folgenden Reihenfolge:

1. geschaltete Zugangsschalter von der alten zur neuen Amtsleitung;
2. Stellen Sie sicher, dass die Schalter über die Steuerschnittstelle zugänglich sind.
3. Die vorbereitete Konfiguration zum Ändern der VLAN-Nummern wurde auf die geschalteten Switches gegossen.

Vor dem Ausführen der oben genannten Arbeiten wurde das VLAN mit den Steuerschnittstellen aller Zugriffsschalter zwischen dem alten und dem neuen Trunk „gestreckt“, sodass Schritt 2 normalerweise ein Minimum an Zeit in Anspruch nahm. Im einfachsten Fall erhielten Benutzerarbeitsstationen (sowie Telefone, Drucker und andere Geräte) sofort IP-Adressen aus dem neuen Bereich vom DHCP-Server und arbeiteten unverändert weiter.

Wo ist es ohne Probleme?

Auf dem Weg stießen wir auf mehrere Schwierigkeiten.
Erstens funktionierten Drucker für viele Benutzer nicht mehr. Auf den Arbeitsstationen einiger Benutzer wurde der Zugriff auf Drucker über eine bestimmte IP-Adresse konfiguriert. Nachdem die Drucker auf einen neuen Bereich umgestellt wurden, erhielten sie neue Adressen, und Benutzer verloren den Zugriff auf diese. Um das Problem am Tag nach der Migration zu lösen, haben wir einen Support-Spezialisten für einen halben Tag zugewiesen, um die Benutzer zu umgehen, die die Migration durchlaufen haben, und die Drucker so zu konfigurieren, dass DNS-Namen anstelle von IP-Adressen verwendet werden.

Bei der Migration der allerersten Benutzergruppe mussten wir einige Probleme beim korrekten Einrichten von Firewalls lösen, damit Benutzer zu den erforderlichen Unternehmensressourcen wechseln konnten. Und bei allen nachfolgenden Migrationen wussten wir bereits im Voraus, was konfiguriert werden muss.

Zuletzt haben wir das Service-Center verlegt, nämlich das Schichtpersonal. Die Schicht im Dienst sollte kontinuierlich und rund um die Uhr arbeiten, immer Zugang zu den für die Arbeit benötigten Ressourcen und zu Informationssystemen der Kunden haben. Für diese Personen haben wir zu einem vorher vereinbarten Zeitpunkt und in getrennten Räumen Zeitarbeitsplätze organisiert. Ein diensthabender Mitarbeiter zog in diesen Raum, um sicherzustellen, dass er Zugang zu allen erforderlichen Systemen erhielt. Dann zog der Rest in diesen Raum.

Dann führten wir die Migration der entsprechenden Einheit durch und luden einen der diensthabenden Beamten ein, an ihren Platz zurückzukehren und die Verfügbarkeit aller erforderlichen Ressourcen zu überprüfen. Sofort behobene Probleme, falls vorhanden. Es gab nur wenige Probleme. Danach wechselte die Dienstschicht wieder von der „Notunterkunft“ zur üblichen Arbeitsweise an ihren Arbeitsplätzen mit allen benötigten Informationssystemen.

Irgendwann stellten wir fest, dass im alten Netzwerk keine einzige Benutzerarbeitsstation mehr vorhanden war! Und sie öffneten den Champagner. Als Nächstes haben wir mit der Migration des Serversegments begonnen. Ein anderes Schema wurde bereits darauf angewendet, da der Server normalerweise nicht einmal für 15 Minuten gestoppt werden kann. Ich werde dies im nächsten Artikel separat diskutieren.

Maxim Klochkov
Senior Consultant, Netzwerkaudit und integrierte Projekte
Network Solution Center
Jet Infosystems