
Hallo Habr!
Vor einer Woche gab es
einen Artikel, in dem ich ein Gespräch darüber begann, wie man ein E-Commerce-Projekt auf ein explosives Verkehrswachstum und andere Freuden von groß angelegten Werbeaktionen vorbereitet.
Wir haben die wichtigsten technischen Details herausgefunden und werden uns nun mit administrativen Problemen und der Optimierung der Supportprozesse bei Spitzenlasten befassen:
- Was macht die Site instabil und warum ist die Wolke kein Allheilmittel?
- Welche Geschäftsparameter müssen überwacht werden, um ein Problem zu erkennen, bevor es zu erheblichen Verlusten führt?
- wie man einen Vorfall ohne Chaos vom Ereignis zur Lösung leitet und den Fehler lokalisiert.
Und vieles mehr - ich bitte alle zu schneiden!
Nach meiner Erfahrung ist der größte Kopfschmerz bei der Vorbereitung auf groß angelegte Maßnahmen ein starker administrativer Druck. Das Geschäft, das bis dahin sehr ruhig war, hat plötzlich den Wunsch, dass jeder im Strom ist, Staub von der Baustelle wegbläst und so weiter: „Gott bewahre, was passiert, wir werden bestraft.“ Versuchen wir, diesen allgemein gesunden Wunsch zu befriedigen. Wir werden am Beispiel des Schwarzen Freitags darüber sprechen, da dies das auffälligste Beispiel für einen starken Anstieg der Belastung auf der Website ist.
Und wir beginnen mit der grundlegenden Frage: Was genau ist die Ursache für den instabilen Betrieb unserer Website?
Was macht eine Site instabil?

Es ist an der Zeit, das zu tun, was Sie schon lange aufgeschoben haben. Um zu verstehen, welche Faktoren eine Site weniger stabil machen, erheben und analysieren Sie die Problemgeschichte. Sag einfach nicht, dass du es nicht hast.
Ihr Top hat die folgenden Gründe plus oder minus:
- Release-bezogene Abstürze.
- Admins haben es vermasselt - eins repariert, aber ein anderes ist kaputt gegangen. Leider sind solche Überlagerungen oft versteckt und schreiben keine Geschichte.
- Das Geschäft verdorben - krumm die Aktion gestartet, etwas gelöscht usw.
- Defekte Affiliate-Dienste.
- "Traurige" Software. Meistens geschieht dies aufgrund von Absätzen. 1 und 2.
- Physischer Schaden.
- Andere Probleme.
Natürlich sind alle Situationen unterschiedlich und Ihre „Bewertung“ kann sich als etwas anders herausstellen. Aber die Probleme, die
mit Veränderungen auf der Website und dem
menschlichen Faktor verbunden sind, sowie die Früchte ihrer gemeinsamen Liebe - Freisetzungen oder Versuche, etwas zu optimieren - werden weiterhin führen.
Diese Probleme zu beseitigen, damit beim ersten Versuch, die notwendigen Änderungen vorzunehmen und nicht das zu beschädigen, was gut funktioniert, ist eine Aufgabe, bei der viele Kopien beschädigt wurden. Und wir haben sehr wenig Zeit, nur etwa vier Monate. Glücklicherweise kann dies lokal erledigt werden. Befolgen Sie dazu einige einfache Regeln:
1. Funktioniert - nicht berühren.
Schließen Sie alle geplanten Arbeiten so früh wie möglich ab - in ein paar Wochen, in einem Monat. Wie früh Verbesserungen angegangen werden können, zeigt Ihre Vorfallhistorie. Es zeigt, wie lange der Hauptschwanz der Probleme anhält. Berühren Sie danach die Site und die Produktinfrastruktur erst, wenn die Last abgelaufen ist.
2. Wenn Sie für dringende Reparaturen noch produktiv sein mussten - testen Sie.
Regelmäßig, unermüdlich auch kleinste und kleinere Veränderungen. Zuerst in einer Testumgebung, auch unter Last, und erst dann auf das Produkt übertragen. Testen Sie die wichtigsten Parameter der Site erneut und überprüfen Sie sie erneut. Es ist besser, nachts zu arbeiten, wenn die Belastung minimal ist, da Sie Zeit haben sollten, um die Situation zu retten, wenn etwas schief geht. Gutes Testen ist eine Wissenschaft, aber selbst
intelligentes Testen ist besser, als es nicht zu haben. Die Hauptsache ist, sich nicht auf "vielleicht" zu verlassen.
Gefrierwechsel bei hoher Belastung sind das einzig zuverlässige Werkzeug.
Was mit Affiliate-Diensten zu tun ist, haben wir bereits in einem früheren Artikel besprochen. Kurz gesagt - bei Problemen gnadenlos trennen. In den meisten Fällen haben viele Benutzer des Dienstes sofort Probleme, und die Kontaktaufnahme mit dem technischen Support ist eine wenig wirksame Maßnahme. Ihre Briefe helfen ihnen nicht dabei, schneller zu reparieren. In solchen Stunden ist die IT-Abteilung des Dienstes ohne sie heiß.
Wenn Sie das Problem jedoch nicht melden und die Vorfallsnummer nicht zum Zeitpunkt des Starts erhalten, können Sie dem Dienst höchstwahrscheinlich keine Strafe für Verstöße gegen das SLA in Rechnung stellen.
Ein bisschen über Zuverlässigkeit

Im Rahmen der Vorbereitung müssen Sie alle fehlerhaften Hardware- und Clusterdienste ändern. Mehr dazu in
einem meiner vorherigen Artikel.
Ich möchte Ihre Aufmerksamkeit auf das folgende weit verbreitete Missverständnis lenken: Es scheint vielen, dass die Übertragung einer Site von ihren Servern in die Cloud sofort eine Zuverlässigkeit von +100 ergibt. Leider nur +20.
Um die Fehlertoleranz eines virtuellen Servers zu erhöhen, automatisiert und beschleunigt die kommerzielle Cloud einfach das "Ersetzen" heruntergefallener Hardware in Sekunden und erhöht automatisch die virtuelle Maschine auf einem der Live-Server. Schlüsselwörter - "beschleunigt" und "gefallenes Eisen". Die virtuelle Maschine wird weiterhin neu gestartet. VMware-Fehlertoleranz und Analoga, mit denen Sie einem Neustart entkommen können, werden in der kommerziellen Virtualisierung aufgrund des Ressourcenverbrauchs und der verringerten Leistung geschützter virtueller Maschinen normalerweise nicht verwendet. Daher die Schlussfolgerung: Eine kommerzielle Cloud ist kein Allheilmittel für Fehlertoleranz, ihre Hauptvorteile sind Flexibilität und Skalierbarkeit.
Sehen Sie in der Historie nach, wie viele Ausfallzeiten Sie hatten, um physische Geräte auszutauschen oder zu reparieren. Nach dem Umzug in die Cloud nimmt ihre Anzahl ab und - ja, das Leben wird für Sie ein wenig einfacher. Sie müssen nicht zu einem Warehouse oder Store für einen neuen Server laufen. Aber jetzt werden Virtualisierungswitze zu Eisenabstürzen hinzugefügt.
Es kann vorkommen, dass der Computer nicht mehr verfügbar ist, der physische Host jedoch weiterhin reagiert. Die Cloud wird dieses Problem nicht sehen. Oder genau das Gegenteil: Der Host antwortet nicht, aber mit virtuellen Maschinen ist alles in Ordnung. In diesem Fall werden sie durch die Virtualisierung an anderer Stelle angehoben. Es wird einige Zeit dauern, bis Sie anfangen, und wieder werden Sie aus heiterem Himmel untätig. Und unter Last kann es tödlich sein. Daher müssen Sie sich auch in der Cloud an Redundanz erinnern. Übrigens ist es eine gute Idee, den Virtualisierungsanbieter zu warnen, welche Maschinen sich gegenseitig sichern. Andernfalls kann es vorkommen, dass alle Ihre Autos auf demselben physischen Server landen und gleichzeitig sterben.
- Bei der Durchführung von Lasttests ist es sinnvoll, Fehlertoleranztests unter Last zu planen.
In diesem Fall legen Sie direkt während des Auslastungstests den Knoten im Cluster ab und sehen, was passiert. Bei
korrekt konfigurierten Clustern und
korrekt zugewiesenen Ressourcen sollte dies die Testergebnisse nicht beeinträchtigen und eine Reihe von Fehlern verursachen.
Es scheint, dass wir alle typischen „Trommeln“ fertiggestellt haben. Bevor Sie weiterlesen, empfehle ich Ihnen, die
im vorherigen Artikel beschriebenen technischen Details zu
aktualisieren . Wenn die Site der Last technisch nicht standhalten kann, werden Sie durch die Reaktionsgeschwindigkeit nicht gerettet.
Überlegen wir uns nun, wie wir uns auf das Ungewöhnliche oder Plötzliche vorbereiten können. Wir können sie per Definition nicht verhindern, daher müssen wir die Ärmel hochkrempeln und lernen, wie wir sie so schnell wie möglich reparieren können.
Schritte zur Lösung eines Vorfalls

Überlegen Sie, was die Zeit ist, um den Unfall zu beseitigen:
- Fehlererkennungsgeschwindigkeit - Überwachungsverzögerung, Empfang einer Nachricht vom Benutzer usw.
- Reaktionszeit auf den erkannten Vorfall - jemand sollte den Bericht bemerken und ihn bearbeiten.
- Zeit, das Vorhandensein des Vorfalls zu bestätigen - gab es einen Jungen?
- Zeit, den Vorfall zu analysieren und Lösungen zu finden.
- Zeit, um den Vorfall und die Probleme zu lösen. Es ist nicht immer möglich, alles beim ersten Mal zu reparieren, und diese Phase kann mehrere Iterationen haben.
Normalerweise ist ein Support-Service für die Fehlerbehebung verantwortlich. Wenn das Team groß ist, kann jeder dieser Schritte von verschiedenen Personen ausgeführt werden. Und Zeit ist, wie Sie wissen, Geld. In unserem Fall buchstäblich. Der Schwarze Freitag hat eine feste Dauer und die Konkurrenten sind in Alarmbereitschaft - Kunden können alles mit ihnen verbringen. Dementsprechend ist es wichtig, dass jeder Mitarbeiter seinen Verantwortungsbereich kennt und dass Vorfälle vom Förderer gelöst werden.
Lassen Sie uns jede Phase einzeln betrachten, Problempunkte identifizieren und Möglichkeiten zur schnellen Optimierung prüfen.
Alle folgenden Tipps, Hinweise und Empfehlungen sind kein Rezept für ein „schönes Leben“, sondern bestimmte Dinge, die Sie in den nächsten drei bis vier Monaten bis zum Black Friday umsetzen können.
Unfall erkennen
Im erfolglosesten Szenario informiert Sie der Client über die Probleme. Das Problem ist so ernst, dass er
seine Zeit mit Berichterstattung verbracht hat . In diesem Fall schreibt oder ruft nur ein sehr engagierter Client an, und ein einfacher Benutzer geht mit einem Achselzucken.
Darüber hinaus hat der Kunde häufig keinen direkten Zugriff auf die IT-Abteilung. Deshalb schreibt er entweder an info@business.ru oder ruft Mädchen aus einem Callcenter an. Wenn die Informationen in die IT gelangen, vergeht viel Zeit.
Angenommen, wir haben viele treue Kunden, und jeder von ihnen sieht es als seine Pflicht an, über Probleme in TP zu schreiben. Während der Vorfall als massiv eingestuft wird, während er eskaliert und entscheidet, vergehen Stunden. Gleichzeitig können einzelne Anrufe verloren gehen und die E-Mail info@business.ru wird manchmal wochenlang nicht geharkt.
Daher ist es sehr nützlich, eine unabhängige Überwachung der wichtigsten Geschäftsparameter zu starten. Zumindest - die Anzahl der Benutzer auf der Website, die Anzahl der getätigten Käufe und ihr Verhältnis. Mit diesen Daten können Sie schnell reagieren, wenn ein Fehler aufgetreten ist, und die Zeit für die Identifizierung (und Lösung) eines bestimmten Problems auf der Website erheblich verkürzen.
Keine Benutzer? Wir müssen sehen, wohin sie gehen könnten. Es gibt Benutzer auf der Website, aber keine Verkäufe? Dies ist ein Signal für das Problem und ziemlich spät. Mithilfe automatisierter Szenariotests können Sie feststellen, dass
irgendwo etwas passiert ist. In der Regel werden automatische Tests für Builds oder Releases ausgeführt, die Überwachung ist jedoch ausreichend. Mit ihrer Hilfe können Sie die Aufschlüsselung oder Verlangsamung einiger wichtiger Geschäftsprozesse mit den Augen des Benutzers sehen.
Wenn Sie in den verbleibenden Monaten bis zum Black Friday keine Szenariotests durchführen, werden Sie natürlich nicht alle produktiven Tests abdecken. Ja, und sie können eine ernsthafte Belastung geben. Aber mit den Tests von einem Dutzend grundlegender Prozesse ist es durchaus möglich, pünktlich zu sein.
Es ist auch sehr nützlich, die durchschnittliche Antwortzeit des Servers zu verfolgen. Wenn es wächst, können Sie mit Verkaufsproblemen rechnen. Diese Daten sollten vom Überwachungssystem automatisch überwacht werden.
Wie Sie sehen, können Sie mit einer kompetenten Überwachung die Zeit, die zum Erkennen eines Problems benötigt wird,
von Stunden und Tagen auf
einige Minuten reduzieren und manchmal das Problem erkennen, bevor es seine volle Höhe erreicht.
Reaktionszeit des Vorfalls

Wir haben großartige Arbeit geleistet und dank der Überwachung sofort einen Fehler festgestellt. Jetzt müssen Sie den Vorfall starten, Priorität zuweisen, weiterleiten und die Person zuweisen, die für die weitere Verarbeitung verantwortlich ist.
Zwei Dinge sind hier wichtig:
- Erhalten Sie so schnell wie möglich eine Benachrichtigung über ein Problem.
- Seien Sie bereit, die Benachrichtigung umgehend zu verarbeiten.
Viele IT-Spezialisten sind es nicht gewohnt, schnell auf Briefe zu antworten, selbst wenn sie einen Kunden auf ihrem Smartphone haben. Daher sollten wichtige Benachrichtigungen nicht per E-Mail gesendet werden.
Verwenden Sie SMS für Unfallbenachrichtigungen. Besser noch, implementieren Sie einen Bot-Dialer für die kritischsten Fälle. Ich persönlich habe keine praktischen Implementierungen solcher Bots gesehen, aber wenn die Ressourcen dies zulassen, warum nicht? Verwenden Sie als letzten Ausweg WhatsApp / Viber / Jabber. Leider kann Telegramm auf dem Territorium der Russischen Föderation aus vielen verständlichen Gründen kein verlässlicher Kanal für Notfallbenachrichtigungen sein.
Es kann auch nützlich sein, einen Vorfall automatisch zu eskalieren, wenn keine Bestätigung vorliegt. Das heißt, die Überwachung benachrichtigt die nächste Zeile, wenn der primäre Empfänger der Benachrichtigung nicht antwortet. Dieses System versichert Sie,
wenn etwas (oder jemand) schief geht.
Lassen Sie uns nun darüber sprechen, wie Sie schnell auf Fehlermeldungen reagieren können. Erstens muss jemand bereit sein, für den Umgang mit Warnungen verantwortlich zu sein. Warnungen für das gesamte Team sind nützlich, aber nur, um die Leute auf dem Laufenden zu halten.
Kollektive Verantwortung ist eine unzuverlässige Sache, wenn Geschwindigkeit erforderlich ist.
Wenn Sie die Uhr für die Dauer der Aktion nicht auf einen klaren Zeitplan einstellen, kann es vorkommen, dass während höherer Gewalt jemand schläft und jemand von zu Hause aus keinen Zugang hat. Jemand wird unterwegs sein. Tatsächlich gibt es niemanden, der das Problem in der nächsten Stunde angeht. Natürlich können Sie rund um die Uhr einen Einsatzleiter einsetzen, aber hier gibt es eine Nuance. Sie werden gute Spezialisten nicht zwingen, ständig in Schichten zu arbeiten, was bedeutet, dass Sie sie immer noch suchen und wecken müssen, wenn Sie sie brauchen. Und diejenigen, die immer noch in Schichten arbeiten, fallen eng aus dem allgemeinen Kontext des Teamlebens heraus. Dies hat die schwerwiegendste Auswirkung auf ihre Wirksamkeit bei geplanten Aufgaben.
Was uns ersparen wird, ist, dass wir in den meisten Projekten schnell auf Nachrichten reagieren, verstehen müssen, was passiert ist, und dringend
etwa 18 Stunden am Tag repariert werden müssen. In der Regel von 6-8 Uhr bis 1-2 Uhr am nächsten Tag bis zu 90% des Verkehrs und des Umsatzes.
Um Überlagerungen zu vermeiden, reicht es aus, den Arbeitsplan für die diensthabenden Personen auf folgende Formate zu verschieben:
- 6: 00-15: 00 und 17: 00-02: 00 - Dienst "von zu Hause";
- 15: 00-17: 00 - decken Sie diejenigen im Büro ab;
- 02: 00-06: 00 - wenig Verkehr. Ernennen Sie jedoch eine Person, die nicht sehr tief und fest schläft.
Vergessen Sie nicht das Wochenende. Dieses Problem kann auf die gleiche Weise behoben werden.
Wenn Ihre tägliche Benutzeraktivität unterschiedlich verteilt ist, wählen Sie einen ähnlichen Zeitplan, in dem die Prime Time-Site nicht unbeaufsichtigt bleibt.
Im Dienst zu sein bedeutet, für die Verarbeitung von Überwachungsereignissen, Anrufen aus früheren Leitungen (Kundensupport) und die Überwachung des gesamten Systems verantwortlich zu sein. Aber während alles ruhig ist, ist der diensthabende Beamte mit seiner Hauptarbeit beschäftigt.
Stellen Sie sicher, dass Sie einige Tage vor Beginn der Ladung den Dienst aufnehmen. Erstens wird dadurch wieder sichergestellt, dass jeder alle Zugriffe hat. Zweitens ist eine Änderung der Betriebsart Stress, viele müssen sich "beruhigen". Und es wäre besser, wenn die Suchtperiode nicht mit der Haupthitze zusammenfällt.
Großartig, Warnungen kommen, und es sind diejenigen, die auf sie reagieren sollten. Die Reaktionszeit der diensthabenden Personen wird jedoch stark durch das Vorhandensein unnötiger und unverarbeiteter Warnungen sowie durch Benachrichtigungen beeinflusst, die im Prinzip keine Maßnahmen beinhalten.
Es ist sehr wichtig, keine unverarbeiteten Warnungen zu hinterlassen. Wenn regelmäßig viele ähnliche Ereignisse auftreten, untersuchen Sie die Ursache und beheben Sie sie. Es sollten überhaupt keine aktiven Alarme im Überwachungssystem vorhanden sein.
Erfahrungsgemäß ist es besser, die Benachrichtigung zu unterdrücken und eine Aufgabe für die Entwicklung zu erstellen, wenn etwas nicht schnell repariert werden kann oder nicht repariert werden muss, aber dennoch „blinkt“. Ein ständig blinkender Alarm wird früher oder später bekannt und zieht keine Aufmerksamkeit mehr auf sich. Das Problem ist, dass Menschen, wenn ein echtes Problem auftritt, die Glühbirne verwirren und ein wirklich wichtiges Ereignis ignorieren können.
Die richtige Konfiguration und Priorisierung von Ereignissen im Überwachungssystem ist nach wie vor äußerst wichtig. Das System sollte Sie genau darüber informieren, was behoben werden muss. Über bestimmte Fehler oder das Risiko ihres Auftretens. Sie werden nicht 100% CPU-Auslastung reparieren? Sie vermeiden hohe Latenzen auf dem WEB-Server, da die CPU-Auslastung Informationen zum Debuggen sind und kein Problem darstellen. Wenn der Prozessor am Black Friday zu 100% bei der Ziellast, der Reaktionsgeschwindigkeit und unter Berücksichtigung der Bestände geladen ist, bedeutet dies, dass Sie alles korrekt berechnet haben.
Die Nutzung der Systemressourcen muss kontrolliert werden. Dies ist jedoch eine etwas andere Aufgabe, die für die Ressourcenplanung und die Ermittlung der Unfallbereiche des Unfalls wichtig ist.Wir richten die Ereignisse ein, jetzt ist es wichtig, richtig zu priorisieren, was wir zuerst korrigieren werden. Zu diesem Zweck werden wir herausfinden, welche Unterschiede zwischen den Ebenen für kritische Warnungen und Warnungen bestehen. Lassen Sie mich einige übertriebene, aber verständliche Beispiele nennen.
Kritisch - Dies ist, wenn Sie mit der U-Bahn zur Großmutter gehen, einen Alarm erhalten und zur nächsten Station gehen. Sie nehmen einen Laptop heraus, setzen sich auf eine kleine Bank und beginnen zu arbeiten - es gab einen Verkaufsstopp oder es traten schwere Verluste auf. Das heißt, Kritisch ist etwas, das einen direkten, wenn auch signifikanten Einfluss auf die Benutzer hat.
Warnung - In diesem Fall verlassen Sie die Arbeit erst, wenn Sie sie repariert haben. Es ist nicht notwendig, alles zu werfen und zu rennen, um zu warnen. Sie können beenden / beenden und eine Entscheidung treffen. Beispielsweise bestand ein klares Risiko für kritische Probleme wie einen aus einem HA-Paar ausgefallenen Server, Fehler in den Protokollen und dergleichen. Wenn Sie solche Ereignisse nicht einschlagen und gewissenhaft reparieren (sowie die Ursachen untersuchen und Arbeiten ausführen, um sie zu verhindern), wird es nur sehr wenige davon geben.
Eine andere Sache, die oft vergessen wird. Werfen Sie nicht nur Admins in Dienst. Ziehen Sie Entwickler an, indem Sie für jede Schicht Arbeitspaare bilden. Dies wird uns in den nächsten Schritten nützlich sein.Wenn das Projekt funktional komplex ist, ist es sinnvoll, Berater, Analysten, Tester und alle anderen zu entsenden, die im Dienst nützlich sein können. Stellen Sie ihre Verfügbarkeit mindestens telefonisch sicher. Der Spezialist muss das Problem bestätigen (oder umgekehrt) und bei der funktionalen Lokalisierung helfen. Wenn Sie eine Person zur Reparatur hinzuziehen müssen, sparen Sie Zeit. Ich werde dieses Problem im nächsten Abschnitt ausführlicher behandeln.
Und der letzte wichtige Punkt. Jeder diensthabende Beamte sollte die Kontakte und Verantwortungsbereiche aller seiner Kollegen in Notsituationen genau kennen. Wenn er das Problem nicht alleine lösen kann und in Panik nach verfügbaren Rettern sucht, kommt es zu Chaos, wodurch Sie viel Zeit verlieren.
Die Einhaltung dieser einfachen Regeln hilft, Probleme aufgrund versäumter Benachrichtigungen zu vermeiden, und stellt sicher, dass die Mitarbeiter Probleme sofort lösen können, wenn der Notfall eintritt (lesen Sie sowohl „Schwarzer Freitag“ als auch „Notfall“).
Vorfall bestätigen
Der nächste Schritt nach Erhalt einer Benachrichtigung besteht darin, zu verstehen, was genau schief gelaufen ist und ob im Prinzip ein Problem vorliegt: Es ist nicht immer einfach, sofort festzustellen, wer Recht hat, der Benutzer oder das System. Tatsache ist, dass dieselbe Warnung je nach Blickwinkel unterschiedlich interpretiert werden kann.
, , ( ), . , . , . , , «» , .
, . , ! - , «».
- . «» .
, ,
.
— , , . , . , , . — - « », « » « , ».
, , , , «». , , . — , ,
, . : ,
, .
, . , . . , , . — , : .
. -, , , – , , , , ( , ) .
. .. , .
, . , , :
, , , . -. ,
ELK .
,
, .

- , , , .
, — . , , . , . , .
- , . , , , — .
: , , , . , 3 :
- ;
- ;
- .
. ( ). , , -, , - .
. . , , , . , , — .
. , - - , , , - . . . , , , .
, , . , . , , « » .
– SLA. SLA – , , . SLA , . , - . , .
— , . , , . .
Bisher ist das alles, was ich zu diesem Thema sagen möchte. Ich würde mich freuen, wenn mein Rat, der auf die Realität Ihres Unternehmens übertragen wird, es mir ermöglicht, die hohe Belastung ruhig und bequem zu überstehen.Wenn Sie Ratschläge zum Handeln in Ihrer Situation wünschen, lade ich Sie zu meinem Seminar Black Friday ein. Geheimnisse des Überlebens. " Im Frage- und Antwortformat werden wir über die Vorbereitung der Site auf das Verkehrswachstum sprechen und sowohl die technischen als auch die organisatorischen Details dieses Prozesses diskutieren.Das Seminar findet am 16. August in Moskau statt. Da die Veranstaltung eine ziemlich große Veranstaltung sein wird (maximal 25 Personen), ist ein Termin erforderlich. Und ich warte auf den Rest zur Diskussion in den Kommentaren. :) :)