Open Broadcast der Haupthalle HighLoad ++ 2019

On Air, die Hauptveranstaltung für Entwickler hochbelasteter Systeme. Nach einer guten Tradition werden wir am 7. und 8. November unsere Erfahrungen beim Aufbau von Webdiensten teilen, die gleichzeitig Zehntausenden von Benutzern helfen können, ihre Probleme zu lösen. Wenn wir Sie diesmal nicht in SKOLKOVO sehen, nehmen Sie an der öffentlichen Übertragung des Hauptkonferenzsaals teil.

Offene Übertragung des ersten Tages der HighLoad ++ - Konferenz


Am 7. November werden die Berichte um 9:45 Uhr ausgestrahlt, um 18:00 Uhr enden sie und die HighLoad ++ - Preisverleihung beginnt.

Offene Übertragung des zweiten Tages der HighLoad ++ - Konferenz


Am 8. November beginnt der erste Bericht in der Haupthalle und die Sendung um 11:00 Uhr.



Unter einer Katze den Zeitplan und Informationen zu Berichten.

7. November


10:00 - Warum benötigen Sie eine dienststellenübergreifende Interaktionsplattform und wie können Sie diese heute erstellen?

Artemy Ryabinkov (Avito)

Wir hoffen, Sie haben bereits begonnen, von einem Monolithen zu Microservices zu wechseln. Dann ist es Zeit, über die dienstübergreifende Interaktionsplattform nachzudenken. In der Service-Architektur nimmt die Komplexität des Supports mit der Anzahl der Services exponentiell zu. Artemy Ryabinkov versprach, ein Werkzeug zur Verfügung zu stellen, das das Wachstum dieser Komplexität erheblich verlangsamen wird. Sein Bericht wird sowohl für diejenigen interessant sein, die gerade ihre Reise in SOA beginnen, als auch für diejenigen, die bereits mit den Tools OpenAPI, Swagger, gRPC, protobuf vertraut sind.

11:00 - Kafka. Beschreibung eines Kampfes

Denis Karasik (Badoo)

Ist Apache Kafka bereits in Ihre Infrastruktur integriert? Ist es eine Silberkugel? Leider nicht wirklich. Denis Karasik zeigt am Beispiel von Badoo, wie Kafka von einem Experiment in einem Service zu einer kompletten Managed-Lösung weiterentwickelt werden kann, die die Basis für viele wichtige Tools im Unternehmen wurde. Der Bericht richtet sich in erster Linie an diejenigen, die sich gerade mit Kafka vertraut machen. Fortgeschrittene Zuhörer werden sich für das Thema Skalieren und Verwalten geladener Cluster in diesem Bericht und der nächsten Präsentation interessieren.

12:00 - Anwendungsdesignmuster auf Apache Kafka

Alexander Sibiryakov (Scrapinghub)

Alexander Sibiryakov erklärt Ihnen, wie Sie zuverlässige Pipelines entwerfen, die aus einer großen Anzahl von Komponenten bestehen, die auf Apache Kafka basieren. In dem Bericht werden die Architekturmuster von Warteschlangen, Feedback, Andocken an HTTP, Nachrichtenverlust und Verarbeitungsaufgaben mit einer großen Zeitspanne für die Ausführung analysiert. Nach diesem Bericht wird klar, wie Sie Ihre Pipeline ordnungsgemäß erstellen.

13:00 - Überwachung des modernen k8s-Projekts mit den Augen des Entwicklers

Sergey Sporyshev (ITSumma)

Das nächste Schlüsselwort im heutigen Technologie-Stack ist Kubernetes. Es ist zum Standard für die Bereitstellung von Anwendungen im Web geworden und muss daher überwacht werden. Sergey Sporyshev erklärt die Unterschiede zu den üblichen Ansätzen bei der Überwachung und zeigt Ihnen, wie Sie mit der Überwachungsorganisation eines modernen Projekts in k8s umgehen können. Insiderinformationen zufolge wirkt sich dies auf coole Dinge wie die Überwachung des Service-Mesh-Levels aus - was für die meisten Projekte im Allgemeinen nicht ausreicht.

14:00 - Houston, wir haben ein Problem. Fehler beim Systemdesign, Entwicklungsmuster für interne Amazon Cloud-Dienste

Vasily Pantyukhin (Amazon Web Services)

Eine gute Überwachung warnt vor Problemen, noch bevor sie auftreten. Umso zuverlässiger ist es, wenn Sie den Service zunächst so gestalten, dass Schäden durch Störungen minimiert werden. Design for Failure ist für das Design von Amazon Web Services-Clouddiensten von grundlegender Bedeutung. Gemeinsam mit Vasily Pantyukhin werden wir uns mit diesem Ansatz befassen, einige der Gründe für Service-Ausfälle untersuchen und darüber sprechen, was zellbasierte Architektur, konstante Arbeit und Shuffle-Sharding sind.

15:00 - Liebes DELETE. Typische Fehler bei der Ausführung umfangreicher Vorgänge in hoch geladenen PostgreSQL-Datenbanken

Nikolay Samokhvalov (Postgres.ai)

Neben Tools und Entwicklungsmustern arbeiten wir weiter mit Datenbanken. Nikolay Samokhvalov macht uns auf die Konsequenzen von massiven Blockierungsoperationen in der Datenbank aufmerksam - ein hoch ausgelasteter Dienst wird höchstwahrscheinlich ausfallen. In diesem Bericht erfahren Sie, wie Postgres.ai helfen kann und wie Sie den Schutz konfigurieren, ohne ihn zu verwenden, und immer zuverlässig handeln, ohne das Produkt fallen zu lassen. All dies basiert auf realen Erfahrungen mit Schmerzen und enormen finanziellen Verlusten.

16:00 - Abfrageanalyse in MySQL, PostgreSQL, MongoDB

Peter Zaitsev (Percona)

Wir gehen noch einen Schritt weiter und überlegen, wie Sie eine hohe Abfrageleistung ohne DBA erzielen können. Für diese Aufgabe wird Peter Zaitsev, einer der Nominierten für den HighLoad ++ Award, Percona Monitoring and Management vorstellen. Dies ist ein solches Tool, mit dem ein gewöhnlicher Ingenieur eine professionelle Analyse der Abfrageleistung und mehr durchführen kann. Heutzutage ist die Verfügbarkeit und das Wissen über solche Tools sehr gefragt, wenn viele Dinge in die Hände von Frameworks und Bibliotheken gelangen und der Arbeitsmarkt knapp wird.

17:00 - Erfolg und Misserfolg mit Redis

Ivan Letenko (Infobip)

Mit PostgreSQL wechseln wir zu Technologien, die in der Großproduktion weniger verbreitet sind. Infobip hat in den 3 Jahren mit Redis viele interessante Dinge angesammelt. Ivan Letenko wird Fälle teilen und, was besonders wertvoll ist, scheitert. Lassen Sie uns die Organisation verteilter Caches, Warteschlangen, den Aufbau von Geschwindigkeitsbegrenzern und Schedulern diskutieren. Lassen Sie uns über Transaktionen in LUA-Skripten und deren Leistung sprechen. Wir werden Speichereinstellungen, Replikation, Persistenz, Failover sowie die Arbeit mit Clustern, Funktionen von Java-Treibern und Überwachung besprechen.

18:00 - HighLoad ++ Preis 2019


Es wird an Fachleute übergeben, die Einfluss auf die Entwicklung des Internet-Entwicklungs-Ökosystems in Russland haben. Dies ist der Gemeinschaft von Fachleuten für ihre Führungskräfte zu verdanken. Für Arbeit und Engagement, für schlaflose Nächte und unzählige Reden, für das Vertrauen in Ihr Produkt oder Ihre Technologie.

8. November


11:00 - Architektur des Messenger Avito - der Weg einer Nachricht

Alexander Emelin

11 Millionen Unique User pro Monat, 25.000 RPC-Anfragen pro Sekunde und 500.000 Online-Verbindungen zu Spitzenzeiten - ohne Zweifel ist der Avito Messenger ein hoch geladenes Projekt. Alexander Emelin teilt Ihnen mit, welche Dienste die Nachricht durchläuft, bevor sie den Adressaten erreicht. Wir werden herausfinden, wie die Bereitstellung funktioniert, wie MongoDB und die RabbitMQ-Warteschlangen verwendet werden. Wir werden das WebSocket-Protokoll diskutieren und über die Notwendigkeit eines HTTP-Fallbacks im Jahr 2019 nachdenken. Wir werden uns mit Anti-Spam-Filtern befassen und über die Fehlertoleranz dieses komplexen Systems sprechen.

12:00 - Personalisierung in 10 Millisekunden oder wie sich tinkoff.ru an Sie anpasst

Vladimir Posvyansky und Ivan Vovk (Tinkoff.ru)

Die Personalisierung ist die Plage des 21. Jahrhunderts, daher hat sich auch Tinkoff.ru dazu entschlossen, mit Hilfe von Algorithmen für maschinelles Lernen Seiten für einzelne Benutzer zu personalisieren, um Benutzer anzulocken. Und sie sagen, dass sie es in 10 ms schaffen - es klingt sehr vielversprechend. Vladimir Posvyansky und Ivan Vovk werden uns die Produktkomponente und den technischen Aufbau des Motors vorstellen.

13:00 - Wie man die Infrastruktur mit einer explosiven Wachstumsrate des Unternehmens ändert

Nikita Maslyannikov (TsIAN)

Kurz vor dem Abendessen mit ML werden wir zu DevOps springen. Nikita Maslyannikov wird die Geschichte des rasanten Wachstums des TsIAN und der damit verbundenen Veränderungen in der Architektur erzählen.
Er wird sich nämlich ausführlich mit der Architektur der Überwachung, Orchestrierung, der Trennung von Elasticsearch in Mikrocluster, dem Netzwerkaufbau und der SLA-Berechnung befassen. Diese Erfahrung wird nützlich sein, wenn Sie nur an der Architektur arbeiten oder wenn die aktuelle begonnen hat, mit der Last umzugehen.

14:00 - Übertragung von einer TCP-Nadel zu UDP mit Millionen von Benutzern

Alexander Tobol (Klassenkameraden)

Was tun, wenn Sie alles optimiert haben und die Daten den Benutzer nicht schnell genug erreichen? Natürlich mit dem Netzwerk umgehen. Alexander Tobol wird uns weiterhin beibringen, wie man Netzwerkprotokolle erstellt und wie Odnoklassniki zig Millionen Benutzer von TCP auf UDP transplantiert hat und was es gab. Versprochene Netzwerkprotokolle für Blut, Mut und Fahrräder. Willst du mehr Hardcore - verpasse dieses Gespräch nicht.

15:00 - Benachrichtigte Fehler und wie man sie anhand des ClickHouse-Beispiels vermeidet

Alexey Milovidov (Yandex)

Wenn Sie Code schreiben, bereiten Sie sich auf Probleme vor. Keine Probleme in der Entwicklung, sie werden es sicherlich sein und sie sollten von allen Seiten erwartet werden - von Ihrem Code, vom Compiler, vom Betriebssystem und von der Hardware. Und je größer der Umfang des Dienstes, desto mehr „wundervolle“ Fehler. Alexey Milovidov hat im Laufe der Jahre der Entwicklung und des Supports für ClickHouse verschiedene Dinge gesehen und wird auf HighLoad ++ Beispiele für die lächerlichsten, entmutigendsten und hoffnungslosesten Probleme geben. Und natürlich wird er erläutern, welche vorbeugenden Maßnahmen ergriffen werden sollten, damit es weniger Probleme gibt.

16:00 - 200 TB + Elasticsearch-Cluster

Pyotr Zaitsev (Klassenkameraden)

TCP / UDP ist gut, aber Odnoklassniki verfügt auch über 4 Rechenzentren, 500 Computer, mehr als 200 TB Daten, bis zu 2 Millionen Leitungen pro Sekunde in der Spitze und 100% Service-Verfügbarkeitsanforderungen um jeden Preis. Peter Zaitsev wird erzählen, wie man mit all dem einen Elasticsearch-Cluster zum Speichern von Protokollen in besonders großem Umfang aufbaut. Die Aufgabe war nicht trivial, mit einem hohen Anteil an Fallstricken. Und was am Ende passiert ist, erfahren wir bei HighLoad ++ 2019.

17:00 - Was kann ein Quantencomputer?

Anatoly Dymarsky (Skoltech)

Am Ende der Konferenz erscheint es logisch, in die Zukunft zu schauen. Quantum Computing verspricht, die Datenverarbeitung zu revolutionieren und unsere gesamte Branche zu verändern. Aber wir brauchen Besonderheiten: Welche Aufgaben lassen sich mit einem Quantencomputer wann genau lösen? Anatoly Dymarsky, ein theoretischer Physiker von Skoltech, wird antworten.

Beachten Sie, dass dies nur ein Stream von 16 ist. Um frei zwischen ihnen zu wechseln und auf das Video aller Berichte zuzugreifen , können Sie weiterhin den Zugriff auf die vollständige Sendung erwerben . Oder folgen Sie dem Text, der in einem Telegramm ausgestrahlt wird - er ist bereits im Gange. Dort teilen wir viele interessante Insider-Details und versuchen, die Atmosphäre des Hauptereignisses der Webentwicklung in Russland zu vermitteln. Und in sozialen Netzwerken - fb , vk - wird es viele, viele stimmungsvolle Fotos geben. Vernetzen Sie sich!

Source: https://habr.com/ru/post/de474768/


All Articles