ok.tech: Daten erklärt



UPD-Präsentationen der Veranstaltungsteilnehmer finden Sie hier

Am 13. Juni laden wir alle, die mit Daten arbeiten, in das Moskauer Büro von Odnoklassniki unter ok.tech: Data Explain ein. Gemeinsam mit Kollegen von OK.ru, Mail.ru Group, ivi.ru, Yandex.Taxi und anderen Technologieunternehmen werden wir die Entwicklung von Speichern und Datenbanken diskutieren, über die Vor- und Nachteile verschiedener Ansätze zur Datenspeicherung sowie deren Auswirkungen sprechen Bequemlichkeit verschiedener Dateninteraktionsteams.

Die Veranstaltung findet im Format einer offenen Diskussion zwischen den Rednern und dem Publikum statt. Bereiten Sie also Ihre Fragen vor und zögern Sie nicht, sie zu stellen. Die Veranstaltung wird von Alexey Chernobrovov moderiert.

Registrieren Sie sich für die Veranstaltung.

Unter einer Katze Thesen von Leistungen und dem Zeitplan.


Die Grenze zwischen Hadoop- und MPP-Datenbanken.


Fedor Lavrentiev, Leiter Analytics Tool Development, Yandex.Taxi

Hadoop ist als kostengünstige und leicht skalierbare Lösung für die Verarbeitung lose strukturierter Daten in die Welt des Speichers eingestiegen. Im Laufe der Zeit wurden die Daten in Hadoop zunehmend strukturierter, und andererseits gab es einen Trend zur Parallelisierung klassischer relationaler Datenbanken. Und jetzt stehen sie vor. In dem Bericht möchte ich darüber sprechen, wo sich die Grenzen jetzt in der MPP-Welt befinden.

Die Entwicklung von DWH in Odnoklassniki.


Denis Gabaidulin, Entwickler bei OK.ru.

Odnoklassniki DWH hilft Unternehmen, datengesteuerte Entscheidungen zu treffen. Dies ist eine faszinierende, schwierige und verantwortungsvolle Aufgabe. Wir verarbeiten täglich zig Milliarden Ereignisse und führen über 1000 reguläre Jobs aus. Wo haben wir angefangen und woher kommen wir und wo ziehen wir weiter? Warum haben Sie Ihre Analoga luigi geschrieben, Job-Server ausgelöst und Ihre eigene Überwachung erstellt?

Wechsel zu ClickHouse: Was uns erwartet hat


Olga Makarova, Produktmanagerin bei ivi.ru.

ClickHouse verlangsamt sich nicht, wenn es richtig verwendet wird.
Ich erzähle Ihnen einige Situationen, die uns viel Zeit und Nerven kosten und wie wir nicht in sie geraten können.
Die Antimuster bei der Verwendung von CH sind der Rechen, auf den wir getreten sind.

Wo kann man Elasticsearch heute verwenden?


Ilya Sereda, leitender Dateningenieur tutu.ru.

Seit vielen Jahren, in denen wir Elasticsearch in unserem Unternehmen einsetzen, haben wir eine Reihe verschiedener Probleme damit gelöst. Ich werde Ihnen sagen, welche Lösungen sich als gut erwiesen haben und welche uns Kopfschmerzen bereiteten. Ich werde Ihnen auch sagen, was Sie während des Betriebs erwartet und welche Probleme wir bei der Lösung der Probleme gelöst haben, um andere Lösungen zu finden.

Zeitplan


18:30 - 19:00 - Anmeldung der Teilnehmer
19:00 - 19:05 - Einführung von Alexey Chernobrovov
19:05 - 19:20 - Die Grenze zwischen Hadoop- und MPP-Datenbanken, Fedor Lavrentiev, Leiter der Entwicklung von Analytics-Tools Yandex.Taxi
19:20 - 19:35 - Die Entwicklung von DWH in Odnoklassniki, Denis Gabaidulin, OK.ru
19:35 - 19:50 - Wechsel zu ClickHouse: Was uns erwartet hat, Olga Makarova, Produktmanagerin bei ivi.ru.
19:50 - 20:05 - Wo Elasticsearch heute verwendet werden kann, Ilya Sereda, Lead Data Engineer tutu.ru
20:05 - 20:30 - Fragen an die Redner
20:30 - 20:45 - Pause
20:45 - 22:00 - Diskussion

Registrieren Sie sich für die Veranstaltung.

Source: https://habr.com/ru/post/de452978/


All Articles