"Die besten Köpfe einer Generation sind damit beschäftigt, Leute dazu zu bringen, auf Anzeigen zu klicken", sagte mir Jeff Hammerbacher, ein ehemaliger Facebook-Ingenieur. "Horror ...", - Elon Musk (Tesla, SpaceX und der Weg in die Zukunft).
Unsere Gedanken bei IPONWEB machen dasselbe.
Und es scheint, als hätten wir eine intelligente Geschäftslogik, die entscheidet, welche Art von Werbung dem Benutzer angezeigt werden soll, leistungsstarke Cluster für die Analyse von Big Data, komplexes Kleben und Matching im laufenden Betrieb, einen Lernalgorithmus, der Klicks, Conversions und sogar den potenziellen Preis vorhersagt, einen komplexen Algorithmus zur Budgetberechnung Wer weiß, wie man Gebote in Echtzeit optimiert ... und Azino 777 bildet immer noch eine Idee für Werbetechnologien in RuNet. Nicht so, dachten wir und beschlossen, über echte Werbetechnologien auf Habré zu erzählen x.
Der Bereich, in dem wir seit 2007 tätig sind, heißt AdTech, „Werbetechnologie“. Es ist sehr vielfältig und entwickelt sich ständig weiter. Es umfasst Hunderttausende von Unternehmen auf der ganzen Welt - von kleinen "Taschen" -Werbeagenturen bis zu den Giganten der großen Drei (Google, Facebook, Amazon). Wir sind spezialisiert auf programmatische Werbung, dh automatisierten algorithmischen Kauf oder Verkauf von Werbung. Diese Technologien werden bereits heute im Satelliten- und Digitalfernsehen, auf der Straße in Form von digitalen Werbetafeln, in Taxis, Flugzeugen, auf Bildschirmen in Einkaufszentren, im Internetradio und in Online-Spielen eingesetzt. Im Allgemeinen gibt es überall dort, wo Menschen sind, Werbung, und wo Werbung ist, können Sie programmatisch verwenden.
Laut eMarketer-Prognosen werden im Jahr 2020 86% aller digitalen Werbung in den USA über automatisierte Plattformen gekauft. Wenn Sie "Dude anmachen" und alles in Geld umwandeln, erhalten Sie 65 Milliarden US-Dollar - und das nur in den USA. In Russland ist der Markt für programmatische Werbung 20-mal kleiner, wächst aber trotz der Krise um 22% pro Jahr.
Das Bild unten zeigt die Hauptakteure auf dem Marketing- und Werbemarkt, von denen einige den globalen Markt für programmatische Werbung (insgesamt etwa 6800 Unternehmen) aus der Vogelperspektive bilden. Wenn Sie
aus irgendeinem Grund jedes einzeln betrachten möchten, dann ist hier ein Bild in hoher Qualität
TAUSEND .
Seit 2010 begann der programmatische Markt schnell zu wachsen, immer mehr Geld floss von traditionellen Werbekanälen dorthin - und der Boom von AdTech, RTB und all dies begann.
AdTech ist eine der am schnellsten wachsenden Branchen der Welt. Sie können nicht stillstehen, da der Markt schnell mit neuen Spielern gesättigt ist.
Und was haben wir damit zu tun?
Heute entwickelt IPONWEB Software für mehrere Dutzend Unternehmen: (
DSP und
SSP ), die Werbung für ihre Kunden (Werbetreibende, Agenturen, Austauschnetzwerke, Website-Eigentümer) oder direkt für diese Kunden (z. B. Automatti, einen WordPress-Entwickler) monetarisieren .com), unabhängig davon, ob es darum geht, Anzeigen einem bestimmten Nutzer zu zeigen oder wie eine Werbefläche am rentabelsten verkauft werden kann, treffen wir Entscheidungen
für die dunkle und die helle Seite für beide Seiten des Marktes.
Jeder Kunde hat sein eigenes Geschäftsmodell und einzigartige Aufgaben. Er arbeitet mit verschiedenen Unternehmen, mit unterschiedlichen Zielgruppen, mit unterschiedlichen Arten von Werbung (Banner, Video, Text, native Werbung, interaktive Formate, Werbetafeln), Verkehrsquellen (Websites, mobile Anwendungen, Außenwerbung) zusammen Werbung, Spiele, Fernsehen, Smartphone-Sperrbildschirme) und in verschiedenen Märkten ist es für uns sehr wichtig, die Besonderheiten auf technischer und geschäftlicher Ebene zu verstehen und das System für einen bestimmten Kunden zu schärfen.
Vereinfacht ausgedrückt ergeben sich alle Interaktionen innerhalb des Systems wie folgt (am Beispiel einer Plattform, die Anzeigen kauft):
- Entscheiden Sie, welche Anzeige Sie gerade schalten möchten und wie viel Sie dafür bezahlen möchten.
- Speichern Sie Informationen darüber, welche Werbung angezeigt wurde, verarbeiten Sie sie zur weiteren Verwendung beim maschinellen Lernen und zeigen Sie sie im Bericht an.
Die meisten dieser Interaktionen basieren auf dem Echtzeit-
OpenRTB- Protokoll.
RTB ist bereits im Fernsehen und auf den Straßen
Online-Werbung ist keineswegs auf Werbung auf der Website oder in der Anwendung beschränkt. Sie kann auf jedem Gerät angezeigt werden, das zumindest manchmal eine Verbindung zum Netzwerk herstellt, um Informationen über gespielte Auktionen oder getätigte Angebote zu erhalten. Wir führen bereits Projekte zur Anzeige personalisierter und automatisierter Werbung im Kabel- und Smart-Fernsehen sowie an öffentlichen Orten durch. Dies wird als Digital Out Of Home (kurz DOOH) bezeichnet.
Mit diesen Anzeigen ergeben sich eine Reihe neuer Aufgaben, da hier keine Benutzer-Cookies vorhanden sind. Sie müssen Publikumsdaten auf andere Weise abrufen und auch Impressionen messen. Andererseits sind an öffentlichen Orten die Anforderungen an die Werbesicherheit höher. Tausende von Menschen, einschließlich Kinder, sehen sofort unerwünschte Werbung. Daher müssen Sie ein System zur vorläufigen Überprüfung der Werbung einrichten und diese über private Transaktionen verkaufen.
Wie programmatic-DOOH ist programmatic-TV weit vom Mainstream entfernt. Nach Schätzungen von eMarketer
im Jahr 2018 wurden nur 3 Prozent des Fernsehbestands über automatisierte Auktionen verkauft. Der größte Teil der Werbung wird immer noch in Form traditioneller Verträge verkauft, die in der Verkaufsabteilung des Senders abgeschlossen wurden Büro oder E-Mail und ist in einer Tabelle in Excel geplant. Angesichts des Eindringens des Fernsehens in das Leben von Menschen auf der ganzen Welt ist dieses Segment des programmatischen Marktes jedoch sehr vielversprechend und wächst rasant. In den Vereinigten Staaten ist das Volumen der Werbekäufe über den programmatischen Fernsehsender in den letzten fünf Jahren um das Siebenfache gestiegen, auf zwei Milliarden Dollar. und im Jahr 2019 verspricht es einen Anstieg von fast 100%.
Und worauf steht das alles?
Um diese Reihe von Problemen zu lösen, sind natürlich viele verschiedene Technologien erforderlich:
- Das gesamte System basiert auf einem hoch ausgelasteten HTTP-Server, der in C ++ geschrieben ist. Es verarbeitet Anforderungen für die Anzeige von Anzeigen, Anforderungen für Gebote in Echtzeit und schreibt Protokolle. Viele Protokolle. Terabyte an Protokollen pro Tag.
- Die Geschäftslogik ist in Lua geschrieben. Es bestimmt, wie Anfragen bearbeitet werden, welches Motiv zur Auktion geht, wer als Ziel ausgewählt wird und was, was das Gebot ist, wer gewinnt.
- MongoDB / TokuMX wird als Benutzerdatenspeicher verwendet.
- Protokolle werden mit Hadoop / Spark verarbeitet und in Aggregate umgewandelt. Aggregate enthalten Daten, die durch eindeutige Schlüssel berechnet und für den Betrieb anderer Komponenten von Duplikaten befreit wurden, z. B. einen Algorithmus zur Vorhersage der Wahrscheinlichkeit eines Ereignisses und eine Anwendung, die die Rate optimiert. All dies erfolgt in unserem eigenen Java-ETL-Cluster mit Apache Spark.
- Der Rest der Offline-Arbeit mit Protokollen, z. B. das Kleben und Abgleichen von Datensätzen nach einem bestimmten Algorithmus, wird von einem in Java / Scala geschriebenen internen Dienst ausgeführt.
- Die Benutzeroberfläche ist eine Kombination aus Python / Django im Backend und Angular + TypeScript im Frontend.
Es gibt immer noch eine Reihe von Diensten, Überwachungssystemen, die mit Daten arbeiten, Metriken erstellen und Berichte erstellen. Als Teil dieses Artikels möchte ich jedoch nicht durch Europa galoppieren, Fragen zu bestimmten Komponenten in den Kommentaren stellen und detaillierteres Material dazu erstellen.