"As melhores mentes de uma geração estão ocupadas em convencer as pessoas a clicar em anúncios", disse-me Jeff Hammerbacher, ex-engenheiro do Facebook. "Horror ...", - Elon Musk (Tesla, SpaceX e o caminho para o futuro).
Nossas mentes na IPONWEB estão fazendo o mesmo.
E parece que temos uma lógica comercial inteligente que decide que tipo de publicidade deve ser mostrada ao usuário, clusters poderosos para análise de big data, colagem e correspondência complexas em tempo real, um algoritmo de aprendizado que prevê cliques, conversões e até um preço potencial, um algoritmo complexo de cálculo de orçamento quem sabe como otimizar lances em tempo real ... e o Azino 777 ainda forma uma ideia de tecnologias de publicidade na RuNet. Não foi o que pensamos e decidimos começar a falar sobre tecnologias de publicidade reais em Habré x.
A área em que trabalhamos desde 2007 é chamada AdTech, "tecnologia de publicidade". É muito diversificado e está em constante evolução, envolve centenas de milhares de empresas em todo o mundo - desde pequenas agências de publicidade de bolso até os gigantes das três maiores (Google, Facebook, Amazon). Somos especializados em publicidade programática, o que significa compra e venda de algoritmos automatizados. Hoje, essas tecnologias já são implementadas em televisão por satélite e digital, nas ruas em forma de outdoors digitais, em táxis, aviões, telas em shopping centers, rádio na Internet e jogos online. Em geral, onde há pessoas, há publicidade e onde há publicidade, você pode usar programático.
De acordo com as previsões do eMarketer , 86% de toda a publicidade digital nos Estados Unidos em 2020 será comprada através de plataformas automatizadas. Se você "liga o Cara" e traduz tudo em dinheiro, recebe US $ 65 bilhões - e isso é apenas nos EUA. Na Rússia, o tamanho do mercado de publicidade programática é 20 vezes menor, mas cresce 22% ao ano, apesar das crises.
A figura abaixo mostra os principais players do mercado de marketing e publicidade, alguns dos quais formam o mercado global de publicidade programática (um total de cerca de 6800 empresas) "visão panorâmica". Se,
por algum motivo, você quiser considerar cada um separadamente, aqui está uma foto em alta qualidade em
MIL .
Desde 2010, o mercado programático começou a crescer rapidamente, mais e mais dinheiro fluiu dos canais de publicidade tradicionais para lá - e o boom da AdTech, RTB e tudo isso começou.
A AdTech é uma das indústrias que mais crescem no mundo. Você não pode ficar parado, porque o mercado está rapidamente saturado com novos players.
E o que temos a ver com isso?
Hoje, o IPONWEB desenvolve software para várias dezenas de empresas: (
DSP e
SSP ), que monetizam a publicidade para seus clientes (anunciantes, agências, redes de troca, proprietários de sites) ou para os mesmos clientes diretamente (incluindo, por exemplo, a Automatti, um desenvolvedor do WordPress .com), independentemente de se tratar de exibir anúncios para um usuário específico ou da maneira mais lucrativa de vender um espaço publicitário, tomamos decisões
pelos lados sombrio e claro de ambos os lados do mercado.
Cada cliente tem seu próprio modelo de negócios e tarefas únicas, trabalha com diferentes empresas, com diferentes públicos, com diferentes tipos de publicidade (banners, vídeo, texto, publicidade nativa, formatos interativos, outdoors), fontes de tráfego (sites, aplicativos móveis, outdoor) publicidade, jogos, TV, telas de bloqueio de smartphones) e em diferentes mercados, é muito importante entender as especificidades nos níveis técnico e comercial e aprimorar o sistema para um cliente específico.
Simplificado, todas as interações no sistema se resumem ao seguinte (usando o exemplo de uma plataforma que compra anúncios):
- Decida qual anúncio você deseja exibir agora e quanto pagar por ele.
- Salve as informações sobre qual anúncio foi exibido, processe-o para uso posterior no aprendizado de máquina e mostre no relatório.
A maioria dessas interações é construída no protocolo
openRTB em tempo
real .
RTB já está na TV e nas ruas
A publicidade on-line não se limita à publicidade no site ou no aplicativo, pode ser exibida em qualquer dispositivo que pelo menos às vezes se conecte à rede para obter informações sobre leilões realizados ou acordos feitos. Já estamos desenvolvendo projetos para exibir publicidade personalizada e automatizada em TV a cabo e inteligente e em locais públicos, isso é chamado Digital Out Of Home, DOOH abreviado.
Com essas exibições, surge uma série de novas tarefas, porque não há cookies de usuário aqui, você precisa obter os dados do público de outras maneiras e medir as impressões também. Por outro lado, em locais públicos, os requisitos para a segurança da publicidade são maiores, milhares de pessoas, incluindo crianças, verão imediatamente a publicidade indesejada, portanto, é necessário configurar um sistema de verificação preliminar da publicidade e vendê-la por meio de transações privadas.
Como o DOOH programático, a TV programática está longe do mainstream, de acordo com as estimativas da eMarketer
em 2018, apenas 3% do estoque de televisão foi vendido por meio de leilões automatizados, a maior parte da publicidade ainda é vendida na forma de contratos tradicionais concluídos no departamento de vendas do canal, em escritório ou email, e está agendado em uma planilha no Excel. Mas, dada a penetração da TV na vida das pessoas em todo o mundo, esse segmento do mercado programático é muito promissor e está crescendo rapidamente - nos Estados Unidos nos últimos 5 anos, o volume de compras de publicidade através do canal de televisão programática cresceu 7 vezes, até dois bilhões de dólares, e em 2019, promete mostrar um aumento de quase 100%.
E no que tudo isso está escrito?
Obviamente, para resolver essa variedade de problemas, muitas tecnologias diferentes são necessárias:
- Todo o sistema é baseado em um servidor HTTP altamente carregado, escrito em C ++, processa solicitações para exibição de anúncios, solicitações de lances em tempo real e grava logs. Muitos logs. Terabytes de logs por dia.
- A lógica de negócios está escrita em Lua. Ele determina como as solicitações serão processadas, qual criativo será direcionado ao leilão, quem será segmentado e qual, qual será o lance e quem vencerá.
- O MongoDB / TokuMX é usado como armazenamento de dados do usuário.
- Os logs são processados e transformados em agregados usando o Hadoop / Spark, agregados contêm dados calculados por chaves exclusivas e limpos de duplicação para a operação de outros componentes, por exemplo, um algoritmo que prevê a probabilidade de um evento e um aplicativo que otimiza a taxa. Tudo isso é feito em nosso próprio cluster Java ETL usando o Apache Spark.
- O restante do trabalho offline com logs, por exemplo, colando e combinando registros de acordo com um determinado algoritmo, é feito por um serviço interno escrito em Java / Scala.
- A interface do usuário é uma combinação de Python / Django no back-end e Angular + TypeScript no front-end.
Ainda existem vários serviços, sistemas de monitoramento, trabalhando com dados, construindo métricas e relatórios, mas como parte deste artigo, não quero galopar pela Europa, fazer perguntas sobre componentes específicos nos comentários e criaremos material mais detalhado sobre eles.