“一代人的头脑正忙于吸引人们点击广告，”前Facebook工程师Jeff Hammerbacher告诉我。 “恐怖……”，-Elon Musk（特斯拉，SpaceX和通往未来的道路）。
我们在IPONWEB的想法也一样。
似乎我们有一个聪明的业务逻辑来决定向用户展示哪种广告，用于分析大数据的强大集群，即时进行复杂的胶合和匹配，一种用于预测点击次数，转化次数甚至潜在价格的学习算法，一种复杂的预算计算算法谁知道如何实时优化出价……而Azino 777仍然在RuNet中形成了广告技术的构想。不是这样，我们想了，于是决定开始在Habré上谈论真实的广告技术 X。
自2007年以来我们一直致力于的领域称为AdTech，即“广告技术”。 它非常多样化且不断发展，涉及全球成千上万的公司-从小型“口袋”广告代理商到三巨头（Google，Facebook，Amazon）。 我们专注于程序化广告，这意味着自动算法买卖广告。 今天，这些技术已经在卫星和数字电视中，以数字广告牌形式出现在街道上，在出租车，飞机上，在购物中心的屏幕上，在互联网广播和在线游戏中实现。 通常，无论哪里有人，哪里有广告，哪里有广告，都可以使用程序化。
根据eMarketer的预测 ，到2020年，美国86％的数字广告将通过自动化平台购买。 如果您“打开花花公子”并将其全部转换为货币，您将获得650亿美元-这仅在美国 在俄罗斯，程序化广告的市场规模要小20倍，尽管面临危机，但每年仍以22％的速度增长。
下图显示了市场营销和广告市场的主要参与者，其中一些构成了程序化广告的全球市场（总计约6800家公司）。 如果
出于某些原因您想分别考虑每一个，那么这里是高质量的图片。
自2010年以来，程序化市场开始迅速发展，越来越多的钱从传统的广告渠道那里流入-以及AdTech，RTB的蓬勃发展，所有这些都开始了。
AdTech是世界上发展最快的行业之一，您不能停滞不前，因为新参与者迅速占领了市场。
与我们有什么关系呢？
今天，IPONWEB为数十家公司（
DSP和
SSP ）开发软件，这些公司可以通过为其客户（广告商，代理商，交换网络，网站所有者）或直接为这些客户（包括WordPress开发人员Automatti）的广告获利（.com），无论是向特定用户展示广告还是以最有利可图的方式出售广告空间，我们都会
针对市场的阴暗面做出决策。
每个客户都有自己的业务模型和独特的任务，他们与不同的公司，不同的受众，不同类型的广告（横幅，视频，文字，本地广告，互动格式，广告牌），流量来源（网站，移动应用，户外）合作广告，游戏，电视，智能手机锁屏）以及在不同的市场中，对于我们来说，了解技术和业务层面的细节并针对特定客户优化系统非常重要。
简化后，系统内的所有互动都归结为以下内容（以购买广告的平台为例）：
- 确定您要立即显示哪个广告以及需要支付多少费用。
- 保存有关显示了哪个广告的信息，进行处理以进一步在机器学习中使用，并在报告中显示。
这些交互中的大多数都是基于实时
openRTB协议
构建的 。
实时出价工具已经出现在电视上和街头
在线广告完全不限于在网站或应用程序中进行广告，它可以显示在至少有时连接到网络以获取有关进行的拍卖或交易的信息的任何设备上。 我们已经在进行一些项目，以在有线和智能电视以及公共场所显示个性化和自动化的广告，这就是“户外数字化”（Digital Out Of Home，简称DOOH）。
通过这些显示，出现了一系列新任务，因为这里没有用户Cookie，因此您需要以其他方式获取受众群体数据并评估展示次数。 另一方面，在公共场所，对广告安全的要求更高，包括儿童在内的成千上万的人会立即看到不想要的广告，因此您需要建立一个广告初步验证系统并通过私人交易出售。
像程序化DOOH一样，程序化电视也远离主流，据eMarketer估计，
在2018年，电视库存中只有3％是通过自动竞价出售的，大部分广告仍以渠道销售部门签订的传统合同的形式出售。办公室或电子邮件，并且已安排在Excel中的电子表格中。 但是，鉴于电视已渗透到全世界人们的生活中，程序化市场的这一部分非常有前途，并且正在迅速发展-在过去的5年中，在美国，通过程序化电视渠道购买的广告数量增长了7倍，达到20亿美元，并且在2019年，它有望显示将近100％的增长。
这是怎么写的？
当然，要解决这一范围的问题，需要许多不同的技术：
- 整个系统基于以C ++编写的高负载HTTP服务器，它处理显示广告的请求，实时出价请求并编写日志。 很多日志。 每天数TB的日志。
- 业务逻辑是用Lua编写的。 它确定如何处理请求，将哪个广告素材进行拍卖，将谁作为目标以及什么，出价将是什么，谁将获胜。
- MongoDB / TokuMX用作用户数据存储。
- 使用Hadoop / Spark处理日志并将其转换为聚合，聚合包含由唯一键计算的数据，并清除了重复操作以用于其他组件的操作，例如，预测事件概率的算法和优化速率的应用程序。 所有这些都是使用Apache Spark在我们自己的Java ETL集群中完成的。
- 其余的与日志的脱机工作（例如，根据某种算法粘合和匹配记录）是由用Java / Scala编写的内部服务完成的。
- 用户界面是后端的Python / Django和前端的Angular + TypeScript的组合。
仍然有许多服务，监视系统，数据处理，构建指标和报告，但是作为本文的一部分，我不想在欧洲四处奔走，在评论中询问有关特定组件的问题，我们将为它们提供更详细的材料。