计算广告|6.多方数据变现-程序化交易

与证券类似的交易：程序化交易若干模式

P5.IAB总结的程序化相关交易方式

P5.实时竞价过程示意

P5.实时竞价特点

• 每次展示都有Ad Exchange服务器与多个DSP服务器的参与，这时的服务器与带宽成本大大增加。
• 在询价过程中，Ad Exchange要等待一个约定的时间片（一般情况为100ms），这使得用户看到的广告延迟增加，对CTR有负面影响。
• 原理上DSP可以以极低的出价参与竞价，这样虽不能获得流量，却可以低成本得到在媒体网站上的行为数据，这里存在着潜在的信息泄漏风险。
  • Programmatic
  • RealTime

P5.优选（Preferred Deal）

P5.私有市场（PMP）

媒体位了保证广告主的质量，希望将竞拍限制在一些被邀请需求方的小范围内。这种程序化交易，叫做私有市场。（Private Marketplace，PMP）

坚固了优选和实时竞价的好处

• 广告主的质量可以由少量被邀请需求方很好地控制，这有利于确保媒体的价值不受伤害。
• 在需求方之间保留了竞价关系，有利于提高媒体的变现能力

交易接口的形式与一般RTB一致

P5.程序化直投（PDB）

DSP可根据广告主需求，进行媒介采买，并且将采买的广告资源二次分配给广告主的不同子品牌或产品，这叫程序化直投（Programmatic Direct Buy，PDB）

本质上是一种GD或Network的投放方式

• 如果子品牌有保量需求，是GD市场
• 如果子品牌没有保量需求，可以用竞价广告网络的方式运营

产品形式和前述的RTB/PMP完全不同，需要独立的广告投放系统，或者是自建一个专门的ADX，用DSP接入。

思考：对媒体和广告主而言，什么情况下需要程序化交易？

“证劵交易所”：广告交易平台

广告交易平台（ADX）

关键特征

• 用实时竞价（RTB）方式连接广告和（上下文，用户）
• 按照展示上的竞价收取广告主费用

类比

• 实时竞价 <==> 股票实时交易
• 广告交易市场 <==> 证券交易所
• 需求方平台 <==> 券商

广告交易平台特点

优化目标：取出价最高的报价展示

关键特点

• 竞价方式不向广告主做量的约定，而是根据变现能力，即eCPM，来决定每次展示分配给哪个广告主。
• 按人群售卖，淡化媒体和广告位的概念
• 无需再满足广告主品牌独立的要求
• 采用分成结算，运营方的现金流状况大为改善

ADX系统架构

ADX主要技术点

• 由于实时竞价的功能需求，广告交易市场解决供给方和需求方用户身份对应的问题，在web的广告环境下，这需要用到cookie-mapping的技术。
• 实践中当考虑到带宽和服务成本带来的约束时，希望用更少的询价请求完成尽可能高效的变现，在这种问题的情况下，公式的优化问题会有所变化，这一问题成为询价优化。

两域名Cookie Mapping（例：媒体与DMP）

• 1.用户到达媒体页面
• 2.向媒体的服务器请求cookie mapping js代码
• 3.媒体的cookie mapping服务返回该段JS代码
• 4.JS代码判断需要mapping的话（最近已经做过则可以不做），向DMP发起cookie mapping请求，并传送媒体的标识（mid）及媒体方的cookie（mck）；
• DMP返回一个1*1的beacon，并记录下媒体方cookie（mck）与己方cookie(dck)的对应关系。

三域名Cookie Mapping（例：ADX与DSP）

• 1.用户访问广告主页面
• 2.选择性家在一个DSP域名下的iframe
• 3.DSP判断需要mapping的话，返回包括多个beacon的动态html，此处多个beacon的目的是为了同时与多个ADX交换cookie
• 4.通过其中的某个beacon，向对应的ADX发送cookie-mapping请求，并带有ADX标识
• 5.ADX通过302重定向向DSP返回ADX标识（xid）以及其域名下的cookie（xck）
• 6.DSP返回beacon，并记录下ADX cookie（xid）与己方cookie（dck）对应关系

询价优化（Call Out Optimization）

问题:在带宽和服务成本的约束下，获得更高的eCPM

在线分配框架

“券商下单系统”：需求方平台

定制化用户标签

定制化标签

• 根据广告主需求加工的标签体系
• 往往要排到第一方数据

定制化标签经典方式：

• 网站重定向 -> 个性化重定向
• 搜索重定向
• 新客推荐（Look-alike）

重定向（Retargeting）原理

重定向分类

网站重定向（Site retargeting）

• 根据用户在广告主网站上的行为进行重定向
  搜索重定向（Search retargeting）
• 根据用户与广告主相关的搜索行为进行重定向
  个性化重定向（Personalizied retargeting）
• 根据用户在广告主网站上关注的具体产品和购买阶段，推送商品粒度的广告，可以视为一个站外推荐引擎

新客推荐（Look-alike）

问题：

• 对于中小电商，仅对老用户重定向营销远远不够
• 对于某些类型的广告商，大多数用户无法通过重定向渠道捕捉，例如银行

新客推荐：

• 由广告商提供一部分种子用户，DSP通过网络行为的相似性为其找到潜在用户
• 是一种广告商自定义标签，可视为拓展重定向
• 在同样reach水平下，效果应好与通用标签

DSP产品策略

DSP展示决策过程：

关键产品策略：

• 点击价值预估、出价策略

invitemedia

核心业务：

• 传统业务是提供比较透明的Adx采买功能，并收取固定比例的佣金。
• 正在提供越来越深入的采买ROI优化服务

其他点评：

• 与DFA，Adx已整合，客减少ck mappiing带来的损失
• 改称doubleclick bid manager，并提供更多的优化功能

DSP产品特点

优化目标

关键特点：

• 需要支持定制化的用户划分能力
• 由于DSP是完全面向广告主的产品，需要在量的约束下投放，着产生了对于出价策略的需求。
• 在按CPS等效果结算的DSP中，需要同时估计点击率点击价值。并且由于出价的要求，估计要尽可能准确。

DSP系统架构

Look-alike问题建模

问题：p(y=1|x(a,u))

• y不再是点击行为，而是表示用户能否成为广告主用户的二元变量
• 模型评估的是用户属性，因此与上下文c无关

训练集构建：

• 方法一：根据广告主提供的种子用户集，凡是出现在该种子用户集中的u，其对应的y标为1，否则标为0.
• 方法二：根据广告投放的记录，将惦记过该广告主广告一定次数（一般设为1）以上的用户，其对应的y标为1，否则标为0.

点击价值估计

点击价值分解：

到达率：

• 主要与媒体匹配程度、广告主页面加载速度相关

转化率：

• 行为稀疏、定义与广告主类型密切相关

从电商角度看推荐

• 站内推荐、站外推荐、新客推荐

DSP出价策略

• 估计没有预算的限制：只要按照eCPM水平出价，就可以保证在第二高价的情况下每次展示都有利润。
• 在有预算约束的情况下，我们需要估计eCPM以及当前展示的市场价格，并在尽可能将出价集中在那些利润率较高的展示上。

Criteo

核心功能：

• 基于站外推荐的个性化重定向系统
• 动态创意技术
• 与广告主商品库的准实时Feed接口

其他点评：

• 兼容RTB和优选方式购买流量
• 在广告主端完全采用CPC结算方式
• 不会将cross-site数据用于推荐

多渠道库存管理：供给方平台

###网络优化（Network Optimization）与SSP
网络优化问题

• 接入多个AdNetWork，动态决定某次展示分配给谁
• 相当于DSP不主动出击的交易平台

供给方平台（Supply Side Platform，SSP）

• 综合利用各种需求方预算，在不伤害媒体品牌属性的前台下优化收入
• 也会提供通过RTB对接DSP的接口
• 与Ad Exchange的边界越来越模糊

移动广告Mediation

网络优化问题

• 接入多个Ad Network，动态决定某次展示分配给谁
• 相当于DSP不主动出价的交易平台

供给方平台（Supply Side Platform，SSP）

• 综合利用各种需求方预算，在不伤害媒体品牌属性的前提下优化收入
• 也会提供功过RTB对接DSP的接口
• 与Ad Exchange的边界越来越模糊

SSP产品策略

• SSP展示决策过程–动态分配（Dynamic Allocation）

P5.Header Bidding

什么是Header Bidding

• 媒体绕开Google、Mopub等ADX，通过客户端聚合JS代码或SDK的方式，直接向其他ADN或者ADX发起询价。

商业本质

• 打破Google、Mopub对于市场的垄断
• 媒体欢迎的原因主要是更低的费率、更公平的竞价

产品问题

• 聚合多家JS或者SDK带来巨大的延时
• 不如Server端RTB方式灵活、但避免了cookie mapping的损失。

P5.Header Bidding决策过程

Admeld

核心功能：

• Yield Optimizer，统一优化Premium sales，netwrok和RTB流量
• 以优化媒体利益为目标

其他点评

• 起重要做的部分除RTB，还有多network接入时eCPM的估计和选择。
• 会从DMP购买标签数据用于优化广告效果
• 主要进行广告位和时间维度上eCPM估计和流量切分

mopub

核心功能

• 领先的移动Mediation平台，通过SDK对接媒体，需求方聚合FAN，Admob等多家的SDK
• 有自己的Marketplace即RTB市场
• 提供媒体上传自己签约的广告合同功能

其他点评：

• 收取30%～40%的费用，成为媒体直接对接其他需求方的动力
• Network Optimization功能不太重要

数据资产金融化：数据管理产品

三方数据的概念

• 第一方数据：广告主的数据
• 第二方数据：广告平台数据
• 第三方数据：其他来源数据

第三方DMP

目的

• 聚合多种原始行为数据，加工成统一标签后，在公开市场上售卖
• 聚合多种加工后标签数据，在公开市场上售卖

主要特征

• 主要负责第三方数据的收集、加工和流转，不一定直接从事广告交易
• 对于广告交易平台、SSP等合作进行数据变现

第三方DMP商业模式

• DMP从多个DP那里收集原始数据，按照自己的逻辑加工成用户标签，并向DSP出售标签数据收入。
• DMP获得的收入按照一定的比例分给DP

第一方DMP

目的：

• 为网站提供第一方数据加工和应用能力
• 结合公开市场第三方数据，加工跨媒体用户标签，支持网站业务运营和广告投放

主要特征：

• 第一方用户定制化标签
• 统一的对外数据接口

第一方DMP的商业模式

• DMP应数据源（Data Provider，DP）的要求，收集第一方数据，并加工成第一方需要的用户标签。
• DP可以根据这些用户标签进行站内的运营，也可以用来指导DSP进行广告投放。
• DMP会向DP收取费用，但是绝对不会把数据二次变现。

Audience Science

核心业务

• 主要提供面向publisher的数据加工服务
• 直接运营ad network进行数据变现

其他点评

• 较早提出受众定向（audience targeting）的概念
• 数据标签不像bluekai那样在市场上公开出售
• 使用标签创造的营收按照一定比例跟publisher分成

为什么数据不能共享

疑问：数据交换似乎在发生啊？

• 那往往是因为有更高层次的交换，即投资关系

为什么大公司不能把数据共享出来

• 你见过大公司把钱共享出来么？
• 短时的贴补性共享时可行的

政府数据时可以共享的，这本质上是转移支付

数据交易该怎么做？

• 数据传输附着在实时竞价过程中，无额外开销
• 需求方可以自由的选择需要的部分人群数据，并且按照实际的广告展示付费

如何给数据定价

市场化的竞价方式是唯一的选择
目前数据的价值是被低估的

• 上页的交易方式并未限制数据供给次数
• 这间接地抬高了流量价格，而低估了数据价格

能否采用竞价的交易方式？

• 不限量供应的商品，是无法竞价的
• 数据的限量供应应该怎么做？

对抗数据的黑客：隐私保护和数据安全

数据隐私的初步认识

隐私安全基本原则

• A29:欧盟负责隐私保护条例制定的委员会
• A29原则：
  • Personal Identifiable Information（PII）不能使用
  • 用户可以要求系统停止记录和使用自己的行为数据
  • 不能长期保存和使用用户的行为数据
• Quasi-identifier 与K-anonymity
  • Quasi-identifier：朝阳区，35岁，在360上班
  • K-anonymity:北京市，30～40岁，互联网行业

互联网行为数据隐私问题

细数行为数据的挑战

• 从一个人的观影购物记录，能否反推他是谁？
• 实际案例：Netflix推荐大赛，有人从数据集里面发现了自己的同事是同性恋
• 理论研究：Robust De-anonymization of Large Sparse Datasets

深度个性化系统也有隐私安全风险

• 相关研究课题是差分隐私（Differential Privacy）

隐私是大数据头上的达摩克利斯之剑

差分隐私（Differential Privacy）

差分隐私的问题

• 最大化个性化系统准确率的同时，最小化隐私泄漏风险
• 需要对原始数据做一定的随机化处理

部分成果已经使用在iOS 10当中

需求方数据安全问题

英孚访客和华尔街访客在广告投放中混用受众