#6.多方数据变现 – 程序化交易

与证券类似的交易:程序化交易若干模式

P5.IAB总结的程序化相关交易方式

P5.实时竞价过程示意

P5.实时竞价特点

  • 每次展示都有Ad Exchange服务器与多个DSP服务器的参与,这时的服务器与带宽成本大大增加。

  • 在询价过程中,Ad Exchange要等待一个约定的时间片(一般情况为100ms),这使得用户看到的广告延迟增加,对CTR有负面影响。

  • 原理上DSP可以以极低的出价参与竞价,这样虽不能获得流量,却可以低成本得到在媒体网站上的行为数据,这里存在着潜在的信息泄漏风险。

    • Programmatic
    • RealTime

    P5.优选(Preferred Deal)

    P5.私有市场(PMP)

  • 媒体位了保证广告主的质量,希望将竞拍限制在一些被邀请需求方的小范围内。这种程序化交易,叫做私有市场。(Private Marketplace,PMP)

  • 坚固了优选和实时竞价的好处

    • 广告主的质量可以由少量被邀请需求方很好地控制,这有利于确保媒体的价值不受伤害。
    • 在需求方之间保留了竞价关系,有利于提高媒体的变现能力
  • 交易接口的形式与一般RTB一致

    P5.程序化直投(PDB)

  • DSP可根据广告主需求,进行媒介采买,并且将采买的广告资源二次分配给广告主的不同子品牌或产品,这叫程序化直投(Programmatic Direct Buy,PDB)

  • 本质上是一种GD或Network的投放方式

    • 如果子品牌有保量需求,是GD市场
    • 如果子品牌没有保量需求,可以用竞价广告网络的方式运营
  • 产品形式和前述的RTB/PMP完全不同,需要独立的广告投放系统,或者是自建一个专门的ADX,用DSP接入。

    思考:对媒体和广告主而言,什么情况下需要程序化交易?

    “证劵交易所”:广告交易平台

    广告交易平台(ADX)

  • 关键特征

    • 用实时竞价(RTB)方式连接广告和(上下文,用户)
    • 按照展示上的竞价收取广告主费用
  • 类比

    • 实时竞价 <==> 股票实时交易
    • 广告交易市场 <==> 证券交易所
    • 需求方平台 <==> 券商

    广告交易平台特点

  • 优化目标:取出价最高的报价展示

  • 关键特点

    • 竞价方式不向广告主做量的约定,而是根据变现能力,即eCPM,来决定每次展示分配给哪个广告主。
    • 按人群售卖,淡化媒体和广告位的概念
    • 无需再满足广告主品牌独立的要求
    • 采用分成结算,运营方的现金流状况大为改善

    ADX系统架构

    ADX主要技术点

  • 由于实时竞价的功能需求,广告交易市场解决供给方和需求方用户身份对应的问题,在web的广告环境下,这需要用到cookie-mapping的技术。

  • 实践中当考虑到带宽和服务成本带来的约束时,希望用更少的询价请求完成尽可能高效的变现,在这种问题的情况下,公式的优化问题会有所变化,这一问题成为询价优化。

    两域名Cookie Mapping(例:媒体与DMP)

  • 1.用户到达媒体页面

  • 2.向媒体的服务器请求cookie mapping js代码

  • 3.媒体的cookie mapping服务返回该段JS代码

  • 4.JS代码判断需要mapping的话(最近已经做过则可以不做),向DMP发起cookie mapping请求,并传送媒体的标识(mid)及媒体方的cookie(mck);

  • DMP返回一个1*1的beacon,并记录下媒体方cookie(mck)与己方cookie(dck)的对应关系。

    三域名Cookie Mapping(例:ADX与DSP)

  • 1.用户访问广告主页面

  • 2.选择性家在一个DSP域名下的iframe

  • 3.DSP判断需要mapping的话,返回包括多个beacon的动态html,此处多个beacon的目的是为了同时与多个ADX交换cookie

  • 4.通过其中的某个beacon,向对应的ADX发送cookie-mapping请求,并带有ADX标识

  • 5.ADX通过302重定向向DSP返回ADX标识(xid)以及其域名下的cookie(xck)

  • 6.DSP返回beacon,并记录下ADX cookie(xid)与己方cookie(dck)对应关系

    询价优化(Call Out Optimization)

  • 问题

    • 在带宽和服务成本的约束下,获得更高的eCPM
  • 在线分配框架

    “券商下单系统”:需求方平台

    定制化用户标签

  • 定制化标签

    • 根据广告主需求加工的标签体系
    • 往往要排到第一方数据
  • 定制化标签经典方式:

    • 网站重定向 -> 个性化重定向
    • 搜索重定向
    • 新客推荐(Look-alike)

    重定向(Retargeting)原理

    重定向分类

  • 网站重定向(Site retargeting)

    • 根据用户在广告主网站上的行为进行重定向
  • 搜索重定向(Search retargeting)

    • 根据用户与广告主相关的搜索行为进行重定向
  • 个性化重定向(Personalizied retargeting)

    • 根据用户在广告主网站上关注的具体产品和购买阶段,推送商品粒度的广告,可以视为一个站外推荐引擎

    新客推荐(Look-alike)

  • 问题:

    • 对于中小电商,仅对老用户重定向营销远远不够
    • 对于某些类型的广告商,大多数用户无法通过重定向渠道捕捉,例如银行
  • 新客推荐:

    • 由广告商提供一部分种子用户,DSP通过网络行为的相似性为其找到潜在用户
    • 是一种广告商自定义标签,可视为拓展重定向
    • 在同样reach水平下,效果应好与通用标签

    DSP产品策略

  • DSP展示决策过程:

  • 关键产品策略:

    • 点击价值预估、出价策略

    invitemedia

  • 核心业务:

    • 传统业务是提供比较透明的Adx采买功能,并收取固定比例的佣金。
    • 正在提供越来越深入的采买ROI优化服务
  • 其他点评:

    • 与DFA,Adx已整合,客减少ck mappiing带来的损失
    • 改称doubleclick bid manager,并提供更多的优化功能

    DSP产品特点

  • 优化目标

  • 关键特点:

    • 需要支持定制化的用户划分能力
    • 由于DSP是完全面向广告主的产品,需要在量的约束下投放,着产生了对于出价策略的需求。
    • 在按CPS等效果结算的DSP中,需要同时估计点击率点击价值。并且由于出价的要求,估计要尽可能准确。

    DSP系统架构

    Look-alike问题建模

  • 问题:p(y=1|x(a,u))

    • y不再是点击行为,而是表示用户能否成为广告主用户的二元变量
    • 模型评估的是用户属性,因此与上下文c无关
  • 训练集构建:

    • 方法一:根据广告主提供的种子用户集,凡是出现在该种子用户集中的u,其对应的y标为1,否则标为0.
    • 方法二:根据广告投放的记录,将惦记过该广告主广告一定次数(一般设为1)以上的用户,其对应的y标为1,否则标为0.

    点击价值估计

  • 点击价值分解:

  • 到达率:

    • 主要与媒体匹配程度、广告主页面加载速度相关
  • 转化率:

    • 行为稀疏、定义与广告主类型密切相关

    从电商角度看推荐

  • 站内推荐、站外推荐、新客推荐

DSP出价策略

  • 估计没有预算的限制:只要按照eCPM水平出价,就可以保证在第二高价的情况下每次展示都有利润。
  • 在有预算约束的情况下,我们需要估计eCPM以及当前展示的市场价格,并在尽可能将出价集中在那些利润率较高的展示上。

Criteo

  • 核心功能:

    • 基于站外推荐的个性化重定向系统
    • 动态创意技术
    • 与广告主商品库的准实时Feed接口
  • 其他点评:

    • 兼容RTB和优选方式购买流量
    • 在广告主端完全采用CPC结算方式
    • 不会将cross-site数据用于推荐

    多渠道库存管理:供给方平台

    ###网络优化(Network Optimization)与SSP

  • 网络优化问题

    • 接入多个AdNetWork,动态决定某次展示分配给谁
    • 相当于DSP不主动出击的交易平台
  • 供给方平台(Supply Side Platform,SSP)

    • 综合利用各种需求方预算,在不伤害媒体品牌属性的前台下优化收入
    • 也会提供通过RTB对接DSP的接口
    • 与Ad Exchange的边界越来越模糊

    移动广告Mediation

  • 网络优化问题

    • 接入多个Ad Network,动态决定某次展示分配给谁
    • 相当于DSP不主动出价的交易平台
  • 供给方平台(Supply Side Platform,SSP)

    • 综合利用各种需求方预算,在不伤害媒体品牌属性的前提下优化收入
    • 也会提供功过RTB对接DSP的接口
    • 与Ad Exchange的边界越来越模糊

    SSP产品策略

  • SSP展示决策过程–动态分配(Dynamic Allocation)

    P5.Header Bidding

  • 什么是Header Bidding

    • 媒体绕开Google、Mopub等ADX,通过客户端聚合JS代码或SDK的方式,直接向其他ADN或者ADX发起询价。
  • 商业本质

    • 打破Google、Mopub对于市场的垄断
    • 媒体欢迎的原因主要是更低的费率、更公平的竞价
  • 产品问题

    • 聚合多家JS或者SDK带来巨大的延时
    • 不如Server端RTB方式灵活、但避免了cookie mapping的损失。

    P5.Header Bidding决策过程

    Admeld

  • 核心功能:

    • Yield Optimizer,统一优化Premium sales,netwrok和RTB流量
    • 以优化媒体利益为目标
  • 其他点评

    • 起重要做的部分除RTB,还有多network接入时eCPM的估计和选择。
    • 会从DMP购买标签数据用于优化广告效果
    • 主要进行广告位和时间维度上eCPM估计和流量切分

    mopub

  • 核心功能

    • 领先的移动Mediation平台,通过SDK对接媒体,需求方聚合FAN,Admob等多家的SDK
    • 有自己的Marketplace即RTB市场
    • 提供媒体上传自己签约的广告合同功能
  • 其他点评:

    • 收取30%~40%的费用,成为媒体直接对接其他需求方的动力
    • Network Optimization功能不太重要

    数据资产金融化:数据管理产品

    三方数据的概念

  • 第一方数据:广告主的数据

  • 第二方数据:广告平台数据

  • 第三方数据:其他来源数据

    第三方DMP

  • 目的

    • 聚合多种原始行为数据,加工成统一标签后,在公开市场上售卖
    • 聚合多种加工后标签数据,在公开市场上售卖
  • 主要特征

    • 主要负责第三方数据的收集、加工和流转,不一定直接从事广告交易
    • 对于广告交易平台、SSP等合作进行数据变现

    第三方DMP商业模式

  • DMP从多个DP那里收集原始数据,按照自己的逻辑加工成用户标签,并向DSP出售标签数据收入。

  • DMP获得的收入按照一定的比例分给DP

    第一方DMP

  • 目的:

    • 为网站提供第一方数据加工和应用能力
    • 结合公开市场第三方数据,加工跨媒体用户标签,支持网站业务运营和广告投放
  • 主要特征:

    • 第一方用户定制化标签
    • 统一的对外数据接口

    第一方DMP的商业模式

  • DMP应数据源(Data Provider,DP)的要求,收集第一方数据,并加工成第一方需要的用户标签。

  • DP可以根据这些用户标签进行站内的运营,也可以用来指导DSP进行广告投放。

  • DMP会向DP收取费用,但是绝对不会把数据二次变现。

    Audience Science

  • 核心业务

    • 主要提供面向publisher的数据加工服务
    • 直接运营ad network进行数据变现
  • 其他点评

    • 较早提出受众定向(audience targeting)的概念
    • 数据标签不像bluekai那样在市场上公开出售
    • 使用标签创造的营收按照一定比例跟publisher分成

    为什么数据不能共享

  • 疑问:数据交换似乎在发生啊?

    • 那往往是因为有更高层次的交换,即投资关系
  • 为什么大公司不能把数据共享出来

    • 你见过大公司把钱共享出来么?
    • 短时的贴补性共享时可行的
  • 政府数据时可以共享的,这本质上是转移支付

    数据交易该怎么做?

  • 数据传输附着在实时竞价过程中,无额外开销

  • 需求方可以自由的选择需要的部分人群数据,并且按照实际的广告展示付费

    如何给数据定价

  • 市场化的竞价方式是唯一的选择

  • 目前数据的价值是被低估的

    • 上页的交易方式并未限制数据供给次数
    • 这间接地抬高了流量价格,而低估了数据价格
  • 能否采用竞价的交易方式?

    • 不限量供应的商品,是无法竞价的
    • 数据的限量供应应该怎么做?

    对抗数据的黑客:隐私保护和数据安全

    数据隐私的初步认识

  • 隐私安全基本原则

    • A29:欧盟负责隐私保护条例制定的委员会
    • A29原则:
    • Personal Identifiable Information(PII)不能使用
    • 用户可以要求系统停止记录和使用自己的行为数据
    • 不能长期保存和使用用户的行为数据
  • Quasi-identifier 与K-anonymity

    • Quasi-identifier:朝阳区,35岁,在360上班
    • K-anonymity:北京市,30~40岁,互联网行业

    互联网行为数据隐私问题

  • 细数行为数据的挑战

    • 从一个人的观影购物记录,能否反推他是谁?
    • 实际案例:Netflix推荐大赛,有人从数据集里面发现了自己的同事是同性恋
    • 理论研究:Robust De-anonymization of Large Sparse Datasets
  • 深度个性化系统也有隐私安全风险

    • 相关研究课题是差分隐私(Differential Privacy)
  • 隐私是大数据头上的达摩克利斯之剑

    差分隐私(Differential Privacy)

  • 差分隐私的问题

    • 最大化个性化系统准确率的同时,最小化隐私泄漏风险
    • 需要对原始数据做一定的随机化处理
  • 部分成果已经使用在iOS 10当中

    需求方数据安全问题

  • 英孚访客和华尔街访客在广告投放中混用受众