巨量引擎提出的“增效度量”方法到底是什么？12054次阅读

其实增效度量法就是参照法，在很多行业都在普遍使用，比如当前最热的新冠疫苗的临试，营销圈的AB test等。

现实中大部分广告主也会对类似的动作——到处打听竞品的数据做参照。巨量这次的效果如何，大家真可以期待一下。

数字媒体广告高速发展的50年里，关于营销效果的量化评估，一直是困扰营销人的世界级难题。

尤其是在媒体碎片化、粉尘化的今天，用户在多媒体、多平台、多设备上活跃，让单一媒体的效果归因变得更加复杂。

通常来说，广告主会用以下3种方式来评估广告投放效果，而这3种衡量方式，本身也对品牌自有数据能力和数据开放性提出了不同程度的要求。

早期，品牌们衡量广告效果的形式往往较为“感性”，多是借力外部数据来评估广告投放效果，如：广告投前、投后的店铺访问量、各平台搜索指数、商品在投放周期内的售卖变化等。这种测量方式颗粒感很粗，产品在其他平台的投放、近期的促销、打折力度，以及用户季节性需求程度，都会引发数值的波动。

随着广告技术走向成熟，通过cookies、Device ID来定位、定向、追踪用户在线行为并进行效果评估，成为广告技术平台的通用选择。但这种测量方式，往往只关注“互动用户数据”（多以“点击”为主），容易陷入到“高看”或“低估”广告价值的窠臼。

所谓“高看”，指的是在广告发生互动的人群中，本身也存在对广告脱敏、或缺乏真实需求的用户，他们即便是点击了广告，也不会为此买单；而“低估”广告效果，则是指即便有些广告没有被点击，依然对用户产生潜移默化的影响，并能助推他们在其他渠道上完成转化。但问题来了，当下无论是Cookies-based，还是last-click等广告测量方法，都无法追踪用户在其他渠道上的转化情况。因此，也就不能客观、全面地评估广告所产生的价值。

当然，还有一种情况，那就是通过竞价胜出的广告，本身就是曝光给了“对”的人群。这部分人中，就存在有品牌的忠实用户，即便不投广告给他们，也存在“自然转化”的可能。所以面向这部分人群投放广告，看似是精准的、有意向的，但实际上：广告预算是被浪费了。

相比于前两种评估方式，我们接下来要讲到的第三种测量方法，显得科学了很多。那便是，如若广告主搭建了自有DMP（数据管理平台），则可以通过mapping的方式，来对比评估一次广告投放后的互动用户设备号：是否存在于DMP中？是否在后续节点里有新的转化？如果重合度更高，或转化更高，会认为此次广告触达的精准度和有效性更好。

但这种衡量方式也存在问题。一来，所评估用户并非品牌增量用户；二来，因过分重视对于“老”用户数值研究，会弱化对新用户的意向评估，从而低估投放平台在拉新、促活、转化上的实际价值。

在笔者看来，以上三种效果衡量方式，本质上的问题，都是没能找到广告投放与转化之间的因果关系，而只是相关关系，也就是说：没有帮助广告主找到“那些真正被广告影响到的有效人群”。

为寻找到“最优解”，巨量引擎提出了“增效度量”方法。“增效度量”指的是通过“随机对照实验”的方式，来计算某次广告投放带来的效果增量，对比“投广告”与“没有投广告”的收益差异，最终算出真正因为广告带来的生意增量。

一、增效度量，让广告效果可被“量化”

听起来是不是很玄乎？在正式介绍“增效度量”方法前，我们不妨来做个简单的比喻：

有一个苹果园，我们将其划分为了左右两个面积相等的果园。

左右两个果园，可享受到同样的阳光照耀和雨水灌溉，为了能评估“施肥”能否加大苹果收成，我们选择左边的果园不施肥，而右边的果园则进行每月一次的施肥。

到了收成季节，我们对比两个果园的收成情况，如果左侧不施肥的果园收成为500公斤，而右边施了肥果园产量为800公斤，那么，即可判断：施肥带来的“增量”收益为300公斤。

显然，这个测量方式最大的优势是：在收成结果里，除去了自然环境带来的收成部分，能够更准确地反应“施肥”所带来的增量收成效果。

如若将其应用到广告投放里，则是“增效度量”的方法，即：在广告效果的评估过程里，去掉了自然转化（不受广告影响也可发生）的用户部分，能够“更准确地”还原一次广告所带来的真实效果。

具体步骤上，我们可拆解为三步：

• 广告投放前：巨量引擎的分流实验系统会将投放人群随机地分为测试组（TEST）和控制组（HOLDOUT），以确保投放前两个组别在转化上并没有明显差异；

• 广告投放中：测试组（TEST）和控制组（HOLDOUT）都会参与广告竞价。但不同的是，当测试组（TEST）广告在竞争中胜出时，广告会成功曝光出去；但控制组（HOLDOUT）的广告即便竞价成功，系统也会在广告露出前将其屏蔽，让“原本可以看到广告”的用户看不到这则广告。再次强调下：控制组里的用户是看不到广告的；

• 广告投放后：通过测试组（TEST）和控制组（HOLDOUT）用户的转化情况，来计算广告投放的增量效果。如上图，处于控制组（HOLDOUT）里的用户，即便没有看到广告，也有6个自然转化用户，而测试组（TEST）里的用户，除了自然转化的外，还新增了6个广告转化来的用户。

也就是说，若将增效“量化”，这次广告实验带来了6个新增用户。

二、增效度量：让广告评估趋近“真实”

从目前来看，国内外还没有度量数字广告效果的通用标准，而我们也不能完全通过实验来“量化”广告效果，但「增效度量」是目前几乎最接近广告真实效果的度量解决方案之一。

一、增效度量更为符合广告主的度量视角，Lift通过计算Test组和Holdout组的转化增量，能够帮助广告主更为清晰地判断“投广告”和“不投放广告”的价值差异；

二、增效度量可以在不同人群、创意、样式之间做比较评估，也可适用于不同平台间的效果评估，能帮助广告主更合理地认知不同平台的营销效果，从而优化预算分配，甄选出最有价值的媒体组合投放；

三、通过对“增量区间最大的用户”的统计、分析，能够帮助品牌更快地找到“最容易被广告触达、影响”到的人群的画像，从而优化广告投放人群、创意，让“对的广告”，在“对的人”面前充分曝光。同时，也可以动态调整出价，以优化投放ROI。

继续以前文所提到的“苹果园”为例。

在确定“施肥”可以增产增收后，我们不妨再来关注下苹果品质的提升。

如我们了解在主肥外，施加不同的补充肥料，如：A、B、C、D、E，可带来苹果口感和品质的上升，但具体怎么补充施肥，我们仍不清楚。

那么我们可以继续做测试。如：明确“主肥+A”的方案能够让苹果变得更大，而“主肥+B”能够让苹果的水分更足，“主肥+C”可以让苹果更为脆、甜，那么则可以选择“主肥+A+B+C”的组合方式来施肥，但A、B、C的配比，则需要在后续的测试实验，进一步找到最优解。一旦找到“最优解”，我们则可以将这个方法推广到当地的其他果园中，以实现苹果的丰收。

简言之：增效度量的价值不只在于能精准判断“一次广告的投后效果”，也能指导品牌后续的投放优化，包括：创意优化、策略优化、以及组合投放优化等，以此带来品牌营销效果的加成提升。

再见了！效果难以被度量的数媒广告时代

如何总结“增效度量”价值的独特性？

笔者认为：在于在广告投放前，预先设置了一个真实有效的随机“对照组”。

可能你会疑惑：这与此前品牌在投放时，多会在未触达广告的人群里，圈选出一些相似人群作为“对照”，有什么本质差异？

集中体现为三点：

一、对照组样本量：“增效度量”对照组人群样本多是百万级甚至是千万级的，与传统抽样调查几百到几千的样本量有很大的不同；

二、对照组（人群）有效性：均是实验系统随机抽取的具有潜在转化价值的人群，而不是人为圈出的“相似人群”；

三、实验结果的可信度：测试实验发生在真实的互联网广告场景中，而非搭建“理想实验花园”，因此，实验结果可信度更高。

如果说“增效度量”只是提供了广告效果衡量的“术”，那么，我们还缺少更为普适的“道”，来多维度、综合评估广告所带来的差异价值。在测量方法上，针对短视频广告的价值板块，巨量引擎给出了相应策略，打造行业首个品牌全方位增效度量体系。