【大佬讲坛】数据驱动增长-字节A/B实验揭秘（一）燕尾蝶歌词

作者｜张锦波

大家好，我是张景波，来自于字节跳动的火山引擎金融行业，目前主要负责营销云的解决方案。此前是在字节跳动的数据团队，是 AB 测试、智能发布、性能监控等几条产品线的产品负责人。今天非常荣幸能够向大家分享，在我们字节跳动通过实验去驱动增长和创新的方法论和一些思考。

在正式介绍方案之前，我先和大家分享一个发生在某个租车公司的真实故事。在部们里针对同一问题，会出有多套的方案，不同方案的负责人是“公说公有理，婆说婆有理”，争执不下，各执己见。

比如，在上图中这家租车公司，此时碰到的一个问题：如何提升整体的租车转化率？而在押金和租金支付流程的设计上，运营团队和产品团队就有了不同的意见。运营负责人说，“租金和押金应该放在同一个支付页面，这样的流程越短越好，如果操作步骤多了，会降低整体用户使用意愿”。

这应该是一个运营的常识，产品人员不太同意，产品负责人说：“应该先付租金再付押金，应该是两个页面才更为合理，不然同时要支付很多钱，会给用户带来决策上比较大的压力”。接着，运营负责人又反驳说：“多一步的操作就多一份流失风险，数据跌了你是无法负责的”。这个时候已经是有一定的火药味了。然后产品负责人也不甘示弱，他说：“我做过非常多的用户调查，多少用户都卡在了支付页面，分成两个页面，才更容易降低用户对用车成本的焦虑和他的心理负担”。

最后，他们 battle 几轮下来还是没有定论，于是把这个“球”都抛给了老板。两个人说的似乎都很有道理，这就给他们的老板出了一个很大的难题。

其实，上面这个场景暴露了几个问题。第一个就是从员工的角度，我们如何能够有理有据，不急不躁，很优雅的"撕逼"，而且还不用撕破脸。同时，如何还能够有理有节，不卑不亢地去说服我们的老板，还不用软磨硬泡。那从老板的角度，其实有很多顾虑，比如说他如何能够不偏不倚的去合理决策，这些问题其实都让人头秃。

那怎么办呢？我们来看看字节跳动是怎么应对这样的问题的。节跳动旗下有很多大家耳熟能详的 App ，基本是围绕着信息分发的产品定位。人类获取信息的过程，其实本质上就是一个消除不确定性的过程，或者说是一个信息熵减的过程。

回顾字节跳动做信息分发的历史，从最初的做图文分发的今日头条，到2016 -2017 年抖音和 TikTok 横空出世。这时候有视频、有画面、有声音，开始通过短视频的方式去跨国界的提升整个知识传导的效率。后续又随着整体的互联网，原住民“Z时代”的兴起，发现单向的信息分发已经不能满足我们用户日趋强烈的交流诉求了，后续又逐步的升级迭代成为双向信息互动的直播模式，电商、直播带货用的就是这样一套玩法。

在不断的创新迭代的过程当中，字节跳动一直都在高度的关注着整个产品传递信息的一个密度，持续的探索和更新更高效的信息分发方式。其中最核心的一个理念就是通过数据去驱动创新、驱动增长，然后驱动营销。而 AB 测试就是这一理念的方法论和工具的载体。

字节跳动身上有很多的标签，大家经常听到的是 app 工厂、很善于做增长 、OKR、 字节范儿等等，其实它身上还有一个非常重磅的标签，就是 AB 测试，字节跳动就是一个 AB 测试的大厂。它把AB测试用到非常极致，有多极致呢？比如，“今日头条”这个名字都不是产品经理或者业务负责人拍脑袋、经验主义得出来的，它就是基于 AB 测试得到的。我们是通过在应用市场上架了不同的应用包的候选名称，来观测哪一个下载率和分享率是最高的，来最终敲定用那个名字。我们把产品名字的决策权交给了用户，抖音和西瓜的名字也是这么“测”出来的。

AB 测试理念是处于字节跳动整个企业文化和基因当中的，上至中高层的管理者，下至一线的产品和运营人员，大家统一的共识就是 AB 测试是一切决策的前提和基础。公司内部的 AB 测试平台是从 2016 年底的时候开始建设，迄今为止已经累积了 80 多万个实验。这个数字我在 2019 年底统计的时候还是 30 万个，短短的一年半的时间就翻了一倍。现在每一天新增的实验就有 1500 个，同时也服务了 500 多条业务线，在线运行有上万个实验。

大家可以想象一下，同时运行着那么多款日活都过亿的 App ，单单是抖音的 DAU 就已经过 6 亿了。支撑这么大流量，后端分流服务的吞吐率和响应性能是非常强大的。我们除了在技术上和产品形态上的持续打磨之外，在数年的产品高速增长迭代的过程中，也沉淀了海量的关于AB实验的最佳实践和方法论。

从一个交互按钮颜色的变化，或者是一条站外推送的文案，再到内部的运营和公域上的这种营销的策略，甚至是模型算法的优化探索和你的产品功能迭代，再到整个底层的技术架构的升级，其实都会去做 AB 实验。也因此在字节跳动有一句话叫做“AB 实验，是一种信仰，万物皆可试验”。

给大家再来分享一个我们的私域的增长全矩阵地图，可以看到AB 实验在其中发挥什么样的价值。最顶层就是目标：提升整个 App 的活跃度。我们可以把它拆分成为左边的“自然访问”和右边的“运营访问”。

“自然访问”指的是出于一个内在的需求，我们的用户主动的打开 App 的行为，并非是我们干预的，就仿佛是“你若盛开清风自来”的那种感觉。这里如果我们要提升自然访问，首先就是要提供功能完备、体验流畅，且界面优美的产品。但是光有这些可能还不够，毕竟在某些 C 端的垂直领域已经是红海状态，竞争对手都各出奇招。所以，你的产品还是要有更多有趣的灵魂，比如说一些促活的福利或者是权益，甚至是一些互动的小巧思，比如签到积分、任务激励、虚拟形象等等，这些有创意的小玩法。

“运营访问”指的是用户受到了外界条件的触发（被动状态），这其中就结合了我们营销推送的自动化平台来去提升用户打开某个 App 的欲望。营销的本质就是给合适的人，在合适的时机，通过合适的渠道，推送合适的内容、权益或者产品的过程。而在这个过程中的每一个环节都可以进行 AB 实验。

那么在方法论层面，我们又拆分成了两个比较大的方向。左边的是 ROI 最大化，也叫做价值最大化；右边的是规模最大化。“价值最大化”体现了 App 具有良性的、健康的商业盈利模式的，保证可持续发展；“规模最大化”提供了持续的流量。如果要满足以上这些方法和策略落地，是需要一整套或一系列的工具底座和能力板块的，包括从数据的埋点、采集、传输、上报，然后再到自动化的去构建数据主题集市等。

在上层部分，我们也提供了三大能力板块（偏 SaaS 端），一是分析能力，二是增长能力，三是建模能力。今天向大家去重点介绍的 AB 测试，包括其中的智能发布和推送运营等内容，就是为实现增长能力提供了相关的工具。

接下来，我们先通过案例来说明字节跳动是如何通过实验来提升“自然访问”指标的。我们主要是以下两点：第一，是通过功能的快速迭代做优化实验，争取每次都进步一点点，这样就可以很快速地找到产品和市场的契合点 (PMF)，验证我们整体的价值主张。第二，通过这种信息流推荐的实验去持续不断的优化内容推送的算法模型，提升整体的用户体验，增强用户的粘性和忠诚度。通过这样整体优化迭代的功能实验和内容推荐的算法优化实验，实现了 1 加 1 远大于 2 的一个效应。

我给大家分享一个字节跳动内部提升自然访问的一个案例，是海外的一款短视频的App 。我们的产品经理在拆分新老用户维度分析留存的时候就发现，新用户留存曲线下降的是非常明显的，这说明很多的新用户他没有找到刚刚激活应用后的那个 “aha时刻”。（“aha时刻” 指的是用户在使用一款 App 发出惊叹的时刻，意味着这个时候用户发现了这款产品带给他的一个核心价值，也说明我们的用户已经开始和我们的 App 建立起了一个情感的连接， AB 测试就是帮助我们找到这个激发“aha时刻” 的关键行为）对于这样一款短视频 App ，我们的产品经理希望能通过“上划”这个关键行为去引导不同阶段的用户观看更多的视频，这样就可以积累更多的用户行为数据，进一步的分析用户的兴趣偏好，从而优化我们内容推荐策略的算法模型，帮助用户尽快的迎来他的 “aha时刻”时刻。

但是，由于最开始的时候视频里是完全静态式的引导样式，展现的时间是比较短的，整体上也并没有什么呈现出非常明显的提示上滑的效果，用户可能不太知道怎么能够看到更多的视频，在错误操作几次之后基本上就流失了。所以产品经理给是要重新设计了上划引导的这个策略，他开启的第一轮的实验是将视频变成了一个半动态式的引导的样式。

虽然，这种形式看起来非常简洁的，我个人也是非常喜欢这样的设计，但是它实验运行了一个月之后，我们发现效果并不是特别好，上划操作的渗透率下降了1%，错误操作的渗透率也上升了，不符合预期，在这过程中，新用户的留存也没有见到一个显著的上升。

然而，我们的产品经理同学锲而不舍，又进行了第二轮的这个实验。从第一轮的半动态式的引导样式又进一步的进化和迭代，成为一个全动态式的引导样式，这样用户就会更容易理解如何通过上划看到更多的视频。我们在运行了一个月之后发现，这次上划操作的渗透率非常好，上升了1.5%，而且整个新用户的 7日内留存也提升了 1% 到 1.8% ，这个指标效果都是非常显著的。最后上线了新的全动态式的引导样式。

然后，我们还没有停止探索的脚步。数据分析师经过多维度的下拆，发现贡献了我们整个留存和渗透率提升的主要群体是来自于一线的发达地区，主要是因为发达地区的用户日常的工作节奏相对比较快，当他们一开始面临静态式或半动态式的引导样式时，无法很快的了解到怎么才能看到更多视频，他们就会很容易丧失耐心，没有动力去继续探索更多的玩法。所以他们属于在该层面上对于我们这个新策略最敏感的一类人群。

这件事情也应证了一句话，“顶级的产品经理也只能跑赢一半的 AB 测试”。确实是这样的，要通过 AB 测试持续不断的去验证我们提出的实验假设的科学性和正确性。

-END-