避免同时改变多个试验条件,核心动作是:把本次改版拆成“必须一起变”和“可以分开验”的两组,只让一组进入同一轮投放,其余改动先冻结。通常可以保留原有页面作为对照,只替换一个主要变量,例如首屏主张或表单字段数;如果业务前提已经变化,比如主推产品、报价方式或合规要求变了,才需要退出旧对照,改为重新建立基线,而不是继续拿旧页做比较。
落地页改版很少只有一个变量。标题、主图、卖点顺序、表单字段、按钮文案、信任信息,看起来是不同元素,但在用户感知里可能合成同一个条件。判断标准不是“代码里改了几处”,而是“用户做决定时接收到的信息是否发生同一类变化”。
如果旧页首屏说“免费试用”,新页首屏说“预约演示”,同时表单从三个字段变成五个字段,这不算两个独立条件。前者改变转化目标,后者改变填写成本,两者都会影响同一批用户的下一步动作。此时即使数据变化明显,也无法判断是主张更有效,还是字段太多把人挡走了。
更稳妥的做法是先列出改动清单,再按“用户决策路径”分组:
同一组内的改动可以视为一个条件;跨组同时改,就属于同时改变多个试验条件。若业务前提要求跨组一起改,比如新广告必须对应新表单,那就不要假装它是单变量试验,而应把它当作一次重新建立基线。
三种取舍分别适用于不同前提,不需要强行都做。
保留旧页作为对照,适用于流量来源、受众、预算和转化目标基本没变,只是页面表达或结构需要优化。此时旧页不是“落后版本”,而是判断新页是否更好的参照。保留时要注意:两版页面应尽量在同一时段、同一渠道、同一受众条件下获得流量,否则时段差异、渠道差异或预算变化会混入结果。
改写单变量,适用于你已经有一个明确怀疑对象。例如怀疑首屏主张不够清楚,就只改首屏主张,表单、按钮、信任信息保持原样。这样做的代价是改版幅度小,可能无法一次性解决所有问题;收益是结果更容易解释。若新页表现更好,你可以继续改下一组;若没有变化,至少知道这个变量不是主要瓶颈。
退出旧对照、重新建立基线,适用于关键前提已经变化。比如主推产品换了、报价方式从一次性改成订阅、合规要求导致承诺文案必须删除。这时旧页和新页不再服务同一个决策,继续比较会误导下一步。正确动作是停止用旧页做对照,把新页作为新基线,先观察一段时间,再决定下一轮改什么。
一个假设例子:某业务原有落地页首屏强调“快速开通”,表单只收邮箱;现在改为“预约顾问演示”,表单收邮箱、公司名和电话。若仍把旧页当对照,看到转化率下降,不能直接得出“预约演示没人要”的结论,因为表单成本和转化目标同时变了。更合理的做法是先把新页当作新基线,等数据稳定后,再单独测试表单字段能否减少。
只靠页面上的改动清单还不够,投放结构也要配合。若两个版本混在同一广告组、同一关键词和同一受众里,系统分配流量的方式、用户搜索意图差异和时段波动都会混进来。事后用报表拆分,往往只能解释一部分,不能还原当时每个用户看到的是哪一版。
可执行的动作是:为本次改版单独建立一个广告组或投放单元,只放一个主要变量,并给它独立的预算和明确的观察窗口。旧页继续在原单元运行,新页在新单元运行。这样做的结果会直接影响下一步:如果新单元的数据明显优于旧单元,且前提没有变化,可以把新页逐步扩展到更多流量;如果差异不明显,先不要全量替换,而是检查流量是否足够、观察窗口是否太短。
需要注意,付费广告和自然搜索是不同机制。投放广告带来的点击和转化,不构成自然排名的保证;反过来,自然搜索表现也不能直接用来判断广告落地页的试验结果。若本次改版同时影响广告和自然流量,应分别看两组数据,不要合并成一个“总转化率”下结论。
即使只改了一个变量,结果也可能不是页面造成的。以下现象都有合理解释,不能单独证明改版正确或错误:
更稳妥的下一步是:先确认跟踪是否正常,再对比两版页面的流量来源、受众和投放时段是否可比,最后才看转化差异。若无法排除这些替代解释,就不要急着全量替换,也不要把一次观察当作固定结论。
一个可操作的顺序是:先冻结非必要改动,只保留一个主要变量;再为这个变量建立独立投放单元和明确观察窗口;观察结束后,先排除流量、跟踪和前提变化,再决定保留、继续改写还是退出旧对照。这个顺序的价值不在于保证结果一定变好,而在于让下一次改版知道该动哪里、不该动哪里。
如果关键前提已经变化,就不要硬套单变量对照,而应把新页作为新基线重新开始;如果前提没变,只是表达或结构需要优化,就保留旧页、只改一个条件,等结果能解释后再进入下一轮。