您必须创建包含现有元素的计划 A 和修改特定元素的计划 B。此时,看A眼的组成为对照组,看B眼的组成为实验组。 4. 测试进度 创建 A 计划和 B 计划后,对其进行测试。这里需要记住的是测试周期和样本量。 首先,A计划和B计划的测试必须在同一时间段内同时进行。这是为了尽可能控制除了修改元素之外可能影响实验的其他变量。 样本量之所以重要是因为“统计显着性”。在收集足够的数据以确定统计显着性之前终止测试可能会导致错误的解释。 5、分析与决策 测试完成后,您需要分析结果并做出决定。
如果新计划的目标指标高于现有计划,则可以分配新计划。我们建议整理为什么新计划产生了更好的结果,而不是简单地分发和结束。 相反,如果没有获得统计上显着的结果,则可以按 易趣编号数据 原样使用现有计划。此时,您可以组织从实验中获得的见解并计划新的测试。 A/B 测试注意事项 执行 AB 测试时常犯的错误包括: 1. 没有假设 如果您不通过 AB 测试定义要测试的假设,那么您从实验中得到的结果会非常少。 2. 未能管理控制变量 AB测试失败的最大原因是未能识别控制变量或控制变量管理不善。
如果假设中定义的自变量以外的变量影响因变量,则结果不能用作增长的基础。 3.简单平均比较 比较因变量变化的简单方法可能会将偶然结果与实际效果混淆。除了比较均值之外,还必须综合考虑分布、显着性水平等来解释结果。 4.忽略时间的流逝 虽然比较不同测试期间的因变量均值很重要,但了解因变量随时间的变化情况也很重要。事实上,条件之间的差异在实验开始时出现,然后在实验结束时消失,反之亦然。 5. 尽早查看并停止 这是一种在实验过程中连续监测 p 值变化的情况,当 p 值低于 0.05 时实验突然停止。