MDE 会根据测试所需的时间和流量对样本大小产生实际影响
Posted: Sun Mar 02, 2025 9:49 am
基线转化率 (BCR)： BCR 是控制版本的转化率。例如，如果我向 10,000 个联系人发送电子邮件，其中 6,000 人打开了电子邮件，则电子邮件打开的转化率 (BCR) 为 60%。
最小可检测效应 (MDE)： MDE 是我希望实验检测到的版本 A（原始或对照样本）和版本 B（新变体）之间转化率的最小相对变化。
例如，如果我的 BCR 是 60%，我可以将 MDE 设置为 5%。这意味着我希望实验检查我的新变体的转化率是否与对照有至少 5% 的显著差异。
如果我的新变体的转化率例如为 65％ 或更高，或者 55％ 或更低，那么我可以确信这个新变体具有真正的影响。
但如果差异小于 5%（例如 58% 或 62%），那么测试可能不具有统计意义，因为变化可能 拉脱维亚电话数据 是由于随机机会而不是变体本身造成的。
。将 MDE 想象为杯中的水。随着水量增加，您需要更少的时间和精力（流量）来获得想要的结果。
翻译：更高的 MDE 提供了更大的确定性，即我的样本的真实行为已在间隔内得到考虑。更高 MDE 的缺点是它们提供的结果不太明确。
这是你必须做出的权衡。就我们的目的而言，不值得太过沉迷于 MDE。当你刚开始进行 A/B 测试时，我建议选择一个较小的间隔（例如，大约 5%）。
最小可检测效应 (MDE)： MDE 是我希望实验检测到的版本 A（原始或对照样本）和版本 B（新变体）之间转化率的最小相对变化。
例如，如果我的 BCR 是 60%，我可以将 MDE 设置为 5%。这意味着我希望实验检查我的新变体的转化率是否与对照有至少 5% 的显著差异。
如果我的新变体的转化率例如为 65％ 或更高，或者 55％ 或更低，那么我可以确信这个新变体具有真正的影响。
但如果差异小于 5%（例如 58% 或 62%），那么测试可能不具有统计意义，因为变化可能 拉脱维亚电话数据 是由于随机机会而不是变体本身造成的。
。将 MDE 想象为杯中的水。随着水量增加，您需要更少的时间和精力（流量）来获得想要的结果。
翻译：更高的 MDE 提供了更大的确定性，即我的样本的真实行为已在间隔内得到考虑。更高 MDE 的缺点是它们提供的结果不太明确。
这是你必须做出的权衡。就我们的目的而言，不值得太过沉迷于 MDE。当你刚开始进行 A/B 测试时，我建议选择一个较小的间隔（例如，大约 5%）。