A/B测试是在相同时间把符合条件的对象随机分到不同方案，比较预先约定的指标。产品经理要先说清“想改善什么、比较谁、什么结果才值得上线”，再看数据。原型上的方案评审能帮助发现理解和操作问题；线上A/B测试则需要真实实现、稳定分组、事件采集和统计分析。
A/B测试能回答什么问题
例如，希望知道结算页的新提示是否提高付款完成率，可以让对照组看到原提示，实验组看到新提示。其他影响结果的条件尽量保持一致，观察同一周期内的支付结果。它适合验证一个可证伪的假设，而不是为已经决定上线的方案寻找好看的数字。
上线前后直接比较，不等于A/B测试。活动流量、节假日、用户结构和其他版本变化都可能影响结果。随机分组的价值，是尽量让这些因素在各组之间平衡；前提是分组和采集没有出错。
先填完一张实验计划表
| 计划项 | 填写要求 |
|---|---|
| 假设 | 新提示让用户更清楚最终付款金额，因此付款完成率可能改善 |
| 目标人群 | 有资格进入结算流程的用户；排除测试账号及不适用场景 |
| 随机单位 | 选择用户、设备或其他稳定单位；同一对象不要来回换组 |
| 主指标 | 成功支付用户数÷进入实验的合格结算用户数，明确统计窗口 |
| 护栏指标 | 支付错误、取消、投诉、页面性能等不应恶化的指标 |
| 变化与不变项 | 只改提示内容；价格、优惠、支付流程等保持一致 |
| 运行与停止规则 | 预先规划样本、周期、风险停机条件与正式分析时点 |
| 负责人 | 产品负责假设，研发负责分组与实现，数据/测试核对采集和分析 |
“提高转化率”仍太笼统。主指标是按钮点击、提交支付、支付成功，还是成功后的留存？先写清分子和分母，就能避免用中间动作代替业务结果。相关事件可按埋点方案与数据验收整理。
从设计到执行：六个关键步骤
1. 先用原型排除看不懂、走不通的问题
在墨刀原型中准备A、B两个版本，请目标用户完成同一任务，观察提示理解与操作障碍。这一步适合发现问题和缩小方案范围；少量原型走查不能冒充生产环境的转化率实验。
2. 明确实验改动究竟是一项还是一组
如果同时改变按钮颜色和优惠文案，可以比较整个组合方案，但不能把结果单独归因于颜色。初次实验尽量保持假设清晰；确需分析多个因素时，应使用相应实验设计，并预先规划比较方法。
3. 根据问题规划样本和周期
所需样本取决于基线水平、希望识别的最小实际差异、波动和统计方法，不能统一规定“几千人就够”。低流量产品尤其要先判断是否有能力识别有业务意义的变化。周期需要覆盖与业务有关的使用节奏，不能仅为了等到一个有利结果无限延长。
4. 小流量检查分组和数据，再按计划运行
检查同一用户是否固定在同一组、各端是否串组、实验曝光是否正确记录。如果设计为等比例分配，实际样本出现难以解释的偏离，要先排查分流、日志缺失或过滤规则。微软对样本比例不匹配（SRM）的研究说明将其视作实验可信度的重要检查项。
5. 同时看主指标、护栏和不确定性
一次实验可以每天检查错误和风险，但不要每天用普通固定样本检验反复寻找显著结果，看到有利数字就停止。若采用序贯方法，需要事先确定适用方法与规则。正式分析时同时呈现样本数、绝对变化、相对变化、置信区间或所选方法对应的不确定性。
6. 把结论转成明确的产品动作
统计证据足够，也要看变化是否值得承担开发、维护和运营成本；主指标提升而支付错误增加时，不能只挑有利指标。无足够证据不等于证明两版一样，可能是样本不足或变化小于当前可识别范围。
计算练习：8%变成8.8%，究竟提升多少
下面的数据用于演算：A组5000名用户中400人完成目标，B组5000名用户中440人完成目标。两组的观察转化率分别是8%和8.8%。
| 结果 | 计算 | 含义 |
|---|---|---|
| 绝对变化 | 8.8%−8%=0.8个百分点 | 每100名合格用户，观察到多0.8次完成 |
| 相对变化 | (8.8%−8%)÷8%=10% | 相对A组基线的变化幅度 |
| 能否上线 | 还需检查实验有效性、不确定性及护栏 | 不能只凭“提升10%”作结论 |
团队汇报可以写：“B组观察到更高转化，绝对差为0.8个百分点；是否支持上线，要结合预先设定的统计分析与护栏结果。”不能把这组计算数据写成某企业已经获得的增长成果。
低流量、跨设备和分群结果怎么处理
流量不足时，先缩小需要回答的问题
如果预估周期内难以获得足够数据，不要放宽规则直到结果好看。可以先通过访谈、原型任务走查和历史数据定位问题，淘汰明显难以理解的方案；这些方法回答的是理解、行为线索和问题原因，不能输出与随机实验同等的增长归因。另一种选择是测试差异更明确、业务意义更大的方案，并重新规划实验。
同一个人用不同设备，会不会看到两版
这取决于随机单位和身份识别。按设备分组时，同一用户可能跨组；按账号分组时，需要处理未登录转登录的情况。产品经理应把实际使用路径告诉研发和数据同事，共同决定分组方式，并检查同一用户是否可能受到两个方案影响。也要确认企业或家庭成员互相协作时，个体随机是否会产生组间影响。
整体没有提升，某个人群却提升了怎么办
可以把它记录为后续假设，但要检查该分群是否事先定义、样本是否足够、是否查看了很多分群才找到这一项。为已观察到的结果临时编一个解释，容易将随机波动当成机会。下一次实验可围绕该人群单独设计并验证，不直接把探索结果写成确定结论。
不同结果，下一步不同
| 结果 | 建议动作 |
|---|---|
| 主指标改善有足够证据，护栏稳定 | 评估收益与成本后逐步扩大，继续观察运行风险 |
| 主指标未获得足够证据 | 按原计划结束或按预定规则继续，记录仍无法排除的范围 |
| 主指标改善，关键护栏恶化 | 调查代价与受影响人群，修正方案后再验证 |
| 分组或数据存在错误 | 修复实验基础后重做，不解释错误数据里的胜负 |
工具怎么选，墨刀放在哪一环
墨刀适合承载方案、原型和评审记录；线上随机分流、事件采集与统计检验，需要实验平台和团队的数据链路。选择平台时，检查随机单位、跨端身份、分组日志、指标定义、护栏与结果导出能否满足项目要求，再比较操作便利程度。
Google官方说明确认Google Optimize和Optimize 360已于2023年9月30日停止服务，因此不再把它们列为当前可选工具。团队可评估仍在提供实验能力的平台，但应以具体套餐与接入方式核对。
完成一次实验后，将假设、方案版本、分组、数据口径、结论与后续动作保存在同一份记录中。下一次评审时，大家就能讨论哪些假设已被验证，哪些仍需要新的证据。现在可先用墨刀搭建两版原型，把准备比较的变化明确画出来。
