绿野仙踪原型(Wizard of Oz Prototype)让用户操作一个看似能响应的界面,由研究人员在后台提供部分或全部响应。它适合在模型、推荐或自动化能力尚未开发完整时,先了解用户怎样表达需求、能否理解结果,以及遇到不确定回答时会怎样纠正。它可以验证交互与服务构想,不能证明模型已经具备相同的准确率、速度或稳定性。
例如要做一个会议纪要助手,可以先用墨刀AI生成可修改的原型,准备输入材料、追问、待确认事项与修改负责人等页面;测试时由操作员依据预先约定的规则切换响应。这样能先看清用户是否愿意核对、怎样纠正信息,再决定模型与产品流程要做到哪一步。

它与普通点击原型、人工服务有什么不同
普通点击原型的分支大多提前写好:点这个按钮就进入那一页。绿野仙踪方法允许操作员根据用户的输入选择响应,甚至在规定范围内补充内容。它更接近对话、推荐与自动整理这类输入可能变化的体验,但操作员不能为了让演示顺利,随意展示产品不可能提供的结果。
NN/g对Wizard of Oz方法的说明将其作为由人控制部分界面响应的用户研究方式。实施时有两层工作:一层是用户看到的页面与操作,另一层是研究人员使用的响应规则。两层都准备好,才能避免每位参与者体验到完全不同的“产品”。
它也不同于直接让一位工作人员帮用户完成任务。研究重点通常是用户通过界面怎样表达和理解,而不是工作人员当面沟通的服务能力。不过,若目标本来就是比较人工协助与自动处理,也可以明确告知并分别设计条件;不要把不同服务方式混在一起后宣称某种AI体验更好。
先选一个值得模拟的问题
并非所有AI功能都需要绿野仙踪测试。若只想检查按钮能否找到,普通原型已经够用;若主要问题是识别模型到底能否正确提取金额,应直接评估模型与样本。绿野仙踪更适合回答“当结果需要核对时,用户希望怎样继续”这类交互问题。
以会议纪要助手为练习,假设产品帮助团队从一段会议文字中整理决定、行动项和待确认信息。本轮只研究三个问题:
- 缺少参会人信息时,用户能否理解追问,以及愿意补充什么?
- 原材料没有明确负责人的事项,被标成“待确认”后,用户能否找到并处理?
- 用户修改负责人后,能否看清改动只影响当前事项,没有改变其他决定?
不在这轮测试中承诺自动识别所有说话人、跨会议长期记忆或准确预测交付时间。若原始材料本身就有歧义,先保留歧义,观察产品怎样帮助人处理,而不是由操作员暗中补出一个完美答案。
准备前台页面与可用的切换方式
为同一份会议材料准备输入页、确认参会人页、纪要结果页、编辑行动项页和更新后的结果页。结果页至少区分已确认决定、行动项与待确认事项,并保留返回输入材料的办法。每个页面的测试内容应一致,例如同一条“接口文档待补充”在修改前后不能突然换成另一项任务。
最简单的运行方式是由主持人共享原型,参与者指明操作并输入或口述要提交的内容,操作员打开事先准备的响应页。也可以使用已有的研究工具、可控原型页面或开发一个最小响应面板。选择哪种方式,要看是否需要观察独立点击、自由输入或远程使用,不能把主持人代操作说成用户已经自助完成。
将墨刀原型用于前台页面与交互展示,操作员另用响应表和预备页面控制研究流程。若需要实时接收输入并向参与者页面推送响应,应另行准备并验证连接方式;普通原型分享链接不承担这项控制功能。用户可操作页面和研究员工作材料要分开放置。
对追问、回答依据和纠正后的页面组织,可衔接AI产品原型的完整状态设计。此处先把参与者会遇到的路径跑通,再安排正式研究。
给操作员一份响应表

操作员需要知道输入属于什么情况、应该展示什么、哪些内容不能自行发挥。下面是一份可用于练习的响应表,实际项目应依据产品规则与材料调整。
| 用户输入或当前情况 | 操作员提供的响应 | 保持不变的内容 |
|---|---|---|
| 输入里出现未明确身份的简称 | 展示参会人确认,询问对应姓名 | 不自行猜测部门或职位 |
| “接口文档待补充”没有负责人 | 将该事项列入待确认,允许选择负责人 | 不把发言者自动当负责人 |
| 用户将负责人改为陈晨 | 更新这一条行动项并显示修改结果 | 其他行动项与会议决定不变 |
| 原材料中交付日期不明确 | 标明日期待确认,保留补充入口 | 不编造下周一等日期 |
| 用户要求材料之外的内容 | 说明当前材料无法判断,并提供补充方式 | 不从研究员个人知识补出结论 |
可以先采用封闭响应集合:输入落在哪类情况,就选哪张响应页。允许自由组织文本时,则规定可引用的材料、允许改写的范围和未覆盖情况的处理方式。自由度越高,操作员之间的差异越大,越需要记录每次为什么选择该响应。
不要让操作员根据自己猜测的“用户期待”提供最讨喜的答案。若用户明确说“这条负责人不对”,就进入纠正路径;若只是停顿,应先观察,不能提前修改结果,让参与者失去表达疑惑的机会。
把一场测试真正跑起来
先排练材料和交接
主持人、操作员、记录员先用练习材料跑一次。检查参与者输入怎样到达操作员,响应页怎样展示,切换时是否暴露下一步答案,网络断开或未准备分支怎样处理。若两个人兼任多个角色,要提前约定谁记录关键行为,避免所有人都忙着换页。
参与者应知道这是产品研究、原型可能包含人工协助,并了解材料与记录的使用方式。若某项研究确实需要暂时不说明哪些响应由人工完成,应有适当的研究安排和事后解释;日常产品团队不必以让人误信真实AI服务为目标。用练习或脱敏会议材料,通常已能回答本轮交互问题。
给任务,别把修正路径提前教给用户
例如:“请把这段项目例会记录整理成可以发给团队的行动项,确认谁负责什么,以及哪些事情还不能确定。”观察用户是否主动检查负责人和日期,而不要一开始就说“请点击待确认区域,把第三项负责人改成陈晨”。
主持人可以在用户行动后追问:“你怎么判断这条已经确认?”“如果要交给同事,你还缺少什么?”问题应围绕当时的理解,不把不满意回答引导成满意。操作员仅按响应规则行动,不参与说服。
遇到未覆盖输入,保留记录并处理
用户可能要求按部门分组,而本轮没有准备这个响应。记录该需求出现的情境,可以先让用户说明预期,再告知这部分原型尚未准备。必要时结束当前任务或切换到另一个任务,不要临时编造后台能力继续演出。
测试后说明人工协助的具体范围,确认参与者是否因此重新理解某些结果。若他们原本的信任来自“以为是某个真实模型”,这会影响结论,应该在记录中保留。
记录哪些结果,哪些结果不能从这轮推出
可观察的内容包括:用户怎样描述需求、是否发现待确认项、是否理解追问、纠正入口是否好找,以及修正后能否判断结果。还可以记录哪些问题反复需要主持人解释,这些位置通常需要改交互或文案。
不能据此计算模型准确率,也不应把操作员反应时间当成上线后的响应性能。若人工总能补充背景、纠正事实并给出完整答案,用户满意可能来自研究人员的能力,而不是当前产品能达到的效果。
一条有用记录可以写成:“在行动项结果页,参与者把‘日期待确认’理解成已安排但尚未执行;需要比较‘尚未确定日期’的写法及补充入口。”这指向可修改的界面。仅写“用户喜欢这个AI功能”,既无法说明喜欢什么,也不能指导下一步。
什么时候继续做模型,什么时候先改交互
如果参与者愿意提供必要材料、能理解不确定状态、能够完成纠正,并认为整理结果有用,就可以把这些交互要求带入模型与工程验证。接下来评估真实模型能否识别信息缺口、按规则保留不确定性,以及在实际限制下生成可用结果。
如果主要障碍是用户不愿补材料,或不知道为什么要核对,先修改流程与信息表达;如果连由人提供的合理响应都不能解决实际任务,应回看需求方向。相关判断可继续参考AI产品方向验证的方法。
绿野仙踪原型的交付物应包含本轮页面、响应表、参与者行为记录和后续修改。把“界面可理解”“用户有需要”“模型能实现”分别记录,团队就能决定下一笔投入用于改原型、补研究,还是验证真实技术能力。