网页或桌面视觉理解测试要准备正常页面、弹窗遮挡、缩放变化和加载状态样例。每张图标注任务目标,避免只测是否能认出界面元素。
界面任务容易出错的地方往往在动作之后。保存按钮点下去,页面可能先校验,再出现提示或跳转;如果只等一个固定时长,就可能漏掉失败消息。

操作型智能体面对的是可变化的界面。读取当前页面、识别目标、执行动作和确认结果必须连起来。截图里出现一个按钮,并不代表点击后任务成功;页面可能遮挡、跳转、超时或仍在加载。

还要定义误点后的恢复办法。输入字段内容、目标记录和确认提示可形成交叉核对;付款、发送等动作应设明确边界,视觉识别置信不足时停止。

确认方法应与任务有关:新增记录要回读记录,填写草稿要看字段,下载要核对目标文件。遇到当前页面无法提供充分证据时,先补读信息,不继续按旧截图操作。恢复路径也要检查是否已产生副作用。