换了大模型，原来能用的AI功能为什么出错了？

一、先记录变化，不要在生产中反复试提示词

从一个失败任务开始保存输入、预期结果、实际输出、时间和任务编号。记录模型供应商、实际使用版本、生成配置、提示模板、知识索引、工具定义与应用提交。若使用别名或自动更新服务，向供应商核实是否变化，不假定同一名称始终代表同一能力。日志先脱敏，生产凭据不能出现在公开讨论或咨询截图中。保留旧配置，才能让后续排查有对照。

把同期变更列成时间线：模型更新、文档导入、切分规则调整、提示发布、接口字段变化和权限调整。若多个变量一起变了，先在测试环境恢复可比较组合，再逐项排查。生产数据不能拿来盲目重复写入。业务已经受影响时，先暂停高风险自动动作，保留查询或人工草稿入口，说明临时处理方式与恢复负责人，而不是边试边让所有用户继续使用。

二、用固定任务比较，不用几次聊天代替验收

样本应来自经过授权和脱敏的真实任务，覆盖常见工作与低频高损失例外。每条样本写明正确字段、允许引用的资料、可以执行的动作和必须交人工的条件。业务负责人确认预期答案，研发人员负责可重复执行。模型自己给自己评分只能作辅助，不能代替金额、日期、归属和权限的明确检查；含糊争议样本先人工澄清，再进入固定任务集。

相同输入也可能出现不同结果。对容易波动的关键任务按事先约定重复执行，记录每次结果，而不是挑出最好的一次截图。比较质量之外，还要检查拒答、权限、工具调用、延迟、人工修改与成本。不同环境或数据版本的结果不能直接相减当成升级收益。测试通过只证明约定样本与条件下的表现，不等于承诺所有未来任务都正确。

三、合同信息提取的回归设计示例

以下是流程设计示例，不是知华客户实测案例。某合同工作台提取签约主体、金额、到期日和续约条件，并生成待审提醒。准备常规合同、扫描不清、补充协议修改日期、无到期日和无权访问五类样本。新模型能读出更多文本，却把补充协议日期当成原始到期日，这类错误不能被“整体准确率提高”抵消。系统应展示字段来源，由业务人员确认后才建立正式提醒。

示例测试集若有20条，其中18条正确、2条错误，只能说明本次这20条的结果；若错误涉及其他公司资料泄露，就应停止发布，而不是用90%的平均值作通过理由。重复试验次数、样本组成和模型配置都应在记录中可查。这些数字是验收口径算例，不是项目成果或承诺。实际项目由双方根据业务损失定义严重错误与通过条件，不能套用统一比例。

窄屏可左右滑动表格查看全部列。

四、灰度发布要能停，也要知道怎样恢复

先在不写生产数据的测试或旁路环境比较，再选择已授权的小范围用户试用。旁路运行仍会产生调用费用和日志，也不能绕过资料授权。设置观察范围、审核负责人、停止条件和回访时间，不能无限期让试点处于无人负责状态。员工应能看到当前结果是否为草稿、是否需要确认，以及旧流程在哪里，避免界面先换了但操作责任没有说明。

恢复计划区分应用版本、模型配置、知识索引和业务数据。旧模型若已停止服务，不能承诺一键回退；已发送提醒或写入记录也不能靠换回模型撤销。停止接收新任务后，记录正在处理、已完成和状态不明的任务，分别完成、暂停或人工核对。再次开放前复测受影响样本，向相关用户说明哪些结果需要重新检查，保存事件经过与后续预防措施。

五、员工报错后，负责人具体看哪些记录

员工报“这次答案不对”，处理入口应允许标记对应任务与错误类型，而不是要求复制所有聊天。负责人先核对输入是否改变、是否使用有效知识、是否检索到必要条款，再看模型输出与工具结果。合同提醒日期错了，可能是资料识别问题，也可能是日期解释或时区转换错误；按阶段查看证据，才能确定修哪个模块。结果记录要显示原始依据、处理版本和人工修改，员工不应承担技术定位责任，只需说明哪里与业务预期不同。

复盘不要只留下“模型不稳定”四个字。为失败记录归因状态、影响用户、临时措施、下一位负责人和复查条件；确认缺少资料时补资料，确认规则不清时由业务人员澄清，确认接口错误时修改接口。暂时无法解释的故障应标为待验证，不编一个原因关闭。修复之后把对应失败转成回归样本，并检查同类场景，但不要把未经授权的客户原文直接复制到团队公共样本库。保留数据范围与有效期，避免测试本身成为泄露入口。

六、费用比较要按完成的业务任务计算

便宜的单次调用并不一定使系统整体便宜。一个任务若先失败、重复调用，再需要人工重新核对，最终成本包括模型、检索、工具与员工工时。对比时固定任务范围、测试环境和样本，分别列首次完成、重试后完成、人工接管和最终未完成的数量，不把失败任务从统计中删掉。人工处理时间用约定方式记录，没有测量就注明未统计；不能把AI每次生成的字数直接折算成节省了多少人力。

模型价格下降但输出变长，或者工具规划增加多轮调用，都可能改变费用。预算应包含试验调用与正式运行，并约定限额、告警和超过限额后的行为。没有足够业务样本时，先报告试验成本，不把试验平均数直接承诺为未来所有月份的账单。客户关心的是在可接受错误与处理时长下完成了什么，而不是只听到某款模型更便宜。方案可以先锁定一个高价值任务，确认整体成本，再决定是否扩大使用部门。

七、报价、维护责任与接管资料怎么约定

把变更诊断、固定任务集、适配整改、灰度和后续维护分开报价。已经有版本与日志的项目，定位范围通常更明确；没有测试基线、知识来源和接口说明时，需要先补资料。模型调用、测试环境及第三方订阅由谁承担，应与研发费用分开列。先限定受影响模块和可检查成果，不在尚未看到系统时承诺全部问题都能一次解决。

交付资料包含版本差异、固定任务集、逐项结果、严重失败、修复记录、发布与恢复步骤和已知限制。把模型变更、客户资料更新、新需求和原有缺陷分别记录，按协议确认责任，不把所有变动都叫质保。维护人员应能重复运行评测并找到正在使用的配置。咨询时先提供故障现象、开始时间与脱敏样本，我们协助判断需要排查哪一层，首次沟通不必提供生产账号。

官方资料与核对范围

参考资料核对日期：2026-10-06。平台能力会随版本、套餐、地区和权限变化；资料用于说明技术能力，不代表搜索量、知华客户成果或原厂合作资质。

• Anthropic：成功标准与评测设计（外部参考）