第二十八章 成熟度模型与 Build-vs-Buy
证据地位:本章为作者参考设计与工程推导,案例和阈值用于说明实现逻辑,不代表跨组织验证的通用标准。
成熟度模型用来发现某类任务尚缺哪些控制,不是供应商排名或组织认证。只读助手、受限批量操作和生产部署承担的风险不同,不能按接了多少工具、支持多少运行时或是否会自我进化排成一条高低链。生产动作缺少有效验收需要补上,但低风险系统采用轻量人工核验,也可能已经满足其责任。
1. 五类能力阶段
| 阶段 | 需要拿出证据的能力 | 适用条件与主要风险 |
|---|---|---|
| M0 对话增强 | 回答用途、来源与人工使用边界清楚 | 适用于无自动提交权的辅助工作,须防止把回答当作已执行结果 |
| M1 受控执行 | 工作区、身份、权限、日志、取消和提交授权可核验 | 工具开始改变状态后,重点是约束影响范围 |
| M2 可验证任务 | 合同、封存产物、独立验收与副作用对账连通 | 验收应与风险匹配,注意误判和未覆盖切片 |
| M3 平台化运营 | 持久执行、策略、证据、变更与退出可运营 | 按任务需要支持恢复与隔离;多运行时只是检验替换能力的一种方法 |
| M4 受控进化 | 候选生成、隔离评价、批准、灰度与回退可验证 | 可选扩展,须控制选择偏差、裁判污染和权限扩大 |
本章用M0—M4标记成熟度能力,避免与第十九章的L1—L4进化对象混淆。这些阶段有控制依赖,但不要求每个系统走到M4。只有一个运行时、没有自动进化的系统,也可以在自己的任务范围内拥有成熟的安全、可靠性和完成验证。
2. 按风险与证据自评
逐项回答“有可复查证据”“缺失”或“不适用”。不适用须记录任务范围、理由和所采用的等效控制,并由风险负责人确认;不能把难实现的保护改成不适用。按安全、可靠性、完成验证、评测与替换能力分别呈现结果,不把功能数求和成一个高分。发现关键缺口时,先缩小受影响任务的自治范围。
M1核对执行权:任务身份可追踪,写入与网络有边界,日志关联任务,取消能阻止后续动作。授权可以是逐次人工批准,也可以是预先批准的受限策略;批量动作是否每次需要人工确认,由风险和授权范围决定,不能把用户曾同意一次理解成无限许可。
M2核对完成证据:合同有版本,候选可封存,验收不由执行者自报,产物有摘要与来源,外部变更可对账,失败有升级点。另一位有权限的核验者应能取回同一产物并复查确定性证据;这不等于能够重放出相同模型文本。
M3核对运营能力:事件与原始载荷可追溯,能力协商报告缺项,恢复与取消经过演练,租户和凭证按实际风险隔离,SLO有窗口与分母。可固定的组件记录版本;托管服务若不允许固定版本,就需要变更检测、兼容性门和必要时停用的降级路径,不能宣称已经固定。只读短任务可以不设持久检查点,但须说明中断后重跑的成本与边界。
M4核对改进权:可变对象明确,候选不能修改裁判、封存测试和策略根;实验登记全部分配试验、缺失规则、成本与停止条件;影子、灰度和回退可以演练。只有需要归因模型与Harness变化时才运行相应对照,不能用脚本化gate检查替代真实效果实验。没有自动改进需求时,不建立这套能力并不是缺陷。
证据可以是测试报告、事件样例、故障演练、配置或审计记录,但必须注明版本、环境、观察窗口和未覆盖范围。产品文档说明一项能力可用,组织仍需证明自己的接入路径和配置确实使用了它。
3. 买什么,控制什么
当现成产品覆盖关键约束,接入与退出成本也可控时,可以优先采购模型、编码运行时、沙箱或连接器。采购对象应分开核算:谁运行模型循环,谁保存会话,谁执行工具,谁保管凭证,谁作业务验收。自管工具机器只是其中一个选择,不自动意味着全部数据留在企业内部;责任表见第二十六章。
企业应掌握任务合同、身份映射、业务策略、领域验证、证据、评测数据和发布权。这些能力可以采购实现,但配置、数据、访问权限和替换条件必须可控。是否自写运行时适配层,也取决于真实兼容需求;采用单一托管方案并保留可靠导出与人工接管路径,同样是可评估的替代方案。
4. 何时自研 Runtime
自研应有可验证的理由,例如现成产品不能满足离线执行、延迟、特殊工具环境或恢复语义。任务规模影响固定成本摊销,但不是必要条件:小规模且约束特殊时,受限的轻量实现也可能合理。团队仍要比较确定性工作流与人工方案,并承担安全、兼容、值班和长期维护。
只比较token单价会漏掉恢复、评测、插件更新和事故处置;只比较订阅费又会漏掉集成与退出费用。下一章给出12个月虚构工作表,分开固定投入、全量任务费用、复核、维护、风险准备和迁移成本。真实决策应替换这些假设,并用可信完成数检查单位成本。
5. 决策矩阵与 POC
先列必须满足的约束,再比较质量、成本和替换能力;不能让便宜的高分抵消权限硬约束。问题应具体到“回执丢失后怎样确认是否已发送”“凭证撤销后下一个动作是否被拒绝”“导出的产物能否在另一套工具中核验”。每项绑定试验输入、预期和证据位置。
POC按预先分配的代表性任务保留全部试验和成本,覆盖正常完成、歧义升级、超时、拒绝、取消、恢复与验证失败。结论可以是采购、自建一个受限组件、采用确定性流程,或维持人工处理。迁移只有在关键约束满足、收益覆盖完整成本且退出演练可行时才值得推进。