ChatGPT、Codex与Pro的可观测性工程：AI做了什么，为什么越来越难追踪？

传统软件出现问题时开发者通常会检查日志、调用链、数据库记录和监控指标。哪一个接口失败。哪一条请求超时。哪个服务返回异常。哪一步开始偏离预期。这些信息共同构成了软件系统的可观测性。但当ChatGPT开始分析需求Codex开始读取代码、修改文件、运行命令Pro开始支撑更长、更复杂的开发任务后新的问题出现了AI完成了很多操作开发者却不一定知道它为什么这样做。它读取过哪些文件根据什么结论修改代码调用过哪些工具哪一步出现错误为什么放弃原来的方案最终结果建立在哪些假设上AI能够执行任务不代表执行过程天然透明。这背后对应的是AI工程中的另一项核心能力可观测性工程。一、最终结果无法代表完整过程开发者让Codex修复一个接口问题最后可能只看到已完成修改测试通过。这句话看起来很完整却缺少大量关键信息实际修改了哪些文件是否读取了无关模块测试覆盖了哪些场景是否跳过了失败命令是否改变了原有接口行为是否新增了依赖哪些风险仍然没有解决。结果正确不代表过程可靠。尤其在复杂项目中AI可能通过一个不合理的方法暂时让测试通过。例如放宽断言删除异常检查修改测试数据绕过权限判断用默认值掩盖真实错误。如果只看最终状态开发者很难发现这些变化。因此AI任务不能只有“完成”或“失败”。还必须能够解释任务是怎样完成的。二、传统日志为什么不够普通日志记录的是系统事件接口被调用数据写入成功测试执行失败命令返回错误。但AI Agent还存在一层更复杂的决策过程。它不仅执行动作还会理解任务选择文件判断优先级调整计划放弃某个方案根据反馈继续修改。所以AI可观测性不能只记录命令结果。还需要记录三类信息。决策信息AI为什么选择这个方案依据的是用户要求、项目代码还是自己形成的推断执行信息它读取了什么、修改了什么、调用了什么工具状态信息当前任务处于分析、修改、测试、修复还是等待人工确认只有这三类信息能够被追踪开发者才可能真正理解AI任务。三、什么是AI可观测性工程AI可观测性工程是对任务理解、工具调用、状态变化和验证结果进行持续记录。完整链路可以表示为用户目标↓ChatGPT分析与规划↓Codex读取文件↓工具调用与代码修改↓测试结果↓状态更新↓人工审查每一个阶段都应该留下可以检查的证据。它至少需要回答六个问题当前目标是什么AI使用了哪些上下文AI为什么采取当前动作实际执行了哪些操作执行结果是否符合预期下一步为什么继续或停止。可观测性不是让AI输出更多文字。而是让关键决策和工程动作能够被准确追踪。四、第一层文件与工具调用记录Codex进入项目后首先需要记录它接触了哪些资源。例如读取了哪些目录打开了哪些文件修改了哪些代码执行了哪些命令调用了哪些测试是否访问了外部服务。如果一个任务只要求修改登录接口Codex却读取并修改了支付模块这就是值得审查的异常信号。工具调用范围越透明开发者越容易发现任务是否越界。五、第二层任务状态变化一个复杂任务通常会经历待分析方案设计代码修改测试执行错误修复人工审查等待合并每次状态变化都应该有明确原因。例如从代码修改进入测试执行因为目标文件已经完成修改。或者从测试执行返回错误修复因为权限测试仍然失败。如果状态变化无法解释任务就容易出现跳步。测试还没有完成AI却宣布任务结束。风险还没有确认代码却进入合并阶段。可观测性让开发者看到任务现在在哪里也能发现它是否跳过了关键步骤。六、第三层决策依据AI最难观察的部分不是它执行了什么而是它为什么这样执行。例如Codex决定重构一个函数可能基于用户明确要求项目现有规范测试失败信息自己推断的最佳实践。这四种依据的可信度并不相同。可靠的AI任务应该区分已确认事实。项目内证据。用户约束。AI推断。尚未验证的假设。如果AI把推断当成事实后续任务就可能建立在错误基础上。所以可观测性不仅要记录动作还要暴露关键假设。七、第四层验证结果必须可追溯“测试通过”不是完整结果。开发者还需要知道运行了哪些测试哪些测试没有运行使用了什么环境测试覆盖了哪些修改是否存在跳过项是否发生过失败后重试。例如Codex运行了5个单元测试并全部通过并不能证明整个系统没有回归问题。如果修改涉及公共接口还可能需要集成测试回归测试权限测试并发测试兼容性检查。验证信息越完整合并判断越可靠。八、ChatGPT、Codex与Pro如何进入可观测链路ChatGPT解释与总结层ChatGPT可以帮助开发者总结当前任务目标整理关键决策区分事实和推断解释任务为什么发生变化输出阶段性状态报告。它让复杂过程变得更容易理解。Codex执行与记录层Codex需要记录文件读取代码变更命令调用测试结果错误信息下一步建议。它不只负责执行还要为执行过程留下证据。Pro长任务持续层Pro可以支撑更长、更复杂的任务链。但任务越长越容易出现决策依据丢失中间状态混乱工具调用数量增加多次修改难以追踪。因此Pro扩大任务能力的同时也提高了可观测性要求。任务越复杂过程越需要透明。九、为什么可观测性会成为AI开发基础设施未来AI可能同时承担需求分析代码修改测试生成故障修复文档更新PR审查。当执行范围越来越大开发者不可能只检查最终输出。还需要一条完整的工程轨迹AI理解了什么。AI决定了什么。AI执行了什么。AI验证了什么。AI遗漏了什么。人类确认了什么。没有这条轨迹AI越自动化系统越难审查。可观测性不是额外负担。它是AI能够进入真实工程环境的基础条件。结语ChatGPT帮助理解和解释任务。Codex负责进入项目执行操作。Pro支撑更复杂、更持续的协作流程。但当AI开始真正参与软件开发开发者需要看到的不只是最终答案。还包括任务的目标、决策、工具调用、状态变化和验证证据。传统软件通过日志理解系统行为。AI开发也需要通过可观测性理解Agent行为。AI能够完成任务只代表它具备执行能力。开发者能够看清它如何完成任务才代表这套系统真正具备工程可信度。