这个幻觉案例有点经典,我也遇到过不少次,但在生产环境没这样去依赖 AI…😂
这个 Vercel 用户用 🦞OpenClaw 来完成研发流程,模型用的是 Opus 4.6。该用户突然发现一个未知的 GitHub 开源代码库,被部署到了他们的工程里。排查发现,Opus 4.6 幻觉出了一个公开仓库 ID,然后调用 Vercel 相关 API 去部署了它…好在,没造成什么不好的后果。
这个案例很经典,我准备之后给 OpenClaw 极简安全实践指南增加类似下面这条红线:
任何涉及外部资源 ID 的 API 调用,必须先通过对应平台的查询 API 验证该 ID 的存在性和归属…