想象一个场景：你让 AI 调查一家公司的真实营收。它搜索了几篇新闻报道，找到 CEO 在采访中说「我们年收入 1000 万美元」，然后自信满满地告诉你：没错，就是 1000 万。

你信了。

但真相是，那家公司只有一个 20 万美元的种子轮融资记录，LinkedIn 上的员工不到 15 人，第三方平台的付费用户评论寥寥无几。AI 没有主动去验证这些矛盾信号，因为它根本不知道自己「不知道」什么。

这，就是大多数 AI 研究助手真正的问题。

问题不在答案，在「自信的幻觉」#

最近在 GitHub 上看到一个项目叫 Aletheia，名字来自希腊语，意思是「揭示的真理」。它的作者 Sankar 提出了一个直击要害的观点：现有 AI 助手最危险的地方，不是它们会犯错，而是它们在犯错的时候最自信。

为什么会这样？因为传统 AI Agent 的循环是「思考 → 行动 → 重复」。它搜索，它总结，它把搜索结果里最响亮的声音当成答案。结果就是：得到的证据越多（或者只是重复性的噪音越多），信心越足，哪怕这些「证据」指向了错误的方向。

这让我想起一个认知心理学概念：「确认偏误」（confirmation bias）。人类倾向于寻找支持自己已有观点的信息，忽略矛盾的证据。而传统的 AI Agent 继承了同样的毛病，只不过跑得更快。

Aletheia 的答案：把「不知道」当作一等公民#

Aletheia 的设计哲学完全不同。它把每个问题都看作一个「隐藏真相」：真实答案就在那里，但你能看到的只是带有噪声的线索。然后它运行一个特殊的循环：

信念 → 行动 → 观察 → 更新

这个循环的本质是什么？是一个 POMDP（部分可观察马尔可夫决策过程）。简单来说，它承认自己永远看不到「完整真相」，只能通过每一次搜索逐步逼近。而每次获得新信息后，它必须「更新信念」，如果新证据和之前的猜想矛盾，信心应该下降，而不是上升。

这听起来很合理，但很少有 AI 系统真的这么做。原因很简单：做加法容易，做减法难。往上堆证据谁都会，但承认「我之前的判断可能错了」需要一种结构性的谦逊。

三个工程决策，让不确定性被认真对待#

光有理念不够。Aletheia 有三个具体的工程选择让它不仅仅是一个漂亮的概念图：

第一，按「信息价值」搜索，而不是广度搜索。 传统 Agent 的做法是搜尽可能多的来源，然后汇总。Aletheia 的做法是：每次搜索前都问自己：「哪一次查找，最有可能改变我的判断？」然后只做那一次。这有点像贝叶斯实验设计，用最少的查询获取最大的信息增益。结果不是更多搜索，而是更精准的搜索。

第二，用「两个条件」来终止，而不是一个。 大多数 Agent 只有一个停止条件：信心够了。但 Aletheia 有两个：信心够高 且 不确定性已经收敛。这意味着，即使某个搜索结果让信心飙到 95%，如果还有未解决的矛盾信号，循环会继续。曾有实验显示，这个双条件机制同时「挽救」了一个被错误否定的结论，又「确认」了一个被正确质疑的结论，用的是同一套逻辑。

第三，每个子问题独立跟踪，互不污染。 比如调查一家公司，你可能有三个问题：「财务状况是否健康？」「客户增长是否真实？」「管理团队是否靠谱？」Aletheia 对每个问题持有独立的信念分布。这意味着它可以得出一个微妙但真实的结论：「这家公司资金确实充裕，但同时在夸大用户增长数据。」 如果混在一起，这种精确的判断就会被「稀释」掉。

最被低估的特性：诚实的「不知道」#

在 Aletheia 的输出中，INCONCLUSIVE（无法得出结论）是一个一等公民的结果，而不是一个错误。这是现在几乎所有 AI 产品都缺失的东西。

想想看，当你问 ChatGPT 一个问题，它几乎总是会给你一个答案，哪怕这个答案是基于非常薄弱的证据。这是产品设计选择，不是技术限制。聊天产品要的是「用户满意度」，而用户满意度通常和「给你一个确定的答案」挂钩。

但 Aletheia 面向的场景不同：它被设计用于做尽职调查、事实核查、竞争分析。在这些场景里，一个错误但自信的答案比一个诚实的「我无法确定」危险得多。Aletheia 的作者明确说：「INCONCLUSIVE 是真正的答案，不是错误，正是这一点让我们在给出确定答案时值得信任。」

支持 Claude Code 和 OpenAI Codex#

Aletheia 的设计是工具无关的。它目前同时支持 Claude Code 和 OpenAI Codex 两种代理平台。对于 Claude Code，它是一个本地 Skill，你可以直接复制到 ~/.claude/skills/ 目录下。对于 Codex，它通过一个自包含的 AGENTS.md 文件来驱动。

安装非常轻量：克隆仓库，复制文件，然后直接用自然语言提问。不需要调用特定的命令，代理会根据问题意图自动触发调查流程。你只需要问：「这家公司真的有 10000 个付费用户吗？」或者「我们的竞争对手是在增长，还是只是在营销上很响？」

自调优能力：从历史中学习#

Aletheia 还有一个有趣的特性：它会从自己的调查历史中学习。每次调查结束后，它会记录不同类型的证据（法院记录、用户评价、融资公告、招聘数据等）的信息价值，然后离线分析哪些证据类型更值得信赖。

关键是它的调优有严格的约束：

  • 每次调整必须回放历史案例，确保不会让之前的结论变差
  • 有一个「硬不变量」：调优可以让 Aletheia 更快或更一致，但绝对不能让它更自信（除非有更好的证据支撑）
  • 所有调整记录在一个可读的日志中

这种设计反映了对 AI 系统一个深刻理解：校准（calibration）比准确性更重要。一个知道自己 70% 确定的系统，比一个总是说 99% 但实际只有 60% 准确的系统更有用。

从公司调查到科学新闻核查#

虽然 Aletheia 的示例场景是公司尽职调查，但它的核心机制是「领域无关」的。你可以通过改变它的「身份」和「证据地图」来适配不同的场景：

  • 装修承包商审查：验证执照、保险、过往项目评价，法庭记录比精美的作品集更可信
  • 科学新闻核查：一篇 Nature 论文比一篇媒体公关稿更有分量
  • 市场竞争分析：招聘数据、APP 下载量、第三方评论的权重各不相同

本质上，任何你需要「从嘈杂的公开线索中推断隐藏真相」的场景，都可以用这套不确定性推理框架。

总结：AI 需要的不只是更聪明，而是更诚实#

Aletheia 不是一个产品，它是一个概念验证，一个开源实验。但它揭示了一个 AI 行业长期忽视的问题：我们对 AI 的期待几乎完全集中在「给出正确答案」上，很少考虑「知道自己不知道」的能力。

在一个 AI 生成内容越来越泛滥的世界里，「诚实的不确定」可能比「虚假的确定」更有价值。

你可以在这里找到 Aletheia 项目：github.com/nsankar/Aletheia

参考来源：Aletheia GitHub README（github.com/nsankar/Aletheia），作者 Sankar。本文对原文进行了理解、提炼和本土化重写，补充了认知心理学和贝叶斯推理的视角。