老师有没有告诉你，AI 最危险的地方不是它太聪明——是它对自己不知道的事，一点感觉都没有

啪——老师把笔丢在桌上。

今天有个学生问：老师，最近老有人提「超级智能」，说 AI 马上就要比全人类加起来还聪明。真到那一天，我们是不是就完了？

老师说：你先别急着担心它有多聪明。我想先问你一个更小的问题——

你有没有见过一个 AI，极其自信地告诉你一件事，然后那件事完全是错的？

全班都笑了。因为几乎每个人都遇到过。

一个把答案背下来的学生

老师先讲了个例子。

有研究团队拿小学难度的数学题去考当时最强的几个 AI。题目里有一类很典型：比较两个小数的大小，比如 9.11 和 9.9，哪个大。

结果好几个模型，斩钉截铁地回答：9.11 大。

为什么？因为在模型的「经验」里，「11」比「9」大。这个规律在整数世界成立了几十年，在它的训练数据里出现了无数次。于是它把这个规律搬过来用了，一点没觉得有问题。

但这不是最要命的。最要命的是——它答错的时候，语气和答对的时候完全一样。

没有犹豫，没有「我不太确定」，没有一个问号。

老师敲了敲黑板：这就是今天这堂课的核心。一个不知道自己不懂的系统，比一个承认自己不懂的系统，危险一百倍。

为什么「不会」这件事，AI 感觉不到

先解释一下 AI 是怎么干活的。

它本质上是台「下一个词预测机」。你给它一段话，它一个词一个词地往下猜——猜哪个词最可能接在这里。它不像你用计算器按 9.11 减 9.9 那样真的在算，它是在回忆「人类写的句子里，这种题目后面通常跟着什么」。

这个机制非常强，强到它能写出流畅的文章、能通过很多考试、能跟你聊一整天不露馅。

但它有个天生的盲区：它从来没有「我知道」和「我不知道」这两种不同的状态。

对你来说，这两件事感觉完全不同。你被问到「北京在哪」，脑子里立刻浮现答案，你知道自己知道；被问到「某位十七世纪小国国王的第三个女儿叫什么」，你会立刻感到一片空白，你知道自己不知道。

AI 没有这个空白感。它做的是同一个动作——猜下一个词。猜得准的时候和猜不准的时候，它内部都是「一串概率数字」，而它自己不会去看那串数字准不准。

所以在它那里，「我不会」这件事，根本不是一个可感知的状态。

把它当人，是这个时代最大的误会

老师停顿了一下，说：你们想想，我们人类是怎么判断能不能信一个人的？

不是看他说得对不对——你根本不知道对不对。你看的是他的态度。

他说的时候有没有犹豫，有没有说「这个我真不确定」，有没有在你不追问的时候主动补充「我可能记错了」。

我们用「他的自信程度」来推测「他的可靠程度」。这套方法在人身上大致管用，因为人撒谎和不自信的时候，多少会露出痕迹。

但 AI 把这条线索彻底废掉了。

它的自信程度和它的准确率之间，没有关系。它可以对一个它完全在编的事实，给出教科书级别的笃定语气。

老师说：所以现在最危险的使用场景，不是让 AI 去做那些明显很难的事——难的事你会警惕，你会复核。

真正危险的是那些你觉得简单、于是压根没想过去查的事。查一个日期，换算一个单位，复述一条规定，报一个数字。你心里想「这有什么难的」，于是你直接用了。

一个正在被解决的难题

那有没有办法？有的，而且方向挺有意思。

第一个方向，是让模型在给出答案的同时，也给出一个「我有多确定」的分数。就像天气预报说降水概率百分之七十，而不是简单说「会下雨」。

做法大致是：训练的时候，不光要它对答案负责，还要它对自己「答对的把握」负责。答对了却没把握，和答错了却很有把握，都要被惩罚。久而久之，它就能学会一个本事——在它真的不清楚的时候，输出一个低的把握度。

第二个方向更直接：让它「先想再答」。之前那些把它逼疯的题，很多都是被逼着「不假思索立刻回答」。如果让它先把中间步骤写出来，它答错的概率会明显下降。这就像你问一个人「快说，17 乘 24 等于几」，他脱口而出很容易错；你说「你慢慢算」，他就算得对。

第三个方向，是最反直觉的：允许它说「我不知道」。

现在很多系统被训练成「必须给出一个答案」，因为用户不喜欢被拒绝。但这等于把一个不知道路的人逼着指路——他只能瞎指。

老师说：能做到「不知道就说不知道」的系统，表面上看起来更没用，实际上可靠得多。

那我们该怎么做

老师转过身，给了三条建议。

第一条：别用「语气」当可信度。 从今天起，只要一个事实是你打算拿去用、拿去转述、拿去做决定的，不管你多相信 AI，都要有一个第二来源。尤其是数字、日期、人名、条款。

第二条：让 AI 自己查一遍自己。 你可以直接问它：「你刚才说的这些，哪一部分是你的推测？哪一部分你有实际依据？」这个问题往往能把它藏起来的空白逼出来。

第三条：把「AI 答不上来」当成一个好信号。 一个会说「我不确定」的系统，比一个永远有答案的系统更值得留在你的工作流里。

老师捡起笔，在桌上转了一圈。

他说：回到最开始那个问题——AI 是不是要变得比全人类加起来还聪明。

其实你真正该看的不是它的分数，是它知不知道自己不会什么。

一个不知道自己不懂的人，你会怕他。一个不知道自己不懂的机器，你也该一样怕。

但反过来——一个清楚自己边界的系统，哪怕它只懂一点点，你反而可以放心地用它。

边界感，比聪明重要。这话对人成立，对机器也成立。

今天的测验，回去做一下。