老师有没有告诉你，AI考了满分，不代表它会做题——它是把答案背下来了

「啪——老师把笔丢在桌上。」

然后他没急着说话。

他从抽屉里拿出一叠卷子，抽出一张，摆在讲台上。上面印着一道数学题。

「这张卷子，」老师说，「已经被考过八百遍了。」

「今天我不考你们，我考两个「学生」。一个是我们班的小明，一个是AI。这张卷子的标准答案，AI在训练的时候就见过。小明没见过。」

「结果是什么？AI得了满分，小明错了一道。」

「那我问你们——今天这堂课，我该表扬谁？」

教室里没人说话。因为所有人都隐隐觉得，哪里不对劲。

考卷本身，泄露了答案

这就是今天要讲的那件事。

我们平时看新闻，总看到这种句子：某某AI在某项考试里超过人类平均水平、在某套题上得分九成、在某个排行榜上登顶。

这句话是真的，卷子确实做对了。但它藏了一个前提——那张卷子的答案，AI很可能早就见过了。

道理不难懂。一个AI是靠「读」海量文本训练出来的。网上有论文、有题库、有答案解析、有别人发在论坛上的解题过程。如果那张考卷本身就在网上流传过，那它的题目和答案，早就一起被AI读进去了。

这时候AI考满分，说明什么？

说明它记性好。

不说明它会做题。

换成更好懂的说法：你把一本习题册的答案撕下来，让一个孩子背三天。三天后你拿同一本习题册考他，他全对。你能说他掌握了这门课吗？你换一本同难度的新练习册，他就露馅了。

这件事有个名字，叫「过拟合」。 意思是：一个系统在特定的那批数据上表现得很漂亮，但它没有学到「规律」，它学到了「这批数据长什么样」。

它不是在解题。它是在对暗号。

一个真实的翻车：换一行字，全错

有一类研究专门干一件事：把考卷改得面目全非，但答案一点没变。

比如原题是「小明有五个苹果，吃了两个，还剩几个」。

研究者把它改成「小红的篮子里有五个橘子，她送掉了两个，还剩几个」。

数学上这是同一道题。答案都是三。

结果呢？一大批原本能考九十分以上的模型，分数直接掉下来。有的掉几十分。它们不是算错了，是认不出来了——因为它们记住的那道题，是「小明+苹果」这个组合。你换了名字和水果，暗号对不上了。

还有更狠的。研究者把题目里加一句完全无关的话，比如「这句话不影响解题」，加在开头。答案还是三。模型照样答错。

这就非常清楚了：它不是在算，它是在匹配它见过的那道题的形状。

所以你听到的那些「AI数学超过人类」「AI通过某某考试」的新闻，真正的含义是：AI在这套『它见过答案』的卷子上，做对了。

它跟「AI会做数学」是两个完全不同的命题。

那考试本身有没有意义？

有。但你要看它怎么考。

行内现在有个词，叫「留一手」——把卷子锁起来。出题的人写完题目，把标准答案和题目一起封存，从不公开发布。等到要评测的那一天，才第一次拿出来给AI做。这道题在网上从来没出现过，AI不可能背过。

这种考法叫「留出集」。

在这种考法下，AI的成绩，才有资格被叫做「它会做题」。

这几年大家慢慢都学精了。因为吃过亏——很多曾经被吹上天的成绩，后来被证明是「题目早就在网上」，分数直接注水。

还有一个更实用的版本：看它现场解题的过程。

背答案的AI，能给你结果，但过程常常是「凑出来的」——它会跳步，会在关键一步含糊过去，会用一个「显然可得」把不容易的部分盖掉。真会做题的AI，过程里能看出它一步步在推，中间有试错，甚至会自己回去检查。

结果可以背，过程背不出来。

这件事为什么跟你有关

你可能觉得，这是搞研究的人该操心的事，跟我没关系。

有关系。因为这个机制，在你每天用AI的时候，到处都在发生。

你问它一件网上一搜一大把的事——它答得又快又漂亮。你问它一件只有你自己知道的事——比如你们公司内部那套流程、你那个小圈子的黑话、你手边这份从来没发出去的文档——它立刻就懵了。

不是它变笨了。是这次没有暗号可以对。

所以有一个很实在的用法：越是你觉得「这问题网上一堆人问过」的场景，AI越可靠；越是你觉得「这事只有我们内部才知道」的场景，你越要自己复核。

它强的地方，恰好就是它见过的地方。

它不是变聪明了。它是被考的次数太多了。

一个更深的坑：AI在考自己出的题

最后说一层。

现在有个循环越来越普遍：AI生成的内容被发到网上，成了新AI的训练数据；新AI学会了这些内容，又生成新的发到网上……

到某一天，网上很大一部分文本是人类和AI混着写的，分不清哪句是人说的哪句是AI编的。这时候你再去训练一个新AI，它读到的东西里，已经混着上一代AI的错。

这不是科幻。这是已经发生的事情。有研究测过，如果用AI生成的数据反复训练，模型的输出会慢慢崩坏、退化、越来越单调——因为每一代都在「对着上一代的答案」学习，就像一群学生互相抄作业，最后没人知道正确答案。

它的成绩在涨，它的世界在变小。

老师的话

老师把卷子收回去，塞进抽屉。

「我一开始问，我该表扬谁。」他说，「现在你们该知道答案了——我谁都不表扬，我先换一张没考过的卷子。」

「考卷这东西，只能测它见过的东西。要测真本事，得给它没见过的东西。」

他拿起那支笔，在黑板上写下一行字：

「分数说明的是『被考过多少遍』，不是『有多聪明』。」

然后把笔丢在桌上，第二次。

「今天回去，你问AI一个问题——一个只有你自己知道答案的问题。」

「看看它答得怎么样。」