老师有没有告诉你，AI 说「这题我会」的时候，可能只是因为它见过一模一样的题

啪——老师把笔丢在桌上。

今天老师从一条科技新闻讲起：有人做了个很酷的东西——一辆据说能飞的汽车，网上吵成一团，一半人说这是未来，一半人说这是噱头。

老师对那个东西能不能飞，没有意见。老师在意的是：你怎么判断它是真的行，还是在演给你看。

这件事在 AI 行业里，有一个比飞行汽车重要一万倍的版本。

每次有新模型发布，都会贴出一张成绩单：某某考试考了多少分，超过人类平均水平，某某榜单排名第一。 这些数字铺天盖地。但你有没有想过一个问题：这张成绩单，究竟证明了它会做题，还是证明了它见过这些题？

今天这节课讲完，你会拿到一把特别朴素的尺子。以后看到任何「AI 通过了某某考试」，你都能自己判断一句：这是真本事，还是记住的答案。

一、先讲一个让人不太舒服的实验

这是心理学里最经典的一个实验。实验对象是一群猴子。研究者给它们看一组图片，让它们记住，再从中挑出认识的那张。几千道题练下来，正确率很高。

然后研究者换了一套全新的图片——同样是「记住并挑出来」这件事，只是图不一样了。

猴子的成绩立刻掉到了跟乱猜差不多的水平。

你听清楚这个结果。它们学会的不是「怎么记住东西」，它们学会的是「这几千张图长什么样」。

这个现象在研究 AI 的圈子里有个专门的名字：「背题」——在见过的题目上表现优异，稍微改动一下就断崖式下跌。

注意这个词：断崖式。

真正学会一件事，表现是会波动的；只是背下来的东西，表现是会碎的。 这两种曲线长得完全不一样：一条是慢慢上下起伏，像水面；一条是到某个点直接从高处掉下来，像块砖头。

二、那么问题来了，题目是怎么「见过」的

这一步是理解整件事的关键。

AI 的学习方式，是把海量的文字喂进去，让它反复猜「下一个词是什么」。喂的东西越多，它猜得越准。这里有一个隐藏的漏洞：如果那堆喂进去的文字里，恰好包含了考卷，那它当然会答。

这不是猜测，业界反复抓到过。有研究者做过一个很直接的检验：让模型做一套公开的数学竞赛题，成绩漂亮；然后只把题目里的人名和数字换掉，逻辑一个字不动——成绩明显下滑。同一道题，换了个壳，就不会了。

更隐蔽的是：互联网上的东西彼此抄来抄去——一道公开的考题会出现在论坛、博客、题库、解答帖里，这些页面被一起喂进去，考题就顺带进了库。

所以你今天看到的那张成绩单，它衡量的可能是三件事混在一起：真的会做、以前见过、以及记住了答案。而成绩单只给你一个总分，不告诉你是哪一部分。

🤔 那你说，一个只给你总分的成绩单，能信几分？

三、行业里其实早就知道，才发明了「留一手」

老师讲到这里，要给你一个反向的证据：如果没人担心这件事，那套评测的规矩就不会存在。

真正做研究的人做评测时会刻意留一手：手里有一批题先不公开，等模型做完了才放出来，确保它没机会提前见过。

还有一种更狠的做法：出题的时候就现场生成。 每次测试，题目临时造，造完立刻用，用完就扔，谁都拿不到。哪怕模型背后有整个互联网的记忆，也找不到这道题。

再往一层，还有一类测试专门不讲「答案对不对」：它看的是一个任务从头做完，中间有多少步是它自己搞定的。跑腿的、看网页的、改代码的——这些活儿没有标准答案可背，只有做成没做成。

这三种做法，其实是在说一句同一句话：不看你会不会答，看你在没准备好的时候行不行。

而这件事，恰恰是所有「背题」最容易露馅的地方。

四、这套逻辑，其实你每天都在用

把这个原理从 AI 里抽出来，你会发现它一点都不新鲜。

你招人，简历上写着「精通某某」，你怎么验证？你不会让他再背一遍简历，你会换一个没准备过的场景问：客户突然改需求，你怎么办？

你送孩子上补习班，回来考他。你不会问跟练习册上一模一样的题。你会把题里的苹果换成橘子，问他还剩几个。

为什么全人类都在不约而同地做这件事？因为「换一层壳再试」是人类几百万年摸索出来的、成本最低的辨伪方法。

一个东西是懂了还是记住了，看它怕不怕换壳。

怕换壳的，就是记住了。不怕换壳的，才叫懂了。

五、小测验

凭第一反应答，别翻回去看。

第一题：一道题 AI 做对了，最能说明它真掌握了的信号是？A. 换个说法、换个数、加个干扰条件，它还能做对；B. 它答得特别快；C. 它的解释特别长。

第二题：评测集被公开之后，最容易发生的是什么？A. 模型在训练时有意无意把它吃了进去，分数虚高；B. 题目会变得难；C. 评测就作废了。

第三题：一个孩子背下了所有习题答案，最缺的是什么？A. 遇到没见过的题怎么办的迁移能力；B. 计算速度；C. 记忆力。

（答案：A、A、A。三道都对的，你已经不需要相信任何一张成绩单了——你会自己设计题目。）

六、那么，你现在该做的

**第一，看到「AI 通过了某某考试」

第一，看到「AI 通过了某某考试」，先问一句：这套题公开吗？ 公开的题，等于一份提前发了的答案。这套题的含金量，要按「它在多大程度上可能被见过」来打折。

第二，要检验一个 AI 行不行，自己出题，别用现成的题库。 方法特别简单：拿它的答案，改一个条件，再问一遍。改动越小、它崩得越厉害，说明它越是在背。

第三，推而广之，你也该这样检验你自己。 你最近学会的那个东西，是换个场景还能用，还是只在原来那个场景里好用？这个问题问下去，能省掉人生里很多次尴尬。

七、回到那支笔

啪——老师又把笔丢在桌上。

老师捡起笔，在白纸上写下一道题，然后划掉一个数字，改成另一个。

真正的问题从来不是「你会不会答这道题」，而是「换一个数，你还答不答得出来」。

那辆能飞的汽车到底行不行，老师的答案不复杂：别看它在发布会上飞得有多稳，要看它在没有彩排的天气里、没有地面团队的荒地上，能不能落下来。

任何东西的真本事，都不在它准备好的那一刻显形，而在它没准备好的那一刻现原形。