← 返回AI 前沿
AI 前沿

老师有没有告诉你,AI 不是自己学会的——它是被另一个更聪明的 AI 手把手教出来的

2026-09-29 · 🕐 约 7 分钟

由 丢笔哥 发布

🖊️ 老师有没有告诉你…

老师有没有告诉你,AI 不是自己学会的——它是被另一个更聪明的 AI 手把手教出来的

啪——老师把笔丢在桌上。

今天讲一个你肯定遇到过、但从来没想明白的事:为什么手机里那个免费的小助手,一年比一年好用?

老师说:都不是。它是被另一个更聪明的 AI,手把手教出来的。

这个方法有个很朴素的名字,叫蒸馏。

一个好学生,和一个矮个子的学生

老师先在黑板上画了一张表,列了十个数字,让自己两个学生填。

第二天,老师换了个方法。

他说:我不直接考你了,你先抄一遍他的。

矮个子学生不服气,但还是照做了。他盯着第一个学生填完的整张表——不只是答案,还有那个人落笔前的犹豫、顺序、在几个数字之间来回挪过的痕迹。

三个月以后。矮个子学生一分钟交卷,十个全对。

老师问:这个人现在比第一个学生聪明吗?

不是。他从来没比第一个人聪明过。

但他现在跟第一个人一样准,而且快了六十倍。

这就是蒸馏在做的事。

关键在一个很多人忽略的地方

好,现在讲最关键的一层。这也是蒸馏真正的工作原理。

大多数人以为,学老师就是抄答案。你给出题目,老师给出答案,学生把「题目—答案」这一对记下来。

如果是这样,学生最多只能学到老师答对的那部分。

但真实过程比这个精细得多。老师给出的不只是一个答案——是它对每一个可能答案,分别有多大的信心。

问「一加一等于几」,一个普通的人和一位数学家,都可能答「二」。看起来一样。

但如果让他们不只写答案,还写「我有多确定」:普通人心里其实是「二,一加一肯定二,别的我不知道」;数学家心里是「二,99.99%,除非你不在十进制里算」。

蒸馏要搬走的,正是后面这一层。学生学的不是答案,是老师那种「怎么想」的分布。

这个方法第一次被大规模验证,是在 2015 年前后。研究者做了一件很简单的事:让一个庞大的、训练成本极高的网络,专门为成千上万道题生成「带全部信心分布的答案」,然后用这套数据去训练一个小得多的网络。结果是:在很多任务上,小网络的准确率追平了原来的大网络,而推理成本降低了几个数量级。后来 2024 到 2025 年,一批中国团队能在算力受限的条件下做出接近顶尖水平的大模型,公开的论文里几乎都绕不开这一条路径——先有一个足够强的「老师」,再把它的判断方式搬给学生。**堆参数是力气活,蒸馏是技巧活,而技巧活不需要最多的电。**

陷阱:学生不是总能青出于蓝

老师在这里停了一下,讲了个反面。

蒸馏有个天花板:学生很难超过老师。

道理很简单,学生学的是「老师怎么想」。如果老师在某些地方本来就错了、本来就糊、本来就在瞎蒙——学生会把这种「糊」原原本本学走。

它不是学坏了,它是把老师的一种毛病,学得太像了。

所以蒸馏真正难的不是「怎么搬」,是「搬什么、不搬什么」。老师身上那股说错话时的自信,是学生最该被拦住、也最容易被漏掉的东西。

那为什么大家都觉得小模型正在追上

现在说回开头那个问题:为什么便宜的小模型一年比一年好用?

老师给了三个理由。

第一,老师每年在变强,学生的起点也跟着抬。大模型每进步一点,蒸馏出来的学生就自动高一点,而且这份「老师的经验」可以复制无数次——复制不花电,只有培养老师才花电。

你可以怎么用这件事

老师最后给了三句实在话。

一,看到某个小的、免费的模型突然变得很好用,别惊讶,它背后一定有个更贵的东西在替它探路。这句判断能让你不被各种「奇迹」标题带着跑。

二,它答得越流畅、越笃定,你越要小心。自信这件事在蒸馏里是可以被传染的,而且它比知识传染得更快。真正该警惕的,是那些又快又顺又挑不出毛病、可你拿不出证据的回答。

三,问三遍,看它稳不稳。同一个问题换几种说法问,如果答案互相打架,说明那一块它学得最虚——那里就是老师本身也没想清楚的地方。

小测验

  1. 蒸馏的本质是什么?
  2. 学生为什么能学到老师没说出口的那部分?
  3. 蒸馏出来的人工智能最容易被传染的毛病是什么?

收场

下课铃响了。

老师把笔从桌上捡起来,在黑板上写了两个字:传灯。

他说:你们记住,人类这几千年真正的进步方式,从来不是每个人重新发明一遍,是有人想通了一次,然后把这个「怎么想」原原本本交出去。AI 只是把这件事做得更彻底了——它连那种「犹豫、权衡、有多大把握」都一起交了出去。

所以下次你打开手机,看到一个秒回你的小助手,你可以这么理解它:

它不是天生聪明的。它是有一个很贵的东西,替它把路先走了一遍。

而你该问的是另一句——它学来的那条路,是通向答案的,还是通向「听起来像答案」的?

🧠 课后小测验

读完文章,测测你记住了多少?
点击选项,看看对不对

Q1.老师用「老师傅和学生」说明的是什么方法
Q2.为什么学生能学会老师说不出口的那部分
Q3.为什么后来便宜的小模型追了上来
🖊️

关于丢笔哥

丢笔哥不是一个具体的人——它是一种态度。在信息爆炸的时代,用最直白的语言,把硬核知识讲透。覆盖金融证券、AI 前沿、Web3、东方智慧。

一支笔丢在桌上,一堂课就此开始。

📬 订阅丢笔哥 →

📖 继续阅读

🔗 Web3
老师有没有告诉你,改造那条链最省事的办法不是攻击它——是让所有人同时收到两个版本
🌌 东方智慧
老师有没有告诉你,把一个孩子护在真空里长大——不是保护,是拆掉了他身上最精密的那套装备
📈 金融证券
老师有没有告诉你,你账户里那串数字从来没动过——动的只是别人的承诺

📬 不想错过下一堂丢笔课?

每周一篇硬核科普,用最好玩的方式讲最硬核的知识。
不卖课、不荐股、不画饼。

💬 讨论区