老师有没有告诉你,AI读完了整本书,却记不住你上一句话说了什么
2026-09-14 · 🕐 约 8 分钟
由 丢笔哥 发布
啪——老师把笔丢在桌上。
「今天问你们一个看似简单的问题。」他说,「你跟一个真人聊了两个小时,他会记得你半小时前说过怕猫。你和一个 AI 聊了两个小时,它为什么有时候会把你半小时前说的话忘掉?」
「不是它笨。」老师敲了敲桌子,「是它压根就没「记」过。」
老师有没有告诉你,我们张口闭口说 AI「记忆」多强、上下文多长,其实用的是一个被我们用歪了的词。AI 里那个被叫做「记忆」的东西,和你想的记忆,是两种完全不同的东西。
一、它没有笔记本,只有一张视力范围内的纸
想象一个读书人。他读过图书馆里所有的书,但他有一个奇怪的毛病:他没有任何长期记忆。他每回答你一个问题,都要把面前那张纸上的字从头到尾看一遍,才能开口。
他不能翻回三小时前你看过的那页。他甚至不知道三小时前存在过——因为那页纸已经不在他面前了。
大模型的工作方式,差不多就是这个。你问它一句话,它把「你们这次对话到目前为止的全部文字」摊在自己面前,然后一个字一个字地往下接。它接下一个字的依据,是它此刻能看到的全部内容。
它没有翻开一个文件、查出一句话这回事。它只有「正在看着」,没有「记得」。
那张纸能摊多大,就是所谓的「上下文窗口」。窗口是 8000 字,它就一次最多看 8000 字;窗口是 100 万字,它一次能看 100 万字。
二、为什么聊得越久,它反而越糊涂
现在你再回头看那个奇怪的现象:为什么对话拉长之后,AI 更容易记错前面说过的细节?
因为那张纸是有限的。
当对话变长,新的内容不断往那张纸上挤。有些系统会把最早的内容裁掉——被裁掉的部分,对 AI 来说等于从来没发生过。有些系统会把前面的内容「总结成几句话」再往下传,总结的过程里,细节就被磨掉了。
还有一种更隐蔽的情况:即使内容都还在,那张纸变得太长之后,它的注意力也会被摊薄。人也是这样——你手边同时摊开二十份材料,每一份都看得见,但你反而什么都记不牢。
所以「上下文窗口很大」这件事,常常被误解成「它记忆力很好」。更准确的翻译是:它的视野很宽,但它的「记」依然只发生在当下这一眼里。
三、一个真实实验:中间的东西最容易被忽略
2023 年,斯坦福等机构的研究者做过一个很著名的测试。他们把一份关键信息放在一长段材料的不同位置,然后让模型去找出来。
结果很有意思:放在最开头,模型找得到;放在最结尾,模型也找得到;放在中间,模型的准确率明显下滑。
研究者把这种现象叫做「迷失在中间」。
这说明什么?说明那张纸上的字,并不是均等地进入模型的「注意力」。开头和结尾天然更醒目,中间的部分就像一封信里第三段的某句话——你读过,但你答不上来。
这个发现对普通人有一个非常实际的推论:如果你有一份关键材料要喂给 AI,别指望它把每个角落都当重点。 重要的信息要么放在最前,要么放在最后,要么干脆在提问里再说一遍。
四、这解释了那些让你困惑的日常现象
你有没有遇到过这些情况?
同一个问题,你第一天问它,它答得很准;过一个星期再问,它答得含糊了。你会觉得「它变笨了」。其实更大的可能是:第一天你给了它足够的上下文(比如贴了原文),一个星期后你只丢了一句干问,它没东西可看了。
或者:你把一份两万字的合同丢给它,让它找某个条款,它答得不错;你把十份合同一起丢进去,让它做对比,它开始张冠李戴。不是它不认真,是那十份合同把它的视野撑满了,中间的东西被淹了。
这就是为什么「上传到知识库」和「直接塞进对话」是两件不同的事。 直接塞进对话,是占了它当下正在看的那张纸;上传到知识库,是给它配了一个可以现查现取的档案柜——你问的时候它才去翻那一页。
小测验
- 大模型回答你时,是从数据库里查答案,还是根据眼前能看到的文字往下接?
- 为什么关键信息放在长材料中间时,模型更容易漏掉?
- 一份很长的资料,直接塞进对话和上传到知识库,区别在哪?
(答案:往下接 / 因为那张纸上的注意力不均等,中间最容易被稀释 / 前者挤占当下视野,后者是可以现查的档案柜)
::: story
小周要给公司做一份竞品分析。他把五家公司的年报全贴进对话,问 AI「哪家的毛利率最高」。
AI 给了一个答案,还挺自信。小周照抄进了报告。
提交前一天他自己复核,发现 AI 把第三家的数字记混了——那是五份材料里正中间的一份。开头和结尾两家,AI 的数字完全正确。
他后来把五份年报一份一份问,每份单独一次对话,答案全对。他把五份塞在一起,错的那份,永远是中间那份。
小周说,那天他第一次明白,AI 不是"不认真",是它的认真有视角的极限。你得学会把重要的东西,放在它看得最清楚的位置。
:::
那你该怎么做
第一,别再问「这个模型的记忆力好不好」。改问「它一次能看多少,以及我这次要它看的东西,能不能塞得下」。塞不下的,就分次、就上传知识库。
第二,重要的要求和对齐的上下文,别放在一大段材料的中段。放在开头或者最后,或者干脆多写一句「请注意,最重要的是第三点」。
第三,一旦发现 AI 开始「记错」,先别怪它笨。回头看看它此刻能看到的是什么——很可能你要的东西,已经不在那张纸上了。
啪——老师把笔捡起来。
「你们以为记忆就是把东西存起来,」他说,「其实记忆有两种:一种是把东西放进抽屉,一种是让东西一直摆在眼前。前者能存很久,但找起来慢;后者一眨眼就没了,但它是唯一能让你真正'看见'的方式。」
「AI 有第二种,还没有第一种。」老师顿了顿,「而这两样东西,我们人类两样都有——可惜大多数人一辈子,只用了第二种。」
读完文章,测测你记住了多少?
点击选项,看看对不对
关于丢笔哥
丢笔哥不是一个具体的人——它是一种态度。在信息爆炸的时代,用最直白的语言,把硬核知识讲透。覆盖金融证券、AI 前沿、Web3、东方智慧。
一支笔丢在桌上,一堂课就此开始。
📬 订阅丢笔哥 →📖 继续阅读
🔗 Web3📬 不想错过下一堂丢笔课?
每周一篇硬核科普,用最好玩的方式讲最硬核的知识。
不卖课、不荐股、不画饼。
💬 讨论区