老师有没有告诉你，AI读你这句话的时候，其实只盯着几个词

啪——老师把笔丢在桌上。

今天讲一个很大、很唬人的词：注意力。 你可能在各种新闻里见过它——"Transformer""注意力机制""Attention is all you need"，听着像天书。

但我要告诉你一件事：这个东西的原理，比它的名字朴素一百倍。朴素的什么程度？其实就是一个你读书时每天都在做、却从没意识到的动作。

老师有没有告诉你，你读这句话的时候，根本没在认真读每个字

来，做一个实验。看这句话：

小狗追着球跑，它累得直喘气。

问你一个傻问题："它"指的是谁？

你一秒就答出来了：小狗。你甚至没停顿。可是你想想——你凭什么知道"它"是小狗，不是球？

答案很简单：你读"它"这个字的时候，眼睛虽然是滑过去的，但你的脑子自动回头看了前面那个"小狗"，把它拽过来，压在了"它"的意思上。你把大部分注意力分给了"小狗"这个词，而"跑""球""直"这些字，你几乎没怎么在意。

这就是注意力机制的全部秘密：读一个词的时候，不是平均地看整句话，而是有选择地、重点地看其中几个词。

AI 干的是同一件事。而且它把这个动作做得极其极端——它不是"大致看看"，它是给句子里的每一个词都算一个"关注分数"，然后重点只看分数最高的那几个。

老师有没有告诉你，同一个词，为什么在不同的句子里意思完全不一样

再来看一个更诡异的例子。

我去了那家银行，取了两百块。
我坐在银行边上，钓了一下午鱼。

同样是"银行"，第一个是存钱的地方，第二个是河岸。你一看就懂，但 AI 面对的是两串一模一样的字符——它凭什么知道是哪个意思？

答案是：它看"银行"周围那些词。 "取钱"把"银行"推向了金融机构，"坐着""钓鱼"把它推向了河岸。周围每个词都在给"银行"投票，票数一汇总，"银行"这个词的位置就被推到了不同的含义上。

这就是注意力最核心的一点：一个词的意思，不是它自己固有的，是上下文"关注"出来的。

过去的翻译机为什么死板？因为它一个词一个词地硬翻，不管上下文。而注意力机制让 AI 能同时看一眼句子里任意两个词——不管它们隔得多远。第一段里的"小狗"和第十段里的"它"，中间隔了几百个字，注意力照样能把它们连起来。

这一下，AI 就从"翻译机"变成了"会聊天的东西"。因为理解语言的关键，从来不是单个字，是字和字之间的那种看不见的、跨越距离的关联。

老师有没有告诉你，它干的事其实是一张巨大的"谁看谁"的表

如果你还是觉得玄，我给你一个更落地的画面。

想象一张很大的表格。行是句子里所有的词，列也是句子里所有的词。每个格子里填一个数字：行上这个词，在多大程度上要"看"列上那个词。

"它"这一行，指向"小狗"那一格的数字会很高，指向"球"那一格的数字很低。整张表填满之后，AI 就得到了一张"谁该看谁"的全景地图。理解了这句话，靠的就是这张表——不是靠查字典，是靠算关系。

更妙的是，这张表是 AI 自己在训练中学会填的。没有人告诉它"小狗和它有关系"，它是在读了海量的句子之后，自己总结出"这样的词，通常要回头看那样的词"。

所以当你觉得 AI "读懂了"你，它其实没有读懂。它只是把每个词应该看哪些词、该给多少分，算得又快又准，准到看起来像懂。

老师有没有告诉你，这个机制的两个"边界"

知道了原理，你就立刻能理解 AI 的两类毛病。

第一，它的"视野"是有额度的。 它一次能看到的那张表有多大，是有限的。句子太长、文件太大，超出这个额度，前面的东西就会被挤掉。这就是为什么你跟它聊到最后，它常常"忘了"你开头说过什么——不是它不上心，是那张表装不下了。

第二，它的关注是有偏心的。 研究发现，句子中间那些词，得到的关注往往最少，容易被忽略——重要的信息如果恰好埋在一大段话的中间，它很可能会漏掉。这也解释了为什么你反复强调的重点它记住了，你顺口一提的细节它忘了。

所以下次你用它干活，有个很实用的小习惯：把最要紧的要求，放在开头或者结尾，别埋在中间。你不是在迁就它的脾气，你是在配合它"如何看"这件事的物理规律。

老师有没有告诉你，真正的门槛在哪

讲到这，你可能会想：原来这么简单，那我也能造。

别急。光有"注意力"这个想法，谁都想得到——你刚才不就想到了吗？真正难的不是点子，是规模。要给一张表里的每一个格子都算一个分数，句子里一千个词，就是一百万次计算；模型每一层都干这么一遍，几十层叠起来，就是天文数字。能把这个规模跑起来的算力，才是别人追不上的那道墙。

思想的门槛很低，把思想放大到极致的能力，门槛极高。 这是所有前沿技术共同的真相。

啪——老师把笔丢在桌上。

你以为 AI 神秘，是因为你把它当成了一个"人"，去看它答得像不像人。可一旦你知道它内里干的是什么——给每个词打分，重点看几个词，把词和词的关系算出来——它就不再是魔法了。

它不是神，它是一个把"回头看"这个动作，练到极致的机器。而你只要记住一句：你看它答得聪不聪明，其实取决于你给的上下文，让它的注意力有没有落在对的地方。

问你一句：你平时跟 AI 说话，是随手打一句，还是会认真交代清楚背景？