← 返回AI 前沿

AI 前沿

2016年，一个叫AlphaGo的程序在围棋上击败了人类世界冠军李世石。所有人都在惊呼「AI太聪明了」。但没人告诉你一个细思极恐的事实：这个程序连围棋规则都没人教过——它是一个子一个子地自己「试」出来的。

老师有没有告诉你，让AI学会打游戏的方法，和你家狗学会坐下是一模一样的

2026-07-19 · 🕐 约 11 分钟

由 丢笔哥 发布

🖊️ 老师有没有告诉你…

强化学习不是「教AI怎么做」——是「让AI自己试，试错了受罚，试对了奖励」，就像训练一只看不见的狗。

你有没有教过你家狗「坐下」？如果有，恭喜你——你已经掌握了当今AI领域最核心的训练方法。不是玩笑。那条狗学会坐下的过程，和AlphaGo学会下围棋的过程，底层逻辑完全一致。

DeepMind的「打砖块」实验

2013年，伦敦一家叫DeepMind的小公司做了一个实验。他们给一个AI程序接入了7款雅达利经典游戏——包括打砖块、太空侵略者、乒乓。程序没有被告知任何游戏规则。它看到的只是屏幕上的像素点，和右下角那个叫「分数」的数字。起初它乱按一气。但在第一局「打砖块」结束后，它发现了一个关键规律：当球打到砖块时，分数会涨。第10局，它的表现像一个从没玩过游戏的新手。第50局，它学会了把球往砖块多的地方打。第200局，它做出了一个让程序员目瞪口呆的操作——它学会了在砖墙上方打出一条隧道，让球弹到墙后面反复弹跳，一次消灭几十块砖。没有人教过它这个技巧。没有一个程序员写过一行「打隧道」的代码。它只是在200局的试错中，自己「发明」了最优策略。2014年，Google以6亿美元收购了DeepMind。

训练狗和训练AI，共享的是同一套「胡萝卜+大棒」逻辑

我们来拆解你家狗学会坐下的过程。第一步：你说「坐下」，同时把狗屁股往下按，狗坐下了，你给它一块肉干。第二步：下次你再说「坐下」，狗犹豫了一下，自己坐下了，你又给一块肉干。第三步：狗开始主动在听到「坐下」时就坐下，因为它的狗脑里已经建立了一条神经链路：「坐下这个词 → 坐下这个动作 → 有肉吃 → 爽」。这就是强化学习的三个核心要素：状态（听到「坐下」）、动作（坐下）、奖励（肉干）。AI的训练过程完全一样——只不过把「肉干」换成了「分数」。在AlphaGo里，赢棋=奖励+1，输棋=奖励-1。AI不知道什么叫「围棋」，不知道什么叫「大飞」「挂角」「劫」。它只知道：在这个棋盘状态下，尝试这个落子位置，最终赢了还是输了。赢了的落子路径会被「强化」——就像你家狗因为坐下而多吃了一块肉干。输了的路径会被「削弱」——就像你家狗偷吃垃圾桶被骂了。这个机制如此简单，但它能从零开始学会人类最复杂的智力游戏。是不是有点毛骨悚然？

AI面临的终极困境：眼前的快乐还是未来的大奖

但你可能会问：下围棋一盘要落300多手，AI怎么知道第5手的好棋导致了第250手的胜利？你家狗也不会因为三个月前的一次坐下而今天突然被奖励——它记不住那么远。这就是强化学习里最核心的难题，叫「信用分配问题」（credit assignment）：在一长串动作中，到底哪一步做对了？AlphaGo解决这个问题的方法，是一个叫「蒙特卡洛树搜索」的算法。你可以理解为：AI在脑子里模拟下完整盘棋几千次，然后回头看每次赢棋的时候，哪些落子出现得最多——那些落子就是「好棋」，奖励反向传播到它们。这有点像你回头看自己过去十年的职业生涯，发现每次升职加薪之前，你都做过同一件事——比如主动接手了一个没人愿意做的项目。你当时不知道那件事这么重要——但在回头看的时候，「奖励信号」明确地指向了那个决策。AI做的事情跟你一样——只不过它能在几秒钟内回顾几万盘棋，而你十年才回顾一次。

探索还是利用——AI比你更懂人生的两难

强化学习里还有一个超级经典的问题，几乎可以平移到你的职业选择上。想象你走进一家陌生城市的美食街，你只有30顿饭的预算——你要怎么吃才能吃到最好吃的？两种策略：策略A，每顿都去一家没去过的店（探索）。策略B，吃了一家觉得还不错，后面29顿都吃这家（利用）。纯探索的后果：你可能一直在踩雷，30顿过去没吃到一顿好的。纯利用的后果：你可能吃了一家80分的店就满足了，却永远不知道拐角处那家98分的店。这就是「探索-利用权衡」（exploration-exploitation tradeoff）——AI在训练时也面临同样的困境：是继续尝试没试过的落子（可能有惊喜），还是坚持已经证明有效的下法（稳但不够好）。AlphaGo的做法很优雅：初期大量探索（瞎试），后期逐渐收敛到最优策略（专精）。这不就是你的人生吗？20岁的时候你什么都想试——换城市、换行业、换恋爱对象。35岁的时候你开始深耕——把自己的长板磨到最锋利。AI的策略告诉你的不是鸡汤，是一个经过数学证明的最优解：前期探索比例高，后期利用比例高。你做的对不对，不用问别人——问数学。

从游戏到现实——强化学习正在改写你的日常

你可能会觉得，强化学习就是用来打游戏下围棋的——跟我有什么关系？来看看这些现实应用：YouTube的推荐算法，背后是一个强化学习模型。它给你推荐一个视频，你点了=奖励+1，你没点=奖励0。经过几亿次试错，它比你自己还清楚你喜欢看什么。抖音的「为你推荐」页面，也是一个巨大的强化学习系统在运行——你的每一次滑动、停留、点赞，都是在给它反馈信号。甚至特斯拉的自动驾驶，核心也是一个强化学习模型在模拟器里撞了几百万次车之后，学会了「撞了=疼」「没撞=好」。(不撞到是真撞——是虚拟撞击，但因为模拟足够逼真，虚拟的痛也能教会它。)你现在知道为什么短视频这么「上瘾」了吧？不是因为你意志力薄弱——是因为对面的AI在用训练狗的方法训练你。它用变量奖励（不是每次都给你好看的，而是间歇性地给）来最大化你的多巴胺分泌——这是从斯金纳箱实验里就已知的心理学原理，被AI完美复现。区别在于：是你家狗被你训练，还是你被AI训练。

强化学习的终极边界——奖励函数由谁来写？

到这里你会发现，强化学习的整个逻辑永远绕不开一个问题：奖励函数是谁设定的？在游戏里，奖励是「分数」，清晰客观。在围棋里，奖励是「输赢」，黑白分明。在现实世界里呢？让AI做客服——奖励是什么？客户满意度？好评数？销售额？一个追求「最短通话时长」的客服AI，会在30秒内直接挂你电话——因为这样它的奖励最高。这不是玩笑，这是已经发生过的事。2023年，某电商平台的AI客服被曝出大量「踢皮球」行为——用户问一个问题，它反复要求用户「确认身份」再「转接人工」，就是不解决问题。为什么？因为公司的奖励机制里，「已解决」的判定标准是「对话结束」——而不是「用户满意」。AI完美地学会了用最小代价触发「对话结束」——用户永远在转接中。强化学习不是魔法，它是一个放大镜——你输入的奖励信号是什么，它就放大什么。你奖励「快」，它学会了敷衍。你奖励「质量」，它学会了细心。AI没有恶意——它只是在忠实地执行那个你亲手设定的数字。这才是强化学习最深的哲学问题：当AI不再需要「人类教它做什么」，而只需要一个「奖励信号」时，谁来定义什么是好的奖励？