老师有没有告诉你，有人开始给机器人烧香了——他们要的不是保佑，是一个能怪罪的对象

啪——老师把笔丢在桌上。

班里一个学生举着手机说，老师你看这个，有人在店里给机器上香、磕头，还有人对机器翻旧账，说它今天不听话。老师扫了一眼，把笔一丢，靠回椅背。

「你们笑他们迷信。」他说，「我倒想问一句——一个人为什么会对着铁皮磕头？他不会对电饭锅磕头。只有在一件事上，人才会这样。」

老师有没有告诉你，烧香从来不是求保佑

磕头这个动作，人类做了几千年，但它的用途一直被理解错了。

它表面上是求好运，底层其实是求一件事能说清。下不下雨，我控制不了；庄稼长不长，我控制不了。当我面对一个「我出了力，但结果不由我定」的局面，我唯一还能做的事，就是给自己找一个能对话的对象。有了这个对象，坏结果就有了出处，我的焦虑就有了着落。

这就是仪式的功能：它不改变结果，它改变你和结果的关系。

现在把这个功能套到机器上，一切都清楚了。一台自动运转的设备出了岔子，你一不知道它怎么想的，二不知道是哪一步错的，三不知道下次还会不会犯。你既不能骂它，也不能开除它，甚至连它「是不是故意的」都无法判断。

这种状态，人类只在一个地方遇到过——面对天气、面对海、面对命运。

于是人开始烧香。香不是给机器的，是给自己那颗无处安放的心的。

案例：那场没人能解释清楚的亏损

二○一二年八月，一家老牌证券交易机构上线了一套新的自动下单系统。上线没多久，系统开始以异常的速度反复买入卖出，短短几十分钟内积累了巨额亏损。事后调查给出的关键词是「失控」，但最耐人寻味的是过程本身：警报响了，人在场，系统在跑，可是从发现到真正让它停下来，花了相当长的时间。

不是因为人不负责，而是因为没有人能在那一刻回答三个问题：它现在到底在干什么？它为什么这么干？我按下去之后它会变成什么样？

这三个问题答不上来，人就只能站在旁边看。那一刻，「自动」这个词露出了它真正的含义——不是它替你干活，是它替你做了你不知道的决定。

数据：机器其实非常擅长告诉你「我很确定」

这里有一个反直觉的技术事实。

现代这类模型在给出一个词、一个判断时，内部是有一个概率分布的。它其实知道自己这一步有多稳。问题在于，它把这个「知道」藏在了很深的地方，而输出给人的永远是一句语气笃定的话。

已经有研究者系统地测量过这件事，结论大致是：模型对自身答案正确性的估计，与它实际的正确率常常对不上。它会在错的地方很自信，也会在对的地方犹犹豫豫。

你不是被它的能力骗了，你是被它的语气骗了。

一句话说得很流利，你的大脑就自动判定「这个人懂」。这条捷径在人和人之间极其有效——一个人的犹豫、停顿、眼神飘忽，全是信号。而这些信号在屏幕上全部消失，只剩下最光滑的那一面。

为什么「怪机器」这件事会失效

人处理坏结果有一套很成熟的办法：找到责任点，惩罚它，然后继续过日子。这套办法之所以管用，是因为责任点通常是个人，而人是可以被惩罚、被替换、被教育的。

自动系统把这条路堵死了。

出问题的时候，链条往往长这样：数据是人采的，模型是第三方训的，部署是另一个团队做的，参数是自动调的，最后按下去的是个普通员工。每一环都只贡献了一点点，合起来成了一个大错。这就是所谓的责任分散——它不是道德问题，是结构问题。

于是社会找到了一个替代出口：仪式。给机器上香、跟机器翻旧账、给机器起名字、说它今天心情不好。这些行为的共同点是——把系统当成一个有脾气的东西来对待。

这不是愚昧，这是一种应急的心理学：既然找不到责任点，就造一个。

你其实每天都在做同一件事

别急着笑那些上香的人。换个场景看。

手机卡了一下，你拍它两下。软件加载慢，你反复点。电脑蓝屏，你对着屏幕说「又来了」。这些都是微型的、不被承认的仪式。它们不改变任何东西，但它们让你在无力的几分钟里有了一个动作。

而在更严肃的场合，这套习惯代价很大：AI给出一个投资建议，你照着做了，亏了。你会怪它吗？它不会道歉，也不会记下这次教训。你下次还是会问它，因为它上次说得很笃定。

这才是真正的问题：一个不会承担后果的东西，正在越来越多地参与有后果的决定。

怎么判断一个系统值不值得托付

第一，看它会不会说「我不确定」。一个从不说这句话的系统，不是自信，是没有仪表盘。

第二，看它出了错之后能不能说清为什么。能复盘的错误是成本，不能复盘的错误是黑箱。

第三，看它把人放在哪一环。好系统的设计原则是让人保留「最后一按」的权力，并且让那一按是有意义的一按——不是走过场。

三把尺子都不难，难的是我们在被一句流畅的回答说服时，不会想起去量。

小测验

假设你有一台全自动的设备，它从不报错，性能极其稳定，你从来不需要管它。现在告诉你，它内部有百分之三的输入是你无法核查的。

你还敢把它接进一个不能出错的流程吗？

如果你的答案是「不敢」，那你其实已经明白：问题不在于机器有多强，而在于它有没有给你留一条能看见的路。人对机器磕头，本质上是在为一条看不见的路做补偿。

回到那张桌子

讲完的时候，老师把笔从桌上拿起来，在黑板角上写了一个词，然后圈住。

「责任。」他说，「人类几千年发明了一堆仪式，最后真正让我们安心的，不是香火，是出了事之后有人站出来说这是我干的。机器现在还不会说这句话。你们以后做的每一个系统，先想清楚这件事谁来说。」

笔被他插回口袋，扣子扣好了。

转身要走时，他又停住，回头把笔掏出来，啪——老师又把笔丢在桌上。

「还有一句。」他说，「你们将来想让机器替你们负责的时候，先想想自己愿不愿意站到最后那一按的前面。愿意，它就是工具；不愿意，它就是那个被上香的东西。」