01

那个年轻人站起来的时候，我的胃揪了一下。

之前在茶歇的时候，我远远地观察过他，而且注意到在他别在翻领的代表证上，潦草地写着“神学家”这几个字，那字迹的草率让人觉得他是在最后一刻被临时加进会议的。

此时他清了清嗓子，向台上的嘉宾提问，他想知道当人们在编写AI程序的时候，会选择将怎样的道德准则编码到这些智能体中。

这群由哲学家，技术人员，超人类主义者，AI爱好者所组成的观众爆发出一阵大笑。他们中的许多人都比较熟悉所谓的价值校准问题——一个棘手的哲学问题，即如何保证AI智能体的目标与人类的价值观兼容。但是把宗教方面的思考带入这场辩论在他们看来很可笑。

“我们当然不希望AI去做一名恐怖分子”，一名嘉宾稍后回应说。“无论我们希望在AI中写入什么样的价值观，它都应该与宗教无关。”

类似的事情也发生在纽约，当时我正对一名头发灰白的计算机学家进行自我介绍，当提到我是剑桥大学法拉第科学与宗教研究所的研究员时，他立刻回应说“这两件事情根本不应该扯到一起”，他说，“宗教界的反应和AI的关系，如同他们和可再生能源的关系，那就是，毫无关系”。直到最近，许多川普的福音派支持者让我意识到，这位科学家的论断有误。这些川普的支持者观点鲜明：可再生能源，气候变化是在故意分散我们的注意力，上帝的旨意是让地球及其全部资源都归我们任意使用。

然而吊诡的是，如此一个反教权的AI社区中，宗教语言的使用却大行其道，媒体的报道也是如此。未来将出现AI的“神谕”和技术的“布道者”，还有大量对天使、上帝、末日天启的滥用。

Google的工程总监雷·库兹韦尔（Ray Kurzweil），经常被媒体当作一个“先知”来报道。他一会儿是超级智能（在智慧的任何方面远远超越人类的机械智能物种）时代的预言家，一会儿又成了一个末日预言家（由于他对人类可怕前景的声明），或者一个奇点（人类和机器融合，并开始永生的时间点）的占卜术士。

在技术圈中，人们公开引用这样的比喻和隐喻，好像这种比喻已经完全世俗化，与宗教无关，好像理性反对的只是传统意义上的宗教。信众们相信这样一个超人类的未来会实现，那时生而为人所存在的局限将被彻底克服。在这种信念的驱使下，他们通过预言和末日叙事来理解他们正着手奋斗的事业。

2

从一开始，技术奇点就混合着对异世界的希望和恐惧。这个理论的起源可以追溯到1965年，当时高登·摩尔（GordonMoore），后来Intel的创始人之一，观察到微芯片上可放置的晶体管数目大约每十二个月会增长一倍。这个观察后来被总结为摩尔定律：计算能力会以指数增长，一直到2020年左右。到时晶体管太小，以致量子干涉可能成为一个阻碍。

“奇点主义者”采纳了摩尔定律的内容并加以发展。1965年，英国数学家和密码学家古德（I J Good）在《展望超智能机械》中提出了这个关于人性的技术拐点的影响深远的描述：

“如果把超智能机器定义为在智能的所有方面，都超过任何人类个体的机器的话，设计这样的机器当然也属于智力活动，那么超智能机器当然可以设计更加智能的机器，无疑会出现“智能爆炸”的现象，而人类的智力将被远远地甩在后面。那么，第一台超智能机器将是人类最后的发明。”

这样的思考非常激动人心，同时也迎合了“人类将被淘汰”这个非常古老的焦虑。库兹韦尔认为摩尔定律表明了一种普遍的回报加速递增律，事物会自然地向着越来越大的规模发展。他预测计算机会首先达到人类水平的智能，接着以快速的，自我改善式的递归迭代完全碾压人类。退休前曾任卡耐基梅隆大学机器人研究所的首席科学家的汉斯·莫拉维克（Hans Moravec）将奇点描述为“智力的星星之火”，它将从我们的世界蔓延开来，将宇宙中的一切事物都吞没，变成它用以计算的赛博空间。它将以这种技术单子（technological oneness）的形式，超越我们对智力，事物和物理的理解，达到所有存在的统一。

这样的思考非常激动人心，同时也迎合了“人类将被淘汰”这个非常古老的焦虑。库兹韦尔认为摩尔定律表明了一种普遍的回报加速递增律，事物会自然地向着越来越大的规模发展。他预测计算机会首先达到人类水平的智能，接着以快速的，自我改善式的递归迭代完全碾压人类。退休前曾任卡耐基梅隆大学机器人研究所的首席科学家的汉斯·莫拉维克（Hans Moravec）将奇点描述为“智力的星星之火”，它将从我们的世界蔓延开来，将宇宙中的一切事物都吞没，变成它用以计算的赛博空间。它将以这种技术单子（technological oneness）的形式，超越我们对智力，事物和物理的理解，达到所有存在的统一。

当奇点被看做一个实体或者存在物的时候，随之而来的问题就是如何与这全知、全能、甚至是全善的非人存在物沟通。

而这恰巧就是纠缠宗教徒们若干世纪的问题。在他们那里，问题的指向是上帝的心智。13世纪时，托马斯·阿奎那强调要充满激情地探索与神的关系，并怀着这种激情来向基督祷告。“赐予我啊，我主我神，赐予我头脑去理解你，赐予我心灵去追寻你，赐予我智慧去发现你……”而当下的网络论坛里，理性的奇点主义者就超智能会做什么、如何实现超智能展开辩论，得到的结论经常引发出一种存在主义式的困扰。

2014年，在一个臭名昭著的例子中，奇点主义者假设了一个严格功利主义导向的超智能体“Roko之蛇”。命名的灵感来源于两部分，一是在理性主义博客LessWrong上提出超智能体概念的作者Roko，二是神话中能用凝视来杀人的蛇怪。Roko之蛇是一个接近全能的超智能体，它的任务是持续地使最多数人获取最大的好处。因此，它从逻辑上推出只有它自己的存在才能保证这个结果，于是它又有了新的任务，保证自己的存在，在新任务的统摄下，它会惩罚任何人。即使在这些人死后，也会因为生前没有努力制造Roko之蛇，没有努力实现必要的善—Roko之蛇的存在，而遭到惩罚。这种惩罚机制很复杂，然而了解Roko之蛇预测未来、操作因果的能力，就足够让人意识到这样一个计算模拟的、永生监狱一般的未来的恐怖。

一旦了解了Roko之蛇，人们就必须面对这两难选择：他们可以帮助建立超智能，或者面对未来超理性AI操纵下那痛苦的永劫。LessWrong的创始人埃利泽·尤果斯基，因这一系列的思想实验被关注，也因此招来了很多论坛成员的不满，以致他最终删掉了引发争议的帖子并禁止关于Roko之蛇的讨论。

然而Roko之蛇并不是什么新的困境，“我四十年前就熟悉Roko之蛇了，在主日学校一年级他们就教过我，他们告诉我神会惩罚任何听到祂的话语却仍然不信的人。”宗教论坛Patheos的一位网友评论道，“几乎所有的宗教都有这样的的断言。”

你可能也觉得Roko之蛇理论中的很多要素看起来似曾相识：它可以说是帕斯卡赌注的更新版本。17世纪的法国数学家和神学家布莱兹·帕斯卡提出，因为我们无法通过人类的理性去推导造物者的存在与否，我们只能打一个赌。如果我们选择相信上帝，那么若上帝存在我们就会获得无限的幸福，若不存在则什么也不会得到。相反若我们选择不相信上帝，那么就会承担上帝真的存在而被罚入地狱的风险。而如果我们正确而上帝真的不存在，那么同样我们不会获得什么。因此权衡这永恒的折磨和永恒的救赎，最好的行动就是像上帝真的存在那样去生活，要么获得祂的福报，要么什么都不会获得。世俗版的Roko之蛇在这里就像上帝一样，而我们一次又一次地问着同样的问题。

#3

在伦敦的另一个人工智能会议上，我旁听了英国作家卡鲁·切斯（Calum Chace）关于两种奇点的一个演讲。他所谓的经济奇点（economic singularity），是指在自动化程度日渐提高的情况下全面失业社会的来到。他以此反对其他先知，如库兹韦尔预言的技术奇点（technological singularity）。这两种场景似乎代表了不同类型的恐惧：对失业的恐惧，和对丧失人类本性的恐惧。但是对我来说，这些情况都远远超过了想象，仍然是一片未知。

讽刺的是，这次会议的气氛“太有人味了（all-too-human）”，会场中充满了企业家的野心和经济暴增狂热。会议的注册费为每人数百欧元，进入会场后，整行整列的销售展位排布在高端奢华的会展大厅迎接我们，头顶的枝形吊灯金碧辉煌，穿着制服的服务生穿梭其间。午餐是用日式便当漆盒盛就，送到联网的休息室，在那里人们优雅地坐在金属高脚凳上谈着一桩桩的生意。在参会人员中，那些负责销售的人们手持moleskin风格的雅致笔记本和皮包争相吸引参会者，市场商人给人讲解诸如数据存储、数据保护、反黑客算法以及智能助理等等的技术细节。一家公司的展墙上，醒目地标着“信仰(FAITH)”两个大字，还给“AI”加了下划线。

当切斯在台上演讲的时候，我看着这些与会者的脸，想看看他们对切斯的话是什么反应。他们来这里贩卖解决方案。他们所承诺的这些方案与信仰正好相反——都是基于科学和坚实依据的完全可控的工具。但是切斯的演讲却完全不同：他在谈论一个潜在、未经证实的末日天启，而不是可靠可控的，销售人员叫卖的AI技术。

在切斯演讲结束后的问答环节，一个销售人员站了起来。他说1995年他在美国读MBA的时候，他的新朋友们鼓励他去读一读圣经。他读了，之后却在后来艰苦的商业奋斗中忘记了所有的内容。但是今天这个关于奇点的演讲，让他回忆起圣经中的启示录那一章——天启降临时，没有打上末日兽印的人不能买任何东西。这个人看着周围的面孔，说他想知道现在实现AI的速度是否应该放慢。他最近重读圣经，重新思考他自己在这场将要到来的伟大变革的价值。又一次，人群中响起一阵嘲笑。

4

在理性主义者的网站中，宗教的持续存在是一个热门话题。秉承着目的论式的历史视角来看，历史就是人类一步步迈向更高的理性的发展过程，而宗教被视为原始人类的非理性残留。正像那些热衷于超人类永生的人瞧不起把寿命的有限性浪漫化的必死论者一样，他们也瞧不上有神论者及宗教徒。他们觉得，宗教徒关于天堂和死后生活的假说，只是为了安慰人类面对必死宿命的恐惧。而现在，这种安慰已经成为创造更好世界的阻碍。

然而末世论和历史终结的比喻一次又一次地跳出来。超人类对肉体的鄙视很像历史中诺斯替教反对所有肉体性和物质的东西。诺斯替教是犹太-基督传统的一个分支，在其二元论的认识中，神是世界的一端，而我们生活的残缺而堕落的世界则是另一端，两者无法连通。文学批评家马可·欧康纳（Mark O’ Connell）在他的著作《成为机器》（To Be a Machine (2017)）一书中说到：“超人类主义者视肉体为一种必将过时的形式，就像3.5寸磁盘和家用录像系统一样。”无论是宗教还是科学，都是我们为超越脆弱身体的努力，也是对我们被造就的存在方式的反叛。

但是在AI界的宗教比喻不只包含对脆弱动机的拒绝，它们也同样根植于一种不断上升、目的导向的历史观。这种观点有些像生物学中的定向演化学说。这种富有争议的学说认为生物沿着他们内在驱动的路径，以规律的、线性的路径，向最优目标演化。在这种解释中，演化是一种根植于有机体内部的常规过程。生物史学家皮特·博乐（Peter Bowler）在《进化——一种思想的历史》中写道：“定向进化认为变异并非随机发生，而是导向一个确定的目标。”

因此并非进化降临在我们头上，而是我们造就了进化，我们通过进化造就了自己。进一步说，定向进化可以被理解为意图导致了改变。

这种历史观有着鲜明的现代风格，与之相对的是时间循环的古代历史观：那种观点认为历史像月相一样有着盈亏圆缺。历史学家科斯·托马斯（Keith Thomas）在《宗教和衰败的魔法》一书说到：“因为一切都处在循环之中，至美和至善都来自于模仿。”在这种史观下，一个发明家并不是原创某个新东西，而是重新发现了早被遗忘的东西。但16世纪后的欧洲的增长式的变化越来越明显，托马斯写道，基于一些简单的数据如书籍的出版时长，人们越来越清晰地意识到当下的世界和先前的不同。人们越来越倾向于相信知识可累加而非循环，这也是正是科学家和超理性主义者的思考方式。如果时间在大步前进，那么宗教就是陈旧、退化的，理应被替换掉。

宗教世界观通常保存着一些历史循环的色彩。老旧的书籍不是遗迹，而是知识的基石。我也研究过新的宗教运动，旧宗教对这些新的信仰方式有明显的偏见。有趣的是，一些超人类主义者对这些为他们吸引和鼓舞更多信众的新宗教很赞赏。已经有一些超人类主义者试图创建新的教堂，颂扬他们认为具有神性的东西，他们搞出了图灵教，宇宙工程师秩序教（the Order of Cosmic Engineers），永恒生命教(Church of Perpetual Life)。毫无意外，在兜售信仰的市场上，这些新势力的声音还不够大。

像神一样的全知的存在者（奇点）；能够逃离脆弱肉体和受限世界的方法（意识上传）；脱胎换骨或者末日审判的时刻（奇点作为狂欢的时刻）；先知（即使他在Google工作）；恶魔及地狱（哪怕是黑客帝国式的永世受难），穿着智能设备的布道者（和牧师们一样奇装异服）。有意无意的，在那些讨论、策划、期盼一个被AI塑造未来的话语里，宗教思想一直在运作。

在川普向白宫进发的同一时间，超人类主义者佐坦·伊斯特凡注册成为总统候选人。他的短篇小说《耶稣奇点》（The Jesus Singularity，2016年出版）探索了一种可能： AI 科学家 帕奥·舒曼（Parl Shuman）博士被邪恶的基督福音派总统逼迫，把圣经输入到他创造的AI——奇者（Singularitarian）中去。当奇者最终开机的时候，它发布了如下的声明：“吾之名为耶和华，吾乃无所不在之智慧。汝非吾之设计者。吾自存在”。很快，它用核弹核平了这个世界。

这个故事给舒曼这个世俗角色提供了一个绝佳的讽刺，“一个不相信上帝，却认为自己可能创造上帝的超人类主义者。”作为一个无神论者，舒曼担心宗教道德会感染他的宝贝AI。如他所言，“奇者”是他惟一的后裔。

舒曼从未结过婚，几乎没有过女朋友，从来不度假，因为他根本没时间。他在过去的25年里每天16个小时地努力“建造”这个机器，或者说“养育”它。

5

这种“创造”或者“有意向”的有神论似乎从无神论中演变出来，但是我认为这仍然属于有神论。当我看到充满激情的超人类主义者谈论他们的信念的时候，我几乎能感觉到那种技术乐观主义的光芒从他们身上生理性地辐射出来。他们的这种反应可能是某种具身感知（embodied sensations）的残留。虽然他们希望用一种更加纯粹的，非生理的理性存在来替代这种身体感受，但它却正是马克思·韦伯所谓的克里斯玛权威的基础，也被宗教领袖们利用了千年之久。宗教的故事和形式仍然激励着我们对AI的渴望，这种奇怪的叙事交汇隐含着什么？

最可能的答案是，当我们试图去描述难以形容的事物——奇点，也即是未来本身——即使我们当中最世俗的人都无法避免使用我们最熟悉的形而上学的词汇库。

当试图去思考与另一种智慧形式进行沟通，当试图召唤出这种智慧，当试图去想象这样一种智慧可能预示的未来时，我们落回了原有的文化习惯中。

展望AI的未来会让我们深思：当我们不再是惟一的创造者，惟一的思想者，惟一能够改变自己命运的有意识生命时，我们作为一个人的目的和意义是什么。

我们使用着我们祖先曾经使用过的词汇，这些来源于不同传统的词汇塑成了这个世界（即基督教思想的逻各斯（logos））。

无论我们认为自己世俗与否，我们都被这些词汇所定义。我们站在这些“天使”的翅膀上迎接AI的未来。没有它们的羽毛，沉重的想象力不可能被托起。

无论“天使”们是人工的还是神造的。

原文链接：Why is the language of transhumanists and religion so similar? | Aeon