中华网2024年11月13日发布:胡泳丨人工智能的“奥本海默时刻”

作者丨胡泳 北京大学新闻传播学院教授

当我们的发明独立于我们而自主运作、当它们的行为不可预测、

当它们的内部运作甚至对它们的创造者来说也是一个谜时，

人类的责任意味着什么？

▁▂▃▄01▄▃▂▁

☞如果导向灭绝，你会按下那个按钮吗？

2023年7月，克里斯托弗·诺兰（Christopher Nolan）导演的传记大片《奥本海默》（Oppenheimer）全美上映。

其中有一个令人难忘的镜头：一只手在一个红色大按钮上方几英寸的地方不停颤抖，观众在那令人痛苦的几秒钟内，不由产生揪心的疑问——这个按钮一旦按下去会如何？它将预示着人类的伟大和可能性？或者，也许，仅仅是也许，它会把我们从地球上整个抹去？

“你是说，当我们按下那个按钮……我们就有可能毁灭世界？”负责监督“曼哈顿计划”（Manhattan Project）的莱斯利·格罗夫斯(Leslie Groves)中校问。“几率几乎为零……”奥本海默(J.Robert Oppenheimer)答道。格罗夫斯：“接近零？”奥本海默反问：“仅从理论上你想得到什么？”格罗夫斯：“要是零就好了。”

按？还是不按？

这是一个修辞性问题。你当然会按下那个红色按钮。无论是奥本海默和他的科学伙伴们在1945年的“三一”核试验中匍匐在新墨西哥州的沙漠中，还是大型科技公司向痴迷于技术的公众释放人工智能的最新大爆炸，人类总是按捺不住按下按钮的渴望。

很多人看完电影后都会联想到人工智能，这是有道理的。投掷原子弹与开发强人工智能之间存在着惊人的相似之处。

虽说这部影片关注的是奥本海默团队在准备释放人类有史以来最致命的装置时所面临的道德困境——科学家们意识到世界在他们的发明之后将永远不会一样，然而彼时的历史却诡异地反映了当下的时刻——我们许多人仿佛正焦急地观看人工智能末日时钟的倒计时。

第一次核实验时一些人担心核裂变会导致失控的连锁反应，从而摧毁整个地球。

“当我与人工智能领域的领先研究人员交谈时，他们实际上将此时称为他们的‘奥本海默时刻’”，诺兰说。“他们期待奥本海默的故事告诉大家，‘好吧，科学家在开发可能产生意外后果的新技术时应当承担什么责任？’”

与诺兰一起接受采访的理论物理学家卡洛·罗维利（Carlo Rovelli）表示，《奥本海默》提出的问题“不仅与40年代有关，也与普遍的科学家道德有关。它们是当今紧迫的问题”。

在诺兰和罗维利看来，奥本海默的焦虑具有当代的政治和道德意义。当20世纪40年代和50年代的科学家和政策制定者逐渐认识到，他们所利用的力量可能会导致人类物种层面的灭绝时，他们的后继者面临的是同样充满危险和令人费解的人工智能的出现。

人工智能和核武器之间的相似之处甚至有点令人毛骨悚然。OpenAI首席执行官山姆·阿尔特曼（Sam Altman）在接受《纽约时报》采访时透露，他与奥本海默同一天生日。

在同一采访中，他还将自己的公司与曼哈顿计划进行了比较，称美国在二战期间制造原子弹的努力是与他的 GPT-4规模相当的项目（GPT-4是一种功能强大、性能接近人类水平的人工智能系统），并补充说，它也媲美“我们渴望的雄心水平”。

就在2023年3月，在接受卡拉·斯威舍（Kara Swisher）的播客采访时，阿尔特曼似乎在向他心目中的英雄奥本海默致敬，断言 OpenAI必须向前迈进，才能利用这项革命性的技术，“我们认为，它需要在世界上持续部署”。

就像核裂变的发现一样，人工智能的发展势头太猛，无法阻挡。看起来净收益大于危险。换句话说，市场想要什么，就会有什么。这意味着机器人士兵和基于面部识别的监控系统等工具可能会以创纪录的速度推出。

4月，美国民主党和共和党的四名参议员联合提出一项议案《阻止自主人工智能进行核发射法案》（Block Nuclear Launch by Autonomous Artificial Intelligence Act），禁止允许 AI 或没有人类控制的自主系统作出发射核武器的决策。

参议员爱德华·马基（Edward Markey）在新闻稿中称，我们生活在一个日益数字化的时代，需要确保人类而不是机器人掌握着指挥、控制和发射核武器的权力。

他的说法得到了凯·伯德（Kai Bird）的支持，伯德是奥本海默传记《美国普罗米修斯》（American Prometheus: The Triumph and Tragedy of J. Robert Oppenheimer，2005）的合著者，而诺兰的电影就是根据这部获得普利策奖的传记改编的。

伯德在一份声明中表示：“人类在核时代之初错过了避免核军备竞赛的重要机会，这场核军备竞赛使我们几十年来一直处于毁灭的边缘。”而今天，“我们面临着一种新的危险：战争的自动化程度不断提高。我们必须阻止人工智能军备竞赛”。

这一年当中，领先的科学家、工程师和创新者们不断声明，向充满竞争的世界释放人工智能技术实在是太危险了。

5月，超过350名技术高管、研究人员和学者签署了一份声明，警告人工智能带来的存在危险（existential danger）。签署人警告说：“降低人工智能带来的灭绝风险，应该与降低流行病和核战争等其他社会规模的风险一样，成为全球的优先事项。”

在此之前，埃隆·马斯克（Elon Musk）和苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）等人签署了另一封备受瞩目的公开信，呼吁暂停开发先进的人工智能系统六个月。他们声称，人工智能开发人员“陷入了一场失控的竞赛，开发和部署更强大的数字思维，没有人——甚至是它们的创造者——能够对其加以理解、预测或可靠地控制。”

暂停并没有发生。如今，人工智能已经推动了一些惊人的应用，同时也带来了一些可怕的可能性。如公开信所指责的，就连先进技术平台的创建者也不了解它们是如何工作的。而且，就像任何技术一样，一旦人工智能取得了进展，就不能再将其束之高阁。

大灭绝的恐慌又出现了。但这一次，历史与科幻相遇，感觉更像是现实世界的新闻。

▁▂▃▄02▄▃▂▁

☞人类再次担心一种新技术会威胁未来

7月，除了诺兰的《奥本海默》，还有一部新上映的电影提醒我们，人类有能力创造破坏力，但却不善于控制它。

《奥本海默》讲述了一位被誉为“原子弹之父”的科学家所面临的道德冲突；汤姆·克鲁斯（Tom Cruise）主演的《碟中谍7：致命清算（上）》（Mission: Impossible–Dead Reckoning Part One）则暗示，人工智能是威胁人类的敌人。

人工智能带来的困境与开发大规模杀伤性武器并不全然相同，但确实同样指向某种存在焦虑，一种永久性的精神负担，以及更深层次的恐惧：感觉宇宙的平衡发生了变化。即使抛开这些精神因素，分析家也相信，人工智能威胁到了现实世界中的民主。

例如：

人工智能也许会被用来制造高度定制和有针对性的错误信息，破坏民主和知情决策；

可能造成更大的权力集中，因为大科技公司、政治行为体或少数几个拥有开发或控制这些复杂系统资源的人创建并掌握着巨型人工智能平台，这种集中可能导致对人类生活产生深远影响的决策和行动，然而它们却被具有特定利益的狭隘群体所控制；

人工智能模型的运作缺乏透明度，也可能导致意外后果发生；

由于输入数据存在缺陷或偏见，在不同人群中造成并巩固新型伦理问题或其他偏见；

由于数据泄露以及大量用户私人数据的集中和使用，导致隐私受到侵犯。

从更长远的情况来看，过度依赖人工智能，或可导致人类创造力和批判性思维能力丧失；

机器学习系统的技术用途多样且广泛，正如 OpenAI 的 ChatGPT 的推出所表明的那样，随着人工智能工具变得更加复杂和强大，整个行业和职业都可能消失；

致命自主武器（LAWs，lethal autonomous weapons）作为一种自主军事系统，可以根据编程的约束和描述独立搜索和攻击目标，在空中、陆地、水上、水下或太空中运用，模糊了谁应对特定杀戮负责的界限；

而从存在风险（existential risk）的角度出发，人类之所以能够统治其他物种，是因为人类大脑拥有其他动物所缺乏的独特能力。如果人工智能在一般智能方面超越人类，成为超级智能，那么它就会变得难以控制或无法控制。正如山地大猩猩的命运取决于人类的善意，人类的命运也可能取决于未来机器超级智能的行动。

在这种情景下，人工智能将成为地球上最主要的智能形式，计算机程序或机器人将有效地从人类手中夺走地球的控制权，此一假设的情景称为“人工智能接管”（AI takeover）。

当人工智能的建设者描述其工作潜在的存在风险时——就像曼哈顿计划的科学家们思考第一次核试验会点燃大气层的可能性——很难知道他们是不是在满足自我、夸大自己的成就或者转移自己（以及我们）对更直接威胁的注意力。

人们也很难不去想：如果他们担心人工智能会毁灭人类，为什么一些人工智能研究人员不仅如此努力地构建它，而且几乎在任何可以部署的地方都部署它。

对人工智能持强烈批评态度的人说风险警告不过是人工智能公司的一种营销形式，有点像是对最新跑车的鼓噪：“看看我的酷车！它跑得真快！你不会想开这么快又这么危险的汽车吧？”

不过，我认为更严肃的答案是，从事这项工作的科学家们一方面认为，人工智能的好处是实实在在的（比如更好的医疗保健），另一方面也相信，在我们学习如何开发、使用这项变革性技术并与之共存的过程中，也有可能引发社会、政治和经济动荡，甚至造成毁灭性后果。

当然，人工智能潜在的灾难性风险与原子裂变和聚变所代表的灾难性风险无法直接划等号，其开发和部署的环境和动态也非常不同。

然而，正如电影《奥本海默》如此巧妙地描绘的那样，强大技术的发展轨迹与人类的权力动态、政治走势和个人信仰深深地交织在一起。这其中很关键的是走在前沿的科学家的态度。

▁▂▃▄03▄▃▂▁

☞我们走得太快，也许会走到相反的方向上

2023年5月，杰弗里·辛顿（Geoffrey Hinton），一位在人工智能领域与奥本海默在理论物理学领域一样杰出的人物，辞去了在谷歌的职位。

辛顿在人工神经网络领域的开创性工作促使谷歌收购了他与两名学生创办的公司。在为这家科技巨头工作了十多年之后，他对这项技术有了新的想法，辞职是为了更自由地谈论他对人工智能及其快速发展的担忧。

这位常被称为“人工智能教父”的科学家警告说，生成式人工智能的自我学习能力超出了人们的预期，可能会对人类文明构成“存在威胁”。

人工智能或许会变得超级智能，制定自己的目标，并创造出如此之多的深度伪造品，我们将不再知道什么是真实的。至于消灭人类？“这并非不可想象，”辛顿在一次采访中这么说。

直到最近，辛顿还认为我们需要二到五年的时间才能拥有通用人工智能（general-purpose AI）——它具有广泛的可能用途，无论是有意的还是无意的——但谷歌和OpenAI的开创性工作意味着，人工智能系统以接近人类认知的方式学习和解决任何任务的能力已近在眼前，并且在某些方面已经超越了人脑。

辛顿说：“看看五年前的情况和现在的情况，想想其间的差异并将它们再向前推进。这太可怕了。”

显然，辛顿对自己毕生工作的价值产生了怀疑。但该如何解释他为何如此深地卷入人工智能研究呢？

辛顿不得不诉诸某些普罗米修斯式的内疚。他引用了奥本海默自己对为什么选择研发原子弹的解释：“当你看到一些技术上很甜蜜的东西时，你就会继续去做。”（“技术上太甜蜜了”是奥本海默的一个著名说法。）在另一个场合，他告诉《纽约时报》：“我用一个正常的借口来安慰自己：如果我不做，别人也会做的。”

理查德·罗兹（Richard Rhodes）所著的《原子弹出世记》（The Making of the Atomic Bomb，1985），是关于曼哈顿计划的详细记录，人工智能界当中有许多人都在阅读。

当我开始读这本书时，我立刻被一开头奥本海默的一句话所震惊：“科学中深奥的东西不是因为有用而被发现的，这是一个深刻而必然的真理；它们被发现是因为有可能发现它们。”

这说明，奥本海默相信科学和技术有其自身的必要性，无论科学家能发现或做到什么，那些东西都会被发现和完成。

其实，作为一种文化，我们已经开始回到曼哈顿计划——也许可以说，我们在利用曼哈顿计划及其后果作为处理当下的一种方式。

我们生活在奥本海默和他的团队所开辟的世界中，那个世界似乎最终会由某个人或某些群体创造，无论他们是美国、德国还是苏联的科学家。

原子弹带领人类历史进入新阶段，我们拥有了以前为众神保留的力量。从那以来，许多人一直被迫思考世界末日的问题。

今天，世界末日的感觉并非重来，实际上是始终未曾离去；真正的问题不在于你是否感觉世界正在终结，而在于你认为世界将如何终结、为何终结，以及你为此打算采取什么措施。

聆听当今发明家的声音——尤其是在人工智能闪电般的“军备竞赛”中，这种竞赛也是以获得地缘政治优势为前提的——你可以感受到同样的宿命论和必然性的强烈气息，以及它所暗示的所有模糊的责任。

在一系列全球人工智能的“曼哈顿计划”中，越来越多的研究人员（辛顿只是其中的一个举足轻重的发言者）一直在试图提醒世界，发明不是凭空出现的；它是一种自然现象。它是由某些人出于某些用途而完成的。

如果你曾对人类和现实世界有所了解，你就会知道，这些用途往最好了说也是喜忧参半。辛顿承认：“你很难看出如何防止坏人利用人工智能干坏事。”

在罗兹看来，原子弹最重要的教训是，你可能会制造出一种世界末日武器，但最终却成为一种有缺陷的不稳定和平的媒介。我们已经有了一个岌岌可危的核发射系统，在相互确保摧毁（mutually assured destruction）的前提下，大国领导人只需几分钟时间就能决定是否在感知到攻击来袭的情况下发射核武器。

由人工智能驱动的核发射系统自动化可能会取消“人在回路中”的做法——这是确保计算机智能错误不会导致核战争的必要保障，而核战争已经多次险些发生。

到目前为止，相互确保摧毁的效果还不错，但这和其他任何事情一样都是好运的产物。事实完全可能恰恰相反：一种旨在延续人类繁荣的工具可能会带来灭顶之灾。

因此，对人工智能的真正恐惧在于，我们正走在一条尚未确定的道路上，而我们走得太快，创造出的系统可能与其预期目的背道而驰：生产力工具最终会毁掉工作；合成媒介最终会模糊人造与机造、事实与幻觉之间的界限；军事自动化竞赛旨在提高决策者在日益复杂的世界中作出反应的能力，但却可能导致冲突失控。

罗兹在谈到人工智能的崛起时说：“最令人不安的是，社会将没有多少时间来吸收和适应它。”

人们对人工智能的与日俱增的焦虑，并不是因为无聊但可靠的技术可以自动完成我们的电子邮件或指导扫地机器人躲避客厅中的障碍物。令专家们担忧的是通用人工智能的崛起。这种智能目前尚不存在，但一些人认为ChatGPT快速增长的功能表明，它的出现已经不远了。

阿尔特曼将通用人工智能描述为“通常比人类更聪明的系统”。构建这样的系统仍然是一项艰巨的任务，有人认为它是不可能的。但好处似乎确实很诱人。

这里就要说到人工智能技术与核技术最重要的区别。

人工智能本身可能成为经济学家所说的通用技术，而核裂变则是一种非常专业的技术。核能改变了我们获取能源的方式，但它并没有改变很多其他方面。而人工智能看起来更像是电力、电话或互联网，周围的一切都会随着技术的出现而改变。在某些方面，这使得人工智能更难监管，因为它越有用，我们就越不可能想要压制它。

新兴的通用人工智能游说团体鼓吹说，在保障安全的前提下，通用人工智能将是文明的福音。阿尔特曼堪称这场倡导活动的代言人，他认为，通用人工智能可以推动经济发展，亦可促进科学知识的发展，并“通过增加财富来提升人类水平”。

我们或许可以把阿尔特曼这样的人称为“通用人工智能主义者”，他们和新自由主义者有个共同的特点，认为公共制度缺乏想象力，且生产力低下。

因此，所有的公共制度都应努力适应通用人工智能，或者，至少按照阿尔特曼的说法，加快适应。他表示，他对“我们的制度适应的速度”感到紧张——这是“我们为什么要开始部署这些人工智能”的部分原因。“系统一早就启用，尽管它们确实很弱，然而这样人们就有尽可能多的时间来做这件事。”

但制度只能适应技术吗？它们不能制定自己的变革议程来提高人类的智力吗？难道我们应用制度只是为了减轻硅谷自身技术的风险？

与科学家担心不受控制的核裂变类似，人工智能研究人员现在正在努力化解他们的创造物可能逃脱控制的担忧。

如果人工智能没有及时得到很好的监管，科学家们也许只能在为时已晚的时候才后悔自己的仓促发展——就像奥本海默在四分之三个世纪前所做的那样。

当有人不断声称人工智能会带来类似核武器的灭绝风险时，似乎是在将人工智能与杀死成千上万人的东西相提并论，从而给人工智能蒙上了一层负面的色彩。这种比较是否过激了呢？

我想说，必须承认，现实总是比我们的技术想象更刺激。回首2023 年，我们面临着不祥的发明和困境——挥之不去的病毒、炎热的气候、危险的人工智能、赤裸裸的核战争威胁——现实仿佛一部恐怖电影，我们就生活在其中。

所以，今天你问“原子弹合理吗？”，它不是一个好问题，因为那只会引发你一遍又一遍看到同样的论点——制造原子弹是合理的，因为德国人正在尝试这样做；使用原子弹是合理的，因为它结束了战争，并向世界展示了其可怕的破坏力；制造更多更好的核弹是合理的，因为它们可以起到威慑作用，并使再次使用它们变得更加困难。

但如果你问，“你认为在什么情况下可以接受美国故意活活烧死 10 万平民？”这是一个非常丑陋的问题，对吧？它真的会让你进入非常黑暗的领域。而我们就应该这样提问，因为它让你摆脱熟悉的理由，即使问的实际上是同一个问题。

归根结底，在人工智能的“奥本海默时刻”，我们将被迫深深地思考：当我们的发明独立于我们而自主运作、当它们的行为不可预测、当它们的内部运作甚至对它们的创造者来说也是一个谜时，人类的责任意味着什么？