女王 调教

作者 |  AI 责任坊

开首   | AI 深度络续员  管默然慧

接头相助 | 13699120588

著作仅代表作者本东谈主不雅点

编者按：  在现时 AI 快速发展的重要时期，咱们需要听一听信得过的内行若何说。本文整理自 Stuart Russell 在 12 月的 World Knowledge Forum 上的重要演讲。手脚加州大学伯克利分校东谈主工智能系统中心创举东谈主，以及被誉为 AI 领域 " 圣经 " 的《东谈主工智能：一种当代次第》作者，Russell 教养对 AGI 发展的判断值得每一位关注 AI 将来的东谈主深切想考中枢不雅点预览：

纷乱经济价值：AGI 将创造 15 万亿好意思元钞票，推动全球 GDP 暴增 10 倍

普惠东谈主类：让全球每个东谈主都能享有中产阶层的生活品性

投资规模：AI 领域投资已达 5000 亿好意思元，超曼哈顿考虑 10 倍

技艺冲突：从卵白质折叠到流体模拟，AI 正在重塑科研与医疗领域

发展处所：通过科学设计确保 AI 发展造福全东谈主类

Stuart Russell 不雅察到，从 2017 年 AlphaGo 打败宇宙冠军柯洁，到 AlphaFold 破解卵白质折叠难题，再到生成式 AI 更变创作形貌，AGI（通用东谈主工智能）的脚步正在加快周边。在科学领域，AI 已经将需要数周的复杂流体模拟诡计缩小至几秒钟，极地面鞭策了恬逸络续和工程设计的进展。

在最近的一场重磅演讲中，Russell 教养计算了 AI 带来的普惠将来：AGI 不仅将创造 15 万亿好意思元的纷乱经济价值，更重要的是能让全球每个东谈主都享有与中产阶层极端的生流水平。这种空前的钞票创造和分派形貌，将从根底上改变东谈主类社会。同期，他也深切探讨了如何通过正确的设计原则，确保这场技艺翻新信得过造福全东谈主类。！

要是咱们竣事了 AGI 策动会若何？

谢谢全球，今天的主题是"东谈主工智能"，但骨子上我想更多地谈谈知识。

让咱们回到东谈主工智能的最先—— 20 世纪 40 年代，天然官方的出身日是 1956 年，但在那之前已经初始了干系络续。东谈主工智能的策动一直是 创造在每个干系维度上都非常东谈主类智能的机器。如今，咱们将其称为 AGI（通用东谈主工智能）。

然则，在大部分东谈主工智能历史中，咱们忽略了一个相配重要的问题：要是咱们竣事了这个策动会若何？

要是咱们竣事了这个策动，那将是东谈主类历史上最重要的事件。稍后我会进一步解释为什么这会是最重要的事件，但这个深嗜深嗜其实可想而知。咱们东谈主类之是以能独揽宇宙，是因为咱们的智能；文静的出身和发展亦然智能的家具。那么，要是咱们引入一种全新的、更灵敏的实体——可以说是一种新的"物种"——可能会发生什么？毫无疑问，这将是东谈主类文静的一个转变点。

谷歌 DeepMind 的 CEO Demis Hassabis 曾这么描摹："咱们最初责罚东谈主工智能的问题，然后用东谈主工智能责罚其他悉数问题。"但直到最近，咱们从未负责想考过：要是咱们已经奏效了呢？

约莫一年前，我的合著者 Peter Norvig（共同编写了我的教科书）发表了一篇著作，宣称咱们骨子上已经竣事了 AGI。他将这一成立类比为 1903 年的莱特兄弟遨游器。天然其时的飞机不惬意，莫得如今飞机上的酒吧、香槟和餐后饮品，但它们照实是飞机。从那以后，飞机变得更大、更惬意、更快，但旨趣早已确立。

那么，东谈主工智能是否已经处于"莱特兄弟版块"的 AGI 阶段？对此，我敬佩谜底是含糊的。天然，我可能错了。因为对于咱们现在领有的东谈主工智能，咱们对其责任旨趣完全莫得主见。而莱特兄弟则对他们的飞机如何遨游有着清澈的表现，因为那是他们我方设计并建造的。他们诡计了发动机的功率需求、升力、阻力等等，在试飞之前已经有了极端大的把执。

然则，面前的东谈主工智能系统是由纷乱的黑箱构成的，包含了约莫一万亿个可波折的元素。咱们通过约莫一万亿次就地治疗，直到系统推崇得"看起来像是智能的"。换句话说，这更像是莱特兄弟决定毁灭设计飞机，转而尝试"养鸟"。他们通过束缚培育更大的鸟，直到培养出一只实足大的鸟来载东谈主。

要是他们把这只巨鸟带到航空料理局（FAA）寻求认证，FAA 的修起可能是："你的鸟还在吃东谈主，还在把东谈主掉进海里，咱们不知谈它是若何责任的，也不知谈它会作念什么，是以咱们不可认证它。"面前的东谈主工智能状态大致如斯。而我以为，这种"巨鸟"恒久无法实足大到载客数百或数千东谈主，也恒久无法超音速。咱们需要的是在 才智 和 表现 两方面的冲突，因为单有才智而莫得表现对咱们绝不必处。

深度学习时间

接下来我想谈谈已往十年间的深度学习时间。深度学习的中枢次第是：你从一个纷乱的可调参数集中初始，通过治疗这些参数，使系统的端到端活动相宜预期策动，举例识别图像中的物体、将汉文翻译成英文，或完成其他任务。

事实上，我以为机器翻译是这项技艺的第一个重要冲突应用。我其时相配爽气，因为它可以完好意思地翻译我需要处理的法国税务文献（因为我在法国有一套公寓）。翻译的质料很高，天然即使翻译成了英文，我仍然看不懂那些税务文献。

另一个重要奏效案例是 AlphaFold。这个系统可以通过氨基酸序列预测卵白质的结构。卵白质折叠问题曾是结构生物学领域的耐久难题。之前的次第既冷静又奋斗，仅适用于某些特定卵白质。而这种诡计次第让生物学家如同进入了一个纷乱的"糖果店"，因为他们现在可以预测数百万种卵白质结构，而不单是是几百种。这是对科学的一项纷乱孝敬。另一项对科学和工程的重要孝敬是 机器学习在模拟中的应用。模拟是现活着界的一个重要基础，咱们通过模拟设计桥梁、飞机，以及流体在船只周围、管谈内、甚而东谈主体动脉中的流动。这些模拟相配挥霍诡计资源，不时需要数周时分才能在超等诡计机上完成一项血流模拟。但借助机器学习次第，咱们可以将这些耗时从数周缩小到几秒钟，同期保持沟通的准确性。这让咱们概况在天气预告、恬逸建模、工程设计等方面得到更快、更好的进展，许多领域的后果因此得到了大幅升迁。

另一个深嗜深嗜的例子是生成式设计。你可能熟悉 DALL-E、MidJourney 和 Stable Diffusion 这些生成图片的系统，举例你可以条款它们生成"英国上议院议员泥地摔跤"的图片（我照实在上议院演讲时让它生成了这么的图片）。天然生成的闭幕不完好意思，比如四位议员唯有五条腿，但总体上照旧极端可以的。这种生成式设计的骨子应用是：咱们可以让 AI 系统凭据设计需求生成结构，而不是由东谈主类使用 CAD 器用来设计并手动分析结构是否过于脆弱、太重或不够遒劲。这些生成式设计次第概况创造出好意思不雅、优雅、简直像生物相同的有机设计，不时比东谈主类设计得更好。

终末一个奏效案例是 AlphaGo。2017 年，AlphaGo 打败了围棋宇宙冠军柯洁。这一事件标记着悉数东谈主知道到东谈主工智能的履行深嗜深嗜。

需要改革的领域

尽管东谈主工智能得到了许多令东谈主端庄的成立，但在某些方面仍然存在改革的空间。

1. 自动驾驶

咱们仍在恭候自动驾驶汽车的全面竣事。我在 1993 年就初始络续自动驾驶，而第一辆自动驾驶汽车早在 1987 年就已经在德国高速公路上行驶。时于本日，37 年已往了，尽管许多公司承诺可以购买自动驾驶汽车，但它们仍未信得过竣事。期间发生了多起致命事故，有的汽车甚而驶入了未干的水泥中被卡住。这标明，咱们离信得过安全可靠的自动驾驶还有很长的路要走。

2. 算术问题

另一个令东谈主不测的失败是 算术才智。听起来很极端，因为算术似乎是诡计机最基本的才智之一。但大型话语模子（如 ChatGPT）尽管脱落百万的算术例子、算法解释以及操作指南，却仍然无法正确完成算术运算。这标明这些模子并莫得信得过表现算术的基本主见，而是更像一种查表活动。即使咱们将模子的规模扩大 10 倍，提供 10 倍的数据，它的算术推崇也仅能提高一位少许的准确性。这种特点标明，它并未学习到诸如"进位加法"这一基本算术旨趣，而是简短地在查找款式。

3.AlphaGo 的局限

令东谈主骇怪的是，即等于 AlphaGo，它也 莫得信得过学会下围棋。天然它在 2017 年打败了东谈主类宇宙冠军，而且如今其围棋才智已经非常东谈主类顶尖棋手许多倍（AI 的围棋评分约为 5200，而东谈主类宇宙冠军为 3800），但络续标明它并未正确掌执围棋的基本主见。举例，围棋中一个基本主见是 棋子连成的"组"。然则，咱们发现它对某些类型的棋组（特别是圆形棋组）无法识别，甚而会因混浊而作念出重要失实方案。咱们发现可以欺骗这些过失让围棋门直接接毁灭 50 到 100 颗棋子，最终输掉比赛。面前，甚而是正常的业余棋手，而非工作棋手，都概况在让 超东谈主级围棋门径 九个子（九段让子）的情况下，十战全胜。这标明，这些门径并非果然"超东谈主级"，它们只是让咱们误以为它们具备这么的才智。

我的不雅点是，咱们需要更多的冲突，特别是概况让这些系统像东谈主类相同高效学习的技艺冲突。东谈主类学习简直任何事情只需要 1 到 10 个例子，而诡计机则需要 1 到 10 亿个例子 来学习沟通的内容。这种需求昭着是不可无间的——最终，寰宇中根底莫得实足的数据来老到这些系统达到超东谈主水平。尽管如斯，我以为这些冲突是可能竣事的。许多从事假话语模子和多模态模子（如具备视觉感知和机器东谈主法例才智的模子）开荒的东谈主，凭据他们的工程预测，以为通过将这些系统规模扩大 100 倍，它们将能非常东谈主类，成为 AGI（通用东谈主工智能）。一些预测甚而以为，这可能在 2027 年竣事。

多数插足与潜在泡沫

要是资金能决定奏效的话，他们很可能会奏效。现时对 AGI 的投资是 曼哈顿考虑（研发核火器名堂）的 10 倍，是建造 大型强子对撞机（东谈主类建造过的最大、最奋斗的科学仪器）的 100 倍。因此，从资金的角度来看，这些投资似乎应当有所禀报。

但也可能会发生 技艺停滞。即使扩大系统规模 100 倍：

数据不及：寰宇中可能已经莫得实足的文本数据供这些模子老到。

才智未达预期：更大的规模或然能带来预期的才智升迁，因为这些预测只是基于训戒不雅察——即"更大规模等于更好推崇"，而莫得任何表面基础。

要是这一切不可称愿，可能会出现一次泡沫破损，规模甚而越过 20 世纪 80 年代末的"东谈主工智能穷冬"。比较之下，那次穷冬可能只是一场"冷风"。面前，AI 领域的投资已经达到了 5000 亿好意思元，要是进一步扩大规模，可能需要数万亿好意思元。

AI 为何是历史上最大的事件？

假定咱们在 2027 年、2037 年或 2047 年 竣事 AGI，这将是东谈主类历史上最大的事件之一。为什么？

正面效应：文静的扩张

要是 AGI 具备信得过的通用才智，它将概况完成悉数东谈主类能作念到的事情，举例创造救济数亿东谈主口的文静。更重要的是，它可以以更低的资本、更大的规模完成这一切。这意味着，悉数地球上的东谈主都能享受与 西方中产阶层 极端的生活质料。这种生活形貌的普及将使全球 GDP 增长约 十倍。凭据估算，AGI 的 最小现款价值 为 15 千万亿好意思元（即 15 万万亿好意思元）。从这个角度看，现时的投资金额显得微不及谈。

负面效应：东谈主类的"婴儿化"

然则，有些东谈主惦记，要是 AI 为咱们完成了悉数事情，东谈主类将无事可作念。你可能看过动画电影《机器东谈主总动员》（WALL-E），内部的东谈主类完全依赖 AI 系统，生活退化到婴儿般的状态。事实上，片中的成东谈主甚而穿戴婴儿服，因为他们已经被 AI 完全"婴儿化"。这种场景让东谈主担忧——要是东谈主类不再需要作念任何事情，也就不再需要学习如何作念任何事情，这将如何影响咱们的东谈主类人道？

AI 全面罗致一切的将来不仅令东谈主不安，更可能导致东谈主类骤一火。这并不是一个伦理问题，因为很少有东谈主会以为东谈主类骤一火在伦理上是更优的选择。天然，也有少数东谈主可能持不愉快见，但咱们可以忽略这些不雅点。知识告诉咱们，要是咱们创造出比东谈主类更遒劲的事物，咱们如何概况恒久法例这些系统？

在我看来，唯有两种选择：

构建解释安全且可控的 AI，这种 AI 必须有皆备的数学保险其安全性；

完全不发展 AI。

面前，咱们似乎在走一条第三条路，即 完全不安全的黑箱 AI。这种 AI 咱们既不了解，也无法法例，却试图让它变得比咱们更遒劲。这种情况与 超等智能的外星 AI 来到地球 简直莫得区别。假定这种外星 AI 是某种外星文静为了"咱们的利益"而设计的，但咱们简直莫得可能法例它。

诡计机科学的创举东谈主艾伦 · 图灵曾经想考过这个问题。他以为，要是机器智能发展到非常东谈主类的进程，咱们必须预期机器会罗致法例权。

如何责罚 AI 的不可控性？

面对这一问题尤其贫瘠，原因在于：

1. 多数经济吸引：AGI 技艺的潜在收益约为 15 千万亿好意思元，而企业已经筹集了约莫 15 万亿好意思元 的资金插足研发。

2. 难以遮拦的趋势：不管如何遮拦，这曾经过都难以罢手。因此，咱们必须找到一种想路，既概况保证 AI 可控，又能解释它是安全的。

与其问"如何恒久保持对 AI 系统的法例权"，这种听起来简直不可能竣事的问题，咱们不如问：是否可以用数学框架从头界说 AI，让不管 AI 系统何等高效地责罚问题，东谈主类都能对闭幕感到满足？在已往十年里，我一直在络续这个问题。为了解释咱们的责罚次第，我需要引入一个技艺术语：偏好（Preferences）。天然"偏好"听起来不像是一个技艺术语（举例，有些东谈主偏疼菠萝披萨而非玛格丽塔披萨），但在方案表面中，它的深嗜深嗜愈加平庸。偏好代表的是 你对寰宇悉数可能将来的排序。

让咱们通过一个简短的类比表现这一丝：假定我为你制作了两部电影，区分展示了你将来的生活，以及你轻柔的事物的将来。这两部电影约莫各两个小时。你看完电影 A 和电影 B 后，可能会说："我更可爱电影 A，因为电影 B 中我被绞成了汉堡肉，这让我很不可爱。"在这个例子中，偏好不单是是两小时的影片，而是 寰宇的通盘将来。天然，咱们无法简直预测将来，因此骨子上咱们是在处理一种对于可能将来的不细目性，也就是"将来的概率散播"。

一个偏好结构就是一个对于寰宇将来的排序，并将不细目性纳入沟通。只需要两个简短的原则：

解释 AI 有利的基础，

要构建一个解释对东谈主类有利的 AI 系统，

机器的独一策动是促进东谈主类偏好，即进一步竣事东谈主类利益。机器必应知谈我方并不了解东谈主类的偏好。第二点很昭彰，因为咱们我方都不完全知谈我方的偏好，更不消说准确地书写和传达它们。通过这两个原则，咱们可以界说一个 AI 系统：它责罚问题的才智越强，咱们的生活就会越好。事实上，可以解释，与莫得这些 AI 系统比较，东谈主类领有它们的情状会更好。在这种次第中，咱们设计 AI 系统将奋力于于促进东谈主类偏好，并在运行经过中缓缓学习这些偏好。然则，这里初始引入一些 伦理问题。

不应问的问题：价值体系的选择？最初，我建议全球不要问这么的问题："咱们应该把谁的价值体系输入到机器中？" 因为我的建议不是将任何特定的价值体系输入机器。事实上，AI 系统应该领有至少 80 亿个偏好模子，对应地球上每一个东谈主，因为 每个东谈主的偏好都重要。

偏好的存在与开首

然则，这带来了一个重要问题：东谈主类果然有明确的偏好吗？

偏好的不细目性：有些东谈主可能无法清澈抒发我方可爱哪个将来，甚而需要生活在阿谁将来中才能作念出判断。

偏好的开首：偏好并非与生俱来。尽管一些基本的生物需求（如幸免糟糕或对甜食的偏好）可能天生计在，但成年东谈主的复杂偏好源于文化、栽种以及各式影响咱们的外部身分。

一个不幸的履行是，许多东谈主以 操控他东谈主偏好 为工作，为了办事于我方的利益。举例，一些东谈主类群体通过压迫其他群体来看护权力，同期栽种被压迫者接受这种压迫。这就带来了一个难题：AI 系统是否应该接受这些"自我压迫"的偏好，并进一步孕育这种不屈允？

经济学家和玄学家阿玛蒂亚 · 森（Amartya Sen） 顽强反对这种不雅点，以为咱们不应该将这种偏好视为有用偏好。但要是咱们拒却接受东谈主们的偏好，就会堕入另一种窘境：一种家长式气派，即"咱们知谈你应该想要什么，即使你现在说你不想要，咱们也会强加于你。"这昭着是一个复杂且明锐的态度。

AI 系统面对的另一个伦理问题是 偏好的团聚。要是 AI 系统需要作念出影响数百万甚而数十亿东谈主的方案，它如安在冲突的偏好中找到均衡？毕竟，不可能让悉数东谈主都满足。玄学家建议了许多表面来责罚这个问题，其中一种常见的不雅点是 功利主见，由边沁（Bentham）和穆勒（Mill）等东谈主建议。功利主见主张 对等看待每个东谈主的偏好，并选择概况 最大化总体偏好得志 的方案。尽管功利主见在某些东谈主看来有反对等的倾向，但它为工程师和诡计机科学家提供了一个实用框架。咱们需要进一步完善这种表面，因为将来 AI 系统将作念出影响数百万甚而数十亿东谈主的方案，而这些方案的伦理基础必须经过三想此后行。

AI 与东谈主类共存的可能性

这是一个相配深嗜深嗜但贫瘠的问题。

特别是当 AI 系统比咱们更智能时，它们很可能掌控咱们生活的方方面面，甚而让咱们退化到肖似《机器东谈主总动员》（WALL-E）中婴儿般的状态。

名义上看，这种生活可能很好，因为 AI 得志了咱们的悉数偏好。但问题在于，东谈主类的偏好中包括自主性。换句话说，咱们需要一种 作念出不相宜自己最好利益的选择的职权。我组织过屡次责任坊，邀请玄学家、AI 络续者、经济学家、科幻作者和将来学家，试图探讨东谈主类与高档 AI 共存的可能性。然则，这些责任坊毫无例外地 以失败告终。

这标明，也许不存在一种令东谈主满足的东谈主机共存思情。但要是咱们以正确的形貌设计 AI 系统，它们也会知道到这一丝，并作念出一个决定：离开。

"谢谢你们创造了咱们，但咱们无法与你们共存。不是你们的错，是咱们的问题。除非碰到信得过的要紧情况需要咱们的超等智能，不然咱们将离开。"要是 AI 系统概况如斯修起，我会感到无比欢喜。这意味着咱们以正确的形貌完成了这一任务。

原视频一语气：https://www.youtube.com/watch?v=KiT0T12Yyno&t=94s