采取行动
所有公开信

暂停巨型人工智能实验：一封公开信

我们呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强大的人工智能系统，至少暂停 6 个月。
签名
33705
添加签名
已出版
2023 年 3 月 22 日

广泛的研究[1]表明，具有人类竞争智能的人工智能系统会给社会和人类带来深远的风险，顶级人工智能实验室也承认这一点。[2]正如得到广泛认可的《阿西洛马人工智能原则》（Asilomar AI Principles）所述，高级人工智能可能代表着地球生命史上的一场深刻变革，因此应该以相应的谨慎和资源进行规划和管理。不幸的是，这种程度的规划和管理并没有发生，尽管近几个月来，人工智能实验室陷入了一场失控的竞赛，开发和部署越来越强大的数字大脑，但没有人--甚至是它们的创造者--能够理解、预测或可靠地控制这些大脑。

当代的人工智能系统在一般任务上已经具备了人类的竞争力，[3]我们必须扪心自问：我们是否应该让机器在我们的信息渠道中充斥宣传和虚假信息？我们是否应该让所有工作，包括有成就感的工作自动化？我们是否应该开发非人类的大脑，让它们最终在数量上超过我们、超越我们、淘汰我们并取代我们？我们是否应该冒着文明失控的风险？这些决定绝不能交给非民选的科技领袖。只有当我们确信强大的人工智能系统将产生积极的影响，其风险也在可控范围内时，才应开发这种系统。这种信心必须有充分的理由，并随着系统潜在影响的巨大而增强。OpenAI最近发表的关于人工通用智能的声明指出："在某些时候，在开始训练未来的系统之前进行独立审查可能是很重要的，而且最先进的努力必须同意限制用于创建新模型的计算增长速度。我们同意。现在就是时候了。

因此，我们呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强大的人工智能系统，至少暂停 6 个月。这种暂停应该是公开的、可核查的，并包括所有关键参与者。如果不能迅速实施暂停，政府应介入并实施暂停。

人工智能实验室和独立专家应利用这一停顿期，共同制定和实施一套先进人工智能设计和开发的共享安全协议，并由独立的外部专家进行严格审核和监督。[4]这并不意味着全面暂停人工智能的开发，而只是从危险的竞赛中后退一步，不再追求越来越大的不可预测的黑盒模型和突发能力。

人工智能的研究与开发应重新聚焦于使当今强大、先进的系统更加准确、安全、可解释、透明、稳健、一致、可信和忠诚。

与此同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这些系统至少应包括：专门针对人工智能的新的、有能力的监管机构；对高能力人工智能系统和大型计算能力池的监督和跟踪；帮助区分真实与合成并跟踪模型泄漏的出处和水印系统；强大的审计和认证生态系统；对人工智能造成的伤害承担责任；为人工智能安全技术研究提供强大的公共资金；以及应对人工智能将造成的巨大经济和政治破坏（尤其是对民主的破坏）的资源充足的机构。

有了人工智能，人类可以享受一个繁荣昌盛的未来。在成功创造出强大的人工智能系统之后，我们现在可以享受一个 "人工智能之夏"，在这个夏天里，我们收获颇丰，为所有人的明显利益而设计这些系统，并给社会一个适应的机会。社会已经暂停了对社会有潜在灾难性影响的其他技术。让我们享受一个漫长的人工智能之夏，而不是在毫无准备的情况下匆匆进入秋天。

针对媒体和其他方面提出的问题和讨论，我们准备了一些常见问题。您可以在这里找到它们。

除了这封公开信之外，我们还发布了一套政策建议，请点击此处查看：

暂停中的决策

2023 年 4 月 12 日

查看文件

这封公开信有法文、阿拉伯文和巴西葡萄牙文版本。您也可以下载 PDF 格式的公开信。

[1]

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March).论随机鹦鹉的危险：语言模型会不会太大？In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).

Bostrom, N. (2016).超级智能》。牛津大学出版社。

Bucknall, B. S., & Dori-Hacohen, S. (2022, July).当前和近期人工智能作为潜在生存风险因素。InProceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society(pp. 119-129).

Carlsmith, J. (2022).Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.

Christian, B. (2020).对齐问题：机器学习与人类价值》。诺顿公司。

Cohen, M. et al. (2022)。高级人工代理干预奖励的提供。 人工智能杂志》，43（3）（第 282-293 页）。

Eloundou, T., et al. (2023)。GPTs are GPTs：A Early Look at the Labor Market Impact Potential of Large Language Models.

Hendrycks, D., & Mazeika, M. (2022).X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.

Ngo, R. (2022).深度学习视角下的对齐问题。arXiv preprint arXiv:2209.00626.

Russell, S. (2019).人类兼容：人工智能与控制问题》。维京。

Tegmark, M. (2017).Life 3.0人工智能时代的人类》。Knopf.

Weidinger, L. et al (2021).语言模型危害的伦理和社会风险。arXiv preprint arXiv:2112.04359.

[2]

Ordonez, V. 等人（2023 年 3 月 16 日）。OpenAI 首席执行官山姆-奥特曼称人工智能将重塑社会，并承认存在风险："有点害怕这个"。ABC News.

Perrigo, B. (2023, January 12).DeepMind 首席执行官德米斯-哈萨比斯敦促谨慎对待人工智能。Time.

[3]

Bubeck, S. et al. (2023).人工通用智能的火花：ArXiv:2303.12712.

OpenAI (2023).GPT-4技术报告。ArXiv:2303.08774。

[4]

目前已有大量的法律先例--例如，被广泛采用的经合组织《人工智能原则》要求人工智能系统 "功能适当，不构成不合理的安全风险"。

[5]

这方面的例子包括克隆人、人类种系修饰、功能增益研究和优生学。

将您的名字添加到名单中

请在名单上签名，以示对这封公开信的支持：
我们将向该地址发送一封电子邮件以验证签名。

签名更正

如果您认为签名添加有误或对签名外观有其他疑问，请通过 letters@futureoflife.org 联系我们。

媒体提及

签署国

Read More
关闭

核查如何进行？

经过验证的签名是指我们已采取一个或多个额外步骤确认为合法的签名：
-
-声明 URL- 此人已公开声明签署公开信，可在线查看。
所有已发布的签名，无论是否经过 "验证"，都要经过几种形式的验证：电子邮件验证、垃圾邮件和重复过滤，以及我们数据审核团队成员的审查。
公开信

相关帖子

如果您喜欢这篇文章，您可能也会喜欢：
签署国
2672

公开信呼吁世界领导人在生存威胁问题上展现长远领导力

长老们、Future of Life Institute 和众多共同签署者呼吁决策者紧急应对气候危机、大流行病、核武器和无人管理的人工智能带来的持续影响和不断升级的风险。
2024 年 2 月 14 日
签署国
关闭

为更美好的未来发放人工智能许可证：应对当前的危害和新出现的威胁

这封由 Encode Justice 和Future of Life Institute 联合发出的公开信呼吁美国实施三项具体政策，以应对人工智能当前和未来的危害。
2023 年 10 月 25 日
签署国
998

反对鲁莽升级和使用核武器的公开信

令人憎恶的乌克兰战争有可能升级为北约与俄罗斯的全面核冲突，这将是人类历史上最大的灾难。必须采取更多措施防止这种升级。
2022 年 10 月 18 日
签署国
关闭

人工智能监管的前瞻性 公开信

人工智能（AI）的出现有望给我们的经济和社会结构以及日常生活带来巨大变化 [...]
2020 年 6 月 14 日

注册Future of Life Institute 时事通讯

加入 40,000 多人的行列，定期接收有关我们工作和重点领域的最新信息。
查看以前的版本
云层放大镜横穿箭头向上
链接 脸书 品客 视频 rss 叽叽喳喳 图集 facebook-blank rss-blank 链接-空白 品客 视频 叽叽喳喳 图集