关于人工智能的常见问题

Click here to see this page in other languages:  English  German Japanese    Korean   Russian 

问：FLI发表的“迈向强大和有益人工智能的优先考量研究方案”公开信是由谁构想和撰写的？

答：公开信是生命未来研究所（特别是FLI创始人,伯克利AI学者和FLI咨询委员会成员-Stuart Russell ）与AI研究界（包括多个签署方）合作的倡议。

问：这封信涉及了哪种类型的AI系统？

答：“人工智能”具有广泛的意思。这主要是因为我们人类所享用的”智能“实际上拥有许多不同的性能。有些人将AI分成“弱AI”（如解决CAPTCHAs或完成Google搜索）和“强AI”（可以复制大部分或所有人类性能，大概在人类或人类以上的程度）。此公开信涉及这两种类型的系统。

问：是哪些顾虑促使FLI发表“自主武器”公开信？

答：自主武器是暗杀、破坏国家稳定、压制人口和选择性杀害特定族群等任务的理想选择。如果任何一个主要军事力量推动AI武器发展，全球军备竞赛实际上是不可避免的，而这技术轨迹的终点是显而易见的：自主武器将成为明日的卡拉什尼科夫。开始军事AI军备竞赛是个极不明智的念头。我们应该透过禁止那些无法被人力有意义地控制的进攻性自主武器来避免军事AI军备竞赛的发生。在这里可阅读更多关于攻击性自主武器的论点。

问：为什么媒体会突然关注AI的未来？是什么变化导致的呢？

答：在过去的几十年里，AI研究进展得比一些专家预测的还要慢。然而，该领域专家表示在过去5年，这趋势已经逆转。 AI研究人员对AI发展的进度一再感到惊奇，例如新的视觉和语音识别系统的有效性。人工智能系统可以解决专门设计用于阻止AI的验证码，即时翻译口头文本，和通过自学玩以前没有看过或不在它编程内会玩的游戏。此外，这种有效性的现实价值已经引起了大型科技公司（如Google，Facebook和IBM）的大量投资，创造了一个能够显著加快进度的积极反馈周期。

问：随着AI日益成熟，潜在的益处有哪些？

答：目前很难判断，但有远见的精心管理将使AI许多发展变得非常有益。例如，无意义的工作的自动化能产生一个丰富、休闲和繁荣的社会，使它没有贫穷和不再乏味。另一个例子是人工智能也能提高我们理解和操纵复杂生物系统的能力，开辟一条能大大改善寿命与健康的道路，并战胜疾病。

问：关于AI安全，一般顾虑的性质是什么？

答：关于日渐强大的AI系统，我们对它们的基本担忧是它们不做我们想要它们做的事 – 也许是因为它们的设计不正确，也许是因为它们被故意颠覆，或者因为它们做我们指示它们做的事，而不是我们真正希望它们做的事情（就如精灵和愿望的经典故事一样）。许多人工智能系统的编程中有指定目标，并设定系统尽可能有效地实现它们 – 例如，一个交易系统的目标是把利润最大化。除非它被精心设计以符合人类价值观的方式行事，否则一个尖端的AI交易系统可能会利用一些甚至最无情的金融家也不会用的手段。这些系统本身就有自己的智慧，而至关重要的就是要维持人类利益与AI系统的选择和行动的一致性。

问：FLI对于AI能胁人类的看法有什么立场？

答：FLI的总体立场从“迈向强大和有益人工智能的优先考量研究方案”这篇公开信中便可更深入地了解。我们认为目前无法预测未来几十年AI将更像互联网（巨大的上涨空间，风险相对较小），或更像核技术（相对巨大风险）,或其他技术。我们虽然怀疑在长期里AI的益处和风险都是巨大的，但是坚信针对这个问题的研究是有必要的。

问：很多人关注的焦点是人性化或“超智能”AI。在可预见的未来，这是一个实际的前景吗？

答：人工智能在某些任务中已经超越人类的能力，例如数值计算。随着时间的推移，AI在其他任务中显然也能超越人类。我们不知道什么时候（或者尽管）机器能在所有认知任务中达到人的能力，但在FLI波多黎各会议中，大多数AI研究人员预测这种可能性的发生在本世纪有50％以上，甚至有许多人认为这只需更短的时间。如果发生，这是值得开始研究如何确保任何影响是正面的，因为这会对人类的影响会很大。许多研究人员还认为处理超智能AI和更弱AI系统有很大差异，并需要投入庞大研究精力才能万无一失。

问：AI不是像其他工具吗？ AI不是会做我们告诉它做的事吗？

答：它应该会 – 但智力在多方面的定义，就是找出如何实现目标的能力。在如今高级的人工智能系统中，构建者只设定目标，无需告知AI要如何完成，也不需要详细预测AI将如何完成;的确，这些系统经常以创造性、不可预知的方式解决问题。因此，使这种系统智能化的元素也正是使它们难以预测和控制的原因。以此类推，他们可能通过不符合我们偏好的途径来实现设定目标。

问：你能举个例子说明什么算是通过不适当的途径实现一个有益的目标吗？

答：假设你要不惜一切代价去解决旧金山的交通拥堵，而且不必考虑任何其他限制。你会怎么做？你或许会从换交通信号灯的时间着手。如果关闭所有桥梁从5点到10点并阻止所有车进城的话，这样不是使交通量减少了吗？虽然这样的一个解决方法显然违反了常识和破坏了改善交通的目的， 也就是为了帮助人们更快的进出城市- 但是这与“减少交通拥堵”的目标是一致的。

问：为什么我们现在应该准备人力AI技术，而不是几十年后呢？

答：第一，弱人工智能系统甚至在一小部分能力（例如图像或语音识别）中接近或超越人类智能，对社会的影响已经受到关注。例如：使自主车辆安全、分析自主武器的战略和伦理层面，和AI对全球就业和经济体系的影响。第二，人类或超人类人造智能的长期影响是戏剧性的。对于如何快速发展这种能力还没能达成共识， 但许多专家认为这件事可能在近年会发生。为了更好地了解实际可行的进展速度，现在必须立即开始调查长期的安全问题。

问：自主AI系统是否可能变得恶意，产生自我意识，或发展“意志”，并对抗我们？我们不能把他们的电源切掉吗？

答：一个重要的顾虑是一些自治系统是为了军事目的而杀死或摧毁。这些系统的设计使电源不容易切掉。这种系统的进一步发展是否是有益的长远方向是我们迫切需要针对的问题。另外的担忧是，高质量决策系统的编程过程可能无意中无法完全捕捉我们想要的目标。追求看似良性或中立目的时，虽然系统符合逻辑的步骤，但也有可能促使反社会或破坏性的行动。一些研究这个问题的研究人员的结论是完全防止这种影响是非常困难的。随着系统变得更加智能，这问题可能会变得更加困难。例如，它们可能会把我们控制它们的措施视为妨碍实现目标的绊脚石。

问：机器人是真正的问题吗？如果没有直接操纵物质的能力，AI又能如何造成伤害？

答：潜在和新的风险不是来自构建铰链，发动机等的能力，而是构建智能的能力。人力AI可以在金融市场赚钱，在科学界发明，打击计算机系统，操纵或付钱给他人进行任务 – 这一切都是为了追求最初被设定的目标。机器人不需要物质的构架，只是需要互联网连接。

问：是否有一些类型的先进人工智能系统比别的更安全？

答：我们还不知道哪些AI架构是安全的，因此更深入了解这一点是我们的赠款计划的目标之一。 AI研究人员通常是非常负责任的人，并希望他们的工作能够对人类有益。如果有一些AI设计不安全，那么AI研究人员会想知道这一点，以便他们开发更安全的AI系统来替代。

问：如果人类或超人类AI被开发，人类能否还控制世界？

答：这是一个应该深思熟虑的大问题。人类控制着这个星球，不是因为我们比其他动物更强或更快，而是因为我们更聪明！如果人类放弃“地球最聪明生物”的地位，那我们不肯定能保持控制。

问：关注超智能AI存在的威胁是否在转移众人的目光，不再争辩更为紧迫的课题如AI在监视和战场上对经济的潜在影响？

答：人工智能安全近期和长期方面的工作都非常重要。超级智能研究是公开信的重要课题，但实际的关注与大多数媒体描述这个问题为终结者式的情景截然不同。较有可能发生的情况是超级智能系统具有中立或仁慈的目标，但因错误的指示而变得危险。要设计强大的超智能系统是一个复杂跨学科研究的挑战，可能需要几十年的时间。 因此现在开始研究事关紧要，而我们研究计划的大部分目的是为了实现这一点。也就是说，危言耸听的媒体在短期或长期内几乎对这些问题没帮助。

问：FLI如何创始？

答：这一切都从Jaan Tallinn对AI风险的长期兴趣开始。 2011年，Max和Anthony组织了基础问题研究所（FQXi）会议，并邀请了Jaan。他对AI风险的重要性提出了强而有力的论据。 2013年，Max和Meia决定在FQXi之后建立一个降低存在风险的组织结构，并邀请Jaan和Anthony加入。 2013年底，Jaan向Max介绍Vika，后来Vika被邀请加入这个倡议和组织志愿工作。第一届FLI会议于2014年3月举行，汇聚了来自波士顿地区有兴趣的科学家和志愿者。