世界政策杂志：限制人工智能大爆发”徒劳无功” | 社会科学报

熊一舟/编译

◤人工智能的巨大突破将产生前所未有的机遇，但也将带来难以预测的风险。因此，各国政府、大学和私营企业亟需重视并共同努力应对智能技术可能带来的不利后果。

美《世界政策杂志》春季刊发表《外交事务》杂志编辑、哈佛大学访问学者萨姆·温特-莱维（Sam -Levy）和杰卡博·崔福森（Jacob ）的文章，分析了人工智能可能给人类带来的安全隐患和应对之道。

无

法控制的全球性灾难？

在过去数年中，人工智能领域的创新层出不穷。2011年，IBM公司的超级计算机战胜了最优秀的人类选手肯·詹宁斯，赢得了美国智力游戏大赛“危险边缘”的冠军。2013年，软件公司宣布成功破解文字验证码，这是一种用于防止机器人及恶意用户滥用网站或服务的验证措施。硅谷已经出现了自动驾驶汽车。更有甚者，2015年10月，由世界领先的人工智能公司谷歌公司研发的击败了欧洲围棋冠军。与此同时，谷歌、IBM、等互联网大鳄将数以亿计的巨额资金投入到机器学习的研发之中。

人工智能取得的突破将给全球的人们和商业带来前所未有的机遇。但与技术的进步如影随形的是风险，而截至目前，风险在很大程度上被忽视了。人们在进行人工智能研究时，将注意力聚焦在对经济不平等的影响，而忽略了一个更为重要的问题：在控制那些有一天可能会比人类聪明得多的系统方面所面临的挑战。

当前的技术根本不具备应对这种挑战的能力，有人认为人类永远无法获得这种能力。然而，科技界的精英人士指出了匆忙发展人工智能的消极后果。兼任特斯拉（Tesla）和太空探索技术公司（Space X）首席执行官的埃隆·马斯克（Elon Musk）曾指出，发展人工智能无异于“召唤恶魔”。比尔·盖茨、苹果公司联合创始人斯蒂夫·沃兹尼亚克（Steve ）、美国企业家与风险资本家彼得·蒂尔（Peter Thiel）等都对人工智能的潜在危险提出了警告。在人工智能的所有研究者中，加州大学伯克利分校教授斯图尔特·罗素（ ）是最直言不讳的，但他并不是唯一的一个：众多专家都已警告人工智能可能构成一个存在性风险。2008年，在牛津大学举行的一次关于全球灾害风险的会议上，对与会专家进行的调查显示，他们将超级人工智能看作是对人类最大的存在性威胁，超过了核战争、流行性疾病和气候变化。他们认为，到2100年，超级人工智能导致人类灭绝的可能性为5%。

这些专家担忧的并非是这样一幅场景：世界被寻求毒害人类的恶意计算机接管。相反，他们担心的是一项具有巨大能力的技术的出现可能带来的意外后果。这项技术的诱因完全来自数行计算机代码。当你对笔记本电脑进行了一项误操作时，其后果顶多是丢失了一份Word文件。但如果人工智能完全依照程序员写下的指令实施了类似操作，而又无法完全预料到其所有后果，那么就将造成全球性灾难。

智

能爆炸永无止境

出现能在所有领域像人一样进行操作的机器也许还需耗时十余年，但一旦机器能达到通用人类智能，它们就能快速超越。这种转变的影响是巨大的，并且具有不可逆性。上世纪后半叶，对人工智能风险的讨论还仅限于科幻小说或电影，但现在则完全不同了。

有限或弱势的人工智能系统在事先设定的受限环境中运行。从移动电话中的导航应用到亚马逊的购买建议系统，再到机器翻译工具和自动股票交易算法，此类系统能在各自领域以相当于或超越人类智能水平运行。但自1997年以来，当IBM研发的“深蓝”战胜了俄罗斯超级大师加里·卡斯帕罗夫（Garry ）之后，全世界最强的国际象棋选手就一直是计算机。

尽管如此，“深蓝”仅能在象棋领域击败人类。与之相对的是通用人工智能，指的是能在众多智能任务方面与人相匹敌的机器。通用智能是一个难度很高的问题，其进展也比50年前专家预计的要慢。然而，在过去5年里，新的视觉识别和语音识别系统已经取得了突破性进展，这超出了人工智能研究者的预期。

对人工智能安全性的最严重关切并非来自有限智能甚至是通用人工智能，而是将随着通用人工智能而来的超级人工智能。学习能力是获得了通用智能的任何系统的内在能力，因此人工智能将能够提升其自身的能力，设计一个自身的改进版本，然后再由这个改进版本设计一个更为智能的版本。这种永无止境的自我改进将导致“智能爆炸”，计算机科学之父图灵的同事、数学家I.J.古德（I.J.Good）早在1965年就预测到了这一点。

超级人工智能的到来尚有时日，现在考虑如何应对似乎是杞人忧天。但超级人工智能带来的灾难场景并不难想象。今天，社会运作在很大程度上依赖数字技术。服务器储存着金融资产；维基百科和谷歌书籍集人类知识之大成；军用和商用无人机日益由软件进行操纵。

著名人工智能安全专家埃利泽·尤德考斯基( )设想了一个灾难场景：一台拥有人工智能的计算机一旦能够接入互联网，就能检索关于生物技术的所有研究论文，研发出致命性极强的病原体，并将DNA字符串的特征发送给提供DNA合成并与联邦快递存在业务联系的在线实验室（这种实验室已经存在）。现在，只需有一个人接受报酬或受到欺骗，接收并打开来自联邦快递的小药瓶，就将导致一次全球性的流行疾病爆发。

国

际层面控制潜在危险

实际上，现在要限制人工智能的发展就如同在1975年限制互联网的发展一样徒劳无功。

因此，各国的第一要务是理解这一问题，而非进行限制。政府应当与大学和业界联合建立工作组，在国家和国际层面上制定一个分析人工智能发展存在的可能风险的框架。这些工作组应在人工智能研究者中推广“最佳实践”：在控制问题上进行协作与共享，并承诺一旦通用智能的安全风险上升，就进一步采取安全措施。越早制定一份将安全置于速度之前的规范越好。过去数年，通过各方密切合作，已经在核能和基因工程领域制定了类似规范。

此外，政府还应对人工智能安全性研究进行投资，单靠私人投资远远不够。在国际层面，应借鉴控制具备潜在危险性技术的全球努力。1972年，世界各国会聚一堂，讨论暂停生物和毒素武器的研发、生产和储存。1975，在包括美国和前苏联在内的22个国家批准后，《禁止生物武器公约》生效。截止到2015年，173个国家签署了该条约。当然，生物武器和人工智能是两码事。最明显的是，人工智能并非武器，也不会成为一种武器。但人工智能可在很多方面获得广泛使用这一事实，使得控制其安全发展变得同样极具挑战性。

制造生物武器也许符合某一国家或流氓行为体利益而不是所有人的利益，但开发强大的人工智能系统却符合几乎所有人的利益。不过人工智能战争 汉化，并不是所有人都会审慎考虑是否能控制自己制造的人工智能系统。

当前，美国汇聚了全球大量工程技术精英，这使它很有可能成为首个研发出超级人工智能的国家。但是，美国对超级人工智能研发的严格限制使某些研发项目进入地下状态或转移海外。因此，国际合作比单边措施更为行之有效。合作有助于避免人工智能领域的“军备竞赛”，防止竞争者因恐惧落于人后而大幅削减对安全防范措施的投资，并有助于更公平地分配超级人工智能带来的好处。

国际层面和各国政府、大学和私营公司之间的协作是确保人类安全获得通用人工智能益处的关键。今天，世界上最聪明的数学家和计算机科学家正在私人实验室工作人工智能战争 汉化，推动人工智能技术的进展。在大多数情况下，他们关心其工作所产生的社会影响。世界顶尖大学的研究人员正致力于解决与这些研究相关的风险。现在已经到了政府提高警惕，并开始理解人类下个世纪将要面临的最严峻的技术和伦理挑战的时候了。一旦出现任何失误，人类将万劫不复。

社会科学报

本文到此结束，希望对大家有所帮助。