AGI冲击专家和友好AI专家

MIRI的使命是“确保创造比人类聪明的智能产生积极的影响。”实现这一使命的核心策略是找到并训练所谓的“美国国际集团影响专家"和"友好的人工智能专家。”

美国国际集团的影响专家发展与预测技术发展相关的技能(如建筑)计算模型人工智能的发展或推理智能爆炸微观经济学)，预测AGI对社会可能产生的影响，并确定哪些干预措施最有可能增加人类安全地驾驭AGI创造的机会。概述,请参阅博斯特罗姆和尤多科夫斯基(2013)；米尔豪泽与萨拉蒙(2013)．

友好的人工智能专家开发能够使AGIs成为可能的数学架构的开发有用的技能值得信赖的(或“人性化”)。这项工作是在米里研究研亚博体育官网讨会在各种出版物中，例如。Christiano et al. (2013)；希巴德(2013)．注意,术语“友好AI”被选中(部分),以避免我们理解主题的建议很好,一个短语“道德AI”听起来可能像的人可以学到很多关于通过百科全书,但是我们目前的理解值得信赖的AI太贫穷。

那么，我们所说的“专家”是什么意思?

出色的代表性工作表现

一个专家是“在某一学科中具有高度技能或知识的人”。一些领域(如国际象棋)提供了对专业知识的客观衡量，而其他领域(如哲学)则依赖于同行的认可。然而,随着爱立信(2006)注:

被同行认为是专家的人并不总是在领域相关的任务中表现出色。有时，即使在专业知识的核心任务上，他们也不如新手，比如选择未来价值较高的股票、心理治疗患者的治疗和预测。

因此，我们应该指定种类我们需要AGI影响专家和Friendly AI专家的专业知识，这是爱立信(2006)所称的“具有代表性任务的可靠卓越表现的专业知识”(RSPRT)。如果有一群在预测AGI结果方面并不比外行人更好的同行认证的“AGI影响专家”，或者有一群不太擅长生成新的与AGI相关的数学结果的“友好的人工智能专家”，对人类没有多大好处。

作为RSPRT专业知识的一个例子，可以考虑国际象棋。做国际象棋评级可靠的轨道与RSPRT?是的,他们做的。例如，国际象棋评级与选择最佳棋步的能力高度相关(de Groot 1978；Ericsson & Lehmann, 1996；Van der Maas & Wagenmakers 2005)．

类似的方法已被用于确认医学中的“RSPRT专家”(Ericsson)2004，2007)、运动(2007)、运动(Côté等人2012)、拼字游戏(Tuffiash et al. 2007)，以及音乐(Lehmann & Grüber 2006)．

那么，AGI影响专家和FAI专家应该在哪些“代表性任务”上表现出色呢?

学习专业知识

至少，我们希望AGI撞击专家和Friendly AI专家能有一种学术精通AGI冲击和Friendly AI。也就是说，他们应该知道基本的辩论是关于什么，经常给出哪些论点和反论点，以及谁给出这些论点。一般来说，专家从琐罗亚斯德教的神学来理论时间旅行在至少有这的专业知识。

例如,尼克·博斯特罗姆已经断断亚博体育官网续续研究了十多年AGI的影响，并就该主题撰写了大量文章。无论是在谈话中还是在他的著作中，博斯特罗姆都展示了在AGI影响方面相当扎实的学术专长。

相比之亚博体育官网下，人工智能研究人员可以做到不倾向于熟悉与AGI影响相关的基本辩论、论点和反驳。(为什么?那不是他们的工作。)因此，我们很难看到很多价值，比如说，关于AGI影响的预测AAAI长期人工智能未来主席小组，其中没有参与者在AGI影响方面具有已知的学术专长，只有一名参与者(几乎)参与了更广泛的研究机器伦理社区(艾伦Mackworth)．

但也许我们不应该重视那些做在这门学科上也有学术专长。也许那些有学术专长的人在任何更实际的事情上都无法可靠地展示出优越的表现，而仅仅是知道哪些论点和反对意见在起作用。

理想情况下，AGI影响专家和FAI专家应该做的不仅仅是展示学术专长。还有哪些RSPRT的专门知识与AGI影响专家和FAI专家相关?

对证据的敏感性

一般来说,人类不准确地更新他们的信念来回应中等大小的证据，比如完全理性的代理人会。这就是为什么我们需要科学，在哪里我们的方法是“积累了如此巨大的证据*，以至于科学家们不能忽视它。”

但是，在测试关于未来技术的设计及其可能影响的假设时，通常没有“大量”证据可用。作为解释在其他地方“你拥有的证据越少，或者解释起来越困难，你就越需要理性，才能得出正确答案。(当可能性比变小时，你的先验信息就需要更好，你的更新就需要更准确。)”

人类的理性能得到改善吗?基于几十年的“去偏”研究(亚博体育官网2004年组成)，我猜我们可能可以，但我们还没有非常努力。

为什么认为在理性培训领域有容易摘到的果实?很少有人，如果有的话，会像我们最好的音乐家和运动员那样努力提高他们的音乐和运动能力。最好的音乐家每天练习4个小时，持续多年(Ericsson et al. 1993）;游泳冠军迈克尔·菲尔普斯每天3-6小时池中;Sun Micro亚博体育苹果app官方下载systems联合创始人比尔·乔伊在大学时每天练习10个小时编程(格拉德威尔2008年, 46页);据报道，在一段时间里，国际象棋冠军鲍比·菲舍尔练习了国际象棋每天14小时．而是每天花4到10个小时校准的培训或者建立良好的理性的习惯？

理想情况下，AGI影响专家和Friendly AI专家都应该培养良好的理性习惯，以提高他们对证据的敏感性，这样他们就可以对未来的技术进行富有成效的推理，而无需首先积累(无法获得的)“如山的证据”。

固定资产投资专家可能长什么样?

接下来，让我们看看FAI专门知识所需的特定技能。显然，这些专家必须能够在数学方面产生新的成果。幸运的是，数学研究技能比心理学或哲学亚博体育官网研究技能更容易衡量和“客观”。

我们还希望FAI专家具备哪些其他专业技能?

Yudkowsky描述FAI专家如下:

Friendly AI(专家)是专门研究数学结构与现实世界的对应关系的人。这种人会看到Hutter关于AIXI的说明，并阅读实际的等式，然后看到“哦，这个AI将试图控制它的奖励通道”，以及许多更微妙的问题，如“这个AI假设了一个笛卡尔边界将自己与环境分隔开来;它可能会把铁砧砸到自己头上。”同样,在负2例如，当你着眼于决策理论的数学规范时，你会发现“哦，这很容易被敲诈”，然后想出一个不容易被敲诈的AI的数学反规范。

如果你想要就哪个AI设计更安全进行明智的讨论，你可以将一些专门技能应用到讨论中，(如上述技能)，这些技能是由专门回答这类问题的人经过多年的研究和实践积累起来的。

让我举几个例子，用尤多科夫斯基的话来说，这些人“专门研究数学结构与现实世界的对应关系”。(特别是，我们感兴趣的是具有某种“一般智能”的数学对象的结果，而不是像窄域算法这样的现实世界的结果超级工厂病毒．)在某种程度上，AGI行为可以用数学建模，这是一项关键技能。

尤多科夫斯基读了哈特的说明AIXI看到“哦，这个AI将试图控制它的奖励通道”和“AI假设了一个笛卡尔边界将自己与环境分隔开来;它可能删除一个铁砧但他没有把这些事实的技术演示写下来。

Laurent Orseau(benoir)和马克环(IDSIA)独立地展示了这些问题(类似aixi的代理人侵入自己的奖励渠道，以及笛卡尔边界的挑战)《指环与Orseau》(2011)和《Orseau & Ring》(2011)．他们还致力于将后一个问题正式化《Orseau & Ring》(2012)一样,比尔希巴德(威斯康星大学希巴德(2012)．

这类工作的例子来自MIRI的研究员或研究助理包括亚博体育官网杜威(2011)，德布兰科(2011),Yudkowsky (2010)．

这种技能可能很难客观地衡量，但确实如此许多大学管理者(或对冲基金和科技公司的招聘人员)试图在数学研究人员身上发现的技能。亚博体育官网然而，这些组织在寻找最优秀和最聪明的人才方面取得了很大的成功。因此，也许有一些希望来识别具有这种技能的人。

在其他任务上，FAI专家应该表现出“可靠的卓越表现”。例如，他们必须能够形式化哲学概念。这里同样没有标准的衡量技能，但我们有许多过去的例子可以学习。上个世纪是一个相当多产的世纪，因为它把以前神秘的哲学概念变成了正式的概念。看到柯尔莫哥洛夫(1965)关于复杂与简单，索罗门诺夫(1964年,一个，1964 b感应,冯·诺伊曼和摩根斯坦(1947)理性,香农(1948)以及Tennenholtz对“程序均衡”的发展(有关概述，请参阅里奇2012)．

对开发友好人工智能技术感兴趣的读者应该考虑学习以下列出的课程(或阅读教科书)给MIRI研究人员的课程推荐亚博体育官网．

AGI撞击专家长什么样?

首先，AGI影响专家应该在预测技术进步，特别是人工智能进步方面表现出可靠的卓越表现。

不幸的是，我们还没有找到可靠的方法来成功地进行长期的技术预测(Muehlhauser & Salamon 2012)，专家和外行人都是特别是不擅长预测人工智能(阿姆斯特朗和索塔拉2012年)．摩尔定律的性价比公式已经意外强劲但如果不做一些(在大多数情况下)不如摩尔定律可靠的额外假设，就无法从这一趋势预测特定的技术。著名的科技预报员Ray Kurzweil索赔很准确，但这些说法是可能夸大了．

这些都不足为奇:良好的预测表现似乎依赖于对预测的定期反馈，而在进行长期预测时，快速反馈是不可获得的。

幸运的是，预测者有很多机会提高他们的表现。霍洛维茨和泰特洛克(2012)，根据自己的实证研究和预测训练，就这一主题提出了一些建议:亚博体育官网

• 明确的量化他说:“要成为一名校准得更好的长期期货估价师，最好的方法是养成量化概率估计的习惯，这种估计可以在很长一段时间内客观地为其准确性打分。明确的量化能够提供明确准确的反馈，从而促进学习。”
• 提供指导未来:如果这些情景“带有明确的诊断路标，决策者可以利用这些路标来判断他们是在朝着某个情景前进还是离开另一个情景……可证伪的假设将高空情景抽象带回地球。”
• 利用聚合:平均预测通常比绝大多数计算平均....的个人预测更准确预报员还应该养成这样一个习惯，即一些比较优秀的预报员在IARPA的预报员锦标赛中被称为王牌将他们的预测与组平均、加权平均算法、预测市场和金融市场进行比较。

阿姆斯特朗和索塔拉(2012)补充一下，这是有帮助的分解现象对许多部件进行分析，并对每个部件进行预测，因为至少有一些部件可以得到反馈。这是人工智能预测的方法不确定的未来（Rayhawk等人，2009年)．

Armstrong & Sotala还区分了“研磨”(大量的辛勤工作和金钱)和“洞察力”(全新的意想不到的想法)。刷任务比较容易预测，而洞察力则很难预测。“刷任务”预测可能更可靠，因为这种现象主要与“刷任务”有关，不需要新的概念突破。例如，虽然人工智能似乎是一种“洞察力”技术，整个大脑模拟可能很大程度上是一种“磨”技术，因此更容易预测。

关于AGI影响专家所需要的技能还有很多要说的，但现在我把上面的例子和下面的段落留给读者博斯特罗姆(1997)：

[最近]在知识分子的舞台上出现了一个主演的角色，而这正是这位演员仍然需要的。这是广义科学家的角色，或者博学的他对科学的许多领域都有深刻的见解，并有能力利用这些见解解决那些更复杂的问题，这些问题通常被认为对科学家来说太难了，因此要么交给政治家和大众媒体，要么就被忽视。可悲的是，忽视这些问题不会让它们消失，而且……其中一些问题对智慧生命的生存构成了挑战。

[其中一个问题是]超智当许多专家认为我们很快就有能力创造超级智能的时候，这就具有了现实的紧迫性。

(这个学科)可以处理什么问题?嗯，像这样的问题:如果我们把类人思维的处理速度提高一百万倍，各个领域的预测能力会提高多少?如果我们延长短期记忆还是长期记忆呢?如果我们增加神经人口和连接密度呢?超级智能还有什么其他能力?我们能了解超级智能的动机吗?将其预先设定为善或博爱是否可行，或者这样的规则是否很难与其认知过程的灵活性相协调?即使我们一开始就采取了严格的预防措施来避免被操纵，一个超级智能，如果有这样的愿望，是否能够智胜人类来实现它自己的目标?一个人可以用一个超级智能来控制另一个吗?如果我们被迫放弃智慧的宝座，我们人类的自我认知和抱负会发生怎样的变化? How would we individuate between superminds if they could communicate and fuse and subdivide with enormous speed? Will a notion of personal identity still apply to such interconnected minds? …Could we then be able to compete with the superintelligences, if we were accelerated and augmented with extra memory etc., or would such profound reorganisation be necessary that we would no longer feel we were humans? Would that matter?

也许这些问题并不合适，但至少是一个开始。

最后的想法

美里完全是为了招待这些专家，让他们能够进行研究亚博体育官网FHI和玩cs游戏的人与他人分享这一重点。这三个组织都是资金有限的，但在某种程度上，他们也是有限的人，因为世界上很少有人在积极开发AGI影响专业知识或Friendly AI专业知识。这篇文章的目的是为那些可能想要对这一重要研究项目做出贡献的人指明道路。亚博体育官网

笔记

我要感谢Carl Shulman, Kaj Sotala, Eliezer Yudkowsky, Louie Helm和Benjamin Noble，感谢他们的有益评论。