MIRI的2013年战略

||米里策略

这篇文章不是一个详细的战略计划。现在,我只想提供一个更新MIRI在2013年正在做什么以及为什么

我们的使命依然不变。比人类更聪明的智慧的创造可能会这是人类历史上最重要的事件,而MIRI的存在是为了帮助确保这一事件产生积极影响。

不过,过去一年发生了很多变化:

  • 短期目标在我们2011年8月战略计划在很大程度上完成
  • 我们改变了我们的名字从“奇点研究所”到“机器智能研究所”(MIRI)。亚博体育官网
  • 我们曾经做过三件事——研究、理性训练和奇点峰会。亚博体育官网现在我们正在做的一个件事:研究。亚博体育官网理性培训被拆分为一个独立的组织,CFAR,而峰会是收购了奇点大学。我们仍然与奇点大学共同举办奇点峰会,但这需要我们付出有限的努力。
  • 在2013年1月到3月的几十个小时的战略规划之后,在20多名外部顾问的参与下,我们决定(1)减少对公众宣传的投入,(2)将我们的研究重点转移到友好型人工智能数学研究上亚博体育官网

这是我想在下面更详细地解释的最后一对变化。

在公共宣传方面的努力更少

在过去,公众宣传一直是MIRI努力的一个主要重点,特别是通过年度奇点峰会.这些努力使我们的使命惠及了成千上万的人,并使我们的网络得到了实质性的发展。但在2013年,我们决定减少对公众宣传的投入,原因有二:

  • 目前还不清楚额外的公共外联具有较高的边际价值。
  • FHI牛津大学(Oxford University)最近加大了对人类友好的人工智能主题的公共宣传力度玩cs游戏的人剑桥大学也开始做同样的事情。他们的拓展努力得益于精英大学的声望,而这是MIRI无法匹敌的。(参见,例如2012年11月CSER媒体报道.)

三种研究亚博体育官网

历史上,MIRI已经产生了三种类型的研究。亚博体育官网

解释性研究亚博体育官网.我们的一些工作巩固和澄清了以前只有在与专家对话时才能获得的战略研究(例如在MIRI或亚博体育官网FHI)或以书面但无条理的形式(例如以邮寄名单档案的形式)。我们的说明性出版物使世界各地的研究人员更容易理解当前的知识状态,并在此基础上进行构建,但组织和亚博体育官网清楚地解释以前的工作的任务往往需要大量的研究工作本身。这类工作的例子,来自MIRI和其他的,包括查尔默斯(2010)米尔豪泽和赫尔姆(2013)米尔豪泽和萨拉蒙(2013)《Yampolskiy & Fox》(2012),和(大部分)尼克·博斯特罗姆他即将出版的关于机器超级智能的学术专著。

战略研究亚博体育官网.从概率上推动未来远离坏结果,走向好的结果是一件棘手的事情。预测是困难的,世界的因果结构是复杂的。尽管如此,我们还是同意牛津的观点人文未来学院今天的认真研究可以提高我们亚博体育官网成功驾驭未来的机会。(见博斯特罗姆的“《技术革命:黑暗中的伦理和政策》(Technological revolution: Ethics and Policy in the Dark)因此,MIRI的一些研究(通常与FHI合作)集中于提高我们对亚博体育官网技术如何发展的理解,以及目前可用的哪些干预措施最有希望:Yudkowsky (2013)舒尔曼与博斯特罗姆(2012)阿姆斯特朗与索塔拉(2012)Kaas等人(2010)舒尔曼(2010)Rayhawk等人(2009)

友好的人工智能研究亚博体育官网.降低人工智能风险(以及所有其他灾难性风险)的一个有希望的方法是,构建一个具有人道价值观的稳定的自我完善的人工智能——一个“友好的人工智能”或“固定资产投资”。

FAI理论的开放问题有两种类型:“哲学问题”和“数学问题”。FAI的哲学问题对人类来说是如此的困惑,以至于我们现在甚至不知道如何清晰地表述它们,例如推断人类价值.相反,FAI的数学问题可以简明扼要地说成是数学问题,例如Löbian自我修改系统的障碍亚博体育苹果app官方下载.我们希望,随着时间的推移,所有FAI哲学问题都将被澄清为数学问题,就像之前发生在许多哲学问题上的那样:看柯尔莫哥洛夫(1965)关于复杂与简单,Solomonoff (1964年,一个1964 b感应,冯·诺伊曼和摩根斯坦(1947)理性,香农(1948)以及Tennenholtz从Hofstadter的“超理性”发展而来的“程序均衡”理论杰瑞2012).

FAI哲学研究的一些例子是亚博体育官网米尔豪泽和威廉姆森(2012)Yudkowsky (2010)Yudkowsky (2004).FAI数学研究的一些例子是亚博体育官网Christiano等人(2013)LaVictoire等人(2013);杜威(20112012);德布兰科(2011)

转向FAI数学研究亚博体育官网

MIRI的说明性研究非常有用亚博体育官网这并不是因为很多人在学术期刊或书籍中看到我们的工作,而是因为成千上万的人在看到我们的网站后会阅读这些对我们研究任务的简明解释,而且因为每个月当他们对我们的工作表示出兴趣后,我们会把这些论文发送给几十个个人联系人。亚博体育官网

目前还不清楚额外的说明性的作品,我们很容易买到的那种,价值很高(2) Sotala & Yampolskiy即将发表的关于处理人工智能风险建议的调查文章,以及(3)Bostrom即将出版的关于机器超级智能的书。因此,在2013年,我们决定不在说明性研究上投入太多。亚博体育官网

那么战略研究呢?亚博体育官网我们相信,如果额外的战略研究质量高,就会有很高的价值。亚博体育官网我们的一位研究人员(卡尔•舒尔曼)亚博体育官网将在2013年把几乎全部时间花在战略研究上,另一位研究人员(埃利泽•尤多科夫斯基)将1月至3月的大部分时间花在战略研究上(具体来说,是情报爆炸微观经济学)。我们还高兴地看到富士国际集团在这个主题上的战略研究,例如在尼克·博斯特罗姆即将出版的书亚博体育官网中。

尽管如此,2013年,战略研究亚博体育官网将占我们研究预算的一小部分因为:

  • 关于降低人工智能风险的有价值的战略研究亚博体育官网是很难购买的。很少有人具有一定程度的领域知识和分析能力来做出贡献。此外,其他人很难“赶上”,因为大多数已经完成的分析都没有被清楚地写出来。(不过,博斯特罗姆的书应该对这方面有所帮助。)
  • MIRI在友好型人工智能研究方面具有比较优势。亚博体育官网美里的以利以谢Yudkowsky在开发Friendly AI理论的技术方面所做的工作比任何人都多,而MIRI现在作为Friendly AI研究的中心,例如主办亚博体育官网研讨会专注于FAI数学研究。亚博体育官网
  • 数学研究比亚博体育官网战略研究更容易获得学术“牵引力”。关于人工智能风险的战亚博体育官网略研究往往得不到太多的学术关注,因为它往往是跨学科的,必然是投机性的,并依赖于几个可能不为其他研究人员所共享的假设(例如,人工智能风险战略研究)。因果功能主义AI时间表不可知论价值的脆弱性,或者是正交性的论文).相比之下,任何拥有正确背景知识的数学家都能很快理解一个清晰表述的数学问题,而且无论他们是否认为这是一个问题,他或她都能对它感兴趣社会很重要像MIRI这样的问题。在小时发布草案最近的数学成绩在我们的博客上,菲尔兹奖得主蒂莫西·高尔斯看到了草稿并发表了评论(在这里),以及其他几位专业数学家。

最后:为什么我们在2013年选择FAI数学研究优先于FAI哲学研究?亚博体育官网我们关注FAI数学研究而非战略研究的原因与此相似:(1)有价值的FAI哲学研究难以购买,(2)数学研究比哲学研究更容易获得学术牵亚博体育官网引力。

2013年亚博体育官网数学研究活动

我们将在2013年采取哪些具体行动来产生FAI数学研究?亚博体育官网

  • 我们将举办几次数学研究研讨会。亚博体育官网2012年11月,MIRI第一亚博体育官网次研究研讨会(4名参与者)取得了令人惊讶的成果。它导致了一种新的概率逻辑这在Tarski的不可定义性定理(1936)中是一个“漏洞”,也是一个早期形式的概率集理论。我们的第二届MIRI研究研讨会(亚博体育官网12名参与者)目前正在进行中。今年的额外研讨会可能会有4-8名参与者,成本仅为5000美元/ea,可能会产生FAI数学研究的进一步进展,同时也允许MIRI测试许多关于如何有效产生这种进展的假设。亚博体育官网
  • Eliezer将描述友好AI理论中的几个开放数学问题。Eliezer目前正在起草一份关于自修正系统的Löbian障碍的解释,并可能编写一些其他开放问题的解释,这样数学家们就可以看到FAI理论中哪些开放数学问题是可用来解决的。亚博体育苹果app官方下载
  • 我们将接待几位访问学者。一个来访的奖学金在MIRI,通常是最好的方式来“跟上”MIRI的数学研究议程,而具有数学倾向的研究人员亚博体育官网鼓励应用
  • 我们五月雇佣新的数学研究者,但我们可能不会。亚博体育官网在招聘新的研究人员方面,我们的资金有些有限。亚博体育官网更重要的是,我们认为精益非营利原则是很重要的。也就是说,我们认为快速而廉价地测试关于如何有效地进行FAI数学研究的假设是很重要的,运营小型的研究工作室,拥有不同的结构和不同的研究人员比雇佣更适合这一点。亚博体育官网我们更有可能雇佣新的研究人员,当我们有更多的证据表明如何最好地亚博体育官网有效地进行FAI数学研究。

如何提供帮助

如果你认识任何聪明,多产的数学家合适的背景为我们的工作做出贡献,请鼓励他们联系我们(malo@www.hdjkn.com)亚博体育官网研究研讨会来访的奖学金,亚博体育官网研究职位

你也可以支持我们yabo体育官网下载ios 或作为一个志愿者