2014年回顾

||米里策略

是时候我对2014年的Miri审查．1关于我们下一个战略计划的帖子将在未来几个月后追随，我已经包含有关正在进行的项目的一些细节在本评论结束时．

2014年摘要

自从2013年初，Miri的核心目标是帮助创建一个新的研究领域，致力于从未来AI代理商获得良好的良好成果的技术挑战，具有高度一般的能亚博体育官网力，包括能力递归地自我改进．2

启动一个新的领域需要团队的努力。2013年，MIRI决定专注于其比较优势定义开放问题并在技术上取得进步。我们很幸运地与这一领域的其他参与者合作fhi.，玩cs游戏的人，FLI他们利用自己的比较优势开展公共宣传、建立联盟、向资助人推介该领域、与决策者沟通等等。3.

Miri开始了2014年，并确定了一些开放问题，并在解决它们的一些进展中，但很少有人可以做这项工作。因此，我们2014年的大多数研亚博体育官网究计划努力旨在吸引新的研究人员对该领域并使他们更容易学习材料并贡献．这是我们的新技术议程概述,MIRIx程序， 我们的yabo ，以及更多(见下文)。尼克·博斯特罗姆的超智对于解释为什么这一研究领域应该在第一位置存在的帮助也非常有帮助。亚博体育官网

今天，该领域比2014年初更大，更健康。Miri现在有四个全职技术研究人员而不是一个。亚博体育官网大约85人参加了一个或多个米西克讲习班。有这么多有前途的研究人员对我们的技术研究表达了兴趣，其中亚博体育官网〜25人已经确认了今年夏天参加Miri介绍性研讨会的兴趣和可用性，这主要不包括参加的人过去米里研讨会我们还没有发出所有的邀请。此外，我们现在知道的一些研究人员，谁是未来1-2年MIRI招聘的亚博体育官网可信人选。

我非常感谢Miri的捐助者，没有谁这一进步就是不可能的。

这篇文章的其余部分将提供我们2014年活动的更详细总结。

2014年活动概述

  1. 技术研究:亚博体育官网我们聘请了2名新研究员，启动了亚博体育官网MIRIx项目，接待了许多访问研究员，发布了14篇技术论文/报告，包括我们的新技术议程概述。
  2. 战略研究:亚博体育官网我们出版了15篇分析，5篇论文和54名专家访谈。
  3. 外展:我们组织了一些会谈和媒体报道，然后发布比我们聪明．尤多科夫斯基也继续写作哈利波特和理性方法，这已被证明是Miri工作的令人惊讶的有效的外联工具。
  4. 融资:我们在2014年筹集了1,237,557美元。这略低于2013年我们提出的贡献，但只有2013年的数字包括一次性，异常捐赠〜525,000美元。
  5. 操作:我们对MIRI的组织效率和鲁棒性做了很多改进。

2014年技术研究亚博体育官网

我们三大目标中的两个2014年代中期战略计划是（1）提高我们的技术研究产出和（2）在招聘额外的技术研究人员方面投入亚博体育官网大量投资（通过A勘探- >发展前景- >招聘漏斗)。第三个目标是筹资;见下文。

至于（1）：过去一年我们发表了14篇技术论文/报告4并为学术受众提供了一些技术谈判。为我们的员工研究人员提供更多时间来编亚博体育官网写现有结果，并更多地关注招聘，我们只举行一项研究亚博体育官网研讨会在2014年。

对于(2)，2014年我们:

  • 发布我们的新亚博体育官网研究议程的概述，这让新手更容易理解我们在做什么以及为什么要这么做。
  • 聘请了两个新的全日制研究员亚博体育官网．Benja Fallenstein和Nate Soares于2014年4月加入。(Patrick LaVictoire于2015年3月加入MIRI。)
  • 推出了MIRIx程序，现在世界各地有14个活跃的群体。该计划允许数学家和计算机科学家花时间学习和讨论Miri的研究议程，是我们勘探和开发管道的关键组成部分。亚博体育官网
  • 发表yabo ，这将通过主题和论文引导学生，他们应该研究熟悉Miri的研究议程的每个领域。亚博体育官网
  • 接待来访研究人员亚博体育官网在伯克利与我们一起研究MIRI的研究问题，一次工作几亚博体育官网天或几周。5
  • 共同赞助了SPARC2014营该课程训练有数学天赋的年轻人将他们的定量思维技能应用到他们的生活和世界中。SPARC没有教参与者MIRI的研究，但它确实教参与者有效的利他主义，并让他们更广泛地接触亚博体育官网我们的社交圈。至少有一名SPARC毕业生随后表达了对未来在MIRI工作的浓厚兴趣(但大多数情况下，他们的研究还为时尚早，不能被考虑)。

此外，我们的一些外联活动（下文所述）作为研究人员勘探活动。亚博体育官网

在我的估计中，2014年我们技术研究计划的增长缩短了我早期的目标，主要是由于员工能力不足，以亚博体育官网发动新的招聘计划。谢天谢地，这一情况在2015年初改善。我们仍然是寻求雇佣增加运营人员来帮助我们发展技术研究项目，亚博体育官网6但与此同时，我们已经满足了一些直接的能力需求，例如与MIRIx参与者James Cook签约，帮助我们更好地管理和发展MIRIx项目，并与Jesse Galef签约，帮助我们组织2015年夏季研讨会。

2014年战略研究亚博体育官网

正如计划在2014年，我们减少了战略研究的产出。亚博体育官网7尽管如此，我们还是在2014年发表了大量的战略工作:

  • 15战略分析在Miri的博客和其他地方发布。8
  • 54专家访谈在广泛的主题上。
  • 5篇论文/章节AI战略主题．9

几乎所有的采访都是在2013年或2014年初开始，即使他们没有完成并出版至今。由于明显递减的回报，我们决定去除专家访谈的前途。

这一战略研究产出水平与我们早期的目标密切一致。亚博体育官网

2014外展

今年，我们的外联工作减少了，更倾向于加强对技术研究的关注。亚博体育官网我们2014年的外联工作包括:

这个级别的延伸输出与我们早期的目标紧密一致，除了我们计划发布电子书版本序列在2014年,这个版本被推迟到2015年3月。

尽管MIRI的外展努力不断减少，但公众外展是MIRI的核心问题大幅提高了2014年的成功主要归功于他人的努力。fhi.尼克·博斯特罗姆获释超智，现在是Miri的最佳可用摘要，存在解决。几个着名的人物 - 特别是斯蒂芬霍金和伊隆麝香 - 促进了长期的AI安全问题对媒体的关注。此外，两个新组织，玩cs游戏的人和FLI他在这个问题上做了大量的努力。正是由于这些努力，Edge.org决定让它被广泛阅读2015年问题关于长期AI风险。一些受访者表达了与Miri对该问题的思考一致，包括萨姆。哈里斯，斯图亚特·罗素，贾安塔林，组成，Steve Omohundro，尼克博斯特罗姆，当然还有MIRI自己的以利以谢Yudkowsky．

2014年筹款

最初,我们集一个非常雄心勃勃的2014年筹款目标。此后不久，我们决定将重点放在招聘相关的工作上，而不是筹资。因此，尽管我们2014年的融资远未达到最初的(非常雄心勃勃的)目标，但我认为在2014年专注于招聘而不是融资的决定是正确的选择。

2014年我们筹集了$ 1,237,557在贡献。11我们最大的资金来源是:

  • 从我们~ 400000美元夏季匹配挑战（这包括Jaan Tallinn，Edwin Evans和Rick Schwall的匹配资金200,000美元）
  • 我们的200,000美元冬季匹配挑战(其中包括蒂尔基金会提供的10万美元配对基金)
  • 从一天开始〜175,000美元SV给予筹款人，〜63,000美元来自捐赠者来自捐赠者，捐赠者通常不会贡献miri
  • 来自Thiel Foundation的〜150,000美元（除了冬季匹配挑战赛匹配资金100,000美元）
  • jed mccaleb〜105,000美元。12

难以将Miri 2013和2014年筹款收入与Miri的筹款收入有意义地比较，因为Miri于2012年及之前是一个相当不同的组织。13但是，无论如何，我会展示比较：

2014年捐款总额比2013年较低，但这是由于2013年从杰德麦卡莱布捐赠的一次性异常捐赠，那么那么新捐助者。（顺便说一下，这一捐款允许我们的研究计划比当时最初计划更快地跳跃。）如果我们留出McC亚博体育官网aleB的大型2013和2014礼品，Miri的筹款从2013年到2014年略有增长。

2014年新增捐款增长强劲，尽管这主要来自“SV给予”筹款活动期间的小额捐款。返回捐赠者的很大一部分增长也可以归因于已离职的捐赠者在“SV给与”筹款活动期间做出的小额捐赠。

这张图表显示了在过去几年中的大大资助来自小型，中型，大型和非常大的捐赠者。我的理解是，2012年，2013年和2014年显示的分布相当典型的非利润我们的规模。（再次，由于Jed McCaleb的异常捐赠，Green Bar于2014年比2014年更高。）

2014年运营

建立2013年组织改进，我们的运营效率和稳健性大幅度改进了2014年。与我们的研究计划特定的操作流程在一起，现在占据了较小的员工时间，而不是以前，这使我们能够转移亚博体育官网更多能力越来越多的研究计划。亚博体育官网我们also implemented many new policies and services that make MIRI more robust in the face of staff turnover, cyberattack, fluctuations in income, etc. I won’t go into much detail on operations in this post, but we’re typically happy to share what we’ve learned about running an efficient and robust organization when someone asks us to.

即将推出

我们的下一个战略计划岗位还需要一两个月才能准备好，但当然我们已经有很多项目在进行中。以下是你可以期待MIRI在未来几个月的表现:

  • 我们有几个技术报告和会议文件接近完成。
  • 今年夏天我们举办了一系列研讨会。很多最有前途的人亚博体育苹果app官方下载 ，或者谁在展示承诺MIRIx组在世界各地，都被邀请。
  • 我们开始为特别富有成效的MIRIx参与者支付部分时间的远程研究的问题亚博体育官网Miri的技术议程．
  • 我们共同组织了一个决策理论会议在剑桥大学。
  • 我们再次赞助SPARC为数学天才高中生举办的夏令营。
  • 我们正在对2014年进行的两项大型战略研究进行“收尾工作”。亚博体育官网我们还将完成超智阅读组然后组装结果超智阅读指南。我们也将贡献更多的文章ai影响，直到我们为该工作的专用资金耗尽。14

请继续关注我们的下一个战略计划，其中将包含我们计划的项目的更多细节。

  1. 今年的年度回顾比去年短五部分审查在2013年，部分原因是2013年是一个异常复杂的焦点转移年，部分原因是，回顾过去，去年的5个部分的回顾花费了更多的努力来产生比它的价值。此外，由于我们最近完成了权责发生制会计，我现在可以更容易地提供每个日历年的年度审查，而不是3月至2月期间的审查。因此，2014年的年度回顾将与之前的年度回顾(2013年3月至2014年2月)有一些重叠。↩
  2. 显然，有预测和政治挑战，也有与确保近期AI系统的良好成果有关的技术挑战，但Miri选择专门从事技术挑战亚博体育苹果app官方下载将超级智能与人类利益结合起来．参见:友好的AI研究作为有效的亚博体育官网利他主义和为什么miri？↩
  3. 显然，劳动分工比我在这里描述的要复杂得多。例如，富士国际在2014年取得了一些技术研究进展，MIRI做了一些公共推广。亚博体育官网↩
  4. 以下内容大致按时间顺序排列:BotWorld，通过Löb的定理囚犯困境的计划均衡，自我改进时空嵌入智能中的自我参照问题，响度，分配允许平铺阶段性的主观欧盟最大化，非无所不知，概率推断和元化学，可订正，已知搜索顺序的UDT，将超级智能与人类利益结合起来，走向理想化决策理论，收敛的可计算概率分布…，因果图中的Tiling试剂，安全自主ai的概念学习．我也算Rob Bensinger的博客文章序列归化诱导作为一份半技术性的“报告”。一些技术议程概述的支持论文直到2015年才在我们的博客上公布。这些不在这里计算。为了比较起见，我们在2013年发布了10篇技术论文/报告，但其中7篇是非常简短的技术报告2013年12月车间．2013年的10篇技术论文/报告如下:概率元数学中的科学归纳法，Fallenstein的怪物，递归定义的逻辑理论是明确定义的，用于自我修饰的剪辑代理，以及呼吸障碍，拖延悖论，关于Newcomblike问题的决策算法比较，概率逻辑中的真理绝定，5- 10问题和铺贴剂的形式主义，在参数化多态性的一个形式化中降低数学强度， 和一个无限下降的合理理论序列每一个都证明下一个是一致的．↩
  5. 2014年访问研究亚博体育官网人员包括Abram Demski、Scott Garrabrant、Nik Weaver、Nisan Stiennon、Vladimir Slepnev、Tsvi Benson-Tilsen、Danny Hintze和Ilya Shpitser。↩
  6. 雇佣更多的开发人员将有助于我们的研究项目的发展，因为我可以腾出更多的时间从事研究项目的工作，雇佣一个或更多的主亚博体育官网管将直接增加新的人员能力，以发展我们的研究项目。↩
  7. 今年，我已经崩溃了以前的分类我把“战略”和“说明性”研究分为一个类别，我称之为“战略研究”。亚博体育官网↩
  8. 以下内容大致按时间顺序排列:人工智能领域有多大？，稳健合作:友好AI研究的案例研究亚博体育官网，计算的世界分布，我的观点是反向的吗?，信息技术的指数和非指数趋势，如何研究超级智能战略，对从事某种形式的预测或预测的人的初步提示，AGI安全工程基础，LOOSEMORE AI安全和吸引子，AGI结果和文明竞争力，的金融时报》关于Miri的故事，Edge.org关于“人工智能的神话”的对话中存在的三个误解，关于人工智能威胁的两次错误，Brooks和Searle谈AI意志和时间线，关于人工智能能力和动机的戴维斯．↩
  9. 以下内容大致按时间顺序排列:胚胎选择认知增强，为什么我们需要友好的AI，着名的AI预测的错误，见解和课程，人工智能的伦理问题， 和人工智能的探索性工程．↩
  10. HPMoR现在已经完成的，但它尚未完成2014年。↩
  11. 除捐款外，MIRI还有一些资金来源。例如，2014年我们的已实现和未实现收益，加上利息和股息——但不包括我们持有的高度波动的加密货币的已实现和未实现收益——共计97000美元。我们还从电子书销售中赚了7000美元，从电子书中赚了5000美元亚博体育苹果app官方下载 程式。↩
  12. 这项捐款是用纹波制成的，我们最终销售。↩
  13. 看到“与过去几年的比较”这里．此外，在2014年，我们转型为应计会计，这使得与过去几年的比较令人困惑。此外，本节中的数字可能与过去发布的估计不完全匹配，因为每一个现在，我们仍然在捐赠者数据库中找到并纠正旧错误。最后，请注意，此页面上的数字或图中不包含单纯捐赠。↩
  14. 我们很高兴支持这类战略性研究，给予专项资金和低管理费用，但其他方面，我们专注于亚博体育官网我们的技术研究计划。↩