美里的2019资金筹集活动得出的结论。

在过去的两年里，大量捐赠者的支持帮助我们将人工智能对齐研究团队的规模扩大了一倍。亚博体育官网本月达到100万美元的筹资目标将使我们处于一个良好的位置，在2020年及以后继续增长，招募尽可能多的优秀人才来承担我们看来是对齐的核心技术障碍。

我们的筹款进度，实时更新(包括捐赠和在Facebook期间的配对周二给事件):

---

---

MIRI是一个CS/数学研究小组，目亚博体育官网标是了解如何可靠地“瞄准”未来通用人工智能系统的已知目标。亚博体育苹果app官方下载有关该研究领域的介绍，请参阅亚博体育官网确保比人类聪明的智慧有一个积极的结果和高级机器学习系统中学习型优化的风险亚博体育苹果app官方下载．有关我们如何处理这个问题的背景信息，请参阅2018年更新:我们的新研究方向亚博体育官网和嵌入式代理．

在2017年底，我们宣布计划大幅增加我们的研究团队，目标是在未来两年雇佣“大约10名新的亚博体育官网研究人员。”两年后，我很高兴地告诉大家，我们增加了8名研究人员，明年2月我们将有第九名研究人员，这将使我们的研究团队规模达到2亚博体育官网0人。¹

我们仍然对目前的研究方向感到兴奋，并继续感到，通过增加更多的研究人员和工亚博体育官网程师到团队中，我们可以更快地取得进展。因此，我们的主要组织优先事项保持不变:推进我们的研究方向，壮大研究团队以加速我们的进展。亚博体育官网

虽然我们不确定最终规模会有多大，但我们计划在未来两年继续以类似的速度发展研究团队，预计到2021年底再增加10名研究人员。亚博体育官网

我们2020年的预计预算是640万美元至740万美元，预估为680万美元，²高于今年的600万美元。^3.在主线增长场景中，我们期望我们的预算如下所示:

展望未来，由于员工工资占我们支出的绝大部分，我预计我们的支出将逐年增加，而研发团队的增长将继续是我们的首要任务。亚博体育官网

鉴于我们2020年的680万美元预算，以及我们目前手头的现金，在本次筹资活动中筹集100万美元将使我们在2020年处于一个很好的位置。如果达到100万美元，我们将拥有1.25-1.5年的现金储备，直到2020年，这正是我们想要的，以支持正在进行的招聘工作，并提供我们需要的信心，支持我们的工资和其他财务承诺。

关于我们今年做了什么以及我们2020年的计划的更多细节，请继续阅读!

1.研讨会和扩大规模

如果你生活在一个不知道微积分，但你知道东西不见了，什么样的一般做法会使你的概率最大化?

如果你一开始就不知道少了什么呢?你能和一些朋友一起吗聚在一起做研究亚博体育官网以一种让你很好地注意到它的方式，问正确的问题?

MIRI认为人类目前缺少一些核心概念和方法，而AGI开发人员需要这些概念和方法来调整他们的系统。亚博体育苹果app官方下载我们认为我们已经找到了可以帮助解决这个问题亚博体育官网的研究路径，以及通过实验快速提高我们理解能力的好方法;我们迫切希望有更多的研究人员和工程师的眼睛和大脑加入到这亚博体育官网项工作中来。

MIRI目前的大部分工作都是在Haskell中进行的，并受益于函数式编程和依赖类型系统的经验。亚博体育苹果app官方下载更一般地说，如果你是一个程序员，喜欢寻找最合适的抽象来适应一些用例，开发干净的概念，制作并部署优雅的组合符，或者大胆地尝试回答计算机科学中最深刻的问题，那么我们认为你应该这样做申请在这里工作来认识我们车间,或主动提出问题．

如上所述，我们的研究团队正在快速成长。亚博体育官网MIRI团队的最新成员包括:

埃文Hubinger，是《高级机器学习系统中学习型优化的风险亚博体育苹果app官方下载”。Evan以前设计过函数式编程语言椰子他是OpenAI的实习生，曾在谷歌、Yelp和Ripple做过软件工程工作。

杰里米Schlatter曾在谷歌和OpenAI工作的软件工程师。杰里米参与的一些公共项目包括OpenAI的队伍2机器人以及Go编程语言的调试器。

Seraphina不行!于2020年2月加入MIRI。Seraphina这个月毕业于Oberlin学院，主修数学，辅修计算机科学和物理。她之前做过关于超轻暗物质候选者、深度强化学习和教亚博体育官网神经网络做高中数学的研究。

雷夫肯尼迪加入MIRI之前，他曾在Effective利他主义酒店(Effective利他主义Hotel)担任独立存在风险研究员。亚博体育官网Rafe之前在数据科学初创公司NStack工作，他拥有牛津大学物理与哲学硕士学位。

MIRI的招聘和工作试用通常从我们的4.5天，所有费用计算机科学家面临人工智能风险(现)系列研讨会。

我们的研讨会项目是我们所知道的最好的方式，把有前途的人才带到我们认为有用的轨道，成为高贡献的人工智能研究人员和工程师。亚博体育官网已经建立了一个参与者喜欢的经验，我们相信这是非常有价值的，我们计划继续试验新版本的研讨会，并预计在2020年期间运行10个研讨会，今年是8个。

这些项目为MIRI和其他人工智能安全组织带来了大量新员工，我们发现，从引进外部人才到提升那些多年来一直在思考这些问题的人，这些项目都很有价值。

如果你有兴趣参加，应用在这里．如果你有任何问题，我们强烈建议你拍摄巴克Shlegeris电子邮件。

我们的MIRI暑期奖学金学生计划对我们也有类似的作用，但更针对数学家。我们正在考虑在2020年以更短的格式运行MSFP。有关MSFP的任何问题，请发邮件Colm O Riain．

2.亚博体育官网研究和评论

我们的2018战略更新继续是一个伟大的概述，MIRI的立场今天，描述我们如何看待我们的研究，布局我们的亚博体育官网在这里工作的情况，并解释了我们大部分工作的原因目前不是面向公众．

鉴于后一点，我将在这一节着重强调我们过去一年所写的内容，提供一些在MIRI的个人目前正在做的工作的快照(没有任何有意的暗示，这是代表整体的)，传达我们目前对研究进展的大致印象。亚博体育官网

我们今年的主要文章和出版物包括:

• ”高级机器学习系统中学习型优化的风险亚博体育苹果app官方下载作者Evan Hubinger、Chris van Merwijk、Vladimir Mikulik、Joar Skalse和Scott Garrabrant。生成这篇论文的过程明确了我们自己的想法，并告知斯科特和亚伯兰的讨论子系统亚博体育苹果app官方下载对齐在“嵌入式代理。”斯科特视图”风险从学习优化”是相当重要的“嵌入式代理”作为博览会的关键定位困难,我们非常高兴新的对话和研究领域产生了在对话的想法”迄今从学习优化”的风险。亚博体育官网
• 关于人体模型的思考作者Scott Garrabrant和deepmind的MIRI研究助理Ramana Kum亚博体育官网ar认为，人工智能对齐研究界应该开始优先考虑“在没有人类模型的情况下运行良好的方法”。的role of human models in alignment plans strikes us as one of the most important issues for MIRI and other research groups to wrestle with, and we’re generally interested in seeing what new approaches groups outside MIRI might come up with for leveraging AI for the common good in the absence of human models.
• ”大马士革死里逃生作者:内特·苏亚雷斯(Nate Soares)和本·莱文斯坦(Ben Levinstein)。我们在2017年的正式认识论研讨会上提交了这篇决策理论论文，但稍加编辑的版本现已被接受哲学杂志,以前投票第二高质量的哲学学术期刊。
• 的校准研究领域指南亚博体育官网，这是一个非常容易获取和广泛适用的资源，无论是对个人研究人员，还是起步的团体。亚博体育官网

我们最近的其他公开写作包括一个有效的利他主义论坛AMA和Buck Shlegeris亚伯兰Demski的自动预测的寓言的许多有趣的输出AI对齐写作日我们主办了今年的MIRI暑期奖学金学生计划。

说到我们的研究团队，去年我们亚博体育官网宣布多产的Haskell程序员Edward Kmett加入了MIRI团队，解放了他去做他热爱的事情——改进高度可靠(同时也非常高效)编程语言的状态。MIRI执行董事Nate Soares认为这一目标非常雄心勃勃，但如果现有的编程语言既高效又能对其属性进行强有力的正式保证，那么世界将会变得更好。

今年，Edward搬到了伯克利，与MIRI团队的其他成员更紧密地合作。我们发现，有他在身边为我们更多的工程导向项目提供想法和贡献是非常有帮助的，有助于为我们的工作提供一些实际基础。Edward还通过他在函数式编程和类型理论领域的人脉，在招聘方面提供了巨大的帮助。

与此同时，我们的新成员Evan Hubinger计划继续解决问题内在的一致性为放大．Evan已经概述了他的亚博体育官网研究计划在AI对齐论坛上，他指出轻松对抗训练是他研究日程的最新陈述。亚博体育官网Scott和MIRI的其他研究人亚博体育官网员认为Evan的工作非常令人兴奋，无论是在放大的背景下，还是在其他对齐方法的背景下，它可能被证明是有用的。

Abram Demski是另一位MIRI研究人员，他在去年亚博体育官网写了大量的研究思想。亚伯兰报告(富勒思想在这里)，他已经从传统的决策理论方法，现在花更多的时间在学习理论方法，类似MIRI研究助理Vanessa Kosoy。亚博体育官网引用亚伯兰:

2018年12月左右，我对“经典决策理论”思维模式(学习和决策被视为单独的问题)进行了一次重大更新，并采取了学习理论的方法。[…我已经]尝试传达我对UDT和学习理论方法的更新，包括这帐面价值．我和丹尼尔·科科塔伊洛谈过，他写道承诺竞赛问题，我认为这很好地体现了这一点。

凡妮莎最近的工作包括APP亚博娱乐 她在2019年ICLR SafeML研讨会上介绍了这个问题。

我要再次指出的是，以上都是MIRI各个研究人员正在追求的特定研究方向的快照，并不一定代表其他研究人员的观点或重点。亚博体育官网正如巴克最近指出， MIRI有一个相当扁平的管理结构。我们为最小化官僚主义感到自豪，并尊重我们的研究人员的能力，以形成他们自己的内部视角模型的对齐问题和下一步需要取得进展。亚博体育官网内特最近表达了类似的想法我们如何做到“默认保密”．

因此，MIRI更倾向于以数学为导向的研究，尤其倾向于由个人模型和研究品味决定，而没有期望亚博体育官网每个人都会对问题有相同的看法。

关于他对MIRI新研究方向进展的总体(非常高的层次)感觉，Nate Soares报道:亚博体育官网

2019年的进展比预期的要慢，但我有一种稳步进步的感觉。特别是,我的经验是一个稳步感觉困惑每周少于一周以前我和其他研究人员有困难,阻止我们做我们想做的事,盯着他们几个小时,然后意识到我们一直错误地思考这个或那个,亚博体育官网离开时，我们明显更像是知道发生了什么。

一个让我们觉得自己在进步的例子是我们会注意到，“啊哈，思考这三个明显不同的问题的合适工具是秩序理论”或者类似的东西;不同的框架都将变得相同，相关的框架将变得更简单，我们将能够更好地思考我所关心的问题。这是一个非常抽象的描述，但却代表了我在这里所说的“稳步前进”的意思我去年写的关于“反融合”的文章。

我们希望这种进展能够给我们提供一个平台，让我们能够在核心AI对齐障碍上产生特别令人兴奋的结果，我希望很快就能看到这样的结果。然而，到目前为止，我对花在消除自我混淆和支持框架上的时间感到失望;我之前预计会很快有更令人兴奋的结果。

在我们亚博体育官网正在从事的这类研究中，多年后才会有相当大的成果，这并不罕见。不过，如果我们确实在朝着正确的方向前进，我们也应该期待有时会看到一连串令人惊讶的快速进展。我对我们目前正在进行的工作的内部看法是，我们正在一个富有成效的轨道上，应该期待看到我们更兴奋的结果不久。

因此，我亚博体育官网们的研究进展比我们希望的要慢，但进展的速度和质量继续如此，我们认为这项工作是非常值得的，我们仍然对我们将进一步的研究工作时间转化为更快的进展的能力保持乐观。与此同时，我们(当然)也在寻找我们的研究瓶颈在哪里，以及我们如何能使我们的工作更有效率，我们还在继续寻找我们可以做出的调整，以进亚博体育官网一步提高我们的产出。

如果未来几年进展顺利——看起来很有可能，但远不能保证——我们将继续寻找新的方法，在我们非常关心的研究领域取得进展，并继续寻找方法雇佣人员来帮助实现这一目标。亚博体育官网

亚博体育官网研究人员的增加是我们支出增长的最大来源，通过鼓励我们更快地寻找令人兴奋的招聘机会，捐助者的支持在我们如何执行我们的研究议程方面发挥了关键作用。尽管到目前为止，我们所得到的巨大支持使我们即使在新的规模下也处于稳固的地位，但进一步的捐助支持对我们继续增长是一个很大的帮助。如果你想参与其中，谢谢。

---