美里的2018资金筹集活动

2019年1月更新: MIRI 2018年的筹款活动现在结束。

MIRI是一个非营利性的数学/计算机亚博体育官网科学研究机构，其使命是将比人类更聪明的人工智能的潜在人道主义利益最大化。你可以更多地了解我们的工作"确保比人类聪明的智力有一个积极的结果”和“嵌入式代理．”

我们今年的筹资目标是建立在2018年筹集足够资金以满足明年“一切照常”的预算的基础上的。我们认为“每年赚足够的钱来支付下一年”对MIRI来说是一个很好的启发，因为我们是一个快速增长的非营利组织，拥有健康的储备水平和由研究员工资主导的预算。亚博体育官网

我们将重点放在业务支出上，以便剔除在未来几年内迁移到新空间的成本(可能非常大)，因为我们将继续增长，这将给模型带来很大的差异。¹

我目前对我们2019年(一切如常，无异常值)支出的模型为440万美元至550万美元，预测值为480万美元，高于今年的350万美元和2017年的210万美元。该模型将所有主要支出类别作为输入估计范围，但绝大多数差异来自于我们将添加到团队中的员工数量。²

在主线场景中，我们2019年的预算细目大致如下:

在这种情况下，我们目前有大约1.5年的储备。由于我们在1月1日至11月25日之间筹集了430万美元，^3.我们的两个目标是:

• 目标1(50万美元)，这是我们今年到目前为止筹集到的资金与我们对明年照常营业支出的预估之间的差额。
• 目标2(120万美元)，这是我们所需的资金流，以保持我们的增长速度，达到我们预期的上限。⁴

下面,我们将总结MIRI有什么新消息谈谈我们的更多资金的空间．

1.最近的更新

我们已经发布了一系列关于我们最近的活动和策略的新帖子:

• 2018年更新:我们的新研究方向亚博体育官网讨论了我们在过去两年里一直在加强的一组新的研究方向亚博体育官网，它们如何与我们的Agent Foundations研究和我们的“解融合”目标相关，以及为什么我们在这项研究中采用了“默认不公开”的政策。

• 嵌入式代理将我们的Agent Foundations研究议程描述为针对单一亚博体育官网核心困难的不同角度攻击:我们不知道如何为嵌入其环境中的Agent描述良好的推理和决策。

• 夏天美里更新讨论了新雇员、新的捐赠和拨款，以及我们一直在运行的新项目，以招募研究人员，并扩大人工智能联合研究人员的总人数。亚博体育官网

,添加11月28日：

• MIRI的最新员工:爱德华·克米特Haskell开发人员Edward Kmett说，他推广了函数式编程中镜头的使用，并围绕Haskell核心库维护了大量的库。

• 2017年回顾回顾我们去年的活动和捐助者的支持。

我们的2018年更新讨论了我们现在正试图招募更多的工程师和计算机科学家，以及在不久的将来我们试图添加到团队中的更多人:

我们正在寻找能让我们“变得更少”的人困惑关于人工智能校准的“工作要更快”。

在实践中，这意味着:那些天生就会用数学或代码思考的人，那些认真对待AI对齐问题的人，以及那些通常都有能力的人。特别是，我们正在寻找高端谷歌程序员水平的能力;你不需要百万分之一的考试分数，也不需要命运的光环。你也不需要博士学位，明确的ML背景，甚至之前的研究经验。亚博体育官网

如果以上可能是你，并且在MIRI工作的想法对你有吸引力，我建议发送工作申请或者回答你的问题巴克Shlegeris他是MI亚博体育官网RI的一名研究员，一直在帮助我们招聘。

我们也在招聘代理基金会的角色，尽管速度要慢得多。对于这些角色，我们建议与我们和其他人进行互动，讨论AI对齐问题减少错误和人工智能校准论坛，或在本地MIRIx组。然后，我们通常会从我们通过上述渠道、访问和活动认识的人那里聘请代理基金会的研究人员亚博体育官网人工智能暑期研究员计划．

Scott Garrabrant最近发布的一篇文章是开始对这些问题发展直觉的好地方定点练习，或有关米里研究指亚博体育官网南．最近一些关于代理基金会/嵌入式代理的公共工作的例子包括:

• 以致艾圣斯特山姆的untrollable之前解释说,插图形式亚伯兰·德姆斯基的研究表明，贝叶斯方法可以解决推动人类发展的一个基本问题non-Bayesian逻辑不确定性工具(以逻辑归纳)．这告诉我们什么是可能的，并可能导致在这个方向上的进一步进展贝叶斯逻辑的不确定性．
• Scott Garrabrant概述了一个分类古德哈特定律的表现方式
• 山姆的逻辑感应器拼接结果的版本铺瓷砖问题对于逻辑上不确定的代理人。
• 囚徒困境与建模成本:修改的版本开源的囚徒困境代理必须支付资源才能相互建模。
• 逻辑电感器收敛于相关均衡(类):逻辑感应器的博弈论分析。
• 新结果渐进决策理论和当EDT=CDT时，ADT表现良好代表了在理解学习正确的可能性方面的渐进进展反设事实．

与内特即将发表的《瓷砖经纪人论文》或埃文·胡宾格、克里斯·范·默维克、弗拉基米尔·米库利克、约尔·斯卡尔斯和斯科特·加拉布兰特即将发表的《内部排列问题》相比，这些结果相对较小。然而，它们应该能让我们对Agent Foundations工作最近的一些发展方向有一个很好的认识。

2.更多资金的空间

如上所述，我们2018年预算中最大的不确定性来源是我们雇佣了多少研究人员，以及我们在搬到新办公室上花了多少钱。亚博体育官网

在我们2017年的筹款活动中，我们设定了一个目标，即在2018-2019年招聘10名新的研究人员。亚博体育官网到目前为止，我们增加了两名研究人员，有足够亚博体育官网多的有前途的候选人，我仍然认为这是一个可行的(尽管雄心勃勃的)目标。

在去年(并持续到2018年)我们获得了来自捐赠者的惊人支持后，我们获得了比预期多得多的资金，而且我们找到了比预期更多的有效使用资金的方式。特别是，我们已经能够将2017年收到的“奖金”支持转化为扩大我们招聘工作的范围。因此，我们2018年的支出将达到350万美元左右，实际上与我在2017年对2019年预算的估计相符，而不是我对2018年预算的预测——比我的预测高出一大步，比去年的210万美元预算高出更大。⁵

我们的两个筹款目标，目标1 (500美元)及目标二(1.2美元)，以配合我们容易预测和解释的预算需要。由于2017年捐助者的支持大幅增加，我们2018年的情况要好得多，今天的情况可能也类似，但我不确定是否属实。

具体来说，由于我们所看到的惊人支持，我们的决策发生了一些改变:

• 我们把更多的钱花在了支付所有费用上计算机科学家面临的人工智能风险研讨会。我们在2月份举办了第一次这样的研讨会，并认为作为一个具有相关技术经验的人开始更多地思考人工智能风险的场所，它具有很大的价值。从那以后，我们在2018年又举办了7场赛事，并计划在2019年举办更多的赛事。
  正如所希望的那样，这些研讨会也引发了加入MIRI和其他人工智能安全研究团队的兴趣。亚博体育官网这导致MIRI聘用了一名全职研究人员，并在2019年聘用了10名有良好前景的候选亚博体育官网人，其中包括两名最近的实习生。

• 我们一直更愿意也更有能力为顶级技术人才支付有竞争力的薪酬。一个特殊的例子是雇佣相对高级的研究人员亚博体育官网爱德华Kmett．

• 我们提高了一些现有职员的工资。我们有一个非常忠诚的员工，在MIRI的一些员工曾经要求相当低的工资，以帮助保持MIRI的组织成本更低。这给员工带来的不便在我们目前的组织规模下没有多大意义，无论是从我们团队的生产力还是他们的福利而言。

• 我们运行了一个暑期科研实习项亚博体育官网目在一个更大的范围内。

• 当我们考虑新的办公空间的选择，以适应我们的扩张，我们已经能够过滤较少的价格相对适合。我们也可以花更多的钱在装修上，我们希望创造一个工作环境，让我们的研究人员可以在更少的干扰和不便的情况下工作。亚博体育官网

2018年，我们有能力以成本效益将意外增加的资金转化为非常有价值的行动(从我们的角度来看是这样的)，我们的能力得到了积极的更新，上面的列表希望能帮助我们明确在实践中会是什么样子。我们不能保证在2019年再次出现这种情况，因为这次筹资活动的规模过大，但我们有理由保持乐观。

1. 也就是说，我们的业务正常模式试图去除一次性的异常值成本，以便更容易看到MIRI支出中的“新常态”，并考虑我们的长期增长曲线。↩
2. 这个估计是相当粗略和不确定的。这个模型的一个缺点是它把输入看成是独立的，但事实并非总是如此。我也没有试着去解释这样一个事实，即我们可能会在能够看到更多成功融资的世界中投入更多。

   然而，对最终结果的敏感性分析表明，这个估计中的绝大多数不确定性来自于我们雇佣了多少研究人员，这符合我的预期，并表明该模型在跟踪直观上重要的变量方面做得不错。亚博体育官网当我以其他方式计算我们的资金状况时，当我考虑不同的资金情况时，我也得出了类似的目标。↩

3. 这不包括指定用途的资金人工智能的影响这是一个独立的研究小组，位于MIR亚博体育官网I的机构内。↩
4. 我们也可以考虑将10万美元的“0.5目标”设定为440万美元，以达到这个范围的底部。然而，我担心10万美元的目标会误导我们，因为我们考虑的是440万至550万美元的预算。↩
5. 引用我们的2017年筹集资金后:“如果我们成功，我们的观点是，我们2018年的预算将是280万美元，我们2019年的预算将是350万美元，高于2017年的约190万美元。”190万美元是2017年年底之前的估计数字。我们现在已经将这个数字修正为210万美元，这正好与我们2016年对2017年的支出的估计值一致。↩