本月我们的重大新闻是Scott Garrabrant的有限因子集,这是MIRI迄今为止最大的结果之一。
对于大多数人来说,关于FFS最好的介绍资源可能是Scott的主题演讲/记录.斯科特还将发表一篇篇幅更长的、更缜密的介绍,分为多个部分:第1部分,第2部分.
Scott还与Daniel Filan讨论了因子集AI X-Risk播客,并在LessWrong谈话/记录.
其他米里更新
- 在MIRI研究员亚博体育官网Abram Demski看来,核心内部校准问题是缺乏强有力的安全论证,“在这种情况下,我们可能会天真地期待它。”我们不知道如何排除(不对齐的)平台优化器的存在。”亚伯兰的倡导者一个更正式的解决问题的方法:
到目前为止,大多数关于内部校准的工作都是非正式的或半正式的(值得注意的是,关于最小电路的少量工作除外)。我觉得这导致了对这个问题的一些误解。我想写一个大的文件,清楚地定义正式的问题,并详细说明一些正式的研究方向。亚博体育官网在这里,我概述了我的意图,邀请读者提供反馈和向我指出任何正式的工作或潜在的正式工作领域应该包含在这样的文件中。
- 马克徐写道Garrabrant归纳的直观指南(又名逻辑感应)。
- MIRI研亚博体育官网究助理Ramana Kumar在Scott Garrabrant的研究中正式提出了这个观点笛卡儿坐标系更高阶逻辑的顺序"包括所有定理的机器验证证明”。
- 独立研究员亚历克斯·弗林亚博体育官网特写道概率论和逻辑归纳法和内部排列障碍的等级.
- 我(Rob)询问了44名从事长期人工智能风险研究的人关于人工智能的存在风险水平(EA论坛链接,LW链接).对此的反应各不相同(MIRI比大多数组织更悲观)。由于“人工智能系统没有做/优化人们部署它们想要/打算做的事情”,被调查者发生存在性灾难的平均概率约为40%,中位数为30%。亚博体育苹果app官方下载(参见独立调查克拉克(Clarke)、卡里尔(Carlier)和舒尔特(Schuett)著。)
- MIRI最近花了一些时间认真考虑是否要搬出旧金山湾区。我们现在决定留在海湾。欲了解更多细节,请参阅MIRI董事会成员布雷克·博格森(Blake Borgeson)更新.
新闻和链接
- 之前在OpenAI工作的达里奥和丹妮拉·Amodei成立了一个新组织,人为,目标进行“计算密集型研究,以开发可操纵、可解释和鲁棒的大规模人工智能系统”。亚博体育官网亚博体育苹果app官方下载
- Jonas Vollmer写道,长期未来基金和有效利他基础设施基金现在是寻找拨款申请“我们资助学生奖学金、职业探索、当地团体、创业项目、学术教学收购、为低收入学者提供补充资金,以及许多其他事情。我们可以匿名捐款而不公开报道。我们将考虑低至1000美元或高至50万美元(或在某些情况下更高)的赠款。提醒一下,EA基金比你想象的更灵活吗“未来,这两个基金将在任何时候接受申请,而不是有不同的赠款轮。你可以应用在这里.