MIRI首席运营官Malo Bourgon回顾了我们过去的一年,并讨论了我们未来的计划2020年更新和战略.
我们最大的更新是,在我们描述的新研究中,我们取得的具体进展比我们预期的要少亚博体育官网2018年更新:我们的新研究方向亚博体育官网.因此,我们正在缩减在这些研究方向上的工作,并寻找新的攻角,以更好地解决对齐问题。亚博体育官网
其他米里更新
- MIRI研究员Evan Hubinger的一亚博体育官网篇新论文写道:构建安全先进人工智能的11个建议概述."
- 去年一篇迟来的论文声明:安德鲁·克里奇的“Löb定理的一个参数化、资源受限的推广,以及开源博弈的一个鲁棒合作准则”,结果最初写出来在MIRI工作期间,发表于符号逻辑杂志.
- MIRI的Abram Demski介绍道学习规范:一个研究议程亚博体育官网.参见亚伯兰的新评论,规范性.
- 埃文Hubinger澄清内部对准术语.
- 生存与繁荣基金(SFF)有授予MIRI最新一轮拨款56.3万美元!我们非常感谢SFF的资助推荐人和资助者。
- 反映领土的地图是一套新的印刷书籍,收集了2018年LessWrong的顶级文章,包括MIRI研究者Eliezer Yudkowsky, Abram Demski和Scott Garrabrant的文章。亚博体育官网
- DeepMind Rohin的沙给他的概述Scott Garrabrant的笛卡尔坐标系。
新闻和链接
- 丹尼尔Filan发射人工智能x风险研究播客亚博体育官网(AXRP)与集亚当Gleave,Rohin沙,安德鲁Critch.
- DeepMind的AlphaFold代表了蛋白质结构预测的巨大进步。
- Metaculus发射预测人工智能的进展这是一场为期4个月的预测人工智能进展的公开比赛,奖金总额为5万美元。
- 继续关于起飞的争论: Richard Ngo回应了Paul Christiano反对硬起飞的“改变选择压力”论点。
- OpenAI的Beth Barnes对此进行了讨论模糊的争论问题讨论人工智能的安全性:
以前,我们希望辩论/IDA能够验证存在这种人类可以理解的论点的任何知识,即使这些论点非常大。我们希望辩论者能够有策略地遍历隐含的大论证树的一小部分,从而表明整个树都是可信的。
混淆论证的问题表明,我们可能无法依赖辩论者在大型论证中找到缺陷,因此,我们只能相信通过随机递归来找到缺陷的论证。因为这个论证足够小,如果存在一个缺陷,我们可以找到它,或者因为这个论证足够强大,除非它有很多缺陷,否则它是正确的。
- 一些人工智能研究亚博体育官网领域及其与存在安全的相关性: Andrew Critch比较了分布外的稳健性、代理基础、多代理RL、偏好学习和其他研究领域。亚博体育官网
- 本·霍斯金释放了他的2020 AI对齐文献综述及慈善比较.
- 开放慈善总结了它的AI治理grantmaking到目前为止。