新的研究亚博体育官网页面和两篇新的文章

||论文

亚博体育官网

我们的新亚博体育官网 页面已经启动了!

我们之前的研究页面是一个简亚博体育官网单的文章列表,但新的页面描述了我们研究的目的,解释了我们贡献的四类研究,并突出了我们认为最重要的阅读论文。

我们还发布了两篇新的研究文章的草稿。亚博体育官网

用于自我修改AI的瓷砖代理,以及Löbian障碍(讨论它在这里),解释了MIRI研究议程中一个关键的开放问题:亚博体育官网

我们通过引入“平铺”代理来模拟人工智能中的自我修正,其决策系统将批准构建高度相似的代理,创建一个重复的模式(包括后代目标的相似性)。亚博体育苹果app官方下载以最直接的方式构建形式主义会产生Gödelian的困难,“Löbian的障碍”。通过技术方法,我们证明了避免这一障碍的可能性,但理性一致性的潜在难题因此只能部分解决。我们将形式主义扩展到部分未知的确定性环境,并展示了一个非常粗略的扩展到概率环境和预期效用;但是,为自修正概率代理找到一个基本的决策准则的问题仍然是开放的。

囚徒困境中的稳健合作:可证明逻辑的程序均衡(讨论它在这里),解释了MIRI研究助理Patrick LaVictoire和其他几个人在2013年4月MIRI研讨会上关于项目平衡的一些进展:亚博体育官网

尽管相互合作对双方都有更高的效用,但理性个体还是会在一次性囚徒困境中叛变。Moshe Tennenholtz证明,如果每个程序都被允许将自己的游戏策略传递给所有其他参与者,那么一些程序就可以在一次性囚徒困境中合作。程序均衡是Tennenholtz对纳什均衡的术语,在这种情况下,程序可以将自己的策略传递给其他参与者。

到目前为止,这种方法的一个缺点是,任何两个做出不同选择的程序都不能“认出”对方进行相互合作,即使它们在功能上是相同的。在本文中,可证明逻辑的使用使一种更加灵活和安全的相互合作形式成为可能。

MIRI 4月份讲习班的参与者也取得了进展global的概率逻辑(对Löbian障碍的攻击),但这项工作还没有准备好发布。

我们还改进了亚博体育苹果app官方下载 页,其中现在包括亚博体育苹果app官方下载 即将到来的研讨会。如果你可能我喜欢在未来18个月的某个时候与MIRI合作,解决一些开放式研究问题,亚博体育官网亚博体育苹果app官方下载 !同样,如果你知道有人可能喜欢参加这样的研讨会,请鼓励他们申请。