艾布拉姆·戴姆斯基和斯科特·加拉布兰特一个重大更新“嵌入式代理，讨论了ε-勘探、纽库姆类问题、反思性预言、逻辑不确定性、古德哈特定律和罕见灾难预测等话题。
Abram还写了一篇关于在没有贝叶斯更新的情况下什么是好的推理的概述:激进的盖然论．一个反复出现的主题:
[我]n一般(即没有任何特殊的先验保证了受限观测模型的收敛性)，贝叶斯算法依赖于可实现性假设(也称为真粒假设)来实现收敛，就像它对其他一些很好的性质所做的那样。激进的概率论不需要这样的假设就需要这些性质。
[…C]收敛指向激进概率主义者“客观性”的概念。虽然一个激进的概率主义者所做的个人更新可能到处都是，但这些信念最终一定会安定下来。推理的目的就是要尽快找到那个答案。
与此同时,Infra-Bayesianism是一种新的思考最佳推理的正式框架，而不需要推理者的真实环境在其假设空间中。Abram评论道:“Alex Appel和Vanessa Kosoy一直在努力研究‘下贝叶斯理论’，这是一种RL的新方法，旨在使证明安全相关定理变得更容易(也就是说，可能)(也是一种更普遍的贝叶斯理论的新方法)。
其他米里更新
- Abram Demski写了一个关于逻辑电感和贝叶斯的区别的寓言:贝叶斯暴君．
- 基础上的选择与控制区别,亚伯兰对比“mesa-search”和“mesa-control”．
新闻和链接
- 来自OpenAI的Stiennon等人:学会用人类的反馈来总结．MIRI研亚博体育官网究员Eliezer Yudkowsky评论：
这是一项非常罕见的研究，直接与真正的对亚博体育官网齐问题相关!他们根据人类的喜好训练奖励功能然后测量在结果变得更糟之前，你能对训练过的函数进行优化的难度。
你可以要求得到和训练数据中排名前99位一样好的结果(就像杰西卡·泰勒那样)quantilization想法)。要求训练奖励功能比这“更好”的东西，然后它开始从系统外部寻找“漏洞”亚博体育苹果app官方下载;训练后的奖励功能与你的真实偏好不匹配的地方，而不是你的真实偏好会得到高奖励的地方。
- Chi Nguyen写道介绍保罗·克里斯蒂安诺的重复放大研究议程亚博体育官网该公司力求成为第一个“既容易理解又能提供全面信息”的此类资源。这篇文章包含了克里斯蒂安诺的内联评论。
- 预测者分享可视化他们的AI时间表LessWrong。
