MIRI首席运营官Malo Bourgon回顾了我们过去的一年，并讨论了我们未来的计划2020更新和策略．

我们最新的更新是我们在我们所描述的新研究中取得了较少的具体进展亚博体育官网2018年更新：我们的新研究方向亚博体育官网．因此，我们正在缩减在这些研究方向上的工作，并寻找新的攻角，以更好地解决对齐问题。亚博体育官网

其他Miri更新

• 来自Miri研究员Evan Hubinger亚博体育官网的一篇新论文：“构建安全先进人工智能的11个建议概述．"
• 去年的迟来的纸张公告：安德鲁克克里的“Löb定理的参数，资源有限泛化，以及开放源游戏理论的强大合作标准”,结果原本写道在MIRI工作期间，发表于象征逻辑杂志．
• Miri的Abram Demski介绍了学习规范:一个研究议程亚博体育官网．另见亚伯兰的新写作，规范性．
• 埃文Hubinger澄清内部对准术语．
• 生存和繁荣的基金（SFF）有颁发Miri $ 563,000最新一轮赠款！对SFF的补助金推荐人和资助者的巨大感激之情。
• 一个反映领土的地图是一本新的印刷书集收集2018年的Top Lesswrong论文，包括Miri研究人员Eliezer Yudkowsky，Abram Demski和Scott Garrabrant的散文。亚博体育官网
• Deepmind的rohin shah赋予他的概要斯科特盖拉德坦的笛卡尔框架框架。

新闻和链接

• 丹尼尔Filan发射AI X-Risk Rese亚博体育官网arch播客(AXRP)与集亚当闪耀那Rohin沙， 和安德鲁克克里奇．
• 深媒体alphafold.表示蛋白质结构预测的非常大的进步。
• Metaculus发射预测AI进步是一个开放的四个月锦标赛，以预测AI的进步，拥有50,​​000美元的奖池。
• 继续关于起飞的争论: Richard Ngo回应了Paul Christiano反对硬起飞的“改变选择压力”论点。
• Openai的Beth Barnes讨论了模糊的争论问题通过辩论进行AI安全：
  
  

  以前，我们希望辩论/IDA能够验证存在这种人类可以理解的论点的任何知识，即使这些论点非常大。我们希望辩论者能够有策略地遍历隐含的大论证树的一小部分，从而表明整个树都是可信的。

  混淆的论点问题表明，我们可能无法依赖撤销者在大争论中找到缺陷，以便我们只能通过调用随机递减的缺陷时信任参数。因为参数足够小，如果存在一个，我们可以找到一个缺陷，或者因为参数足够强大，除非它有很多缺陷，否则除非它是正确的。

• 一些AI研究领域亚博体育官网及其与存在性安全的相关性：Andrew Critch比较分销的鲁棒性，代理基础，多代理RL，偏好学习和其他研究领域。亚博体育官网
• Ben Hoskin发布了他的2020 AI对准文献综述和慈善比较．
• 开放慈善总结了它的AI治理授予迄今为止。

Miri研亚博体育官网究员Scott Garrabrant已完成他的笛卡儿坐标系顺序。斯科特还包括前两个帖子的内容在视频形式．

其他Miri更新

• 与我的相反之前的声明，Miri今年不会运行正式筹款机，但我们仍然会参加周二和其他匹配机会。捐赠并yabo体育官网下载ios获取有关税收优势捐赠的信息，雇主匹配等，见yabo体育官网下载ios ．我们还将在接下来的几周内进行年度最新的更新和回顾性。
• Facebook的“周二捐赠配对”活动将于本周二(12月1日)上午5点举行。Facebook将100%匹配第一个200万美元捐赠，这似乎只需要2-3秒。yabo体育官网下载ios为了获得100%匹配，这甚至比去年开始点击4:59:59 am pt。Facebook将于10％的捐赠捐赠10％的捐款。有关优化捐赠的详细信息Miri的Facebook Fundraiser可以找到EA周二给， 一种重新思考慈善机构项目。
• 视频讨论:斯图尔特·阿姆斯特朗，斯科特·加拉布兰特，还有AI安全阅读小组讨论斯图尔特如果我是一个善意的AI…．
• Miri 亚博体育官网Research Associatiat Vanessa Kosoy提出了关于AI信息危险．
• 巴克·肖克斯认为我们可能是在“历史的铰链”(假设我们不是生活在模拟中)。
• 为了更容易地找到和引用MIRI论文的旧版本(特别是那些不在arXiv上的)，我们收集了关于MIRI的旧版本的链接Intelligence.org/refision.．

新闻和链接

• CFAR的Anna Salamon问：稳定的合作机构从何而来?
• 人类兼容人工智能中心正在接受申请亚博体育官网研究实习到12月13日。
• AI安全（虚拟）营地通过12月15日接受申请。
• 第四版人工智能:一种现代方法出,对对齐问题的扩展讨论．
• Deepmind的rohin shah评论Brian Christian的新书对齐问题：机器学习和人类价值观．
• Daniel Filan和Rohin Shah讨论安全心态和起飞速度．
• 《财富》杂志概要文件存在风险慈善家Jaan Tallinn。

从今天开始，斯科特·加拉布兰特开始发帖了笛卡儿坐标系，这个序列引入了一个新的概念框架，斯科特发现这对于思考能动的作用很有价值。

在斯科特的话语中：笛卡尔框架是“申请推理像珍珠的对象就像博弈论，有一个动机像Hutter”。

斯科特将在网上谈论这个星期天在zoom上12pm pt介绍笛卡尔框架（关联）。他也将在聚会上举办办公时间。下四个星期天开关;有关详细信息，请参阅此处．

其他Miri更新

• Abram Demski讨论了问题比较实用程序，强调了一些不明显的含义。
• 2020年3月，美国国会通过了该法案关心行为，这将在2020年改变捐赠的税收优惠给像MIRI这样有资格的非营利组织。变化包括:
  • 1.一项新的“高于贫困线”的税收减免:在每年的慈善捐款中，每名纳税人接受标准减免的人最多可获得300美元(一对夫妇为600美元)。捐赠给捐赠人建议基金(daf)不符合这项新的扣除。
  • 2.新的慈善扣除限制：缩短其扣除的纳税人可以扣除更多贡献。个人可以选择将捐赠捐赠高达100％的2020年，从之前的60％。这个更高限额也不适用于DAF的捐赠。

  像往常一样，请咨询您的税务顾问以获取更多信息。

• 我们今年的筹款活动将于11月29日(捐赠星期二前两天)开始，并于1月2日结束。我们希望我们的筹款活动跨越2020年和2021年，考虑到上述不寻常的税法变化，这将给人们带来更多的灵活性。
• 我很乐意宣布，Miri从匿名返回捐赠者获得了246,435美元的捐款。我们感谢捐助者，并归功于有效给英国为了促进这项捐款！

新闻和链接

• 理查德非政府组织试图提供相对谨慎和彻底的版本的标准论点，以便担心AGI风险：AGI安全从第一个原则．参见Rohin Shah的总结．
• AI对齐播客采访安德鲁Critch关于他最近的概述文件，“人工智亚博体育官网能研究对人类生存安全的考虑．”

Abram Demski和Scott Garrabrant已经制作一个主要的更新至 ”嵌入式代理“，具有新讨论ε-勘探，纽康普罗斯问题，反思性奥克斯，逻辑不确定性，古老的法律，以及预测罕见的灾难，以及其他主题。

亚伯拉姆还概述了在没有贝叶斯更新的情况下看起来有什么好的推理：激进的盖然论．一个重复的主题：

[i]一般（即，没有任何特殊的事先，保证受限制观察模型的收敛)，贝叶斯算法依赖于可实现性假设(也称为真粒假设)来实现收敛，就像它对其他一些很好的性质所做的那样。激进的概率论不需要这样的假设就需要这些性质。

[…C]收敛指向激进概率主义者“客观性”的概念。虽然一个激进的概率主义者所做的个人更新可能到处都是，但这些信念最终一定会安定下来。推理的目的就是要尽快找到那个答案。

同时，红贝叶岛主义是一个新的正式框架，用于思考最佳推理，而无需推理的真实环境在其假设空间中。艾伯拉姆评论：“Alex Appel和Vanessa Kosoy一直在”红外贝叶斯主义“，这是一个新的RL的方法，旨在使其更容易（即，可能）来证明安全的定理（以及也是一种新方法更一般地到贝叶斯主义）。

其他Miri更新

• Abram Demski对逻辑电感和贝叶斯人之间的差异表示寓言：贝叶斯暴君．
• 基础上的选择与控制区别，亚伯兰对比“mesa-search”和“mesa-control”．

新闻和链接

• 来自Openai的Stiennon等：学习总结人体反馈．Miri研亚博体育官网究员Eliezer Yudkowsky评论：
  

  一个非常罕见的研究，直接，直接与真实对亚博体育官网齐问题相关！他们培训了对人类偏好的奖励功能然后测量在结果变得更糟之前，你能对训练过的函数进行优化的难度。

  [... y] ou可以要求培训数据中最佳的第99百分位数的结果（a la jessica taylor's量化主意）。询问训练有素的奖励功能率的东西比这更好，而且它开始从系统外部寻找“漏洞”亚博体育苹果app官方下载;训练有素的奖励功能与您的真实偏好不好的地方，而不是您真实偏好对高奖励的地方。

• Chi Nguyen写道保罗Christiano迭代扩大研究议程介绍亚博体育官网这寻求成为第一个“易于理解的和[给出]完整的图片”的第一个这样的资源。帖子包括Christiano的内联评论。
• 预报员分享可视化他们的AI时间表LessWrong。

Miri更新

• MIRI的Abram Demski提出了三个问题:应用决策理论是什么意思？那如何“诚实”是GPT-3？， 和如何判断人工智能辩论?
• 来自Miri研究员Scott Garrabra亚博体育官网nt的成绩单：我该怎么办?简单算法中的自预测．
• MIRI研亚博体育官网究员Buck Shlegeris回顾了这场辩论核武器的历史意味着人类的协调能力．
• MIRI的Evan Hubinger说道:学习之前和泛化和对准提案和复杂性课程．
• 拉斐尔哈斯蒂内在对齐：像我12版一样说明总结了“从”的概念和外卖学习优化的风险“。
• ISSA RIS.回顾讨论到目前为止“在多大程度上有可能亚博体育官网拥有一个精确的理性理论?”之间的关系解烧亚博体育官网研究和安全结果。（加一个简短的回复．)
• “在线学习奖励函数的陷阱”（IJCAI纸展出那LW摘要): FHI研亚博体育官网究员和MIRI研究助理Stuart Armstrong, DeepMind的Jan Leike, Laurent Orseau和Shane Legg，探索如何阻止代理操纵他们的奖励信号，使其更容易优化。

新闻和链接

• 从保罗global:学习之前和更好的先验作为一个安全问题．
• 来自维多利亚克拉科夫纳：受影响措施中基线选择的理想性质之间的权衡．
• 本步伐总结了克里斯蒂安诺的“失败是什么样子的”帖子以及由此产生的讨论。
• Kaj Sotala收集最近的例子GPT-3工作人员的经验．

在2019年底开始在Miri完成了学习奖学金之后，布莱克琼斯正在全职加入Miri研究团队！亚博体育官网Blake Joins Joins Miri后经过长期职业生涯，在诸如Solaris操作系统和Oracle数据库之类的低级软件系统上工亚博体育苹果app官方下载作。

其他Miri更新

• MIRI研亚博体育官网究员Evan Hubinger在FLI播客(成绩单/讨论那声音的）讨论“建立安全高级AI的内部对准，外部对准和建议”。
• 凡妮莎·科索伊的"最优多项式时间估计:近似算法的贝叶斯概念，“与Alex Appel共同撰写，已被接受应用逻辑学报．
• MIRI研究员Abr亚博体育官网am Demski表示:荷兰预约CDT:修改论点认为“因果”理论（使用反事实来评估预期值的原因）理论必须与使用条件概率的理论行事相同。关于HCH和逻辑归纳讨论在反思性神谕的语境中的放大。和激进的盖然论评论荷兰语争论和贝叶斯规则之间的令人惊讶的差距。

新闻和链接

• Alex Flint总结了人类兼容的AI中心辅助游戏研究计划亚博体育官网．
• CHAI的Andrew Critch和MILA的David Krueger获释人类存亚博体育官网在安全（拱门）的研究考虑因素，回顾了29个人工智能(存在)安全研究方向，每个方向都有一个说明性的类比、当前工作的亚博体育官网例子和研究方向之间潜在的协同作用，并讨论了研究方法可能降低(或提高)存在风险的方法。
• OpenAI的丹尼·赫尔南德斯和汤姆·布朗目前的证据“对于具有高水平投资的AI任务，算法进度比经典硬件效率产生更多的增益”。
• Deepmind的维多利亚克拉科夫娜分享她来自Covid-19大流行的外卖，用于缓慢起飞情景．
• AI影响'Daniel Kokotajlo讨论世界在到达AGI之前可能发生的变化．
• 80,000小时描述他们认为承诺但没有作为优先事业道路写入的职业，包括信息安全（之前讨论过）。

MIRI研亚博体育官网究员Evan Hubinger评论道11在当前机器学习范式下建立安全高级AI的不同建议“，将它们与外部对准进行比较，内部对准那培训竞争力和绩效竞争力。

其他的更新

• 我们一直受到支持的新节目的惊讶去年二公告，Miri从另一个匿名捐赠者捐赠了捐赠率〜265,000美元的欧元，促进有效给英国和有效的利他主义基础．由于捐助者为他们的慷慨而大规模，以及两种组织对Miri和其他长者组织的恒星支持！
• 黑客新闻讨论Eliezer YudkowskyAGI没有火警．
• Miri研亚博体育官网究员Buck Shlegeris会谈遵从和内视图模型在EA论坛上。
• Openai.推出GPT-3，巨大的175-欧元参数语言模型，可以找出如何解决各种各样的问题，而无需任务特定的训练或微调。Gwern Branwen精练的总结：
  

  GPT-3是可怕的，因为它是一个很小的模型，与可能的情况相比，以最愚蠢的方式在一个单一的、贫乏的、微小的数据上进行训练，然而第一个版本已经显示了疯狂的运行时元学习和缩放曲线仍然不是弯曲!

  进一步讨论由Branwen和由Rohin沙．

• Stuart Russell在线赋予今年的图灵讲座，讨论“可怕的利益ai.“。