MIRI暑期研究员计划已经开始申请!
CFAR和MIRI将于2019年8月9日至24日在旧金山湾区举办第五届年度MIRI夏季研究员项目(MSFP)。
MSFP是对在人工智能校准问题上取得技术进步有浓厚兴趣的数学家和程序员的一次延伸撤退。它包括了CFAR的应用合理性内容的概述，在人工智能安全的MIRI视角中广度优先的基础，以及参与者和MIRI工作人员试图在开放问题上进行的多天实际动手研究。亚博体育官网
MIRIx的新现场指南
我们刚刚释放了a现场指导MIRIx小组，以及其他想要参与其中的人AI对齐亚博体育官网研究。
MIRIx是一个mii帮助想要解决人工智能安全公开问题的外部团体支付基本费用的项目。你可以创建自己的小组，或者在网站上查找现有的聚会信息www.hdjkn.com/mirix．
几个MIRIx小组最近都在加紧他们的活动，包括:
- 加州大学欧文分校Daniel Hermann在加州欧文市成立了一个MIRIx小组。联系他如果你愿意的话。
- 西雅图MIRIxSeattle是一个正在重新启动和增加其活动的小组织。联系普帕夏如果你感兴趣。
- 温哥华：安德鲁·麦克奈特和埃文Gaensbauer我们正在寻找更多愿意参加MIRIxVancouver活动的人。
新的对齐领域指南旨在为MIRIx小组提供提示和背景模型，基于我们的经验，是什么倾向于使一个研究小组成功或失败。亚博体育官网
导游开始:
序言I:决策理论
你好!您可能会注意到您正在阅读一个文档。
这一事实带有一定的含义。比如，你为什么要读这个?你会完成它吗?你最终会做出什么样的决定?接下来你要做什么?
请注意，无论你最后做什么，很可能会有几十个甚至数百个与你非常相似的人，处于非常相似的位置，他们会遵循与你非常相似的推理，做出与你相匹配的选择。
鉴于此，我们建议你通过以下几个问题来做决定:“如果所有与我相似的代理人都遵循什么样的政策，会产生最好的结果?在我的特殊情况下，这种政策意味着什么?”这不是一个试图为所有与你非常相似的代理做出决定的问题(这可能会导致你出于内疚或压力而做出错误的选择)，更像是“如果我”是在我的引用类中，我将如何处理这个类的实例我的具体特征?”
如果这种想法能让你进一步阅读，那就太好了。如果它引导您建立MIRIx章节，那就更好了。与此同时，我们将继续这样做，仿佛阅读这份文件的人只有那些有理由认为它相当有用的人。
序言II:表面积
想象一下，您的任务是移动一个边长为一米的实心铁立方体。考虑到这样一个立方体的重量约为16000磅，一个普通人可以举起约100磅，一个naïve的估计告诉你，你可以通过150个愿意的朋友来解决这个问题。
当然，一平方米的立方体最多能容纳10个人。它不事如果你有理论上的能力来移动立方体如果你不能以一种有效的方式来承受这种能力。这个问题受到它的限制表面积．
MIRIx的章节是增加人们思考和研究AI对齐技术问题的表面积的最好方法之一。正如这将是一个坏主意法令”发生在10人目前是最接近金属立方体是唯一允许考虑如何思考这个问题”,我们不希望米里成为瓶颈或权威什么样的思维可以而且应该做的领域嵌入式代理以及其他相关领域的研究。亚博体育官网
希望你和其他像你一样的人能够真正帮助解决问题，而不仅仅是遵循指示或阅读已经写好的东西。本文档旨在支持那些对自己做真正的开创性研究感兴趣的人。亚博体育官网
2019年2月通讯
关于人体模型的思考
这是由MIRI研究助理和DeepMind研究科学家Rama亚博体育官网na Kumar和MIRI研究员Scott Garrabrant联合发表的一篇文章AI对齐论坛和LessWrong．
人的价值和偏好很难指定，特别是在复杂的领域。因此，很多AGI安全性研究都集中在涉及人类价值和偏好的AG亚博体育官网I设计方法上间接通过学习一种基于人类价值观表达(通过陈述的偏好、观察到的行为、认可等)和/或产生这些价值观表达的现实世界过程的模型。还有一些方法旨在模拟或模仿人类认知或行为的其他方面，但没有明确的目标来捕捉人类的偏好(但通常是为了最终满足它们)。让我们将所有这些模型称为人体模型．
在这篇文章中，我们讨论了对使用人体模型的AGI设计保持谨慎的几个原因。我们建议AGI安全研究界将更多的精力投入到开发在没有人类模型的亚博体育官网情况下工作良好的方法，以及依赖于人类模型的方法上。这将是当前安全研究领域的一个重要补充，特别是如果我们专注于研究和尝试具体的方法，而不是发展理论。亚博体育官网我们也承认，回避人类模型似乎很困难的各种原因。
人体模型的问题
为了弄清楚人类模型，我们粗略地区分了我们的实际偏好(我们可能无法完全理解)和评估我们偏好的程序。第一件事，实际偏好，是人类在反思后真正想要的。满足我们的实际偏好是一种胜利。第二件事，评估偏好的程序，指的是我们实际偏好的各种代理，比如我们的认可，或者我们认为好的东西(需要有限的信息或思考时间)。人体模型属于第二类;例如，考虑对结果描述集的人类yes/no批准的高度精确的ML模型。我们的第一个担忧，如下所述，是过度拟合人类的认可，从而打破了它与我们实际偏好的联系。(这是古德哈特定律的一个例子。)
我们的2018年募资回顾
我们的2018年筹集资金截至12月31日，为期五周的活动共筹集到951,817美元1来自348个捐助者，以帮助推进MIRI的使命。我们超过了我们的主要目标(50万美元)，并再次达到了我们的加速增长目标(120万美元)的一半以上。我们感谢所有支持我们的人。谢谢你！
加密货币的价格明显低于我们的2017年筹集资金这一次，我们从加密货币持有者那里获得的资金减少了(约6%)。尽管如此，我们的筹款活动还是取得了成功，这在很大程度上要归功于MIRI的支持者在筹款期间参与了多个匹配活动，包括WeTrust Spring的以太坊配对活动, Facebook的周二给事件和职业扑克选手丹·史密斯的翻倍开车，熟练地管理为有效捐赠而筹款．
