Hubinger等人的“高级机器学习系统中学习优化的风险”是我们关于对齐问题的新核心资源之一，现在可以在arXiv、AI对齐论坛和LessWrong上找到。在其亚博体育苹果app官方下载他新闻中，我们收到了来自Vitalik Buterin的价值230910美元的以太坊捐赠，Vitalik Buterin是以太坊的发明者和联合创始人，现在是我们第三大的…阅读更多»
发帖人：罗伯本辛格
新论文：“学习优化带来的风险”
埃文·胡宾格，克里斯·范梅尔维克，弗拉基米尔·米库利克，乔尔·斯卡尔斯，Scott Garrabrant发表了一篇新的论文：“先进机器学习系统中学习优化的风险”。论文摘要：我们分析了当学习模型（如神经网络）本身就是优化器时所发生的学习优化类型——我们所指的情况…亚博体育苹果app官方下载阅读更多»
2019年6月通讯
Evan Hubinger、Chris van Merwijk、Vladimir Mikulik、Joar Skalse和Scott Garrabrant发布了关于“mesa优化”的前两篇（共五篇）文章：这个序列的目标是分析当学习模型（如神经网络）本身就是优化器时发生的学习优化的类型——我们称之为…阅读更多»
2019年5月通讯
更新了MIRI研究人员Vanessa Kosoy在本周ICL亚博体育官网R SafeML研讨会上发表的一篇新论文：“授权强化学习：学习在一点帮助下避免陷阱。”新的研究文章：当信息实际上不为人所知时学习“已知”信息；击败古德哈特和“最近的畅通战略”问题；强化学习与无形的回报长期未来基金已宣布23个新的…阅读更多»
APP亚博娱乐
MIRI研亚博体育官网究助理Vanessa Kosoy撰写了一篇新论文，“授权强化学习：在一点帮助下学会避免陷阱”。两周后，Kosoy将在ICLR 2019 SafeML研讨会上发表这篇论文。摘要写道：大多数已知的强化学习后悔界限要么是偶发的，要么是假设一个没有陷阱的环境…。APP亚博娱乐
2019年4月通讯
更新新的研究岗位：需要简亚博体育官网化偏好，简化偏好足够；身份和个人身份；人口伦理学：有序贴现效用；人类价值论；一项针对对抗性的艾达·米里的具体提议已经获得了来自开放慈善项目和伯克利生存风险倡议的一系列新的资助。来自DeepMind安全团队和Alex Turner的新闻和链接：设计代理激励…阅读更多»
开放慈善项目和BERI的新资助
我很高兴地宣布，米里已经收到了两项新的重大赠款：一项为期两年的赠款，总额为211.25万美元，来自开放慈善项目。来自伯克利生存风险计划的60万美元的拨款。开放慈善项目的赠款是作为第一轮赠款的一部分，由他们的新委员会建议有效的利他主义支持：…阅读更多»
2019年3月通讯
想成为“解决人工智能对齐问题的人”的参考类吗？我们现在有了一个如何开始的指南，基于我们的经验，什么往往使研究小组成功(德姆斯基和加拉布兰特介绍米里的代理基金会研究“嵌入式代理”的其他更新是…亚博体育官网阅读更多»
