Hubinger等人的"高级机器学习系统中学习型优化的风险亚博体育苹果app官方下载,我们关于校准问题的新核心资源之一,现在可以在arXiv,AI对齐论坛,LessWrong.
在其他新闻中,我们收到了来自Vitalik Buterin的价值230,910美元的以太坊捐赠,Vitalik Buterin是以太坊的发明者和联合创始人,现在是我们的第三大支持者!
同样值得强调的是,来自开放慈善项目的Claire Zabel和Luke Muehlhauser:迫切需要人工智能安全和生物安全方面的安全专业人员.
很有可能在10年内,信息安全领域将出现数十个以gcr为重点的职位,一些组织已经在寻找符合他们需求的候选人(如果找到的话,现在就会雇佣他们)。
一些专注于高影响力职业的人(就像许多有效的利他主义者一样)很适合通过获得信息安全专业知识和经验,然后进入相关组织工作来满足这一需求,这是合理的。
其他的更新
- Mesa Optimization: What It Is, And Why We Should Care- Rohin Shah一贯优秀的《Alignment Newsletter》讨论了“learn Optimization带来的风险”和其他最近的AI安全工作。
- MIRI研亚博体育官网究助理Stuart Armstrong发布他的亚博体育官网研究议程v0.9:综合人类的偏好到效用函数.
- OpenAI和MIRI员工帮助说服慕尼黑学生康纳·莱希不要被释放这是OpenAI的尝试复制GPT-2模型。(LessWrong讨论。)尽管Leahy的复制尝试没有成功,但像他这样的评论认为,OpenAI对GPT-2的认真讨论继续促使人们对ML内的出版规范进行良好的重新评估。
在未来的某个时候,我们将会达到一个点,我们的研究结果超出了我们在一周的评估周期中所能发现的。亚博体育官网根据我最近使用GPT2的经验,我们可能已经做到了。我们的技术变得越复杂、越强大,我们就应该花更多的时间来评估其后果。如果我们对安全有疑虑,我们应该默认谨慎。
我们往往生活在一个加速发展的世界。在过去的几十年里,工业和学术研发周期的增长都更快了。每个人都想尽快“下一个大事件”。以我们现在的文化方式,很难抗拒适应这种加速发展的压力。你的职业生涯取决于你是第一个发表结果的人,你的市场份额也是如此。
作为一个社区和社会,我们需要对抗这种趋势,并创造一个健康的文化环境,让研究人员可以亚博体育官网把他们的时间.他们不应该因为延迟发布而害怕后果或嘲笑。因为添加了评估而推迟发布应该是规范而不是例外。我们需要让人们普遍接受,作为一个社区,我们尊重他人的安全顾虑,不会因为他们有这样的顾虑而惩罚他们,即使他们最终被证明是错的.如果我们不这样做,在安全预防措施方面就会出现一场赛跑。
- 从亚伯兰Demski:选择与控制;贝叶斯打败古德哈特了吗?;和无更新决策理论与政策选择的概念问题
- Vox的将来完成时播客采访扬塔林并讨论了MIRI在人工智能安全模因的起源和传播中的作用。
- AI并不恨你,这是记者汤姆·奇弗斯(Tom Chivers)写的一本关于理亚博体育官网性社区和人工智能风险的深入研究的书,在英国上映了吗.
新闻和链接
- 最近其他关于人工智能安全的文章有:大卫·克鲁格的我们来谈谈"收敛理性";保罗global的调整优化的玩具模型;欧文·埃文斯,威廉·桑德斯,安德里亚斯Stuhlmüller重复蒸馏和放大的机器学习项目
- 来自DeepMind: Vishal Maini将一个人工智能的阅读列表维多利亚Krakovna重述ICLR安全ML研讨会Pushmeet Kohli在80000小时播客上讨论人工智能的安全问题.
- EA基金会(EA Foundation)将为“减少来自高级人工智能的天文数字风险(s-risk)的努力”提供资助;8月11日前申请.
- 此外,如果你是一名在欧洲大学或非营利机构工作的年轻人工智能安全研究员(拥有博士学位)亚博体育官网,你可能会想申请~ 60000美元的资金来自博世人工智能中心。