正如前面宣布在美国，我们最近跑了22天强健和有益的人工智能研讨会系列该机构与牛津大学人类未来研究所(Oxford Future of Humanity Institute)共同主办。此次研讨会旨在将学术界和工业界具有安全意识的人工智能科学家聚集在一起，分享他们最近的研究成果。这次活动很好地实现了这一目标，开启了一些新的合作和一些以前没有互动或只是远程交流的研究人员之间的新对话。亚博体育官网
超过50人来自25个不同的机构，平均每一天有15人出席。总共有17次会谈和4次周末讲习班关于透明性、鲁棒性和容错性、偏好规范、agent模型和多agent困境等主题。完整的时间表和演讲幻灯片可以在活动页面．活动第一天的视频已经发布了，我们很快会在网上发布剩下的内容:
斯图亚特·罗素他是加州大学伯克利分校(UC Berkeley)计算机科学教授人工智能:现代方法他在开幕式上作了主旨发言。罗素在“人工智能:迄今为止的故事”节目中发言(幻灯片）.文摘:
我将讨论人工智能领域向可证明有益的系统进行根本性调整的必要性。亚博体育苹果app官方下载这种需要已经引起了一些人的争论，我将考虑他们的观点。我还将讨论所涉及的技术挑战和一些有希望的初步结果。
罗素讨论了他最近的研究合作逆强化学习36分钟。这篇论文和Dylan Hadfield-Menell关于可纠正性的相关演讲(幻灯片)在中国证监会引起了很多兴趣和讨论。
艾伦蕨类植物，俄勒冈州立大学计算机科学副教授，与AAAI主席、俄勒冈州立大学计算机科学杰出教授Tom Dietterich在《认识和解释不确定性》(幻灯片1，幻灯片2）.弗恩和迪特里希的工作被描述在未来的生命研究所拨款提案：
人工智能技术的发展已经从“已知已知”(在确定性的封闭世界中进行人工智能规划和解决问题)发展到“已知未知”(在不确定环境中基于这些环境的概率模型进行规划和学习)。未来人工智能系统面临的一个关键挑战是在开放世界中保持安全和保守的行为，亚博体育苹果app官方下载在开放世界中，环境的大多数方面都不是由人工智能代理(即“未知的未知”)建模的。
我们的团队在机器学习、概率建模和规划方面有丰富的经验，将开发原则、评估方法和算法，以便在未知的未知存在时安全地学习和行动。对于监督学习，我们将开发uu共形预测算法，将共形预测扩展到基于鲁棒异常检测算法的不符合评分。这将使有监督的学习者能够在出现新类和输入分布的任意变化时安全地行为。对于强化学习，我们将开发对uu敏感的算法，以最小化由于未知的未知因素造成的风险。一个关键原则是，AI系统必须扩大变量集合，包括尽可能多亚博体育苹果app官方下载的变量，以便检测异常数据点和未知的行动副作用。
弗兰西斯卡罗西，意大利帕多瓦大学计算机科学教授、IBM研究科学家、IJCAI主席，在“道德偏好”(亚博体育官网幻灯片）.文摘:
智能系统将在我们的日常生亚博体育苹果app官方下载活中越来越普遍。他们会照顾老人和孩子，他们会为我们开车，他们会建议医生如何治疗疾病。然而，如果我们不信任他们，我们就不能让他们做所有这些非常有用和有益的任务。为了建立信任，我们需要确保他们以道德上可接受的方式行事。因此，理解如何将道德价值观植入智能机器是很重要的。
现有的偏好建模和推理框架可以作为一个起点，因为它们定义了优先级高于行动，就像伦理理论所做的那样。然而，当我们将偏好(这是决策的核心)和道德混合在一起时，无论是在个人层面还是在社会背景下，都会涉及更多问题。我将讨论其中一些问题以及一些可能的解决方案。
其他演讲者包括汤姆·迪特里希(俄勒冈州立大学)，巴特·塞尔曼(康奈尔大学)，保罗·克里斯蒂安诺(加州大学伯克利分校)，以及MIRI研究员杰西卡·泰勒和安德鲁·克里奇。亚博体育官网
在CSRBAI，最令人兴奋和活跃的是偏好规范研讨会。中国证监会的其他活动和讨论主题包括:
- 讨论复杂性理论对透明度的潜在应用:使用交互式多项式时间协议或证明概率支票证明从强大的人工智能系统向人类传达复杂的信念和理由。亚博体育苹果app官方下载
- 在明确知情监督培训解释系统的不同方法方面取得了一些进展。亚博体育苹果app官方下载
- 澳大利亚国立大学的Jan Leike和Tom Everitt领导了对合作逆强化学习理论和其他未观察到的奖励游戏的研究。
- 讨论强化学习代理操纵其奖励功能的来源(即人类或人类的习得表征)的危害。
- 关于可纠正性的有趣讨论被视为信息价值问题。
- 的发展人工智能安全环境由Rafael Cosman和其他参加OpenAI强化学习健身房的人，展示了一些主题，比如interruptibility和semi-supervised学习。Chris Olah, Dario Amodei, Paul Christiano和Jessica Taylor的想法和对话帮助这些健身房的发展，CSRBAI的参与者包括Owain Evans, Sune Jakobsen, Stuart Armstrong, Tom Everitt, Rafael Cosman和David Krueger。
- 讨论关于OpenGym环境的想法，要求使用低影响的药剂，使用对抗的区分器。
- 杰西卡·泰勒的讨论无记忆的笛卡尔环境旨在使用参照类决策将这个想法扩展到非笛卡尔世界/逻辑反事实。讨论使用“逻辑上的过去”经验来学习反事实，并在没有很高机会在现实世界中探索的情况下进行探索。
- 对逻辑反事实问题的新见解，与新的形式主义相关联。MIRI最新的逻辑不确定性在决策理论中的应用。
- 很多关于MIRI的预先讨论先进机器学习系统的校准亚博体育苹果app官方下载“技术议程。
研讨会系列进行得非常顺利，得到了与会人员的积极反馈。与会者指出，更大的组织结构可能会使会议受益。当我们在未来举办类似的活动时，我们的主要调整将是压缩日程，并举办与过去类似的更集中的活动研讨会．
我们还合作进行了16天美里夏天的家伙与应用理性中心合作的项目。该项目的14名参与者来自不同的技术背景，从初创企业创始人、本科生到助理教授都有。
我们的MIRISF项目在过去已经被证明是有用的，有助于确定未来的MIRI招聘(2015年MIRISF项目的一名全职和两名兼职MIRI研究人员)。亚博体育官网然而，主要的重点是发展新的解决问题的技能和数学直觉为CS研究人员亚博体育官网提供一个关于MIRI的沉浸式速成课程yabo ．
该项目有四个不同的阶段:为期四天的CFAR静修(随后是休息日)，为期两天的MIRI研究议程课程，为期三天的研究主题合作(类似于MIRI研究研讨会，随后是另一个休息日)，以及为期三天的各种活动:亚博体育官网Tetlock-style预测实践，一对一的与MIRI研究人员，亚博体育官网安全的心态讨论、规划未来的研究和合作等。亚博体育官网
要想收到来自我们的关于MIRISF等未来项目的通知，请使用这种形式．联系我们关于未来MIRI研讨会的合作，就像CSRBAI的那些，通过我们的通用申请表．
