CSRBAI谈论鲁棒性和误差

||消息视频

我们最近上传了第二组视频坚固且有益的AI上的Colloquium系列(CSRBAI)在MIRI办事处,共同承办人类学院的未来。这些会谈是本周一周的一部分,专注于AI系统中的鲁棒性和差错,以及如何确保当AI系统失败时,它们优雅和可检测到。亚博体育苹果app官方下载所有发布的视频都可以使用CSRBAI网页

Bart Selman.康奈尔大学计算机科学教授,谈到机器推理和规划(幻灯片)。摘抄:

我想看看我称之为“非人类智力”。它确实受到不太关注,但进步也非常有趣,而且他们正在推理和规划。它实际上没有在AI世界中得到关注,因为它更符合软件验证,程序综合和自动化科学和数学发现 - 与AI相关的其他领域,但不是使用这些推理技术的AI的中心部分。特别是软件验证世界 - 微软,英特尔,IBM - 推动这些推理程序非常努力,这就是为什么有这么多的进步,我认为它将在不久的将来开始喂回AI。

杰西卡泰勒介绍Miri最近发布的第二次技术议程,“高级机器学习系统对齐亚博体育苹果app官方下载“。抽象的:

如果使用与现代机器学习的算法一起开发人造总体智能,我们如何旨在瞄准所产生的系统来安全地在世界上实现有用的目标?亚博体育苹果app官方下载我为新的Miri项目提出了一项专注于这个问题的技术议程。

Stefano Ermon.是斯坦福大学计算机科学助理教授,谈到了概率的推理和准确性保障(幻灯片)。抽象的:

高维概率模型的统计推断是AI中的核心问题之一。迄今为止,只开发了一些不同的方法,最值得注意的是(MCMC)采样和变分方法。虽然经常在实践中有效,但这些技术通常不提供对结果的准确性的保证。在这次谈判中,我将根据理论计算机科学界的想法呈现替代方法。这些方法可以利用组合优化的最近进步,并提供精确度的可证明的保证。

保罗·基督教,UC Berkeley的博士学生谈到了谈论培训对齐的加强学习代理。摘抄:

这是加强学习问题的目标。我们作为AI系统的设计师对其他目标进行了一些其他目标,这也亚博体育苹果app官方下载许我们没有简单的形式化。我只是说:“我们希望代理人做正确的事情。”我们真的不关心代理人看到的奖励;我们只是在乎它正在做正确的事情。

因此,直观地,我们可以想象有一些不观察到的效用功能这对成绩单作用,只是评估了代理人行为的后果。因此,它必须平均超过宇宙中的所有地点这个成绩单,它说:“当遇到这个成绩单时,我希望代理商要做什么?”

吉姆巴巴科克讨论了AGI遏制问题(幻灯片)。抽象的:

确保强大的AGIS是安全的,将涉及测试和实验它们,但是一个不端行为的AGI可能会尝试篡改其测试环境,以便访问互联网或修改测试结果。我将讨论保护环境以测试AGIS的挑战。

总而言之,作为整个事件的方式,以及斯图尔特罗素,艾伦·弗尔斯和弗朗西斯卡罗西的开幕式谈话的视频,看看我的最后博客文章