Miri Grad学生研讨会
秋季2016年
时间：星期四5：30-7：00pm
地点：柏克莱艾迪森街2030号7楼在Miri办公室，伯克利巴特市中心附近
观众：数学/统计学/计算机科学/逻辑学研究生以上，或同等学历
食物：提供免费晚餐。
该研讨会将涵盖两个单独的主题，代理基础(AF)和先进机器学习代理（AAML）对齐， 如下面所描述的。它位于MIRI的UC Berkeley校园的边缘，这是一个独立的数学/yabo体育官网 CS研究所，调查有关智能代理的性质以及如何与人类利益对齐的问题。亚博体育官网
Miri目前聘请了六位研究员，其中包括三个数学后作弊，亚博体育官网我们的希望是，这次研讨会将帮助我们伪造新的合作，并确定潜在的未来雇用随着我们的研究所的增长。
| 日期 | 主题 | 标题 | 扬声器 | 抽象的 |
| 9月15日 | AF. | 逻辑归纳:利用布劳威尔不动点定理将概率分配给未证明的逻辑陈述 视频那幻灯片1那幻灯片2 |
安德鲁克克里奇 美里 |
是否有一些原则性的方法来分配概率的猜测写在PA或ZFC之前，他们被证明或不证明?我们介绍了一种新的算法，它满足一个我们称之为Garrabrant诱导这有很多很好的渐近结果。特别是，算法学会了“信任自己”，因为它赋予自己的预测准确的高概率(它可以称自己，因为ZFC和PA可以谈论算法)。它还把高概率赋给可证明的命题，速度远快于为它们找到证明，只要命题容易写下来。更一般地说，当计算资源有限时，该算法被开发为定义“良好推理”的候选模型。本演讲将概述算法、Garrabrant归纳标准及其目前已知的含义。在接下来的几周，我将在接下来的几次演讲中进行更全面的阐述。 |
| 9月22日 | - | 没有谈话 | - | - |
| 9月29日 | AF. | 使用BROROWER分配数学索赔的概率 - 迷你研讨会 | Tsvi Benson-tilsen 加州大学伯克利分校 |
After a 15 minute intro to Garrabrant induction (including an algorithm that uses Brouwer’s fixed point theorem to assign probabilities to theorems before they’re proven), we’ll split into smaller working groups lead by the paper authors, based on interest in: the algorithm construction, proofs of its various properties, open problems, applications to other areas like game theory / decision theory, or other topics that folks want to think more about in smaller groups. |
| 10月6日 | 量大增; | 激励和中断 | 帕特里克·瓦特奥尔 美里 |
当AI开始以不需要的方式行动时，我们将希望安全地关闭并纠正问题。对于大多数奖励功能，有一个明显的激励措施来避免被关闭和修改：如果原始代理持续的原始代理优化不同的奖励函数，则将更好地优化原始奖励功能。我们将讨论若干提案，以避免这种激励，包括奥尔斯法尔和阿姆斯特朗安全中断的代理商。 |
| 10月13日 | - | 没有谈话 | - | - |
| 10月20日 | 量大增; | 使用“轻度”优化策略来避免古老的法律 | 杰西卡·泰勒 美里 |
当措施成为目标时，它不再是一个很好的措施。在人工智能的情况下，一个客观函数通常是运营商价值（例如在计算机游戏中获得高分）的良好衡量标准，通常在积极优化时经常停止是如此的好的措施（例如在计算机游戏中利用错误的情况）。我们如何设计避免此问题的优化方法？ |
代理基础（AF）主题
有关这些主题的更详细概述，请参见机器智能与人类利益相结合的代理基础:技术研究议程亚博体育官网。
- 逻辑不确定性：如何根据我们的计算有限的探索到目前为止，算法如何连贯地分配给数学陈述φ的数学陈述φ的数学陈述φ？对此问题的令人满意的解决方案可能会遵循最近的一些进展。
- 算法的合作:最近关于算法合作的工作，其源代码彼此透明地发现了使用奖学措施的第二个不完整性定理的新的和计算有限的变体的合作定点/均衡。实现这些合作均衡的算法推理仍然是一个公开的问题，以彼此对非布尔的不确定性的算法推理。
- 逻辑反应性：当算法A做出A(x)=y的“决定”时，在这个过程中，它可能会检查输出的“备选项”A(x)=y '≠y，这实际上在数学上是不可能的，因为给定输入，A(x)是确定性的。我们能否为优化算法定义一种系统的亚博体育苹果app官方下载方法，从而对这些有用且不会立即导致琐碎矛盾的反事实进行一般性推理?
- 归化感应:一个算法A如何表示它自己的模型和包含它的世界作为一个计算W()，并被视为推理和优化更大的程序W的状态?
高级机器学习系统(AAMLS)主题对齐亚博体育苹果app官方下载
有关这些主题的更详细概述，请参见“新纸：高级机器学习系统对齐”亚博体育苹果app官方下载。
- 归纳模糊识别：我们如何培训ML系统来检测和通知我们测试数亚博体育苹果app官方下载据的分类从训练数据中的高度确定的情况？
- 强大的人体模仿：我们如何设计和培训ML系统，以有效地模仿从事复杂和困难的任务的人亚博体育苹果app官方下载？
- 知情监督：我们如何培养强化学习系统，以采取援助智能监督，例如人类的行动，以准确评估系统的表现？亚博体育苹果app官方下载
- 概括的环境目标：我们如何创建强大地追求环境中定义的目标亚博体育苹果app官方下载的系统，而不是直接在其感官数据方面定义？
- 保守的观念：如何培训分类器，以开发排除高度非典型示例和边缘案例的有用概念？
- 影响措施：什么样的常规方向激活了一个系统，以追求最小的副作用？亚博体育苹果app官方下载
- 温和优化：我们如何设计追求目标的系统“而不尝试太亚博体育苹果app官方下载努力” - 当目标相当艰难地实现时，而不是为了实现绝对的最佳预期评分的方法，而不是消耗进一步的资源？
- 避免工具激励措施：我们如何设计和培训系统，以便他们强大地缺乏默认的动力来操纵亚博体育苹果app官方下载和欺骗他们的运营商，争夺稀缺资源等？
