新论文:“Quantilizers”

MIRI研亚博体育官网究员Jessica Taylor写了一篇关于软件代理容错框架的新论文，量化器:在有限优化中比最大化器更安全的选择泰勒的论文将在AAAI-16大会上发表人工智能、伦理与社会车间。抽象的写着:

在人工智能领域，期望效用极大化者通常用作理想化代理的模型。然而，当效用函数没有量化操作符关心的所有事情时，预期效用最大化可能会导致意想不到的解决方案:例如，想象一个期望效用最大化者的任务是在股票市场上赚钱，而不考虑它是否意外地导致了市场崩盘。一旦人工智能系统亚博体育苹果app官方下载变得足够智能和强大，这些意想不到的解决方案可能会变得相当危险。在本文中，我们描述了强大的人工智能系统的期望效用最大化的替代方案，我们称之为亚博体育苹果app官方下载期望效用quantilization．这可以让AI系统在追求目标的过程中不必陷入奇怪和意想不到的捷径和边缘情况。亚博体育苹果app官方下载

期望效用量化是在顶部选择一个随机行为的方法n来自某个分布γ的行动的百分比，按期望效用排序。例如，分布γ可能是一组由人类执行这些行为的可能性加权的行为。基于这种分布的量化器的行为就像是人与期望效用最大化器之间的妥协。智能体的效用功能以新颖的方式引导它走向直观的理想结果，使其比数字化的人类更有用;而γ将其导向更安全、更可预测的策略。

量子化是"满意，或者选择达到预期效用的最小阈值的操作。代理人试图选择好的策略，但不是最大限度地优秀的机器人似乎不太可能想出非凡和非常规的策略，从而降低了比人类更智能的人工智能系统的好处和风险。亚博体育苹果app官方下载设计人工智能系统以满足看起亚博体育苹果app官方下载来特别有用的避免有害收敛的工具性目标和反常的实例化终端的目标:

• 如果我们设计一个人工智能系统来治愈癌症亚博体育苹果app官方下载,和γ标签它奇异的减少癌症发病率增加的其他一些绝症,他们quantilizer将不太可能采用这种反常的策略,即使我们不完美的规范系统的目标给了这个策略高期望效用。
• 如果超级智能的AI系统有一个默认的动机去控制资亚博体育苹果app官方下载源，但是γ标签这些策略怪异，那么量化器将不太可能在这些策略上收敛。

泰勒指出,quantilizing方法满意甚至可能允许我们不成比例的收获最大化的好处不引起比例成本,通过指定一些限制域quantilizer的影响较低,不需要它有低影响整体——“targeted-impact quantilization”。

对满足的一个明显的反对意见是满足的代理人可能构建期望的效用最大化器。毕竟，最大化是一种非常有效的满足方式。量化可以潜在地避免这个问题:最大化和量化可能都是满足需求的好方法，但最大化不一定是量化的有效方法。量化器认为委托给最大化器的行为“怪异”，将避免将其决策委托给代理，即使代理将最大化量化器的预期效用。

泰勒表明，依赖0.1量化器(它从动作的前10%中选择一个随机动作)的预期成本不超过依赖其分布γ的推荐成本的10倍;依赖0.01量化器(从行动的前1%中选择)的预期成本不超过依赖γ的100倍;等等。在这方面成本低的策略集合中，量化是最优的。

然而，预期效用量化并不是一颗神奇的子弹。它在很大程度上取决于我们如何指定行为分布γ，泰勒表明，普通量化器在重复博弈和在γ中的“普通”行为往往具有非常高或非常低的期望效用的情况下表现得很差。需要进一步的调查来确定量化器(或量化器的某些变体)是否可以解决这些问题。