Armando Tacchella在未来的AI系统中的安全亚博体育苹果app官方下载

路加福音Muehlhauser：我的摘要安全关键系统的透明度亚博体育苹果app官方下载是:

黑盒测试可以提供系统将按照预期行为的一些信心，但是如果系统构建得对人类检查是透明的，那么可靠性验证的其他方亚博体育苹果app官方下载法是可用的。不幸的是，许多最有用的人工智能方法都是最不透明的。基于逻辑的系统通常比统计亚博体育苹果app官方下载方法更透明，但统计方法的应用更广泛。这一普遍规律也有例外，一些人正在努力使统计方法更加透明。

最后一句适用于一个2009纸你共同撰写卢卡Pulina，您可以显示关于培训的多层Perceptron（MLP）行为的正式保证。你能解释一下如何工作，你能证明哪种保证？

阿曼德Tacchella：训练有素的MLP只是一个数学函数，原则上，它的属性可以在处理实数和解释的线性函数的逻辑中验证。然而，有用的MLPS，即使是我们撰写纸张中考虑的单个隐藏层，也可以在其“激活”单位（例如，逻辑或双曲线切线）中使用非线性超越功能。任何具有此类功能处理的逻辑语言必然会有一个不可解除的决策问题 - 对于讨论，请参阅介绍这篇论文．

我们建立MLPS安全的方法是基于抽象细化范例，由此使用一些过度近似的“混凝土”中获得“摘要”MLP，其特性是可判定的。这是一种技术由P. Cousot和R. Cousot介绍前一段时间和最近在模型中被剥削检查社区尝试验证其属性不可解除的系统。亚博体育苹果app官方下载

如果发现抽象的MLP满足属性，那么也是一个具体的。否则，我们获取“摘要”ConnerErexample，即，一组违反抽象MLP中属性的输入。

如果发现该组输入违反了混凝土MLP中的属性，则混凝土MLP有缺陷，必须固定。另一方面，如果混凝土MLP在提供抽象的反例时工作正常，则这种反异行为是“虚假”，这意味着它是粗糙的抽象的工件，这太粗糙了。

因此，抽象被“细化”，也就是说，变得不那么粗糙，可能检查成本更高，并且流程进行迭代，直到MLP被证明是安全的，或者流程耗尽可用资源。

显然，抽象改进，不适用于初始的不可剥离性问题，因为由于虚假的反例，可能总是存在无限的细化。但是，在实践中，我们往往能够以合理的细化建立一个财产的有效性。

在我们的论文中，我们将上述方法实例化到单个隐藏层mlp的具体情况普遍接近者当我们确保某些合理的条件时。特别是：

1. We abstract MLPs to corresponding “interval functions”, i.e., if the MLP is y = f(x) then the abstract one is [y] = F([x]), where “F” is the interval function corresponding to “f”.
2. 我们考虑“安全性”，即，如果[x]包含在f的输入范围内，则将在一些间隔[l，h]中包含l
3. 我们利用Reals的线性算术的决策程序证明了F上的财产，例如，可满足的模拟理论（SMT）求解器。如果属性适用于f，即对于f的域中的所有[x]，我们将f（[x]）包含在[l，h]中，那么F的情况也是如此。

如果找到一个反例，则存在一个区间[x]，使得F([x])不包含在[l,h]中。我们考虑[x]中包含的任意x，然后用相应的f(x)来检验f(x)是否在[l,h]中。如果一个被发现，那么f是错误的，必须被修复。否则，反例就是假的，所以我们从步骤(1)开始进行更细粒度的细化。

最后，如果MLP f通过了我们的测试，我们可以保证无论它接收到什么输入，它都不会超过最小和最大期望输出值方面的“规范”。

路加福音：在哪些方面，您认为正式方法有助于“解释”MLP，并使其对人类程序员更加透明？

Armando.这个问题的答案很大程度上取决于我们所说的“解释”是什么意思。

如果我们所说的“解释”是指，使用我们的验证方法，神经网络用户现在能够清楚地理解哪个“推理规则”是由哪个神经元(或一组神经元)实现的，那么我们的方法在这个方向上没有提供任何进一步的见解。

然而，如果我们寻找“行为解释”，那么我们在论文中提出的技术，至少在两方面有帮助:

• 原始培训的神经网络的正式分析使网络用户能够建立其行为是否符合规范。当不是这种情况时，用户给出了一个（集）的反例，将帮助她识别不当行为的原因。Indeed, by perusing the verification outputs, the user learns about the “points of failure” in the input/output space of the network, which, in turn, will enable him to improve his original design (e.g., by collecting more experimental evidence around those points)
• 由于神经网络不是“经典”软件——尽管从正式的角度来看，我们完全是这样对待它的——因此，用户可能无法轻易地使用反例“修复”网络。我们的“修复”程序可以通过使用“伪”反例的结果进行受控训练，以自动化的方式修复网络。如果网络所学习亚博体育苹果app官方下载的系统可以用于实验，我们的修复程序也可以利用实际反例的结果(一种“主动学习”的形式)。

从技术上讲，修复将网络暴露于“过度装箱”输入数据的危险，即，在考虑几个不同的数据集时，网络性能的方差非常高。然而，我们控制了这种可能性，它从未发生过我们的实验。

路加福音在我们的采访之前，你写信给我说:

除非我们能够展示（以令人信服的方式），我们将看到任何强烈的自治机器人，我们将看到任何强烈的自主机器人，因为机器人对环境无害......

由于我不希望能够通过“正确的建设”和“验证的使用”哲学来实现安全的强烈自主权（我们用来建造飞机），我希望正式分析在机器人中更加重要而不是任何其他工具。

您是否在说，尽管经济和军事激励措施巨大，但在不等待安全相关的能力追赶，公司和政府的情况下建立更有能力的机器事实上在没有首先确保我们对它们的安全性有足够的信心(比如自动驾驶软件)的情况下，不将强大自主的程序和机器人“发布到现实世界”?

Armando.：工程师非常了解你正在谈论的那种压力，事实上，如果我们考虑任何“恐怖故事”目录 - 请参阅e.g.软件恐怖故事超过100例相关只要到SW Engineering - 我们不能排除自治机器人将达到市场时发生不良事情的可能性。

对于具有相对薄弱的自主权的机器人，或者对对周围环境造成严重伤害的概率相对较低，事件也可能是权衡的一部分，其中机器人制造商不愿意投入大量努力来完全消除它们．在这些情况下，我预计传统的风险分析，以及工程最佳实践将以重大转变为准到精确的验证方法。

对于拥有强烈的自治的机器人，和对环境造成严重危害的不可忽略的潜力，我相信将有强烈的威慑传统的工程实践，并在他们无法真正处理的域中采用它们。

为了让讨论更具体，让我们假设谷歌制造的自动驾驶汽车将作为类似手机这样的产品出售。船运公司现在可以购买这样的车队，并将其运送出去无人驾驶在客户的大门上送货包裹。技术上，这是可行的，但我们不会很快看到这种情况。原因是几个，但让我提到我认为很重要的几个：

• 合乎道德的。我们真的想让机器达到它所能达到的水平吗自主决定，例如，撞倒一个行人?此外，自动驾驶仪可能会失灵并致人死亡，但这显然不是自动驾驶仪的“意愿”。
• 技术的。我们可以确保没有操作员准备按“紧急停止”汽车永远不会以危险的方式表现？如果自动驾驶仪在自动驾驶仪中出现问题，那么训练有素的官员经营的飞机是由训练有素的官员运营的，如果在自动驾驶仪中出现任何问题，他们总是可以“去手动”。
• 经济。即使我们拥有确保安全的技术，它是否划算?现在，飞机制造商可以通过标准的工程实践(例如，冗余、压力测试、预防性维护)来确保自动驾驶仪在他们的运营需求中具有成本效益。
• 合法的。如果自治车导致事故，谁是责任？如果产品中有更多的法律实体，则变得尤其是涉及该产品的法律实体，例如汽车制造商，系统集成商，“AI”供应商，操作员（假设现场配置）。亚博体育苹果app官方下载

回到我的初始陈述关于机器人中的正式方法的重要性，我预计对管理自治机器人“大脑”的现象及其与其“机构”和周围环境的互动的现象的清晰理解是至关重要的如果我们希望以满意的方式解决上述任何问题。

路加福音：Levitt（1999）认为，由于智能系统越来越自主，并且在越来越多的非确定性亚博体育苹果app官方下载，未知的环境中运营，因此无法与控制理论（如控制理论）的工具完全建模他们的环境和可能的行为：

如果机器人将被用于更广泛的用途，它们将需要在没有人类干预的情况下，在户外、道路上以及正常的工业和居住环境中运行，在这些环境中不可预测的事件经常发生。当机器人遇到意想不到的事件或模糊的感知时，停止机器人的动作是不现实的，甚至是不安全的。

目前，商业机器人主要通过控制理论反馈确定其行为。控制 - 理论算法需要世界上可能发生的可能性在体现在软件程序中的模型中，允许机器人预先确定对任何任务相关的视觉事件的适当行动响应。当机器人用于打开，不受控制的环境中时，将无法提供机器人先验所有可能发生的物体和动态事件的模型。

为了决定对世界上未建模的、意外的或模糊解释的事件采取什么行动，机器人将需要在受控反馈反应之外增加他们的处理能力，并参与决策过程。

因此，他争辩，自治计划最终需要做出决策。

你对这个预测怎么看?总的来说，您认为什么样的工具和方法对未来的高度自治系统实现高安全性保证最为重要?亚博体育苹果app官方下载

Armando.我同意Levitt的观点，他说单靠“控制理论”无法解决强自主机器人的问题。这也是推动机器人学和自动化的形式方法研究的动力所在。亚博体育官网关于机器人与自动化的正式方法研讨会关于这个主题的最近事件)。

然而，当机器人执行任务时，“参与决策理论过程”可能会带来挑战性——至少可以说——计算问题。事实上，众所周知，即使是简单的事实，即布尔推理，也可能需要指数级的时间来进行。由于我们期望现实比简单的0/1证据复杂得多，机器人被赋予的每一个“逻辑”的推理将是计算困难的。

即使假设具有强大的启发式和/或近似的可用性，决策过程中的实时需求仍然使问题变得困难。事实上，机器人可能不会花很长时间来计划它的行动路线，而且在许多情况下，响应时间的高偏差也是不可接受的。

与此同时，确保强烈的自主机器人只使用离线验证安全地保持安全，也可能不会发生。这是因为计算问题（组合状态空间爆炸，表达逻辑的不可逃号处理时间/空间/概率），也是因为，如在控制理论中，机器人运行时会出现的大多数情况框架。

在我看来，我们可能看到的是几种方法的组合，包括：

• “按结构纠正”的设计和实施
• 在设计和实施阶段进行正式验证和测试
• 机器人正在执行时轻量级推理

执行过程中的推理可能是“自我反思”，通过采用高效的监视器，可以在设计过程中自动合成，然后部署在机器人上，以确保在任何时候都满足特定的安全条件，而不需要“深层”逻辑推理的负担。

最后，实际的机器人可能需要“符合人类”，不仅在他们的认知/推理能力中，而且还需要在它们的结构中（参见，例如，“软机器人”的最新发展)．“柔顺”的结构将提高安全性和/或将使机器人的安全性更容易，因为通过使用创新的材料和电子设备可以实现一些“内在安全”。换句话说，我们不应该担心一个“安全的心灵”，但我们必须保留一个更安全的“思维”需要更安全的“身体”的原则。

路加福音：有时我喜欢区分“自下而上”与“自上而下”的挑战，即长期ai安全的挑战 - 即挑战，以确保我们能够继续为AI系统实现自信的安全保障亚博体育苹果app官方下载成长自主性和能力。

“自下而上”对长期AI安全构建的方法，逐步逐步制定目前在当前有限的系统实现自信的安全保障的方法上。亚博体育苹果app官方下载“自上而下”的方法首先尝试想象AI系统的能力，我们现在的几十年，并使用这些猜测今天指导研究。亚博体育官网亚博体育苹果app官方下载

我会将您对我之前的问题的回应描述为“自下而上”的长期AI安全的视角，我认为这是大多数人都对AI安全工作的看法。为了说明我的意思是“自上而下”的长期AI安全方法，我将提供三个例子：（1）兰普森(1979)“禁闭问题”的理论描述，激励了创造领域的隐蔽频道通信．（2)《Orseau & Ring》(2012)在代理环境边界上的工作通常用作加强学习和其他AI模型的简化假设，我希望将未来的研究激励为更多的“自然主义”AI模型，这将避免有问题的“笛卡尔”在代理商推理中的错误。亚博体育官网（3）韦弗(2013)在理性机构中的悖论讨论，我希望能够激励对未来的自我修改代理人的AIS在改变自己的决策代码的后果一致地致力于未来的自我修改的AIS。亚博体育官网

即使你已经不熟悉这些例子，你对“自上而下”的长期人工智能安全方法有什么看法，它们应该(或不应该)如何影响今天的研究工作?亚博体育官网

Armando.：实际上，我不熟悉你所引用的参考资料，我可以看到他们绝对比我以前所建议的那样“愿景”。由于我的背景是在工程中，我必须根据定义它们，或简单地“减少”和“务实”，因为我将承认“自下而上”的视图偏见。

您的引文提醒我的纸张韦尔德和埃齐奥尼著．我经常在我的作品中引用这篇论文，因为在我看来，它有了提高AI社区关注程度的绩效“释放”在物质世界中的强烈自治代理。本文的内容虽然略有过时，但仍然可以为当前关于安全AI的研究提供一些有用的指导方针和词汇（至少他们为我做了）。亚博体育官网虽然不是那种我会想象的那种纸张，但我相信这种猜测是为了为更有形成就做准备。

另一方面，如果我们要追逐当前在物理世界的机器人中的强大自主权，那么我们应该非常务实地了解我们可以用当前技术做的事情，以便在任何时候确保安全。虽然技术的未来进展将在移动机器人的资源限制内进行“决策理论”代理，但它是当前技术的，即启用自动车辆。因此，如果我们希望这种机器人成为未来几年的产品，我相信我们应该通过利用当前的科技发展来焦点，使其值得信赖。亚博体育官网

路加福音：此外还有其他读数吗？WELD＆ETZIONI（1994）在人工智能的长期安全问题上?

Armando.：WELD和ETZIONI在纸上返回了安全AI的主题“互联网上的智能代理：事实，小说和预测”

艾希曼在他的"道德web代理“。

我在戈登的一系列论文中发现了埃齐奥尼和维尔德的《呐喊》，其中我认为"Asimovian自适应代理“作为最相关的。

我刚刚偶然发现（但仍然没有机会彻底阅读）Wilks“与人工伴侣的密切合作彻底阅读：关键社会，心理，道德和设计问题”（在这里查看评论)．这本书有时似乎有争议，但它确实包含了许多关于人工伴侣的不同观点，它确实提出了一些问题，我们在设计物理情境的代理时应该牢记在心。

最后，了解在机器人专业领域进行的具体项目，安全被认为是突出的价值和基本挑战，这个网站列出了许多有趣的最新发展和进一步研究的想法。亚博体育官网

路加福音:谢谢,阿曼德!