当AI加速AI时

上周，nate翱翔概述了他的案子优先考虑长期AI安全工作：

1。人类具有相当一般的能力，使科技进步。进化的认知院系，使我们擅长有机化学与让我们擅长经济学的进化认知院系重叠，这与使我们擅长擅长软件工程等的职务重叠。

2。AI系亚博体育苹果app官方下载统最终将强烈倾销人类在相关科学/技术技能。在这方面，这些院系也直接或间接有助于社会推理，长期规划，内省等，足够强大和一般科学的推理师应该能够强烈地超越任意认知任务的人类。

3。AI系亚博体育苹果app官方下载统比科学，技术和相关认知能力更好的系统将比人类更大的力量和影响力。如果制定了这样的亚博体育苹果app官方下载系统，他们的决定和目标将对未来产生决定性的影响。

4.默认情况下，更智能的人为AI技术将是有害的而不是有益的。具体而言，如果我们完全努力提高AI代理商的科学能力和忽视专门针对安全要求的技术工作，这将是有害的。

到那里我会添加：

• 智能，自主和自适应系统已经具有挑战性，以验证和验证;亚博体育苹果app官方下载聪明于人类的科学装饰，让我们带来了相同挑战的极端版本​​。
• 智慧比人类的系统也将引入质量性的新风险亚博体育苹果app官方下载，以便在我们的人类代理模型或狭窄的智能计划方面无法容易地理解。

然而，这一切都没有告诉我们什么时候将开发比人类的AI更聪明。飙升所说，我们很可能能够制造早期进步论AI安全问题;但我们开始的早期，我们误导了我们努力的风险就越大。为什么不等到人类等效的决策机在手头仔细阅读之前，在重点努力的安全研究之前？亚博体育官网

早期开始的一个原因是，开始太晚的成本比开始太早的成本更糟糕。早期工作也可以帮助吸引更多的研究人员到这一领域，并为我们提供更好的替代方法模亚博体育官网型。然而，在这里，我想专注于提前开始工作的不同原因：令人担忧的是，许多因素可能加速智慧比人类AI的发展。

AI加速论文。可以在亚博体育苹果app官方下载科学和技术能力中匹配人类的AI系统可能是AI能力异常快速改善的原因和/或效果。

如果一般科学版本完全是发明的，这可能不会是一个孤立的事件。相反，它可能直接进入更高级的AI的开发。类似的考虑表明这种系统可能是亚博体育苹果app官方下载结果在智力增长率中加速，以人类和机器的认知和技术产量衡量。

当AI功能可能会获得超过AI安全工作的速度，推迟安全工作提高了更大的风险（因为我们可能无法解释未来的加速效果，这使得我们的时间越来越明显）并且不太有用（because we have a shorter window of time between ‘we have improved AI algorithms we can use to inform our safety work’ and ‘our safety work needs to be ready for implementation’).

我会注意到四个广泛的理由预期加速：

1。AI进度的加速器之间重叠，使能器的推动者/ AI进展结果。特别是，自动化科学和工程工作的进步可以包括自动化AI工作的进步。

2。AI进步的总体难度。如果更智能地困难，则其发明可能需要实现加速的辅助技术。或者，即使这种技术对于AI不严格必要，如果它们更容易开发，它们可能会出现。

3。ai进展的不连续性。合理的，AI开发不会以统一的步伐提前。有时会出现非常大的步骤，例如新的理论上见解，这些洞察力在快速连续中解决了许多问题。如果在硬件进度继续发生软件瓶颈，我们可以在发生突破时预期更大的加速：舒尔曼和桑德堡争辩说，在这种情况下，廉价计算资源的可用性将使快速复制和改进高级AI软件更容易。

4.增加了对AI的兴趣。随着AI软件的能力增加，我们可以期望在该领域的投资增加，特别是如果竞争动态发展。

智力爆炸是第一种类型的加速的示例。在一个情报爆炸场景中，AI系统在AI领域内创新的能力导致了加速进展的正反馈环路，导致过度智能化。亚博体育苹果app官方下载

智力爆炸和其他形式的加速经常被混合随着智慧比人类的假设迫在眉睫;但期待加速的一些原因（例如，AI进展的总体难度'和“AI进展的不连续性”）可以同样意味着更智能的AI系统比许多研究人员所期望的更远。亚博体育官网亚博体育苹果app官方下载

是否有可能有助于加快安全工作相对于能力的工作？有些人建议对安全的兴趣可能会随着人类的令人越来越越来越近的。但是，这可能与AI功能投资的补偿性增加一致。由于临近过度亚博体育苹果app官方下载智能的系统将具有似乎安全的激励，因此也可能出现安全工作较少的当AI系统接近智力的人类时，就像尼克亚博体育苹果app官方下载博斯特罗姆一样奸诈转向情景。

我们还可以想象外包AI安全工作到足够先进的AI系统，就像我们可能会外包AI功能的工作一样。亚博体育苹果app官方下载但是，在我们委托可比的能力工作中，可能会特别努力达到我们可以（安全）委派各种安全任务的地步。

总的来说，能力的加速效果使得更难以使强大的预测更加困难ai时间里。如果进度的率是不连续的，则高度机会的AI系统可以继续在本发明之前短暂地出现在同样远的情况下。亚博体育苹果app官方下载这表明等待直到高级AI似乎在开始投资基础AI安全研究之前是不明智的。亚博体育官网