人工智能风险与安全心态

2008年，安全专家布鲁斯·施奈尔写道安全的心态：

安全需要一种特殊的心态。安全专家……看世界的角度不同。他们不可能走进一家商店而不注意自己可能会偷东西。他们在使用电脑时就会担心电脑的安全漏洞。他们不能投票，除非想好怎么投两次票。

SmartWater公司是具有链接到特定所有者的惟一标识符的液体。"我的想法是把这东西画在我的贵重物品上作为所有权的证明"我写了当我第一次知道这个想法的时候“我觉得我把它画上去会更好你的贵重物品，然后报警。”

这种想法对大多数人来说是不自然的。这不是工程师的天性。好的工程设计包括思考如何使事物工作;安全心态包括思考如何使事情失败。它需要像攻击者、对手或罪犯一样思考。您不必利用所发现的漏洞，但如果您不以这种方式看待世界，您就永远不会注意到大多数安全问题。

一个经常出现的问题文献在“机器伦理”或“AGI伦理”或“AGI安全”方面，研究人员和评论者经常会问这样一个问题:“这个解决方案如何工作?”亚博体育官网而不是“这个解决方案会如何失败?”

在考虑人工智能风险时，这里有一个安全心态的例子。当有人提出人工智能是安全的，如果它“仅仅”(1)非常擅长预测，(2)向人类提供它预测会导致每个既定目标实现的纯文本答案，Viliam钻指出了一个可能的故障模式(这是后来简化)：

问题示例:“我应该如何以最便宜的方式摆脱我的疾病?”示例回答:“你不会的。你很快就会死，不可避免。这份报告99.999%可靠。”预测的人类反应:决定自杀并结束这一切。成功率:100%，疾病消失。治疗成本:零。任务完成。

这种安全心态是我们在雇佣或合作的研究人员身上寻找的特征之一。亚博体育官网这类研究人亚博体育官网员倾向于问:“这样会失败吗?”以及“为什么这种形式主义不能完全抓住我们真正关心的东西?”以及“我能找到打破这个结果的方法吗?”

也就是说，存在是没有意义的无限怀疑可能有助于人工智能安全性、安全性、可靠性或“友好性”的结果。一如既往，我们必须这样做用概率思考．

还看到:

• 你的密码学糟透了
• 说明使用电脑系统及相关技术给公众带来的风险亚博体育苹果app官方下载
• 智能爆炸和机器伦理
• 实现有价值的期货需要复杂的价亚博体育苹果app官方下载值体系
• 在工具AI上回复Holden(特别是秒。2)