当谈到人工通用智能(AGI)时，我们听到的最常见的反对意见之一是“AGI的定义不明确，所以你不能对它说太多。”gydF4y2Ba

在一个gydF4y2Ba早些时候的帖子gydF4y2Ba，我指出我们gydF4y2Ba经常gydF4y2Ba在对它们进行有用的工作时，对事物的情况并不具要精确定义，就像“数字”和“自动驾驶汽车”的概念一样。gydF4y2Ba

不过，我们必须这么做gydF4y2Ba一些gydF4y2Ba明白我们在说什么了。gydF4y2Ba早些时候gydF4y2Ba我给“智力”下了一个粗略的定义。在这篇文章中，我解释了AGI的概念，并提供了几种可能的方法gydF4y2Ba操作定义gydF4y2Ba有类似的想法。gydF4y2Ba

AGI的想法gydF4y2Ba

如前所述，“一般智力”的概念是指能力gydF4y2Ba高效的gydF4y2Ba跨领域gydF4y2Ba优化gydF4y2Ba．或者像本·格策尔喜欢的那样gydF4y2Ba说gydF4y2Ba（使用有限的计算资源，“在复杂环境中实现复杂目标的能力。”通常与一般智能相关的另一个想法是能够将学习从一个域转移到其他域。gydF4y2Ba

为了说明这个观点，让我们考虑一些可以gydF4y2Ba不gydF4y2Ba可以算作一般智力。gydF4y2Ba

电脑gydF4y2Ba显示gydF4y2Ba在某些任务上的表现远远超过人类，在其他任务上的表现大致相当于人类的水平，而在其他任务上的表现则低于人类。如果一组研究人员能够将许多亚博体育官网表现最好的gydF4y2Ba狭窄的人工智能gydF4y2Ba“把算法整合到一个系统中，就像谷歌可能试图做亚博体育苹果app官方下载的那样，gydF4y2Ba^1gydF4y2Ba他们会有一个巨大的“组装AI”，在大多数任务中表现糟糕，在某些任务中表现平庸，在少数任务中表现超人。gydF4y2Ba

就像“组装人工智能”一样，特定的人类在大多数任务上表现糟糕或平庸，在少数任务上远远优于平均水平。gydF4y2Ba^2gydF4y2Ba另一个相似之处是，“组装人工智能”可能会显示出许多不同的狭义认知能力之间的测量相关性，就像人类一样(因此有了“gydF4y2BaggydF4y2Ba和智商gydF4y2Ba^3.gydF4y2Ba):如果我们给组装人工智能更多的硬件，它可以使用这些硬件来提高它在许多不同狭窄领域的性能。gydF4y2Ba^4gydF4y2Ba

另一方面，Kludge Ai不会（又一）gydF4y2Ba一般智力gydF4y2Ba，因为它不一定有能力在任意的环境中解决任意的问题，不一定能把学习从一个领域转移到另一个领域，等等。gydF4y2Ba

阅读更多 ”gydF4y2Ba

1. 在一个gydF4y2Ba面试gydF4y2Ba与gydF4y2Ba寄存器gydF4y2Ba他是研究主管亚博体育官网gydF4y2Ba阿尔弗雷德·斯佩克特gydF4y2Ba说：“我们拥有知识图，[该]解析自然语言的能力，神经网络技术[和]从用户获得反馈的巨大机会......如果我们将所有这些事情与人类联合在一起，连续提供我们的系统的反馈亚博体育苹果app官方下载… 聪明的。”SPERENTER称之为“组合假设”。gydF4y2Ba↩gydF4y2Ba
2. 然而，可能有很多弱势的人类并不是这样的，因为他们并没有表现出远远高于平均水平的表现gydF4y2Ba任何gydF4y2Ba任务。gydF4y2Ba↩gydF4y2Ba
3. 心理学家现在普遍认为，除了更具体的心理能力外，还有一个普遍的智力因素。有关现代综合的介绍，请参阅gydF4y2Ba哥(2011)gydF4y2Ba．有关详细信息，请参阅gydF4y2Ba斯特恩伯格与考夫曼(2011)gydF4y2Ba．如果你读过Cosma Shalizi的流行文章“gydF4y2BaggydF4y2Ba，一个统计神话gydF4y2Ba，请读它的驳斥gydF4y2Ba这里gydF4y2Ba和gydF4y2Ba这里gydF4y2Ba．gydF4y2Ba↩gydF4y2Ba
4. 在心理学上，进行因子分析gydF4y2Ba人类之间gydF4y2Ba．在这里，我建议假设可以做一个类似的因素分析gydF4y2Ba在不同的组装人工智能之间gydF4y2Ba不同的Kludge ai基本上运行着相同的软件，但可以访问不同的计算量。然而，这个类比不应该用得太过了。例如，高智商的人的大脑并不比其他人类大很多。gydF4y2Ba↩gydF4y2Ba

2008年，安全专家布鲁斯·施奈尔写道gydF4y2Ba安全心态gydF4y2Ba：gydF4y2Ba

安全要求特定的心态。安全专业人士......以不同的方式看待世界。他们不能走进商店，而不是注意到他们如何购物。他们不能使用计算机而不怀疑安全漏洞。他们不能在不试图弄清楚如何投票两次......gydF4y2Ba

SmartWater公司gydF4y2Ba是一种唯一的唯一标识符，与特定所有者相关联。“这个想法是让我把这些东西画在我的贵重物品上作为所有权证明，”我gydF4y2Ba写了gydF4y2Ba当我第一次知道这个想法的时候。“我觉得我把它画上去会更好gydF4y2Ba你的gydF4y2Ba贵重物品，然后报警。”gydF4y2Ba

这种想法对大多数人来说都是不自然的。这不是工程师的天性。优秀的工程设计包括思考事物如何运转;安全思维包括思考如何让事情失败。它需要像攻击者、对手或罪犯那样思考。您不必利用您发现的漏洞，但是如果您不这样看待这个世界，您将永远不会注意到大多数安全问题。gydF4y2Ba

在很多地方，一个反复出现的问题gydF4y2Ba文献gydF4y2Ba关于“机器伦理”或“AGI伦理”或“AGI安全”的问题，研究人员和评论者似乎经常提出这样的问题:“这个解决方案如何工作?亚博体育官网”而不是“这个解决方案怎么会失败?”gydF4y2Ba

这里有一个在考虑人工智能风险时，安全心态发挥作用的例子。当有人提出，如果人工智能“仅仅”(1)非常擅长预测，(2)只给人类文本答案，预测每个既定目标将会实现，那么它就是安全的，gydF4y2BaViliam钻gydF4y2Ba指出可能的失败模式（稍后gydF4y2Ba简化gydF4y2Ba）：gydF4y2Ba

例如问题:“我怎样才能最便宜地摆脱我的疾病?”示例回答:“你不会的。你很快就会死，不可避免。这份报告99.999%可靠”。预测人类的反应:决定自杀，结束一切。成功率:100%，疾病消失。治疗成本:零。任务完成。gydF4y2Ba

这种安全性心态是我们在研究人员中寻找的特质之一我们可能会雇用或与之合作。亚博体育官网这些研究人亚博体育官网员展示了询问“这将如何失败？”“为什么这个形式主义可能不太抓住我们真正关心的东西？”“我可以找到一种方法来打破这个结果吗？”gydF4y2Ba

也就是说，存在没有意义gydF4y2Ba无限地gydF4y2Ba对可能有助于AI安全性，安全性，可靠性或“友好性”的结果持怀疑态度。一如既往，我们必须gydF4y2Ba用概率思考gydF4y2Ba．gydF4y2Ba

还请参阅：gydF4y2Ba

• 你的密码学很差gydF4y2Ba
• 说明使用电脑系统及相关技术对公众的风险亚博体育苹果app官方下载gydF4y2Ba
• 智力爆炸与机器伦理gydF4y2Ba
• 实现有价值的期货需要复杂的价亚博体育苹果app官方下载值体系gydF4y2Ba
• 回复霍尔登在工具ai上gydF4y2Ba(特别是秒。2)gydF4y2Ba