新论文:《奔向悬崖》

||论文

奔向边缘在担任MIRI研究员期间,Carl Shulman撰亚博体育官网写了一篇论文,现在已成为FHI的技术报告:奔向悬崖:人工智能发展的一个模型

文摘:

本文提出了一个人工智能军备竞赛的简单模型,其中几个开发团队竞相建造第一个人工智能。在假设第一个人工智能将是非常强大和具有变革性的情况下,每个团队都被激励去完成第一个任务——如果需要的话,通过节省安全预防措施。本文提出了军备竞赛中各队伍采取适当安全措施的纳什均衡过程。拥有额外的开发团队和团队间的额外敌意可能会增加AI灾难的风险,特别是当冒险比开发AI的技能更重要时。令人惊讶的是,信息也增加了风险:团队对彼此(以及他们自己)的能力了解得越多,危险就增加得越多。

更新:截至2015年7月,该论文已在该期刊上发表人工智能与社会