今天，我们发布了一篇文章，描述了我们呼叫的友好AI研究中的一个新问题区域亚博体育官网易燃。那个报告 （PDF.）由Miri的友好Ai Research团队（Eliezer Yudkowsk亚博体育官网y，Benja Fallenstein，Nate Soares）共同撰写，并从牛津大学的人文学院未来斯图斯特·阿姆斯特朗。
摘要读：
作为人工智能系统的智能和能力，其一些可用的选项可能允许他亚博体育苹果app官方下载们抵制他们的程序员的干预。如果它与其创造者作为纠正干预亚博体育苹果app官方下载的内容合作，我们会致电AI系统“违规”，尽管Rational Terments抵制将其抵消或修改其偏好的默认激励，但违反了纠正干预。我们介绍了易燃和分析实用程序的概念，即尝试将代理程序安全关闭如果按下关闭按钮，同时避免激励以防止按钮被按下或导致按下按钮，同时确保按钮关闭行为，因为它创建了新子系统或自我修改。亚博体育苹果app官方下载虽然有些提议很有趣，但没有人已经证明满足我们所有直观的探索，在宽敞开放中留下这个简单的问题。
本文被接受了AI与伦理研讨会在Aaai-2015。
更新：Nate Soares在AAAI-15演示的幻灯片可用这里。
