Miri的使命是确保创造聪明的人工智能具有积极的影响。为什么这个任务是重要的，为什么我们认为我们今天可以做的工作来帮助确保任何这样的事情？
在这篇文章和我的下一个帖子中，我会尽力回答这些问题。这篇文章将阐述我认为是我们使命之外的四个最重要的场所。相关帖子包括Eliezer Yudkowsky的“五个兄弟“和卢克·穆罕普斯的”为什么miri？“;每当我断言我们的使命是重要的，这是我试图明确的索赔。
索赔＃1：人类具有解决问题的一般能力，实现各个领域的目标。
我们称之为“情报，”或“一般情报”。这不是A.正式定义- 如果我们知道确切地一般情报是什么，我们更能能够将其编程到计算机中 - 但我们确实认为我们尚未在代码中尚未复制的一般情报现象。
替代视图：没有一般情报。相反，人类有一系列不同的专用模块。计算机将在诸如国际象棋或驾驶等狭义定义的任务中保持更好，但在任何时候，他们都不会获得“一般性”并变得明显更有用，因为没有泛滥获取。（罗宾汉森已经争论了这个职位的版本。）
短响应：我发现“不同的模块”假设令人难以置信，因为人类如何在祖先完全陌生的域中获得掌握。这并不是说一般智力是一些不可挽回的隐匿性;它可能包括许多不同的认知院系和它们之间的相互作用。然而，整体的效果使人类更加认知多功能，并且适应（例如）黑猩猩。
为什么这是索赔事项：人类在其他物种上取得了占主导地位，而不是强大或更敏捷，而是通过更聪明的人。如果这一普通情报的一些关键部分能够在几百万年内发展，因为我们共同的祖先与黑猩猩居住，这表明可能存在一个相对较短的关键见解列表，使人工工程师能够建立强大的智能AI系统。亚博体育苹果app官方下载
进一步阅读：Salamon等，“情报是多么可理解？“
索赔＃2：AI系统可能变得亚博体育苹果app官方下载比人类更聪明。
亚博体育官网Miri的研究人员往往缺乏强烈的信念什么时候将开发出智能的机器智能。然而，我们预计（a）最终将开发人类等同的机器智能（可能在一个世纪之内，禁止灾难）;（b）机器可以比任何人更智能化。
替代视图＃1：大脑做了一些不能在计算机上复制的东西。
短响应：大脑是物理系统，如果某些版本的亚博体育苹果app官方下载教堂按住计算机原则上可以复制任何物理系统的功能输入/输出行为。亚博体育苹果app官方下载此外，请注意，“智能”（如我使用的术语）是关于解决问题的能力：即使有一些特殊的人类特征（如兰）计算机无法复制，除非防止我们设计解决问题的机器，否则这将是无关紧要的。
替代视图＃2：一般情报根源的算法如此复杂，难以刻，人类将无法为多个世纪人编制任何这样的事情。
短响应：鉴于进化证据，这似乎是令人难以置信的。属同性恋者仅仅280万年前的其他金属散发出来，中间时间 - 自然选择眼中的眨眼 - 足以产生人类中所看到的认知优势。这强烈意味着，只有智能物种的人类分开的任何东西都没有极其复杂：一般情报的建筑块必须在黑猩猩中存在。
事实上，海豚的相对聪明的行为表明，甚至可以在那里作为人类和海豚的鼠标大小的共同祖先。人们可以争辩说，鼠标级智能需要多个百分之几来复制，但给予这是一个更难以吞下的声称快速进步在ai的领域。鉴于进化证据和过去几十年的AI研究，它看起来像智慧是我们将能够理解和计划的东西。亚博体育官网
替代视图＃3：人类已经存在或附近的身体可能的智力。因此，虽然我们可以构建人类等同的智能机器，但我们将无法建立超级机器。
短响应：如果人类是完全设计的推理师，这将是令人惊讶的，出于同样的原因，如果飞机不能比鸟类快速飞行，那就令人惊讶。简单的物理计算承担这种直觉：例如，在物理学的界限内似乎很可能，以千万次运行人类脑的计算机模拟正常速度。
有些人希望速度无关紧要，因为真正的瓶颈正在等待数据来自物理实验。这似乎不太可能对我来说。有许多有趣的物理实验可以加快，我很难相信一个在1000倍加速下运行的人团队将无法超越他们的正常速度对应物（并非最不重要的是，因为他们可以迅速开发新的工具和技术协助他们）。
我还希望它可以建立更好的推理（而不是快点推理员使用计算资源比人类更有效地使用，甚至以相同的速度运行。
为什么这是索赔事项：人类设计的机器经常在表演任务方面敲击生物生物的袜子，我们关心：汽车无法愈合或繁殖，但他们肯定可以携带人类更远，比马更快。如果我们能够通过科技创新建立专门设计用于解决世界上最大问题的智能机器，那么他们可以以前所未有的节奏改善世界。换句话说，ai很重要。
进一步阅读：Chalmers，“奇异性：哲学分析“
索赔＃3：如果我们创建高度智能的AI系统，他们的决定将塑造未来。亚博体育苹果app官方下载
人类使用他们的智慧来创建工具和计划和技术，让他们将环境塑造到他们的意志（并用冰箱和汽车和城市填充它们）。我们预计甚至更聪明的系统将更具亚博体育苹果app官方下载塑造周围环境的能力，因此，智慧比人类的AI系统可能会在未来的控制比人类的控制更大的控制。
替代视图：无论聪明都变得亚博体育苹果app官方下载多么聪明，AI系统将永远无法为人类缩写。我们的环境太竞争了;机器必须与我们合作并融入我们的经济。
短响应：我毫不怀疑，试图完成简单任务的自主AI系统将最初有强有力的激励措施，以与我们的亚博体育苹果app官方下载经济融合：如果您为您收集邮票的AI系统，则可能首先获取资金来购买邮票。但是如果系统赋予了强大的技术或战亚博体育苹果app官方下载略优势，该怎么办？
作为一个极端的例子，我们可以想象系统开发纳米载体并使用它们转换为邮票的重要事项;亚博体育苹果app官方下载这不一定关心这种情况来自“污垢”或“金钱”或“人民”。当自私行动者只有贸易的收益大于他们将通过忽视经济而获得的净收益，并只是为了自己的资源而获得的净收益，只有激励经济。
因此，问题是AI系统是否有可能获得决定性的技术或战略优势。亚博体育苹果app官方下载我认为这是我在这里列出的最不确定的索赔。但是，我希望答案仍然是一个明确的“是”。
从历史上看，人类之间的冲突经常结束了主导其竞争对手的技术上优秀的团体。目前，有许多技术和社会创新似乎可能，但尚未开发。与可以实现的分布式软件系统相比，人类坐标慢慢且差。亚博体育苹果app官方下载所有这些都表明，如果我们建立比我们能够更快或更好的机器，它可以迅速为自己或其运营商提供对人类的技术和/或战略优势。如果其知识优势允许它允许社会操纵人类，则尤其如此，获得新硬件（法律或以其他方式），产生更好的硬件，创建自身的副本，或改进自己的软件。对于好或生病，大部分未来可能由超级智能决策机决定。
为什么这是索赔事项：因为未来的事情。如果我们希望将来更好（或至少不会变得更糟），那么谨慎优先考虑将在未来利用高杠杆的过程中。亚博体育官网
进一步阅读：阿姆斯特朗，比我们聪明
默认情况下，高度智能的AI系统不会有益。亚博体育苹果app官方下载
我们希望看到未来与人类一起与人类共同建立更美好未来的更聪明的未来系统;亚博体育苹果app官方下载但默认情况下不会发生这种情况。为了构建具有有益影响的AI系统，我们必须解亚博体育苹果app官方下载决大量技术挑战，以上建立更强大和一般的AI系统。
替代视图：随着人类变得更聪明，我们也变得更加和平和宽容。由于AI变得更智能，同样能够更好地弄清楚我们的价值观，并将更好地执行它们。
短响应：足够聪明的人为推理师将能够弄清楚我们的意图和偏好;但是这个并不意味着他们将执行根据他们的计划。
自我修改的AI系统可以检查其代码并决定是亚博体育苹果app官方下载否继续追求所提供的目标或是否宁愿改变它们。但程序如何确定要执行哪种修改？
AI系统是一个亚博体育苹果app官方下载物理系统，它的某处内部，它建立了关于宇宙如何看待各种事物的预测。系统的其他一些部分正在比较那些结果，然后执行导亚博体育苹果app官方下载致当前系统高度排名的结果的动作。如果代理最初被编程为执行导致它预测癌症被治疗的宇宙的计划，那么如果预测这将导致癌症治愈，它只会改变其目标。
无论他们的智力水平如何，无论您的意图，计算机都为确切地你编程他们要做什么。如果您编写了一个极其智能的机器，以执行它预测的计划导致癌症所治疗的期货，那么它可能会发现它可以找到的最短路径，这可能会发现无癌症的未来需要绑架人类进行实验（并抵制您的尝试改变它，因为那些会减慢它）。
一旦流越某个能力阈值，就没有任何同情心的传感器可以自动占据电脑。如果你想要同情，你必须编程它。
为什么这是索赔事项：通过超级核心援助解决了很多世界上最大的问题 - 但是实现这些福利要求我们不仅仅是提高AI系统的能力。亚博体育苹果app官方下载如果您知道如何将您的意图考虑到亚博体育苹果app官方下载帐户，则只能获得您打算的系统，并执行满足它们的计划。
进一步阅读：Bostrom，“过度智力将会“
这四个索赔形成了人工智能重要的论点的核心：有一件事作为一般推理能力;如果我们建造一般推理师，他们可能比人类更聪明;如果他们比人类更聪明，他们可能会产生巨大的影响;默认情况下，影响不会有益。
目前，数十亿美元和数千人 - 年涌入ai能力亚博体育官网研究，采用了AI安全研究的相对较少的努力。在未来几十年的某个时候可能会出现人工超智部，几乎肯定会在下个世纪或两者中以一种形式创造，或者在下一世纪或两个禁止灾难。超级智能系统将对人类产生极大的积极亚博体育苹果app官方下载影响，或极其消极的影响;我们决定了哪些。
你喜欢这篇文章吗？你可以享受我们的其他yabo app 帖子，包括：
