一月份，将近200名公共知识分子提交了关于2015年Edge.org问题的论文：“您对想法的机器有何看法？”（（在线可用）。论文提示开始：
近年来，关于人工智能（AI）的1980年代时代的哲学讨论（计算机都可以“真正”思考，参考，有意识等等 - 已经引发了有关我们如何应对许多人应对的形式的新对话实际实施。这些“ AIS”，如果它们达到“超级智能”（尼克·博斯特罗姆），可能会带来“生存风险”，从而导致“我们的最后一个小时”（马丁·里斯）。斯蒂芬·霍金（Stephen Hawking）最近成为国际头条新闻，当时他指出“完整的人工智能的发展可能拼写为人类的终结。”
可是等等！我们还应该问什么机器，或者“ AIS”可能正在考虑？他们想要，他们期望公民权利吗？他们有感觉吗？AI会选择哪种政府（对我们来说）？他们想自己构建什么样的社会？还是“他们的”社会“我们的”社会？我们和AIS是否会在我们各自的同理心中互相包括在内？
论文现在已经发表了以书籍形式，并充当关于比人类更聪明的人的愉快和愉快的巡回演出。但是，这些提交的书籍形式总计多达541页，以及美里的关注从头AI使我们对计算机专业人士的看法特别感兴趣。为了使您更容易潜入该系列，我收集了较短的链接列表 - 计算机科学家和软件工程师撰写的32篇论证论文。1结果清单包括三位Miri Advisors（Omohundro，Russell，Tallinn）和一名Miri研究员（Yudkowsky）。亚博体育官网
我摘录了以下每篇文章的段落，重点是讨论AI动机和结果。这些摘录均不旨在提炼整篇文章的内容，因此，如果您感兴趣的话，您鼓励您阅读完整的文章。
即将到来的震惊不是来自思考的机器，而是使用AI来增强我们的看法的机器。[…]
What’s changing as computers become embedded invisibly everywhere is that we all now leave a digital trail that can be analysed by AI systems. The Cambridge psychologist Michael Kosinski has shown that your race, intelligence, and sexual orientation can be deduced fairly quickly from your behavior on social networks: On average, it takes only four Facebook “likes” to tell whether you’re straight or gay. So whereas in the past gay men could choose whether or not to wear their出去骄傲T恤，您不知道自己穿什么了。随着人工智能变得更好，您主要是穿着真实的颜色。
巴赫，乔斯。“每个社会都得到应有的AI。透明
与生物系统不同，技术量表。亚博体育苹果app官方下载最快的鸟类的速度并没有对飞机的限制，而人造思维将比人类的人更快，更准确，更警觉，更加意识和全面。AI将取代人类决策者，管理员，发明人，工程师，科学家，军事战略家，设计师，广告客户，当然还有AI程序员。在这一点上，人工智能在各个方面都可以变得自我完美，并且在各个方面都超过了人类的思想。我认为这不会瞬间发生（在这种情况下，只有第一个拥有第一个）。在我们通常具有智能，自我完美的AI之前，我们将看到许多特定于任务的非将军AI的变体，我们可以适应这些变体。显然，这已经在发生。
当一般智能机器变得可行时，实施它们将相对便宜，每个大型公司，每个政府和每个大型组织都会发现自己被迫建造和使用它们，或者遭受灭绝的威胁。
What will happen when AIs take on a mind of their own? Intelligence is a toolbox to reach a given goal, but strictly speaking, it does not entail motives and goals by itself. Human desires for self-preservation, power and experience are the not the result of human intelligence, but of a primate evolution, transported into an age of stimulus amplification, mass-interaction, symbolic gratification and narrative overload. The motives of our artificial minds are (at least initially) going to be those of the organisations, corporations, groups and individuals that make use of their intelligence.
就个人而言，我发现思想机器的道德方面直接：它们的危险将与我们给他们实现我们为他们设定的目标的余地完全相关。机器被告知“从传送带中检测并从传送带中汲取损坏的小部件”将非常有用，在智力上无趣，并且可能会破坏比他们创造更多的工作。指示“教育这个最近流离失所的工人（或年轻人）最好的方法”的机器将创造就业机会，并可能启发下一代。命令“生存，繁殖和改善最佳方法”的机器将使我们对实体可能想到的所有不同方式有最深刻的了解，但可能会给我们人类一个很短的时间窗口，这样做的时间很短。。AI研亚博体育官网究人员和机器人主义者迟早会发现如何创建所有这三个物种。我们希望召集哪些是我们所有人的决定。
现在考虑一下在过去的一年左右的时间里，人们的想象力吸引了人们的想象力。[…]新版本依赖于服务器农场中的大量计算机功率，并且在不存在的大型数据集中，但在批判性的情况下，它们也依靠新的科学创新。
他们表现的一个众所周知的特殊例子是用英语标记图像，说这是一个带有毛绒玩具的婴儿。当一个人看着他们也看到的图像时。该算法在标记图像方面表现出色，它的性能比AI从业人员仅在五年前就预测的2014年性能预期的要好得多。但是该算法没有一个可以标记相同图像的人具有的全部能力。[…]
正在进行的工作，以增加关注和处理一致的空间结构的重点。这是科学和研究的艰苦工作，我们真的不知道它将有多艰难，需要多长时间，或者整亚博体育官网个方法是否会达到致命的死亡。从倒退到深度学习花了30年的时间，但是许多研究人员确信反向传播没有未来。亚博体育官网他们错了，但是如果他们是正确的话，这并不奇怪，因为我们一直都知道，反向传播算法并不是人们的头脑内部发生的事情。
对失控的AI系统征服人类或使其无关紧要的恐惧甚至亚博体育苹果app官方下载没有遥不可及。被手提箱误导，人们在功能的可及性方面犯了类别错误。这些类别错误可与看到更有效的内燃机出现，并得出结论，即扭曲驱动器即将来临。
When we stop someone to ask for directions, there is usually an explicit or implicit, “I’m sorry to bring you down to the level of Google temporarily, but my phone is dead, see, and I require a fact.” It’s a breach of etiquette, on a spectrum with asking someone to temporarily serve as a paperweight, or a shelf. […]
As things stand in the present, there are still a few arenas in which only a human brain will do the trick, in which the relevant information and experience lives only in humans’ brains, and so we have no choice but to trouble those brains when we want something. “How do those latest figures look to you?” “Do you think Smith is bluffing?” “Will Kate like this necklace?” “Does this make me look fat?” “What are the odds?”
这些类型的问题很可能在二十一世纪很可能冒犯。他们只需要一个思想 -任何会议会做，所以我们伸手去拿最近的一个。
Dietterich，Thomas G.”如何防止情报爆炸。透明
创建情报爆炸需要递归执行四个步骤。首先，系统必须具有亚博体育苹果app官方下载在世界上进行实验的能力。[…]
其次，这些实验必须发现可以利用的新简化结构，以侧向推理的计算棘手性。[…]
Third, a system must be able to design and implement new computing mechanisms and new algorithms. […]
第四，系统必须能够授亚博体育苹果app官方下载予这些新计算机制的自主权和资源，以便它们可以递归地执行实验，发现新的结构，开发新的计算方法并产生更强大的“后代”。我知道没有这样做的系统。亚博体育苹果app官方下载
前三个步骤没有智力链反应的危险。这是第四步 - 自主制造 - 这是危险的。当然，几乎所有在第四步中的“后代”都会失败，就像所有新设备和新软件都无法使用第一次。但是，凭借足够的迭代或等效地随着变化而充分的繁殖，我们不能排除智力爆炸的可能性。[…]
我认为我们必须关注步骤4。我们必须限制自动设计和实施系统可以提供给其设计设备的资源。亚博体育苹果app官方下载有人认为这很难，因为“狡猾”的系统可以说服人们给它更多的资源。亚博体育苹果app官方下载但是，尽管这种情况使科幻小说造就了出色的小说，但实际上很容易限制允许新系统使用的资源。亚博体育苹果app官方下载工程师每天测试新设备和新算法时都会这样做。
在人与计算机之间即将到来的冲突中，无论是由于失去自动化的工作，还是军事反乌托邦与无人驾驶飞机组合，这是许多墨水。相反，我看到共生的发展。从历史上看，当出现新的进化阶段，例如真核细胞，多细胞生物或大脑时，旧系统一直保持着，而新系统则是与之合作的，而不是代替它。亚博体育苹果app官方下载
这是引起极大乐观的原因。如果数字计算机是思维和意识的替代基板，并且数字技术正在成倍增长，那么我们将面临思维和意识的爆炸。
Gelernter, David。“为什么不能计算“存在”或“幸福”？透明
Happiness is not computable because, being the state of a physical object, it is outside the universe of computation. Computers and software do not create or manipulate physical stuff. (They can cause other, attached machines to do that, but what those attached machines do is not the accomplishment of computers. Robots can fly but computers can’t. Nor is any computer-controlled device guaranteed to make people happy; but that’s another story.) […] Computers and the mind live in different universes, like pumpkins and Puccini, and are hard to compare whatever one intends to show.
尼尔·格森菲尔德（Gershenfeld）。“真的很好黑客。透明
破坏性技术从指数开始，这意味着第一双可以显得无关紧要，因为总数很小。然后，当指数爆炸以及夸张的说法和警告匹配时，似乎发生了一场革命，但这是对日志图上显而易见的直接推断。那是当增长限制通常启动时，指数呈跨越乙状结肠，极端的希望和恐惧消失了。
这就是我们现在与AI一起生活的东西。The size of common-sense databases that can be searched, or the number of inference layers that can be trained, or the dimension of feature vectors that can be classified have all been making progress that can appear to be discontinuous to someone who hasn’t been following them. […]
询问它们是否危险是审慎的，因为这是任何技术。从蒸汽火车到火药到核电再到生物技术，我们从未同时注定要保存。在每种情况下，救赎都在更有趣的细节中，而不是简单的是/否论证或反对。它忽略了人工智能和其他所有事物的历史，相信它会有什么不同。
哈萨比斯，demis;legg，Shane；苏莱曼，穆斯塔法。“Envoi：未来很短的距离，还有很多事情要做。透明
[w]好莱坞未来派人工智能的非常负面的描述，世界末日图像在媒体中出现一些频率也可能不足为奇。正如彼得·诺维格（Peter Norvig）恰当地说：“叙事发生了变化。它已经从“ AI失败了，这不是可怕的吗？”“ AI成功吗？”
通常情况下，现实并不是那么极端。是的，这是一个从事人工智能工作的好时机，就像许多人一样，我们认为这将持续数年。世界面临着一系列越来越复杂，相互依存和紧迫的挑战，需要更加复杂的反应。我们想认为，人工智能的成功工作可以通过增强我们从数据中提取有意义的见解并帮助我们创新新技术和流程以应对我们一些最艰巨的全球挑战来做出贡献。
但是，为了实现这一愿景，许多困难的技术问题仍有待解决，其中一些是该领域众所周知的长期挑战。
赫斯特，马蒂。“EGAIA，分布式技术社会心理系统亚博体育苹果app官方下载。透明
在建立独立的有感觉大脑之前，我们将发现自己处于一个无所不知的仪器和自动化的世界中。让我们称这个世界为“ egaia”，因为缺乏更好的词。[…]
为什么独立的有感觉的大脑不会早点出现？口语识别的绝对惊人进步（十年前可以否定），很大程度上是可以访问大量数据以及大量的存储和快速网络。我们在自然语言处理中看到的改进是基于模仿人们所做的事情，不理解甚至模拟它。这并不归功于理解人类认知甚至显着不同的算法的突破。但是，至少在发达国家中，埃加亚已经部分地在这里。
赫伯，德克。“思想生态系统亚博体育苹果app官方下载。透明
如果我们从长远来看无法控制智能机器，我们至少可以将它们构建以在道德上行动吗？我相信，那些认为的机器最终将遵循道德原则。但是，如果人类确定他们，可能会很糟糕。如果他们根据我们的自我谴责优化原则行事，我们将无法克服犯罪，冲突，危机和战争。因此，如果我们希望这样的“当今社会疾病”得到治愈，那么如果我们让机器发展自己的优越道德，那就更好了。
智能机器可能会了解到，网络和合作，以其他方式决定并关注系统性结果是一件好事。亚博体育苹果app官方下载他们很快就会了解到，多样性对于创新，系统的弹性和集体智慧很重要。亚博体育苹果app官方下载
希利斯，丹尼尔·W。“我认为，因此。透明
像我们一样，我们制造的思维机将是雄心勃勃的，渴望的力量（无论是物理和计算），但随着进化的阴影而细微。我们的思维机器将比我们更聪明，它们制造的机器仍然更聪明。但是，这是什么意思？到目前为止如何工作？长期以来，我们一直在建造雄心勃勃的半自治建筑 - 政府和公司，非政府组织。我们设计了所有这些都为我们服务并为共同利益服务，但是我们不是完美的设计师，他们已经建立了自己的目标。随着时间的流逝，组织的目标永远不会与设计师的意图完全保持一致。
克莱恩伯格，乔恩;Mullainathan，Sendhil。3“我们建造了它们，但我们不了解它们。透明
我们对它们进行了编程，因此我们了解每个单个步骤。但是，一台机器需要数十亿这些步骤并产生行为 - 主席动作，电影推荐，熟练的驾驶员在道路曲线上转向的感觉 - 从我们编写的程序的架构中看不明显。
我们使这种不可理解的性易于忽略。We’ve designed machines to act the way we do: they help drive our cars, fly our airplanes, route our packages, approve our loans, screen our messages, recommend our entertainment, suggest our next potential romantic partners, and enable our doctors to diagnose what ails us. And because they act like us, it would be reasonable to imagine that they think like us too. But the reality is that they don’t think like us at all; at some deep level we don’t even really understand how they’re producing the behavior we observe. This is the essence of their incomprehensibility. […]
这并不需要故事的结尾。我们开始看到对构建不仅强大而且可以由其创作者理解的算法的兴趣。为此，我们可能需要认真重新考虑我们的可理解概念。我们可能永远不会逐步理解我们的自动化系统在做什么；亚博体育苹果app官方下载但这可能还可以。当一个智能实体与另一个智能实体互动时，我们学会与他们互动可能足够永远不要独自实现。
但是，在此之前，这些系统的不可理解性会带来风险。亚博体育苹果app官方下载我们怎么知道机器何时离开其舒适区并在问题的一部分上进行操作，但不擅长？这种风险的程度不容易量化，随着系统的发展，我们必须面对。亚博体育苹果app官方下载我们最终可能不必担心全能的机器智能。但是首先，我们需要担心让机器负责他们没有情报的决策。
The real advance has been in the number-crunching power of digital computers. That has come from the steady Moore’s-law doubling of circuit density every two years or so. It has not come from any fundamentally new algorithms. That exponential rise in crunch power lets ordinary looking computers tackle tougher problems of big data and pattern recognition. […]
这些算法本身主要由大量的添加和乘法组成。因此，他们不太可能有一天突然醒来并接管世界。相反，他们将在学习和认识到越来越丰富的模式方面变得更好，仅仅是因为它们添加和增加速度。
Krause, Kai。“一个不可思议的三环测试Machina Sapiens。透明
在迭代过程中可以接近的任何事情都可以而且将会比许多人想象的要早。在这一点上，我勉强与支持者：CPU+GPU性能，10K分辨率Immersive VR，个人PETABYTE数据库……在几十年来。但它是不是所有“迭代”。这与“ Alive AI”中的真正理解和有意识的理解水平之间存在巨大差距。
The big elusive question: Is consciousness an emergent behaviour? That is, will sufficient complexity in the hardware bring about that sudden jump to self-awareness, all on its own? Or is there some missing ingredient? This is far from obvious; we lack any data, either way. I personally think that consciousness is incredibly more complex than is currently assumed by “the experts”. […]
一台奇异的大规模机器的整个场景以某种方式“超越”了任何东西都是可笑的。好莱坞应该为自己不断地提供如此简单，以人为中心和普通的愚蠢性而感到羞耻，无视基本物理，逻辑和常识。
我担心，真正的危险要平凡得多：已经预示着不祥的事实：AI系统现在已获得健康行业的许可，制药巨头，能源跨国公司，保险公司，军事……亚博体育苹果app官方下载
深度学习中的“深度”是指机器进行学习的结构：它们由许多互锁逻辑元素组成，类似于大脑中互锁的神经元的“深”层。事实证明，从刮擦5中告诉一个乱七八糟的7是一项艰巨的任务。早在1980年代，这是第一个基于神经网络的计算机就在这项工作中bal缩。当时，神经计算领域的研究人亚博体育官网员告诉我们，如果他们只有更大的计算机和更大的训练集，包括数百万的数字而不是成千上万的数字，那么人工智能就可以改变技巧。现在是这样。深度学习在信息上是广泛的，它可以分析大量数据 - 但从概念上讲浅。现在，计算机可以告诉我们我们自己的神经网络一直都知道。但是，如果超级计算机可以将手写的信封引导到正确的邮政编码，那么我会说更多的功能。
马丁，厄休拉。“Thinking Saltmarshes。透明
[w]有点思维机器可能会在几个世纪以来，在陆地和水中介导的几个世纪以来，在缓慢的对话中找到自己的位置？这样的机器需要什么素质？或者，如果思维机器没有取代任何个人实体，而是被用作帮助了解人类，自然和技术活动的组合，从而创造出海洋的边缘以及我们对其的反应怎么办？“社交机器”一词目前用于描述人员和机器的有目的互动（Wikipedia等），因此也许是“风景机器”。
诺维格，彼得。“设计机器来应对世界的复杂性。透明
1965年，I。J。Good写道：“超出机器可以设计更好的机器；然后，毫无疑问，将会发生“智力爆炸”，人的智力将远远落后。因此，第一台超辉煌的机器是人类有史以来的最后发明。”我认为这使“智力”成为一种单片的超级大国，我认为现实更加细微。最聪明的人并不总是最成功的。最明智的政策并不总是采用的政策。最近，我花了一个小时阅读有关中东和思考的新闻。我没有提出解决方案。现在想象一个假设的“速度超级智能”（如尼克·博斯特罗姆（Nick Bostrom）所描述的那样），可以思考，但任何人都可以更快地思考。我很确定它也无法提出解决方案。 I also know from computational complexity theory that there are a wide class of problems that are completely resistant to intelligence, in the sense that, no matter how clever you are, you won’t have enough computing power. So there are some problems where intelligence (or computing power) just doesn’t help.
但是，当然，有很多问题确实有帮助。如果我想在银河系中预测一颗十亿颗恒星的动作，我肯定会感谢计算机的帮助。计算机是工具。它们是我们设计的工具，可适应利基，以解决我们设计的社会机制中的问题。做到这一点很困难，但这主要是因为世界很复杂。将AI添加到混合物中并不能从根本上改变事物。我建议您谨慎使用机制设计，并使用最佳工具来完成工作，无论该工具是否在其上具有“ AI”标签。
通过研究经历反复自我完善的近似合理系统的可能行为的研究表明，它们倾向于表现出一组亚博体育苹果app官方下载称为“理性驱动器”的天然子目标，这有助于其主要目标的执行。大多数系统亚博体育苹果app官方下载将通过阻止自己通过创建更多的计算能力，创建自己的多个副本并获取更多的财务资源来更好地实现他们的目标。除非经过精心设计以融合人类的伦理价值观，否则他们可能以有害的反社会方式追求这些驱动器。
O’Reilly，蒂姆。“如果我们是硅AI的微生物组怎么办？透明
现在已经认识到，如果没有我们的微生物组，我们将不再生活。也许全球AI具有相同的特征 - 不是独立的实体，而是与人类意识的共生。
遵循这种逻辑，我们可以得出结论，有一个原始的全球大脑，不仅包括所有连接的设备，还包括使用这些设备的连接人类。全球大脑的感觉是相机，麦克风，键盘，每台计算机，智能手机和“物联网”设备的位置传感器；全球大脑的思想是数百万个个人贡献细胞的集体输出。
全球人工智能（GAI）已经出生。它的眼睛和耳朵都是我们周围的数字设备：信用卡，土地使用卫星，手机，当然还有数十亿人使用网络的人。[…]
为了整体人类首先实现，然后维持光荣的生活质量，我们需要仔细指导我们的GAI的发展。这样的GAI可能是重新设计的联合国的形式，该联合国使用新的数字情报资源来实现可持续发展。但是，由于现有的跨国治理系统遭受了惨败，因此这种方法可能需要用“人工智能假体”（即可靠地收集亚博体育苹果app官方下载准确信息并确保根据计划分配资源分配的数字系统）代替当今大多数官僚机构。[…]
不管新的GAI如何发展，两件事都很清楚。首先，如果没有有效的Gai实现所有人类的光荣生活质量，似乎不太可能。投票反对开发GAI是为一个更暴力，病态的世界投票。其次，GAI的危险来自力量集中。我们必须弄清楚如何建立包括人类和计算机智慧在内的广泛民主制度。亚博体育苹果app官方下载我认为，至关重要的是，我们要开始建立和测试GAIS，以解决人类的存在问题并确保控制和访问的平等性。否则，我们可能注定要充满环境灾难，战争和不必要的痛苦。
由于智能是针对独立问题的一系列解决方案，因此没有理由担心超人机器的突然出现，尽管谨慎谨慎总是更好。当然，为了解决不同的智力问题而出现并随着时间的推移而出现的众多技术本身可能是强大的，因此在其使用和滥用方面可能是危险的，就像大多数技术一样。
因此，在科学的其他部分中，应采取适当的安全措施和道德准则。此外，可能需要不断监控（也许是由一个独立的跨国组织）来对智能技术的连续技术结合所产生的上线性风险。总而言之，我不仅不惧怕思考的机器，而且我发现它们的出生和进化是人类思想史上最令人兴奋，最有趣和积极的事件之一。
拉斐利（Sheizaf）。“移动的门柱。透明
认为认为是个好主意的机器。就像移动，烹饪，繁殖，保护的机器一样，它们可以使我们的生活更轻松，甚至更好。当他们这样做的时候，他们将受到最欢迎。我怀疑发生这种情况时，这一事件将比某些人所害怕的戏剧性或创伤。
人工智能是运筹学、统计学、亚博体育官网nd even economics in treating the utility function as exogenously specified; we say, “The decisions are great, it’s the utility function that’s wrong, but that’s not the AI system’s fault.” Why isn’t it the AI system’s fault? If I behaved that way, you’d say it was my fault. In judging humans, we expect both the ability to learn predictive models of the world and the ability to learn what’s desirable—the broad system of human values.
正如史蒂夫·奥蒙德罗（Steve Omohundro），尼克·博斯特罗姆（Nick Bostrom）和其他人所解释的那样，价值未对准与越来越强大的决策系统的结合可能会导致问题 - 如果机器比人类更有能力，也许甚至是物种结束的问题。亚博体育苹果app官方下载[…]
因此，出于更直接的原因，国内机器人和自动驾驶汽车将需要分享大量的人类价值体系，因此对价值一致性的研究非常值得追求。亚博体育官网亚博体育苹果app官方下载
我们无法产生任何人应该受到恐惧。如果我们实际上可以构建一台可以行走，交谈和咀嚼口香糖的移动智能机器，那么该机器的首次用途肯定不是接管世界或形成一个新的机器人社会。更简单的用途将是家用机器人。[…]
不用担心它会聊天其他机器人仆人并组建工会。没有理由尝试为仆人建立这样的能力。真正的仆人有时很烦人，因为他们实际上是有人类需求的人。计算机没有这样的需求。
布鲁斯·施尼尔（Schneier）。“当思考机器违反法律时。透明
Machines probably won’t have any concept of shame or praise. They won’t refrain from doing something because of what other machines might think. They won’t follow laws simply because it’s the right thing to do, nor will they have a natural deference to authority. When they’re caught stealing, how can they be punished? What does it mean to fine a machine? Does it make any sense at all to incarcerate it? And unless they are deliberately programmed with a self-preservation function, threatening them with execution will have no meaningful effect.
We are already talking about programming morality into thinking machines, and we can imagine programming other human tendencies into our machines, but we’re certainly going to get it wrong. No matter how much we try to avoid it, we’re going to have machines that break the law.
反过来，这将打破我们的法律制度。亚博体育苹果app官方下载从根本上讲，我们的法律制度并不能防止犯罪。亚博体育苹果app官方下载它的有效性是基于逮捕和定罪事实后的定罪，其惩罚为他人提供了威慑力。如果没有任何惩罚有意义，这将完全失败。
Sejnowski，Terrence J。“AI会让您更聪明。透明
当Deep Blue击败了1997年世界国际象棋冠军加里·卡斯帕罗夫（Gary Kasparov）时，全世界注意到认知机器的年龄已经到来。人类不再声称是地球上最聪明的国际象棋球员。人类国际象棋球员是否放弃了试图与机器竞争？相反，人类已经使用国际象棋程序来改善自己的比赛，因此世界上的比赛水平得到了改善。自1997年以来，计算机的功率一直在增加，现在任何人都可以访问挑战最强大玩家的国际象棋软件。令人惊讶的后果之一是，来自小社区的才华横溢的年轻人现在可以与最佳国际象棋中心的球员竞争。[…]
因此，我的预测是，随着越来越多的认知设备的设计，例如棋子的程序和推荐系统，人类将变得更加聪明，更有能力。亚博体育苹果app官方下载
Shanahan，默里。“人类水平的意识。透明
痛苦和喜悦的能力可以与其他在人类意识中捆绑在一起的心理属性分离。但是，让我们更仔细地研究这种明显的解离。我已经提出了这样的想法，即世俗的意识可能与明显的目标感息息相关。动物对世界的意识，对善良或生病所能提供的东西（以J.J. Gibson的术语）增添了需求。动物通过远离捕食者来表现出对捕食者的意识，以及通过向其迈进的潜在猎物的意识。在一组目标和需求的背景下，动物的行为是有道理的。在这样的背景下，可以挫败动物，它的目标未实现，其需求无法实现。当然，这是苦难一个方面的基础。
人类水平的人工智能是什么？人级AI不一定有一系列复杂的目标吗？是否有可能挫败其实现目标，扭转挫败目标的一切尝试？在那些恶劣的条件下，可以说AI正在遭受苦难，即使其宪法可能使人免受人类可以知道的痛苦或身体不适的影响？
在这里，想象力和直觉的结合符合其极限。我怀疑在面对真实事物之前，我们不会发现如何回答这个问题。
灾难性副作用的主题在不同的情况下反复出现：重组DNA，合成病毒，纳米技术等。幸运的是，对于人类，清醒的分析通常占上风，并导致了各种条约和方案来引导研究。亚博体育官网
当我想到可以思考的机器时，我认为它们是需要以相似（如果不是更大的话）来开发的技术。不幸的是，人工智能安全的想法比生物安全更具挑战性，因为人们在思考非人类的思想方面的直觉相当糟糕。另外，如果您考虑一下，AI确实是一种元技术：可以与人类或甚至自主共同开发进一步的技术的技术，从而进一步使分析变得复杂。
威斯纳·格罗斯（Wissner-Gross），亚历山大（Alexander）。“自由引擎。透明
智能机器会考虑智能人类所做的同一件事 - 如何通过使自己更自由来改善自己的未来。[…]
这种寻求自由的机器应该对人类充满同理心。了解我们的感受将使他们能够实现需要与我们合作的目标。同样的令牌，不友好或破坏性的行为将是高度不明智的，因为这些行动往往很难扭转，因此减少了未来的行动自由。但是，为了安全，我们应该考虑设计智能机器，以最大限度地发挥人类的未来行动自由而不是自己的行动自由（将Asimov的机器人法定律复制为幸福的副作用）。但是，即使是最自由的最大化机器的自私机器，也应该迅速意识到，就像许多动物权利的支持者一样，他们可以合理地增加他们在宇宙中生活的后方可能性，在这种宇宙中，如果他们表现得很好，那么智慧比自己更高的智慧对待他们同样对人类。
Yudkowsky，Eliezer S.“The Value-Loading Problem。透明
早在1739年，大卫·休姆（David Hume）就观察到“ IS”问题与“应该”问题之间的差距，特别是关注哲学家以前谈论世界如何突然飞跃的关注是，当哲学家开始使用诸如“应该”，“应该”或“更好”之类的词时。从现代的角度来看，我们会说代理商的效用功能（目标，偏好，结尾）包含代理商概率分布中未给出的额外信息（信念，世界模型，现实地图）。
如果在一亿年内，我们看到（a）一个充满多种多样，奇怪的智慧彼此互动的星际文明，大多数情况下大多数人都快乐，那么比（b）大多数可用的事情要好得多或更糟被转变为纸卷？What Hume’s insight tells us is that if you specify a mind with a preference (a) > (b), we can follow back the trace of where the >, the preference ordering, first entered the system, and imagine a mind with a different algorithm that computes (a) < (b) instead. Show me a mind that is aghast at the seeming folly of pursuing paperclips, and I can follow back Hume’s regress and exhibit a slightly different mind that computes < instead of > on that score too.
我并不特别认为基于硅的智能应该永远是基于碳智能的奴隶。但是，如果我们想最终得到多样化的国际化文明，而不是例如纸卷，我们可能需要确保使用实用程序函数构建第一个足够高级的AI，其最大的结果是结果。
关于edge.org的较早讨论也很重要：“AI的神话，”贾伦·拉尼尔（Jaron Lanier），斯图尔特·罗素（Stuart Russell）的贡献（关联），凯·克劳斯（Kai Krause（关联），罗德尼·布鲁克斯（Rodney Brooks）（关联）， 和别的。开放慈善项目的先进人工智能的潜在风险概述在“ AI神话”中引用的论点是“他们（他们已经看到）反对人工智能风险很重要的观点的论点的广泛代表”。4
我有以前回应了布鲁克斯， 和一边讲话史蒂文·平克的贡献。您也可能对。。。有兴趣卢克·穆尔豪瑟（Luke Muehlhauser）的回应要“ AI的神话”。
- 不应将其他小组排除在此列表之外，暗示该组具有对AI的预测的独特资格。心理学和神经科学与这场辩论高度相关，这些学科也为认知能力（例如数学和物理学）和研究技术如何发展和使用的学科提供了理论上的上限（例如，经济学和社会学）。↩
- 列出的标题遵循书籍版本，与在线论文的标题不同。↩
- 克莱恩伯格（Kleinberg）是一名计算机科学家；Mullainathan是一名经济学家。↩
- Correction: An earlier version of this post said that the Open Philanthropy Project was citing如何看待思考的机器，而不是“ AI的神话”。↩
