人工智能革命:人类永生还是灭亡（上）

——我们什么时候可以达到超智能线
我们面临着一个非常困难的问题，并需要在一个未知的时间内来解决它，而人类的整个未来很可能取决于这个问题。- Nick Bostrom

欢迎阅读文章系列的第二部分的上篇。

第1部分开始，我们讨论了弱人工智能（ANI）（弱人工智能专注于一个狭窄的任务，如导航或下棋），以及它如何在我们周围的世界起着作用。然后，我们研究了为什么从弱人工智能（ANI）到强人工智能（AGI：人工智能至少与人类一样具有智力能力）从一开始就是如此巨大的挑战，我们讨论了为什么技术进步的指数速度告诉我们'从过去看到的情况来说，我们拥有AGI的时间并不会太远”。在第一部分中我认为，一旦我们的机器达到人工智能的境界，他们很可能会出现这种情况：

人类的站台 人工智能的出现 速度将会很快 一瞬间

让我们仔细想想，想想我们对超级人工智能ASI（比任何人都聪明的人工智能）的强烈概念，并应该试图弄清楚当我们思考这个问题时，我们应该抱着那种情绪。

在我们深入研究之前，让我们提醒一下自己，对于机器来说具备超级智能意味着什么。

一个关键的区别是高速率的超级智能和高质量的超级智能之间的区别。通常情况下，当让人们想象一个超级智能的计算机时人们首先想到的是这是跟人一样聪明，但可以比人想的更多，更快的人工智能，而且比人类快了一百万倍，这意味着它可以在五分钟内算出人类需要计算十年的数据。

这听起来令人印象深刻，而且在这之外的是ASI的思维速度远远超过任何人，但在我看来人类和超级智能真正的区别在于它在智力素质方面的优势，这是完全不同的东西。人类之所以比黑猩猩拥有更高的智力，并不是因为思维速度不同，而是因为人类的大脑中包含许多复杂的认知模块，这些模块可以实现复杂的语言表达、长期的计划或抽象推理等功能，黑猩猩的大脑中并不存在这些功能。将黑猩猩的大脑加速数千倍不会让它们达到人类的水平，即使给它十年的时间，它也无法弄清楚如何使用一套定制工具来组装一个复杂的模型，而一个人类只需要几个小时就可以完成。无论黑猩猩花多少时 间尝试都不可能实现人类的认知功能。

但不仅是黑猩猩不能做到我们所做到的，他的大脑还无法理解到世界的存在，一个黑猩猩也明白什么是人，什么是摩天大楼，但他不能够理解摩天大楼是由人类建造的。在他的世界里，任何巨大的东西都是大自然，自然演变的一部分，而他不仅无法建造一座摩天大楼，也无法意识到建造任何摩天大楼都可以由任何一个人来做。这就是智力素质差异的结果。

在我们今天谈论的智力范围方案中，甚至在生物更小的范围中，黑猩猩与人类之间的质量差距也很小。在之前的文章中，我用阶梯图描述了生物认知能力的范围：

阶梯图

为了理解超级智能机器有多大的优势，想象一下一个人站在淡蓝色的阶梯上，而一台超级智能站在深绿色的阶梯上，只比人类高两阶。这台机器可能只有一点点的超级智能，但它相对于我们的认知能力的提高与我们刚才描述的黑猩猩和人类的差距一样大。就像黑猩猩无法理解那些可以建造的摩天大楼一样，即使机器试图向我们解释，我们也不会明白深绿色阶梯上的机器可以做什么，更不用说让我们去做这些事。这只比我们高出两步阶梯。在这个楼梯上的第二至最高台阶上的一台人工智能机器对我们来说就像我们对蚂蚁一样，它可以尝试浪费很多年来试图教会我们它所知道的最简单的东西，但是这种尝试是没有希望的。

但是，我们今天所谈论的这种超级智能在这个阶梯上远远超出了任何东西。在智能爆炸中，机器越聪明，它就能越快地增加自己的智能，直到它开始飙升向上。一台机器可能需要数年时间才能从黑猩猩台阶上上升到上面的那一阶，但也许只有几个小时就能跳到我们上方第二阶的深绿色台阶上，当它比我们高出十步时，它可能每秒都会跳跃四阶。这就是为什么我们需要意识到，在关于第一台机器达到人类级别的AGI后不久就发布了重大新闻，我们可能将会面临与这个在阶梯上(可能高出一百万倍)的东西在地球上共存。

高阶阶梯图

而且，由于我们刚刚确定了一个绝望的活动来试图理解机器的力量只比我们高出两个步骤，我们非常具体地说明了什么叫一无所知，我们无法知道做出ASI诞生后会做出什么或带来什么样的后果 。任何装模作样的人都不会明白超级智能的含义。

在数亿年的时间里，进化在缓慢而渐进的推进着生物大脑的发展，从这个意义上说，如果人类制造出了ASI级别的机器，我们将极大地否定了进化的工作。但是或者也许这也是进化的一部分，也许进化的工作方式就是让生物的智能越来越多，直到它达到能够创造超级智能机器的水平，而这个级别就像一个引发全球变化的爆炸的绊脚石。决定着所有生物的新未来：

未来

我们稍后将讨论的是。在科学界的很大一部分人认为，问题并不是我们是否会达到智力水平线，而是我们什么时候会到达这条线，这是一条有点疯狂的信息。

那我们该怎么做呢？

世界上没有人，特别是我，能告诉你当我们达到这条线时会发生什么。但牛津大学哲学家兼首席人工智能科学家Nick Bostrom认为，我们可以将所有的结果归纳为两大类。

首先，回顾一下历史，我们可以看到生命是这样运作的：物种突然出现，并且存在了一段时间，经过一段时间后，它们不可避免地从生命的平衡木上掉下来并走向灭绝 ：

平衡木

“所有物种最终都会灭绝”和“所有人类最终都会死”一样，在历史上这是一条可靠的规则。到目前为止，99.9％的物种已从平衡木上掉下来，而且很明显，如果一个物种沿着平衡木向下摇晃，那么对于其他一些物种来说，有一些大自然的风或突然之间有小行星将他们击倒坠入灭绝也只是时间问题了。Bostrom用一种吸引状态来表示一个地方的物种都在面临摇摇欲坠的平衡木并且可能会掉入毁灭的深渊。

虽然我遇到的大多数科学家都承认ASI有能力使人类灭绝，但许多人也相信，ASI的能力可以用来将人类乃至整个物种带到第二种状态使物种成为不朽。Bostrom认为，物种不朽与物种灭绝同样具有吸引人的状态，即如果我们能做到这一点，我们将永远不受灭绝的影响，我们将拥有战胜死亡的机会。因此，即使到目前为止所有物种都已经从平衡木上掉下来并濒临灭绝，Bostrom仍然相信平衡木还有两面，只是地球上的任何东西都没有足够的智能来弄清楚如何到达另一面。

飞升？

希望Bostrom和其他人是对的，但是从我所读到的一切看来，它们似乎真的可能是对的，而我们有两个相当令人震惊的事实要接受：

1）ASI的出现将会为物种升华到不朽一侧上提供了可能性。

2）ASI的出现将产生如此难以想象的巨大影响，无论朝着那个方向，都很有可能会把人类从平衡木上撞下来

很可能当我们的进化可以到达到智力线的时候，它会永久地结束人类与平衡木的关系并创造一个新世界，但是并不会管这个新世界有没有人类。

似乎人类当前唯一应该问的问题是：我们什么时候才能达到那条线，当这种情况发生时，我们会落在这跟平衡木的哪一边？

世界上没有人知道这两个问题的答案，但是许多聪明的人已经花了数十年的时间来思考这个问题。我们将用这篇文章的其余部分来探索他们提出的内容。

让我们从问题的第一部分开始：我们什么时候达到那条线？

也就是第一台机器达到超级智能需要多长时间？

不出所料的是，意见的分歧很大，这是科学家和思想家之间的一场激烈的争论。但是许多人，如Vernor Vinge教授，科学家Ben Goertzel，Sun Microsystems联合创始人Bill Joy，或者最著名的发明家和未来学家Ray Kurzweil，都同意机器学习专家Jeremy Howard在TED演讲中提出的这张图表：

智力线

这些人相信，这种情况很快就会发生，因为指数增长正在发挥着巨大的作用，机器学习现在虽然只是缓慢的向我们逼近，但在未来几十年内会在我们身边呼啸而过。

但是其他一些人，如微软联合创始人Paul Allen，研究心理学家Gary Marcus，纽约大学计算机科学家Ernest Davis和科技企业家Mitch Kapor，认为像Kurzweil这样的思想家大大低估了人类面对挑战的能力，并认为我们实际上并不是那么的接近那条线。

Kurzweil阵营反驳说，唯一低估的是指数增长的速度，并且他们将怀疑者与那些在1985年看到互联网增长缓慢的人群进行比较，并认为这群人在不久的将来对任何有影响力的事情都不会产生影响。

怀疑者可能会反驳，他们认为使智力进步所需要的努力也会随着后面的每一步的成倍增长而变的更加苦难，这将抵消技术进步的典型指数性质，等等。

包括Nick Bostrom在内的第三个阵营认为，两派都没有任何理由对时间线进行保证，并且承认:A)这绝对可能在不久的将来发生;B)但它可能需要更长的时间。

还有一些人，比如哲学家Hubert Dreyfus，认为三个群体都天真地认为相信会有智力线，他们认为ASI可能永远无法实现。

那么当你把所有的这些意见放在一起时，你会得到什么？

2013年，VincentC。Müller和Nick Bostrom进行了一项调查，在一系列会议上向数百名AI专家提出以下问题：“就这个问题而言，假设人类的科学活动没有重大的负面影响的情况下继续发展。到了哪一年你会看到这样的人工智能存在的概率（10％/ 50％/ 90％的可能性）调查要求他们说出一个乐观的年份（10%的可能性在那一年可以拥有AGI） ），一个现实的猜测（在那一年我们有50%的可能性获得AGI，也就是在那一年后我们会拥有AGI），以及一个悲观的猜测（90%的机会可以在那一年拥有AGI）。作为一个数据集收集在一起，结果如下：

乐观年份的中位数（10％可能性）：2022年

实际年份的中位数（50％可能性）：2040年

悲观年份的中位数（90％可能性）：2075年

所以参与者认为我们25年后才会有可能拥有AGI。2075年的90％的中位答案意味着，如果你现在是青少年，那么通过这个中位数的受访者，以及超过一半的AI专家，几乎可以确定AGI将在你有生之年发生。

最近由作家James Barrat在Ben Goertzel年度AGI会议上进行的另一项研究，他取消了百分比，只是简单地询问参与者何时认为AGI将会实现。在2030年，2050年，2100年，还是2100年之后，或者永远不会实现。结果是：

到2030年：有42％的受访者选择了这个选项

到2050年：有25％的受访者选择了这个选项

到2100年：有20％的受访者选择了这个选项

在2100年之后：有10％的受访者选择了这个选项

永远不会：有2％的受访者选择了这个选项

非常类似于Müller和Bostrom的结果。在Barrat的调查中，超过三分之二的参与者认为AGI将在2050年出现，而只有不到一半的人预测AGI将在未来15年内出现。同样令人吃惊的是，只有2％的受访者认为AGI不会成为我们未来的一部分。

但是，如果AGI不是那条线的话。那么专家什么时候认为我们会达到ASI？

Müller和Bostrom还向专家询问，让他们预估我们什么时候拥有ASI的可能性:A)在拥有AGI的两年内就会拥有ASI(几乎是马上就进行了智能爆炸)和B)在三十年内拥有ASI。结果是:

根据答案的中值表明，快速的从（2年）AGI→ASI转换的可能性仅为10％，但较长的转换如30年或更短的时间，可能性为75％。

我们这些数据中的参与者认为有50%的可能性不会知道这个转变时间的长度，但是为了达到大致的目的，基于上面的两个答案，让我们暂时估计他们会说是20年。所以中间的意见是人工智能专家领域对于认为我们何时能够达到ASI的那条线的最现实的猜测中值是(对达到AGI的2040年的预测和我们对AGI向ASI转变的20年过渡期估计] =2060年达到ASI

时间总和

当然，以上所有统计数据都是推测性的，他们只代表人工智能专家社区的意见，但它告诉我们，对这一主题最了解的人中有很大一部分会同意对能改变时间的ASI的到来估计为2060年。距今仅45年。

问题的第二部分是：当我们达到那条线的时候时会落到平衡木的哪一侧

超级智能将产生巨大的力量,但是对我们来说关键的问题是：

控制这份权力的人是谁，他们的动机会是什么?

对此的答案将决定ASI会是一个令人难以置信的发展，还是一个令人难以置信的深渊，还是介于这两者之间。

当然，专家团队又讨论了这个问题的答案。Müller和博斯特伦的调查要求参与者将概率分配到AGI会对人类的可能产生的影响上，发现反应的结果是，有52％的反应结果会是好或非常好，31％的反应结果将会是坏的或非常糟糕的。对于相对中性的反应，平均概率仅为17％。换句话说，对此最了解的人非常肯定这将是一个巨大的事情。同样值得注意的是，这些概率仅仅是指AGI的出现，如果问题是关于ASI，我想处于中间的可能性的百分比会更低。

在我们进一步深入研究这个问题的好结果与坏结果部分之前，让我们将这个问题“它什么时候会发生？”和“它会是一个好事还是一个坏事？”这个问题的一部分组合成一个包含视图的图表，其中包括大多数相关专家的意见：

意见表.jpg

我们稍后会详细讨论两种主要的阵营，但首先想想你的观点是什么？实际上我知道你的观点是什么，因为在我开始研究这个话题之前，这也是我的观点。大多数人没有真正考虑这个主题的一些原因是：

• 正如第1部分所述，电影通过呈现不切实际的人工智能场景让我们觉得人工智能在一般情况下并不值得认真对待，从而混淆了事实。如果疾病控制中心在我们的未来发布了一个关于吸血鬼的严重警告，James Barrat会将情况与我们的反应进行比较。

• 由于某种所谓的认知偏见，我们很难相信某些东西是真实的，直到我们看到证据。我敢肯定，计算机科学家在1988年经常谈论互联网可能有多大的影响，但人们可能并不会认为它能改变生活，直到它真的改变了他们的生活。这在一定程度上是因为1988年的计算机还不能做这样的事情，所以人们会看着他们的电脑并想：“真的吗？这会改变我的一生么“他们的想象力仅限于他们的个人经历告诉他们计算机是什么，这很难生动的描绘出计算机可能成为什么样子。人工智能也正在发生同样的事情。我们听到的是这会是一个大事，但因为还没有发生的，而且由于我们当前世界中使用的相对来说比较无用的人工智能的经验，我们也很难真正相信这将极大地改变我们的生活。这些偏见是专家们所面临的，因为他们疯狂地试图通过集体的表现来引起我们的注意。 即使我们确实相信它，但是今天你有过几次想过一些需要花费大部分时间但是却不存在的事情？不是很多，对吗？即使它比你今天所做的任何事情都要强烈得多，这是因为我们的大脑通常专注于日常生活中的小事，无论我们身处的长期环境多么的疯狂。这就是我们的思考方式。

  这篇文章的目的之一就是让你走出我喜欢"思考其他事物"的想法并进入一个专家的想法领域，即使你只是站在上面广场上两条完全不确定的虚线的交叉点上。

  在我的研究过程中，我遇到了几十种不同的观点，但我很快注意到大多数人的意见都属于我所称为的那些主流观点，特别是超过四分之三的专家分成了主流观点中的两个阵营：

两种阵营

我们需要深入的了解这两种阵营，接下来我们会分别探讨这两种阵营。

原文链接：https://waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html