《超级智能》5-2：别在狂热中迷失自我（下）
万卷好书209《100本互联网人必读》系列：《超级智能》5-2：一年一天地，别在技术狂热中迷失了自我（下）
文/杜豆豆
倾一生之力，读经典好书，写有厚度的文字，过有深度的人生。大家好，我是杜豆豆。欢迎收听我解读的《100本互联网人必读》系列。
神秘的奇点
6
明白了间接规范方法的必要性，设定了认知遵从原则，我们来看几种间接规范方法的例子：
第一种，一致推断意愿。
这是提出的“奇点”研究所创立者之一埃利泽·尤德科夫斯基提出的。他认为，我们给种子人工智能设定的最终目标应该是实现人类的“一致推断意愿”（CEV）。
也就是，“我们希望如果自己知道得更多，思考得更快，超越我们对自身的希望，人类便会共同成长；这时，推断汇聚统一，而非相异偏离，我们的愿景连贯一致，而非互相冲突；按我们所愿去推断，按我们所想去诠释。”
这段话听起来很哲学。举个例子，假如我们的CEV希望人们过上丰富而幸福的生活，而不是希望人们在小黑屋里坐着小板凳受苦。那么，超级智能就能够通过研究人类文化和心理，扫描人类大脑，推断人类如何行事等，按这样的CEV内容做出判断和行动。
CEV途径有7个论点，其中3个基本都在说，目的是要做符合人道而有用的事，但确定规则很难，CEV途径应当强健而具有自我修正能力。
另外还有4个观点，是对上述观点提出的要求，包括：一是容纳道德发展，也就是要允许道德有进步的可能。二是避免劫持人类命运。三是避免提供人类为了初始机制而发生冲突的动机。比如说，人道主义者和塔利班主义者的程序员在设计初期的机制上可能会有不同价值观，这就是一种冲突的动机。第四，让人类最终主宰自身命运。
CEV途径应该是一种初始机制，而不是最终目标。比如，如果人类的推断意愿是建造一个民主的人类世界政府，那CEV机制就可能会促使这种情况发生。或者，人类的推断意愿希望CEV机制什么都不做，那么人工智能在足够确信这是人类推断意愿想要它做的，它就应该安全将自己关闭。
7
第二种，道德模式。
所谓道德模式，指的是建造以“做合乎道德的事”为目标的人工智能，简称为“道德正确”（MR）。假设前提是，超级智能对于正确和错误的理解比我们人类更好。
相比CEV，其优势在于：“道德正确”MR会去掉来自“多数压倒少数”的干扰参数，而选择道德优先，将人工智能导向道德正确的行为。但同时也有劣势，因为“道德正确”这个概念本身就说不清道不明。
为此，作者还提到了另一个方法，就是道德允许(MP）。也就是说，我们可以让人工智能追求人类的CEV，只要它的行为不是道德所不允许的。
第三种，叫做“按照我的意思做”。
如果你觉得实在不好确定什么CEV、MR或者MP之类的方案，干脆懒到底，把认知工作都交给人工智能。直接来一个“基于理由的”目标：“去，做我们最有理由让你去做的事。” 那人工智能就会按照各种算法和规则，最终走向推断意愿模式或者道德模式，或者其他。
我们该如何去实施这样一个“照我的意思做”的机制呢？
你至少应该先把“照我的意思做”是什么意思思考清楚吧。比如，假设一些条件，我们的偏好如何。然后，我们又可能绕回到了CEV途径里，去用程序语言来表达抽象价值观了。
8
我们讲了给人工智能加载价值观的方法，加载的内容应当是间接的规范。那么内容清单该遵循什么样的设计原则呢？
作者在书中讲了四点：
第一点，目标内容。
人工智能该追求什么目标？如何描述？是否应该包含给予对项目成功做出贡献的人以特殊奖励？
第二点，决策论。
人工智能应该采取因果决策论、证据决策论、无更新决策论，还是其他？
第三点，认识论。
人工智能的先验概率函数应该是什么？它对这个世界还应该有哪些显式或隐式的假设？该使用什么样的人择理论？
第四点，审核批准。
人工智能方案在实施前该有人类审核批准吗？如果需要，审批过程的协议是什么？
总之，我们没有必要设计一个高度优化的方案。相反，我们的重点应该放在设计一个高度可靠的方案之上。
对人类来讲，掌握自己的命运更重要，不完美才是完美。
掌握自己的命运更重要，不完美才是完美
9
现在，让我们来针对超级智能分析一下对其的发展战略图景和未来的大致方向。
通常，研究者总是怀着美好的愿望，认为自己的研究是有益的，希望有更多资金致力于技术研究，很少能站在政策制定者或者全人类的角度去考虑技术的长远后果和风险。
根据“技术实现猜想”，如果致力于发展科学技术的努力没有有效地停止，那么所有能够通过某种可能的技术获得的重要基本能力最终都会实现。
但是，有一个原则是，我们可以选择让不同的技术有不同的发展速度，也就是“差异技术发展原则”——减缓危险且有害的技术发展，尤其是那些会增加存在性风险的技术；加速有益技术的发展，尤其是那些能够降低由自然或其他技术造成的存在性风险的技术。
人工智能技术也一样，它一定会随着人类智能水平的提高而全面发展。那么，我们现在要关注的就是，人类的认知提升该怎样去控制这一类型技术的进步速度呢？
前面我们分析过，机器超级智能的确会带来巨大的存在性风险。但同时，它也会降低其他的存在性风险。比如，自然的威胁、意外毁灭、战争、另类技术研究等等。从这点上考虑，超级智能来得越早越好。不过，显然，这是不全面的。
如果你是人类社会这辆大车的驾驶员，手里正好握着能够改变宏观结构发展速度的魔力操纵杆，你该让它加速、减速还是原速行驶？
思考这个问题，我们需要区分出两种风险：状态风险和步骤风险。
作者的结论是：考虑到存在性状态风险时，我们应该支持加速。而如果我们知道未来的某个步骤必定会导致存在性灾难，那么我们应该降低宏观结构发展的速度。目前，存在性状态风险的水平看起来相对较低；影响宏观结构发展速度的主要方式，是面对关键步骤风险时人们是否已经准备充分。
准备的充分程度，需要认知提升。对于认知的提升，作者以全脑仿真和人工智能为例讲了技术耦合，也讲到了对于超级智能研发的合作。
有一点最为关键，不管是采用什么样的方法达到认知提升，都要谨记：技术的研发，是用来服务人类利益，要遵循共同道德。
10
整本书读到这里，我们已经知道，我们是有很大可能性要面对智能爆发，甚至会陷入某种灾难性后果的困境中的。既然发现了，就要早些防备，而且 把重点放在那些重要而急迫的问题上，在智能爆发之前尽快解决。
要优先解决哪些问题呢？
其中特别要考虑的一个因素就是，弹性。所谓弹性，是指这个问题你努力了，会加快解决的速度或者 被解决的程度加大了，这种问题就是弹性大的问题。如果几乎没什么突破性的方法，这个问题的弹性就会很小。
基于弹性这个因素考虑，有两个目标是需要优先考虑的，就是：战略分析和实力建设。
越是困惑和不确定，战略分析越有价值，因为看清趋势，能让我们更好地考虑下一步行动。要行动有力，我们还需要发展出完备的支持系统，有相当的实力，能够系统而稳健地应对未来可能发生的问题。
除了战略分析和实力建设，还有一些具体的目标。比如：针对机器智能安全性的技术挑战；针对控制问题的人工智能最佳实践的广泛传播。
面对超级智能爆发，作者有个形象的比喻。他说，我们人类就像个玩炸弹的孩子，玩具的威力和我们的成熟度太不匹配。我们听到了炸弹的滴答声，但却搞不清它何时会爆炸。明智的做法，最好是轻轻放下，快速跑出屋子告诉大人。然而问题是，现在不是一个孩子，而是很多孩子，而且免不了有熊孩子。倘若有一个熊孩子因为好奇引爆了按钮，既不知道逃离方法，也看不到任何成年人，恐惧已经来不及了。
所以，我们最恰当的态度莫过于：下定决心，镇定自若，发挥我们最好的实力，战胜挑战。就像我们应对一场重要的考试一样。
11
最后，让我们以作者在书中的最后一句话来结束这本书：“透过日常琐事的迷雾，我们能够（模糊地）看到这个时代的核心任务。在这本书中，我们尝试着在相对模糊不清的视野中辨别更多的特征。我们看到，降低存在性风险，并且实现导向合理使用人类宇宙资源的文明进步，是我们道德上的主要优先事项。”
说到底，人发明计算机，发展超级智能，是为人类所用，促进人类发展，而不是拿来打败人类。
一念一天地，别在技术狂热中迷失了自我。
这才是这本书真正的主题。
好了，到这里，《超级智能》这本书就为你讲解完了。希望你能从中受益。
今天的解读就到这里。倾一生之力，读经典好书，写有厚度的文字，过有深度的人生。我是杜豆豆，感谢你的收听。下节我们继续解读《100本互联网人必读》系列的第三本书《定位》，欢迎持续关注。
一念一天地，别在狂热中迷失了自我
（本文结束，本系列未完待续）
创作不易，非授权不得转载，转载请注明出处。如果您觉的文章有用，别忘了在文末点赞哦。
读更多好书，请访问我的文集连载：《一生必读的万卷好书》
我是最高级别的“简书会员合伙人”。欢迎您加入“万卷好书读书会”：会员已超200人，需群主拉入。有兴趣的简友请加微信dudoudou189联系我。读书会座右铭：在浮躁的时代，安心读书写作，养育心灵。
