自然科普想法成长励志

重磅研究!最优学习的85%规则

2019-02-02  本文已影响32人  杨涵的思考笔记

这篇文章的“一手知识”源于亚利桑那大学和布朗大学的研究者刚刚贴出一篇论文的预印本,叫《最优学习的85%规则》(《The Eighty Five Percent Rule for Optimal Learning》)[1]。

这个发现如此重要,以至于我必须写一篇文章下来,哪怕只是让我自己永远不忘记。这个研究是关于几个我们特别熟悉的规律的新发现,我们先梳理一下我们所熟悉的几个知识:


1、学习区

心理学家把我们可能面对的学习内容分成了三个区:舒适区、学习区、恐慌区。舒适区的内容对你来说太容易,恐慌区的内容太难,刻意练习要求你始终在两者中间一个特别小的学习区里学习,这对于你,是“最优学习区”。

我不认为还有人不知道这个常识,如今,“跳出舒适区”已经成了一句口号,也许我们舒适区赚钱最容易,但对于学习,想要提高技艺,我们就必须在学习区。

2、心流

想要在工作中达到心流状态,这项工作的挑战性必须要和你的技能形成平衡。(《心流:最优体验心理学》)

仔细看看,上面两张图像不像?

3、喜欢=熟悉+意外 一个文艺作品想要最大限度地吸引观众,必须提供观众熟悉的东西,又要制造意外。

前不久大热的“《啥是佩奇》”就是这样一部作品。(相比之下,我更喜欢贾樟柯导演的《一个桶》,在此不深入讨论。)


从信息论的角度上来说,上面三个我们所熟悉的规律,说的都是“旧信息”与“新信息”的配比。然而,这个配比多少合适呢?

这个研究给出了一个神奇的答案,说这个问题有精确解:这个数值是15.87%。

为了让你方便阅读,以下是我对该论文摘要的翻译:

长期以来,研究人员和教育工作者一直纠结于一个问题:如何最好地教育他们的客户——无论是人类、动物还是机器。

这次,我们关注“训练难度”这个单一变量的作用,并考察其对学习速度的影响。在许多情况下,我们发现有一个甜蜜点,即训练既不太容易也不太难,而且学习进展最快。

在一个用难度进行二分类任务中,模糊刺激必须属于两类中的一类。对于所有这些基于梯度下降的学习算法,我们发现训练的最优错误率在15.87%左右。反过来说,最优训练准确率在85%左右。

我们证明了这个“85%规则”对于“人工智能中使用的人工神经网络,和生物学上可信的用来描述人类和动物学习的神经网络”的有效性。

我们知道现在人工智能本质上是就是机器学习。科学家弄一个神经网络,用大量的数据去训练这个网络,让网络学会自己做判断。网络内部有大量参数随着训练不断变化,就相当于人脑在学习中提高技艺。

每一次训练,都是先让网络对数据做个自己的判断,然后数据再给它一个反馈。如果网络判断正确,它就会加深巩固现有的参数;如果判断错了,它就调整参数。这跟人脑的学习也很像:只有当你判断错误的时候,才说明这个知识对你是新知识,你才能学习提高。

研究者可以决定用什么难度的数据去“喂”这个网络。如果数据难度太低,网络每次都能猜对,那显然无法提高判断水平;如果数据难度太高,网络总是猜错,那它的参数就会东一下西一下变来变去,就会无所适从。这项研究问的问题是,每次训练中,网络判断的错误率是多少,才是最优的呢?

研究者首先用了一个比较简单的数学模型做理论推导,又用了一个AI神经网络学习算法和一个模拟生物大脑的神经网络模型做模拟实验,结果得出一个精确解:15.87%。

也就是说,当你训练一个东西的时候,你给它的内容中应该有大约85%是它熟悉的,有15%是它感到意外的。 研究者把这个结论称为“85%规则”,研究者把15.87%这个“最佳意外率”数值叫做学习的甜蜜点(sweet spot)。

找到这个甜蜜点有两个好处。

第一,它让你的学习速度最快。(学习区)

以下是模拟实验的结果。下面这是一张等值曲线图,说的是判断出错率和 AI 训练效率的关系:

图中横坐标代表每次训练的出错率(ER),纵坐标代表训练的次数(trial numble),图中颜色代表训练出来的网络的准确度,颜色越偏黄表示准确率越高,越偏蓝表示准确度越低,图中每条曲线的间隔为“0.1的准确度”。

我们能看到,0.1587的训练出错率那个区域,随着训练次数的增长,它的准确度增加速度是最快的。比如说,出错率是0.4,训练1000能达到的准确率,大约相当于出错率是0.1587,训练450次的水平!

Screen Shot 2019-02-02 at 21.57.11.png 下面这张图中的三条曲线代表三个不同的训练出错率,横坐标是训练的(trial number),纵坐标是准确度(relative precision)。我们看到,出错率在0.16的那条曲线,准确度增加的速度是最快的,可以说大大高于另外两条曲。且理论值(theory)和模型(simulation)结果基本吻合。

研究者理论推导的结果是,15.87%的意外率能让训练时间相对于其他数值以指数下降!

第二,它还能让你在学习中感觉最爽。(心流)

这项研究使用的例子主要是对于AI的机器学习,但是研究者也考察了在其他领域中的训练,包括对人的教学实验和对动物的训练,研究者们摸索出来的结果基本上都是要有15%的新内容。这些研究表明,在这个点上,人们对学习的投入度是最高的。

15.87%不但是学习中的最佳训练出错率(学习区),也是心流率,也是文艺作品的最佳意外率。论文中还提到,电子游戏的设计者也得用这个比率。

如果在这个游戏关卡中玩家都一点都不会犯错,轻松过关,那游戏就太简单了,玩家会感到无聊。如果让玩家频频犯错,那设置太难了,也玩不下去。即:15%左右的犯错率,是最好玩的游戏。

(我一直认为“吃鸡”难以持续火下去的原因在于游戏难度太大。毕竟,从概率上来说,1/100或1/25的胜率都有些太难了,而游戏过程中,作为及时反馈的搜房子捡装备也有些过于无聊。这一次,总算是有了理论的精确支持。)

我们从这项研究中至少能得到三个结论:

1、熟悉很重要。

在学习中遇到熟悉的东西,可以巩固我们的知识,让我们再次确认以前学的是对的。这并不仅仅是心理上的安慰!人工智能神经网络是冷酷无情的,它不需要心理安慰,但是它也需要熟悉的内容。

所以“学习区”不是一个感情上的问题,而是大脑认知的问题。新信息重要,旧信息也很重要。

2、15.87%这个数值是否通用?

研究者的理论推导用的是一个特殊的数学模型,但是他们的数值模拟,包括考察其他领域中的训练,结果差不多也都是这个数值。如果我们相信人脑本质上就是一个神经网络,那么这个研究就具有普遍的意义。我个人认为这个数值在任何一个领域中都不会太离谱。

3、很有用才要需要去做,量化后才可以去做。

知道一个道理有用,和知道这个道理有多么有用,有本质区别。同样的,知道一个道理存在,和知道一个道理如何操作,也有着本质区别。而这个研究把这两件事都量化了,这也是我必须写下来的原因。

从此,给自己安排学习任务的时候,确保有15%左右的新东西便好——哈哈!从这个角度上来看,过去我给自己安排的学习任务,总是有些太难了。

参考文献
[1] Robert C. Wilson et al., The Eighty Five Percent Rule for Optimal Learning, doi: https://doi.org/10.1101/255182

上一篇 下一篇

猜你喜欢

热点阅读