重磅研究!最优学习的85%规则
这篇文章的“一手知识”源于亚利桑那大学和布朗大学的研究者刚刚贴出一篇论文的预印本,叫《最优学习的85%规则》(《The Eighty Five Percent Rule for Optimal Learning》)[1]。
这个发现如此重要,以至于我必须写一篇文章下来,哪怕只是让我自己永远不忘记。这个研究是关于几个我们特别熟悉的规律的新发现,我们先梳理一下我们所熟悉的几个知识:
1、学习区
![](https://img.haomeiwen.com/i7392284/dfc21367a5a75b07.png)
心理学家把我们可能面对的学习内容分成了三个区:舒适区、学习区、恐慌区。舒适区的内容对你来说太容易,恐慌区的内容太难,刻意练习要求你始终在两者中间一个特别小的学习区里学习,这对于你,是“最优学习区”。
我不认为还有人不知道这个常识,如今,“跳出舒适区”已经成了一句口号,也许我们舒适区赚钱最容易,但对于学习,想要提高技艺,我们就必须在学习区。
2、心流
想要在工作中达到心流状态,这项工作的挑战性必须要和你的技能形成平衡。(《心流:最优体验心理学》)
![](https://img.haomeiwen.com/i7392284/fcdbb5603d5c05bc.png)
仔细看看,上面两张图像不像?
3、喜欢=熟悉+意外 一个文艺作品想要最大限度地吸引观众,必须提供观众熟悉的东西,又要制造意外。
前不久大热的“《啥是佩奇》”就是这样一部作品。(相比之下,我更喜欢贾樟柯导演的《一个桶》,在此不深入讨论。)
从信息论的角度上来说,上面三个我们所熟悉的规律,说的都是“旧信息”与“新信息”的配比。然而,这个配比多少合适呢?
这个研究给出了一个神奇的答案,说这个问题有精确解:这个数值是15.87%。
为了让你方便阅读,以下是我对该论文摘要的翻译:
长期以来,研究人员和教育工作者一直纠结于一个问题:如何最好地教育他们的客户——无论是人类、动物还是机器。
这次,我们关注“训练难度”这个单一变量的作用,并考察其对学习速度的影响。在许多情况下,我们发现有一个甜蜜点,即训练既不太容易也不太难,而且学习进展最快。
在一个用难度进行二分类任务中,模糊刺激必须属于两类中的一类。对于所有这些基于梯度下降的学习算法,我们发现训练的最优错误率在15.87%左右。反过来说,最优训练准确率在85%左右。
我们证明了这个“85%规则”对于“人工智能中使用的人工神经网络,和生物学上可信的用来描述人类和动物学习的神经网络”的有效性。
我们知道现在人工智能本质上是就是机器学习。科学家弄一个神经网络,用大量的数据去训练这个网络,让网络学会自己做判断。网络内部有大量参数随着训练不断变化,就相当于人脑在学习中提高技艺。
每一次训练,都是先让网络对数据做个自己的判断,然后数据再给它一个反馈。如果网络判断正确,它就会加深巩固现有的参数;如果判断错了,它就调整参数。这跟人脑的学习也很像:只有当你判断错误的时候,才说明这个知识对你是新知识,你才能学习提高。
研究者可以决定用什么难度的数据去“喂”这个网络。如果数据难度太低,网络每次都能猜对,那显然无法提高判断水平;如果数据难度太高,网络总是猜错,那它的参数就会东一下西一下变来变去,就会无所适从。这项研究问的问题是,每次训练中,网络判断的错误率是多少,才是最优的呢?
研究者首先用了一个比较简单的数学模型做理论推导,又用了一个AI神经网络学习算法和一个模拟生物大脑的神经网络模型做模拟实验,结果得出一个精确解:15.87%。![](https://img.haomeiwen.com/i7392284/9abaf7d936857f0b.png)
也就是说,当你训练一个东西的时候,你给它的内容中应该有大约85%是它熟悉的,有15%是它感到意外的。 研究者把这个结论称为“85%规则”,研究者把15.87%这个“最佳意外率”数值叫做学习的甜蜜点(sweet spot)。
找到这个甜蜜点有两个好处。
第一,它让你的学习速度最快。(学习区)
以下是模拟实验的结果。下面这是一张等值曲线图,说的是判断出错率和 AI 训练效率的关系:![](https://img.haomeiwen.com/i7392284/911bf8b1047ed548.png)
图中横坐标代表每次训练的出错率(ER),纵坐标代表训练的次数(trial numble),图中颜色代表训练出来的网络的准确度,颜色越偏黄表示准确率越高,越偏蓝表示准确度越低,图中每条曲线的间隔为“0.1的准确度”。
我们能看到,0.1587的训练出错率那个区域,随着训练次数的增长,它的准确度增加速度是最快的。比如说,出错率是0.4,训练1000能达到的准确率,大约相当于出错率是0.1587,训练450次的水平!
![](https://img.haomeiwen.com/i7392284/0c8c6ad65c38518f.png)
![](https://img.haomeiwen.com/i7392284/badad40509fdafa8.png)
研究者理论推导的结果是,15.87%的意外率能让训练时间相对于其他数值以指数下降!
第二,它还能让你在学习中感觉最爽。(心流)
这项研究使用的例子主要是对于AI的机器学习,但是研究者也考察了在其他领域中的训练,包括对人的教学实验和对动物的训练,研究者们摸索出来的结果基本上都是要有15%的新内容。这些研究表明,在这个点上,人们对学习的投入度是最高的。
15.87%不但是学习中的最佳训练出错率(学习区),也是心流率,也是文艺作品的最佳意外率。论文中还提到,电子游戏的设计者也得用这个比率。
如果在这个游戏关卡中玩家都一点都不会犯错,轻松过关,那游戏就太简单了,玩家会感到无聊。如果让玩家频频犯错,那设置太难了,也玩不下去。即:15%左右的犯错率,是最好玩的游戏。
(我一直认为“吃鸡”难以持续火下去的原因在于游戏难度太大。毕竟,从概率上来说,1/100或1/25的胜率都有些太难了,而游戏过程中,作为及时反馈的搜房子捡装备也有些过于无聊。这一次,总算是有了理论的精确支持。)
我们从这项研究中至少能得到三个结论:
1、熟悉很重要。
在学习中遇到熟悉的东西,可以巩固我们的知识,让我们再次确认以前学的是对的。这并不仅仅是心理上的安慰!人工智能神经网络是冷酷无情的,它不需要心理安慰,但是它也需要熟悉的内容。
所以“学习区”不是一个感情上的问题,而是大脑认知的问题。新信息重要,旧信息也很重要。
2、15.87%这个数值是否通用?
研究者的理论推导用的是一个特殊的数学模型,但是他们的数值模拟,包括考察其他领域中的训练,结果差不多也都是这个数值。如果我们相信人脑本质上就是一个神经网络,那么这个研究就具有普遍的意义。我个人认为这个数值在任何一个领域中都不会太离谱。
3、很有用才要需要去做,量化后才可以去做。
知道一个道理有用,和知道这个道理有多么有用,有本质区别。同样的,知道一个道理存在,和知道一个道理如何操作,也有着本质区别。而这个研究把这两件事都量化了,这也是我必须写下来的原因。
从此,给自己安排学习任务的时候,确保有15%左右的新东西便好——哈哈!从这个角度上来看,过去我给自己安排的学习任务,总是有些太难了。
参考文献
[1] Robert C. Wilson et al., The Eighty Five Percent Rule for Optimal Learning, doi: https://doi.org/10.1101/255182