古斯塔夫森定律（Gustafson's law）

Gustafson's law 有几种形式， 这是我喜欢的一种形式

• 在系统加入新资源前， 时间内可以完成的任务
• 系统中，可以使用并行计算的任务的比例
• 系统中，不可以使用并行计算的任务的比例
• ：计算资源（初始系统中的计算资源为1）
• ： 时间内可以完成的任务，是相关的 函数

解释

系统在规定时间 内，可以完成的计算量， 随着加入的计算资源增加而增加。

例子

• 例1

• 例2

意义

阿姆达尔法则指明了系统加速的极限， 但是古斯塔夫森法则指出了， 虽然随着计算资源的增加， 系统加速会出现边际效应递减， 但是系统在一定时间内， 可以完成的计算量， 确会大幅增加。 而且更重要的是， 这种增加的趋势并不会因为系统资源变多而打折。

古斯塔夫森法则为机器学习，大数据指明了一个方向。 如果可以通过增加问题的规模（增加模型复杂度， 增加样本量）来提高产出， 那么就可以利用云计算提供的大规模计算资源。