DLBuilder GUI设计思路1——包含调参策略

《深度学习在自动视觉检测中的血泪史》说了，要在制造业大规模推广Deep Learning算法，必须有一个超级好学好用易用的Deep Learning GUI.

这个GUI必须很好的包括深度学习调参策略：

1, 调参正交化

摘自 Andrew Ng 《Orthogonalization》

2，单一数字评估指标（Single number evaluation metric）。

3，若有多个评估指标，例如N个metric，要确定一个是用于优化的指标，Optimizing Metric, 其余的N-1个是只要满足门限要求即可的指标（Satisficing Metric）。例如，可以把识别的准确率Accuracy列为优化指标，运行时间（running time）列为 满足门限要求即可的指标，eg, running_time < 100ms 

摘自 Andrew Ng 《Satisficing and optimizing metric》

4,确保Dev set 和 test set 来自同一分布

摘自 Andrew Ng 《Train/dev/test distribution》

5, 测试集和开发集的大小

Size of test set: Set your test set to be big enough to give high confidence in the overall performance of your system

令你的测试集足够大，能够以高置信度评估系统整体性能。

Size of dev set: Set your dev set to be big enough to detect the differences in algorithms/models you're trying out

令你的开发集足够大，能够评估算法和模型的不同性能。Dev set主要用于评估不同的算法设计方案

6, 首先使得算法在训练集Ok，然后开发集Ok，然后测试集Ok，然后在应用程序中Ok；最终目标是跑在应用程序（Application）中Ok

摘自 Andrew Ng 《Improving your model performance》