机器学习代码完整性自查清单

---

title: 机器学习代码完整性自查清单
date: 2020-11-18 19:56:32
categories:

• 机器学习
  tags:
• 代码完整性

---

写机器学习算法代码的规范。

[[1]机器之心-机器学习论文复现，这五大问题你需要注意](file:///D:/Documents/zotero/storage/GKIWGIGK/2020-11-02-5.html)，一篇博客，作者分析了复现论文时的常见问题。

[2]paperswithcode/releasing-research-code，[1]中提到的README样例

[3]机器之心-PapersWithCode发布代码完整性自查清单：想获得更多星，你需要注意这五项，[2]的中文翻译

[4]Joelle Pineau发布的机器学习可复现性检查清单，[1]中提到的检查清单。

[2]paper with code提供的自查清单

一份README文件示例：README.md template

具体包括如下几项：

依赖项

写清楚安装的库和版本，提供requirements.txt或environment.yml或setup.py。在README中写清楚安装过程。

可以考虑使用Docker。

训练脚本

写清楚整个过程使用的超参数和技巧。

提供train.py。

评估脚本

提供eval.py。

预训练模型

提供已经得出的数据对应的模型，这样其他用户不用重新训练就能看到结果是可信的。

结果

通过表格快速展示。

项目示例

https://github.com/kakaobrain/fast-autoaugment

https://github.com/eth-sri/eran

其他资源

包括

• 预训练模型文件托管平台
• 模型文件管理工具
• 标准化模型界面
• 结果排行榜
• 制作项目页面工具
• 制作 demo 和教程工具

详见[2]或[3]

[4]机器学习可复现性检查清单

对于模型和算法：

• 数学公式、算法、模型的清晰描述
• 假设的清晰描述
• 算法的时间、空间复杂度分析

对于定理声明：

• 清晰的陈述
• 完整的证明

对于使用的数据集：

• 简单的统计信息，例如数量
• 用于训练、验证、测试的细节
• 预处理步骤的说明
• 下载链接
• 如果对数据集有修改，写出修改过程

对于代码：（这段和[2]相同）

• 依赖性说明
• train代码
• eval代码
• 预训练模型
• README文件和结果

对于实验结果：

• 超参数的范围，选择最佳超参数的方法，生成结果的超参数
• 训练和验证的参数（epoch等）
• 指标的定义
• 简单的统计描述（均值，方差等）
• 训练时间和需要的硬件条件
• 使用的计算基础架构（系统？）