articles

AWS vs Paperspace vs FloydHub : Choosing your cloud GPU partner

• 产商选择
  Google Cloud Platform和Microsoft Azure在价格和供给上与AWS上比较相像，所以选择了这三者进行对比
• 结论：
  AWS的GPU实例安全、可扩展，还附带一些AI集成
  Paperspace：最新的NV产品，预装DL包，价格实惠
  FloyHub：
• 评测点：
  实例准备、用户体验（数据上传、社区、帮助文档）、硬件提供范围（SSD和专用GPU实例）、性能、其他特性（是否支持多GPU实例）、价格
  Platform: Keras+Theano
  Models: deep CNN model + VGG16 network

Benchmarking Tensorflow Performance and Cost Across Different GPU Options
优点：

1. 加入CPU做对比
2. 用tf+Inception v4 model，一秒内的mini-batch数
3. 给出不同需求下的硬件选型指导

Benchmarking Tensorflow Performance on Next Generation GPUs
特点：

1. 模型：tf + Faster R-CNN/resnet101 物体检测模型
2. 比较方法：mini-batches / second, cents/ 100 mini-batches
3. 给出不同需求下的硬件选型指导

Benchmarks: Deep Learning Nvidia P100 vs. V100 GPU
特点：

1. 模型：tf + RNN / LSTMs 包括训练和推理
2. 使用NGC容器来进行测试
3. 网络大小增大、网络复杂度增加（RNN到LSTM）,v100对于p100会优势逐渐增加
4. RNN并不能完全利用到v100的硬件优势（只有20%时间为矩阵乘法运算）

Benchmarks
特点：

1. 用合成数据测试，结果为基线，来排除磁盘I/O影响 ImageNet
2. 测量维度：GPU个数(1,2,3,4)、4个模型(InceptionV3,VGG16, ResNet-50,ResNet-152)、不同产商
3. images/sec

Deep Learning Benchmarks of NVIDIA Tesla P100 PCIe, Tesla K80, and Tesla M40 GPUs
特点：

1. [TF, Caffe, Torch, Theano] * [VGG, GoogleNet, Overfeat, AlexNet] * [K80, M40, P100]
2. 几何平均
3. msec / batch, speedup over cpu
   Benchmark Setup
4. batch size尽量一样
5. 所有深度学习框架都链接到NVIDIA cuDNN库，而不是他们自己的深度网络库。
6. DeepMark项目和Singularity容器

NVIDIA DGX-1 Supercomputer: Join Our Community-Based Deep Learning Benchmark 译文
特点：

1. [Torch, Caffe, TensorFlow, Neon] * [Tesla K40, Titan-X Maxwell, GTX 1080, and Titan-X Pascal] * [(AlexNet, Overfeat, Oxford VGG, GoogLeNet, ResNet-50, ResNet-101 and ResNet-52]
2. Minibatch大小对于训练效率的影响测评

=============
Machine learning mega-benchmark: GPU providers (part 2) 译文 Github
荐
特点：

1. 成本、易用性、稳定性、可扩展性和性能
2. 情绪分类任务，Keras LSTM + Twitter情绪分析数据集 + NVIDIA Docker Image，有GitHub
3. 应该使用GPU密集型的任务 GPU intensive
4. 指标：准确率

Machine learning benchmarks: Hardware providers (part 1)
特点：

1. Word2Vec
2. docker

【深度学习框架大PK】褚晓文教授：五大深度学习框架三类神经网络全面测评（23PPT）

1. 多核CPU场景；性能有受配置文件的影响

基准评测 TensorFlow、Caffe、CNTK、MXNet、Torch 在三类流行深度神经网络上的表现（论文）