GPU租赁平台-推理资源成本分析
2023-06-19 本文已影响0人
无聊的上帝op
背景知识
- 推理通常使用GPU进行计算。使用单精度浮点数可以减少计算资源的使用，从而提高计算效率。
- 推理使用4090显卡可能会浪费一些资源，因为推理阶段只需要很少的计算资源。
- AutoFE，HPO，NAS，Auto Clean这些能力默认借助开源实现。
成本对比
数据来源： 单精度浮点数-bing聊天
| 厂家 | GPU型号（显存） | 单精度浮点数（TFLOPS） | 每小时费用（元） | 包月（元） |
|---|---|---|---|---|
| 智星云 | GeForce RTX 2080 Ti（11G） | 14 | 0.9 | |
| AutoDL | GeForce RTX 2080 Ti（11G） | 14 | 0.88 | |
| 恒源云 | GeForce RTX 2080 Ti（11G） | 14 | 0.8 | |
| 智星云 | GeForce RTX 3090 (24G显存) | 20.3 | 2.2 | 1358.38 |
| 恒源云 | GeForce RTX 3090 (24G显存) | 20.3 | 1.3 | 918.00 |
| AutoDL | GeForce RTX 3090 (24G显存) | 20.3 | 1.58 | 805.41 |
| 智星云 | Tesla V100-16GB (16G显存) | 15.7 | 2.0 | |
| AutoDL | Tesla T4(16G) | 16.3 | 0.78 |
折扣对比
| 厂家 | 包日 | 包周 | 包月 |
|---|---|---|---|
| 智星云 | 9.46折 | 9.22折 | 8.3折 |
| AutoDL | 9.6折 | 8.7折 | 6.8折 |
| 恒源云 | 9.5折 | 9折 | 7.5折 |
