138.深度学习分布式计算框架-1
2022-11-21 本文已影响0人
大勇任卷舒
138.1 PaddlePaddle
- PaddlePaddle是百度开源的一个深度学习平台
- PaddlePaddle为深度学习研究人员提供了丰富的API,可以轻松地完成神经网络配置,模型训练等任务。
- 官方文档中简易介绍了如何使用框架在
- 线性回归
- 识别数字
- 图像分类
- 词向量
- 个性化推荐
- 情感分析
- 语义角色标注
- 机器翻译等方面的应用
138.2 Deeplearning4j
- DeepLearning4J(DL4J)是一套基于Java语言的神经网络工具包,可以构建、定型和部署神经网络
- DL4J与Hadoop和Spark集成,支持分布式CPU和GPU
- Deeplearning4j包括了分布式、多线程的深度学习框架,以及普通的单线程深度学习框架
- 定型过程以集群进行,也就是说,Deeplearning4j可以快速处理大量数据
- Deeplearning4j在开放堆栈中作为模块组件的功能,使之成为为微服务架构打造的深度学习框架
- Deeplearning4j从各类浅层网络出发,设计深层神经网络
- 这一灵活性使用户可以根据所需,在分布式、生产级、能够在分布式CPU或GPU的基础上与Spark和Hadoop协同工作的框架内,整合受限玻尔兹曼机、其他自动编码器、卷积网络或递归网络
-
Deeplearning4j在已建立的各个库及其在系统整体中的所处位置
138.3 Mahout
- Mahout是基于Hadoop的机器学习和数据挖掘的一个分布式框架
- Mahout用MapReduce实现了部分数据挖掘算法,解决了并行挖掘的问题
- Mahout包含许多实现,包括聚类、分类、推荐过滤、频繁子项挖掘等
-
Mahout算法库:
-
Mahout应用场景:
大数据视频推荐:
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐:
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能:深度学习入门到精通