大数据如何助力实体经济？案例分享：利用机器学习提升制造业良品率

摘要：云星数据分享，如何基于海量工业数据，利用大数据分析、机器学习技术帮助某知名制造企业提升生产制造良品率。

新一代的云计算/大数据技术正在给传统工业发展方式带来颠覆性、革命性的影响。传感器、工控系统、物联网等技术的广泛应用，推动工业企业实现生产流程各环节的互联互通，促进互联网与工业融合发展。

随着信息化与工业化的深度融合，工业制造企业已经积累和拥有了日益丰富的工业数据。工业大数据呈现出大体量、多源性、连续采样、价值密度低、动态性强等特点。

这里还是要推荐下小编的大数据学习QQ裙:532218147，不管你是小白还是大牛，小编我都欢迎，不定期分享干货，包括小编自己整理的一份2018最新的大数据资料和0基础入门教程，欢迎初学和进阶中的小伙伴。在不忙的时间我会给解答

我们理解大数据分析在工业制造行业主要有两个应用领域：

1.利用大数据进行建模仿真：传统生产企业在测试、验证环节需要生产出实物来评测其性能等指标，成本随测试次数增加而不断提升。利用虚拟仿真技术，可以实现对原有研发设计环节过程的模拟、分析、评估、验证和优化，从而减少工程更改量，优化生产工艺，降低成本和能耗。

2.利用大数据提升良品率：实际工作中，对失效/残次品的个案分析往往无疾而终，有价值的信息淹没在量测误差、实验噪声或者不科学的实验设计里。而通过对于大量数据的分析，噪声信息会消失，差异点会叠加放大。生产的过程数据越多，分析就越细致，在信息充足的情况下，工程师甚至可以将异常定位到机台的某个机构，从而实验设计也能合理化，目的化，极大地加速良率提升的脚步。

但在具体大数据应用领域上，工业企业普遍面临：

不知道如何把大数据和企业自身业务结合起来；

大数据人才匮乏；

数据采集和治理不完善，未形成闭环；

工业领域有其独特的领域知识，需要行业知识结合数据分析等困难和挑战。

最近云星数据与国内某知名LCD生产企业在利用大数据提升良品率领域开展合作，利用大数据分析和机器学习来研究关键因子，提升生产制造的良品率。具体包括：对生产线上数以万计的传感器进行工业数据(温度、压力、振动和噪声等)采集和存储，通过建模分析识别出生产流程作业过程中的关键缺陷因子指标；建立告警预警系统实现传感器数据流指标的实时监控，一旦偏离关键因子设定的阈值，就会触发报警信号，快速地发现错误或者瓶颈所在。通过关键因子与产品合格数据之间的联动，跟踪识别关键因子的变化趋势，从而优化提高产品良品率，达到提升生产效率、降低成本的目标。

那么云星数据采用何种数据分析逻辑来实现缺陷因子的识别？又是如何通过技术手段落地实现这样的工业数据分析处理的呢？数据存储和数据分析两大核心平台又分别提供那些核心功能呢？

首先，项目组专家成员通过业务分析，样本数据收集、建模仿真等手段识别出了如下的缺陷因子分析逻辑：

不同缺陷在时间上的聚集性

不同缺陷在不同因素上的分布倾向

过程异常与缺陷的相关性

不同缺陷在不同成分含量上的分布倾向

此后，算法专家将分析逻辑映射为数据算法(逻辑回归、聚类、关联分析等)实现在分析平台上对基础平台中存储的数据集进行分布式计算处理，获得输出结果(关键因子集、因子阈值参数等)。

总体逻辑架构

大数据基础平台：重用现有的工具和基础架构，实现全自动的数据收集、整理、转换和存储。充分利用 Hadoop/Spark 集群提供海量数据存储能力。

大数据基础平台

大数据分析平台：充分基础平台上存储的数据，在数据建模、模型训练上采用深度学习(Deep Learning)模式。通过数据逻辑层上针对工业制造细分领域的生产流程，提供监督学习、和非监督学习两种模式的模型训练机制的支持，可以进行如数据清洗、数据仓库、特征工程等应用。

云星大数据分析平台

云星数据致力于帮助企业在工业生产过程中管理和应用大数据。首先是利用云平台、物联网等技术实时监测工业生产中的一系列设备，通过从设备中监控到的数据，再结合生产过程中的环境因素、产品质量、过程控制等数据，给出数据驱动的生产优化解决方案，实现提高精准制造、高端制造、敏捷制造的能力，加速智能车间、智能工厂等现代化生产体系建立，实现智能生产。