我的工业质检机器人研发历程

项目名称: 工业质检机器人
单位名称：微妙物联人工智能实验室
日期: 2022/12/5

image1.png

1. 创意构思与原型机特色摘要说明

工业质检机器人,采用jetson
nano,具备6自由度机械臂,机械臂上安装有高清摄像头,具备自动识别产品,自动对巡检部位进行分析的人工智能机器人.

机械臂,相机,AI结合起来,具备人工智能的质检机器人:通过机械臂和相机,以不同视角和距离,灵活查看不同目标和不同位置,通过Ai算法,实现产品的品质和缺陷检测.

通过机械臂示教接口可以定义和获取机械臂的检测的点和角度,通过AI算法,实现引导机械臂和摄像头对缺陷产品的检测区域和检测点的样本的自动采集,AI算法通过样本自动完成缺陷检测模型训练工作,达到AI模型的数据集的自动采集和模型的自我学习功能,可以免去或大大减少人工数据和缺陷数据的采集和训练工作,通过机械臂和模型算法实现自学习功能,可以大大增强产品的广泛应用.

image2.png

2. 创作背景

传统工业质检的问题:

• 1.工业相机固定位置和视角.

• 2.多面工业相机只有二维的变化,视角焦距固定.

  所以,采取传统工业相机的采集方式,存在视角固定,位置固定,即便是用多面相机,也不能接解决多维度,多视角的问题,并且缺少自由度,无法适应多种不同产品和不同检测部位和视角问题.

新创新: Arm Camera和 AI结合 诞生工业质检机器人

1. 面向摄影的专业设备Arm camera(,手臂相机)
   可以多视角,多维度,不同距离拍摄目标,让摄影摆脱空间和角度及距离限制,达到随心所欲观察目标.
2. AI计算设备(NVIDIA Jetson)具备超强的算力
3. 机械臂,相机,AI结合起来,具备人工智能的质检机器人:通过机械臂和相机,以不同视角和距离,灵活查看不同目标和不同位置,通过Ai算法,实现产品的品质和缺陷检测.

3. 系统功能与范畴

硬件:

1. jetson nano主机

2. 6自由度机械臂

3. 安装到机械臂上的摄像头

4. 物料转盘

5. 控制接口

软件:

1.ubuntu18

2. jetson inference

3. opencv

4. nvidia tensorrt

5. web admin

6. AI算法控制平台

7. 机械臂控制接口

8. 模型自学习训练平台

架构:

image3.png

4. 任务实现

image4.png

首先,我们通过通过设计一套模版采集模型,通过定义产品和机械臂的示教接口,采集这个产品需要检测的每个采集点(机械臂相机的空间位置位置,摄像头的参数,及这个采集点的操作:如移动,扫描,拍照等).

• 定义模板规划路径和行为

• 采集拍照,生成数据集

• 完成模型,自动运行工作

image5.png image6.png

测试样机展示:

output.gif

5. 制作实现与未来量产可能性说明

整套质检机器人的硬件清单:

1. jetson nano 4G主机

2. 机械臂摄像头

3. 工作平台

4. 桌面6自由度机械臂

   预计成本不到1万元.

   产品不需要昂贵精度很高的装配机械臂,桌面级精度0.1mm的级别的机械臂就可以满足拍照和检测要求,这样配合低成本的jetson
   nano和低成本的机械臂整体成本可以控制的很低,可以满足大多数场景,特殊场景选配工业机械臂即可满足特定工业场景的需求.

6. 创意构想补充与未来发展愿景

传统工业质检方案面对复杂场景的情况下,固定的工业相机有诸多的不便,针对不同产品和不同的检测部位,也缺乏灵活性.采用机械臂配合壁装摄像头,让检测的视角具备各种角度,配合jetson
nano的AI算法和机械臂控制算法,使得正负样本的采集工作变成程序的一部分,通过AI的自学习和模型自训练,使得机械臂拥有了灵魂:

1. 可以自主判断产品种类

2. 根据产品种类启动不同的检测模型和检测部位程序

3. 摄像头可以通过预设的程序移动到设定的位置,拍照并做缺陷检测

4. 机械臂可以自我学习,拍照样本完善模型

这样的机械臂结合摄像头和边缘计算的AI算法,实现了对传统的工业质检的超越,大大提升生产线的品控和质检效率.

工业质检机器人,通过AI算法可以针对不同产品和不同场景使用不同的检测程序和检测模型,可以适配生产线上多种产品的质检要求,特别是低成本,可编程和模型自我学习的功能,让产品适配大多数工业质检场景,产品具备很好的应用场景.