案例分享 - 看机器学习如何为工业视觉检测赋能，助力自动化智能制造
所属频道：新闻中心
导语
• 某钢铁集团希望搭建钢卷检测图像智能采集系统，对钢卷进行外观检测及钢卷号识别，实现钢卷智能检测，助力钢厂产线智能化。
• 本案例借助 NVIDIA AGX Xavier ，通过深度学习构建全新识别模型，实现智能化钢表面缺陷检测及识别，实时输出全量质量数据极大减少时间成本，准召率高达99%+，大大提高生产效率。
1 案例背景
某钢铁集团主营产品包括热轧卷板、热轧薄板、冷成型板、镀锌薄板、型钢等，是目前全球极具规模的ESP产品生产、加工基地，精品钢材占80%以上，产品荣获中钢协金杯奖、省著名商标及知名品牌等荣誉称号。2019年实现销售收入800多亿元，净利润80多亿元，连续多年位居纳税榜榜首。
2 客户需求
某钢铁集团热轧轧线进行智能技术改造，需对钢卷进行外观检测、钢卷号识别。在钢卷检测环节中，检测系统会对产线生产出来的钢卷进行钢卷号识别和外观检测，具体功能为钢卷号的识别、塔形识别、裂边识别。期望搭建钢卷检测图像智能采集系统，实现钢卷智能检测，助力钢厂产线智能化。
3 项目目标
实现基于机器视觉的智能检测，助力钢厂生产智能化
保证产品质量，减少质检误差
在无人值守的情况下长期稳定运行
4 解决方案
基于蓝海大脑AI技术的视觉识别平台，主要由边缘端（边缘计算）和 中心端（中心计算）两部分组成。
工业相机，工业机器人以及英伟达NVIDIA Jetson Xavier 研发 的嵌入式智能设备构成了图像视频采集端，部署在工厂自动化产线上。边缘计算部署的采集端及中心计算部署的液冷GPU工作站集群则撑起该AI平台的主控系统。
基于NVIDIA Xavier的机器视觉在线检测系统对产线生产出来的目标进行货物号识别和外观检测，同时具备与产线现有设备及功能单元实时通信，多系统间有机协同工作的能力。
算法部分为第三方开发的功能单元，包含货物号识别、塔形识别、裂边识别三个功能单元，具备在Xavier智能硬件的 Linux系统下直接运行的条件。
在产品出生产线后调用算法模块，完成一次基于机器视觉的在线检测。
现场图像采集由工业相机完成，采用触发拍照工作模式，生成图像数据经由Xavier智能硬件、驱动层、系统层、应用层给定至算法单元。检测结果及相关图片样本由应用层软件按已有协议框架传送至easy sense单元。
NVIDIA Xavier智能硬件平台搭载Linux操作系统，基于此部署上层应用软件，通过定制化软件系统实现无人值守的情况下，在线检测系统的长期稳定运行，操作系统可运行的通信软件主要包括：
L1 通信模块：
接收外部指令，回传产品质量信息，保持与外部系统心跳。
L2 通信模块
接收外部指令，回传产品质量信息，保持与外部系统心跳。
PLC 通信模块
PLC钢卷步进梁旋转到位触发信号
Easy sense通信模块
与Easysense平台进行数据通信，将检测结果及图片推送至该平台
工业相机采集模块
通过网络获取连接到设备
视觉算法模块
与钢卷号算法、边裂检测、塔形检测算法进行通信，获取对应的算法结果
系统调度模块
提供消息总线，流程管理，多进程及多线程调度等功能。
通讯接口定义
1) 与L1系统通信
双向心跳检测时间间隔10秒。
① 通信协议为TCP socket
序号 | 系统名称 | IP地址 | 端口 | 方向 | 系统名称 | IP地址 | 端口 | 备注 |
1 | L1 | 钢卷号、外观识别系统 | ||||||
2 | 发送数据 | 待定 | 3001 | -> | 待定 | 3001 | ||
3 | 接受数据 | 3002 | <- | 3002 |
② L1系统别系统（8字节）
序号 | 地址 | 类型 | 说明 | 备注 |
1 | DBW0 | Int | 心跳0-32767变化 | |
2 | Word | |||
2.1 | DBW2.bit0 | 1表示包含触发信号与心跳 0表示仅包含心跳 | ||
2.2 | DBW2.bit1 | 1表示到位， 0表示未到位 | ||
3 | DBW4 | Word | 备用 | |
4 | DBW8 | Word | 备用 |
③ 识别系统至L1系统（29字节）
序号 | 地址 | 类型 | 说明 | 备注 |
1 | DBW0 | Int | 心跳0-32767变化 | |
2 | Word | |||
2.1 | DBW2.bit0 | 1表示包含识别结果与心跳 0表示仅包含心跳 | ||
2.2 | DBW2.bit1 | 1表示识别完成 | ||
2.3 | DBW2.bit2 | 1表示识别正确 0-识别错误 | ||
2.4 | DBW2.bit3 | 1-有钢卷号 0-无钢卷号 | ||
2.5 | DBW2.bit4 | 1-有边裂 0-无边裂 | ||
2.6 | DBW2.bit5 | 1-是塔形 0-非塔形 | ||
3 | DBW4 | Int | 钢卷号长度 | |
4 | DBW6 | Char[20] | 识别的钢卷号 | |
5 | DBW26 | 备用 | ||
6 | DBW28 | 备用 |
2) 与L2系统通信
① L2在指定文件夹目录下获取最新图像
② 识别系统在L2 orcale数据库内获取钢卷号列表
3) 与easy sense平台通信
① 通信方式
1. 数据接口地址：
Url: http://xxxx/v1/detection/data
Method: POST
Header: content-type: application/json;charset=UTF-8
Body:
{
"line_id":4,
"detect_date":"2020-06-18 12:12:12",
"coil_id":[
"2222222222",
"2222222222"],
"coil_id_images":[
"xxxxxxxxxx.jpg",
"xxxxxxxxxx.jpg"],
"coil_side_cracking":true,
"coil_side_cracking_images":[
"xxxxxxxxxx.jpg",
"xxxxxxxxxx.jpg",
"xxxxxxxxxx.jpg",
"xxxxxxxxxx.jpg",
"xxxxxxxxxx.jpg",
"xxxxxxxxxx.jpg",
"xxxxxxxxxx.jpg",
"xxxxxxxxxx.jpg"],
"tower_shaped":true,
"tower_shaped_images":[
"xxxxxxxxxx.jpg"]
}
返回：
{
"data":true, //是否成功
"success":true, //请求是否成功
"requestId":null, //reqestId
"resultCode":null, //resultCode
"resultMsg":null, //resultMessage
"solution":null //solution
}
2. 图像数据接口地址：
Url: http://xxxx/file-upload
Method: post
Header: content-type: multipart/form-data;
Body: file: (binary)
返回
{
"data":"1592795894-default_avatar.2bb784cb.png", //图片名
"success":true, //是否成功
"requestId":null, //reqestId
"resultCode":null, //resultCode
"resultMsg":null, //resultMessage
"solution":null //solution
}
根据各模块通信状态，及返回状态，提供运行时软件系统诊断，并根据错误状态做容错处理，如：断线重连，消息重试等。保证系统的可靠性。提供高效易用的配置属性，方便系统部署及参数修改。
5 价值与影响
基于蓝海大脑工业视觉智能平台+专业自动光学机构，通过深度学习构建全新识别模型，实现全流程自动化智能化的产品质量表面缺陷检测，准召率高达99%+。实时输出全量质量数据。同时极大减少时间成本，助力钢厂产线智能化。
蓝海大脑 (www.lanhy.cn) 是一家以GPU技术创新为驱动的视觉识别公司, 产品覆盖NVIDIA GPU水冷服务器和边缘计算。 利用既有模块开发先进的深度学习应用程序包括视觉识别、自动驾驶及车牌识别等解决方案。在制造业、交通、互联网、科研、遥感等AI领域积累了大量实战经验。
(审核编辑: 金蓝海科技有限公司)
