Research on cloud-edge-terminal collaborative intelligent control of coal shearer based on 5G communication
-
摘要:
当前采煤机控制系统难以应对井下工作面复杂工况,采煤机智能调高调速控制的实现面临三大技术难题:传统4G、WiFi等无线通信技术的数据通信能力不足、集中式云计算平台的数据处理协同性低、割煤控制需要较多的人工干预辅助。为促进采煤机以及整个综采工作面的智能化发展,从解决采煤机5G通信、云边端协同、智能调高调速控制等关键技术出发,研制了一种基于5G+云边端协同技术的采煤机智能调高调速控制系统,对系统采用的5G通信技术和云边端协同技术进行了详细阐述,对采煤机智能调高调速控制系统的硬件平台和通信网络进行了介绍。采煤机智能调高调速控制系统采用基于特征级融合和决策级互补的多模态融合煤岩分布识别模型,并且在煤岩分布识别技术的基础上通过“记忆割煤+煤岩分布识别干预”的采煤机智能调高调速控制策略进行截割控制。在神东保德煤矿81309工作面对该控制系统进行了为期2个月的应用测试。测试结果发现:采煤机实时通讯丢包率约为0.003%,采煤机到集控中心之间的端到端平均通信时延下降了75%,采煤机滚筒故障率下降了约42%,前部刮板输送机煤炭混矸率下降了42.9%,验证了该采煤机智能控制系统及硬件平台的实用性及可行性。该项工作提高了采煤机控制的智能化程度和可靠性水平,能够进行推广与应用,促进综采工作面的智能化发展。
Abstract:The current shearer control system is difficult to deal with the complex working conditions of the underground working face. The realization of the intelligent height and speed regulation control of the shearer is faced with three major technical problems:the lack of data communication capacity of traditional 4G, WiFi and other wireless communication technologies, the low data processing synergy of the centralized cloud computing platform, and the need for high manual intervention assistance for coal cutting control. In order to promote the intelligent development of the shearer and the whole fully mechanized mining face, starting from solving the key technologies of the shearer such as 5G communication technology, cloud-side-end collaboration technology, intelligent height and speed regulation control technology, a shearer intelligent height and speed regulation control system based on 5G+cloud-side-end collaboration technology was developed, and the 5G communication technology and cloud-side-end collaboration technology used in the system were described in detail, the hardware platform and communication network of the shearer intelligent height adjustment and speed regulation control system were introduced. The shearer intelligent height and speed regulation control system adopts a multimodal fusion coal rock distribution identification model based on feature level fusion and decision level complementarity, and on the basis of coal rock distribution identification technology, the shearer intelligent height adjustment and speed regulation control strategy of "memory cutting coal+coal rock distribution identification intervention" is used for cutting control. The 81309 Working Face in Shendong Baode Coal Mine conducted a 2-month application test of the control system, the test results showed that the packet loss rate of the real-time communication of the shearer was about 0.003%, the end-to-end average communication delay between the shearer and the centralized control center had decreased by 75%, the failure rate of the shearer drum had decreased by 42%, and the coal gangue mixing rate of the front scraper conveyor had decreased by 42.9%, which verified the practicality and feasibility of the shearer intelligent control system and the hardware platform. The work improved the intelligent degree and reliability level of shearer control, which can be popularized and applied to promote the intelligent development of fully mechanized mining face.
-
0. 引 言
中国是煤炭大国,拥有非常丰富的煤炭储量,煤炭在我国一次能源消费中占主体地位[1]。国家发改委、国家能源局联合发布的《能源技术革命创新行动计划(2016—2030)》中明确指出煤炭开采技术的重点任务是:提升煤炭开采效率和智能化水平,研发高效建井和快速掘进、智能化工作面、特殊煤层高回收率开采等技术,到2030年重点煤矿区基本实现工作面无人化[2]。而综采工作面是煤炭安全智能开采的“主攻高地”,采煤机是保证综采工作面连续、稳定、安全运行的关键设备[3-4],采煤机的智能化程度直接影响综采工作面的整体智能化水平。采煤机按智能化程度分为辅助自动化、初级自动化、高级自动化和智能化四级[5],最终要攻克采煤机的煤岩识别技术,融合5G通信、云计算等技术,实现采煤机的无人控制割煤,达到真正的采煤机智能化。基于“云边端”协同的煤矿智能化数据处理架构和5G高效通信技术的应用能够解决海量工控数据传输的可靠性及控制信号传输时延造成的响应滞后等问题,因此采煤机控制系统的智能化发展离不开这些新一代信息技术的融合与应用[6]。
目前综采工作面采煤机智能化程度尚处于初级阶段,通过技术攻关和应用测试,研制了一种基于5G+云边端协同技术的采煤机智能调高调速控制系统,在采煤机5G通信技术、云边端协同控制系统,智能调高调速控制系统及其硬件平台设计等方面都取得了关键创新性成果,切实提高了采煤机控制的智能化程度和可靠性水平,通过本项工作可为综采工作面的采煤机智能控制提供技术积累和实践经验。
1. 采煤机智能调高调速控制面临的主要问题与研究进展
1.1 数据通信能力不足
传统的采煤机依靠动力线载波和电缆作为传输媒介进行数据通信,通过缆线将采煤机数据接入井下工业环网,再经过井下工业环网将数据上传至地面监控中心[7]。由于采煤机采煤过程中会不断移动并且综采工作面较长,导致实际使用过程中敷设缆线量大,人工物料成本较高;长距离缆线传输又容易受到压降影响及周围环境的电磁干扰造成数据上传可靠性较低;并且缆线容易出现断裂现象导致数据中断,而且发生数据中断故障后,需要沿线检查缆线破损情况,排查修复过程费时费力,所以现在采煤机较多采用4G、WiFi等无线通信技术,配合少量缆线来实现数据通信[8]。由于采煤机上搭载着多种传感器进行数据采集,所以采煤机和控制中心之间的数据传输对带宽要求较大,并且采煤机的远程控制对通讯实时性要求较高,因此矿井现有的4G、WiFi等无线通信技术存在网络接入能力不足、传输可靠性低、传输带宽不足等问题,难以完全满足煤矿智能化建设的需求[9]。5G通信具有高速率、低时延和广连接的特点,5G通信技术融合物联网、人工智能、大数据、云计算等新一代信息技术已成为煤矿智能化的有效推力[10]。顾义东等[11]提出了煤矿5G无线通信系统的基本架构。孙继平[12]针对煤矿井下电气防爆、无线传输衰减大等特点,分析了矿用5G技术和适用范围。王国法[13]对5G+智能化煤矿系统及应用场景进行了介绍,研发了基于5G+新一代智能化系统。随着矿用5G通信技术逐渐得到推广应用,促进了采煤机5G通信系统的研究与发展。在采煤机5G通信技术研究方面,于颖[14]对基于5G互联网的高可靠性采煤机通信系统进行了展望,提出了采煤机机载5G无线通信和FSK数据有线通信融合的冗余通信方式。宋革非[15]进行了基于5G通信技术的采煤机远程遥控系统的设计,实现了采煤机远程遥控和快速无线通信。目前针对采煤机具体的5G通信组网方案和应用研究较少,采煤机的5G通信网络架构研究还处于摸索阶段。
1.2 数据处理协同性低
目前在智慧煤矿建设过程中,很多采用集中式云计算平台来构建智慧煤矿系统[16-17]。但随着采煤机感知系统的发展,现场生成的数据量越来越大,将数据全部传输到云端进行处理,大幅增加了网络通信负担,通信效率较低,无法满足实时交互控制的要求[18]。将数据提前经过边缘节点初步分析、过滤和整合,只需要将少量的有效数据上传中心云节点,再在云端根据边缘端上传的数据对智能模型进行训练和更新,就可以建立更复杂准确的智能模型[19],而且在边缘节点可以方便快速地进行模型应用和实时控制,但传统的采煤机控制器无法实现IT(Information Technology,信息技术)和OT(Operation Technology,运营技术)的深度融合,难以满足云边端协同需求,而单一的云计算或边缘计算也无法满足日益复杂的采煤机控制需求。
1.3 割煤人工干预程度高
目前使用最广泛的采煤机自动控制策略为记忆截割和人工干预结合的控制方法,当遇到记忆截割应用效果不理想时,需要通过人工干预修正采煤机截割控制参数[20-21]。尽管记忆截割和人工干预结合的控制方法对采煤机自动控制水平有了一定提高,但是煤矿井下采煤环境恶劣复杂,不同位置的煤壁特征变化较大,所以记忆截割控制效果较差,很大程度还是依赖人工干预,这种方法无法满足井下“无人化”的发展需求[22]。为实现采煤机的智能化控制,目前也提出了一些通过确定煤岩分布情况来进行智能控制的方法,包括γ射线检测[23]、红外检测[24]、切割温度[25]、振动分析[26]、雷达检测[27]等20多种切割模式识别方法。然而由于井下实际工况复杂,利用单一截割特征信号实现煤岩分布识别的精度较差,可信度不高,严重时甚至出现失真现象。随着技术不断发展,多传感器信息融合技术广泛应用到矿山开采与煤岩分布识别中[28-30],但如果仅通过多模态信号融合的煤岩识别来进行采煤机截割控制,就需要持续实时检测煤岩分布情况,对控制系统负荷较大,所以只依靠多模态融合煤岩识别也难以实现采煤机的智能截割控制。总的来说,当前的采煤机控制系统与方法虽然已经应用了很多智能化技术,能够一定程度上减少人工控制,但难以适应工作面复杂的地质条件,并且对控制系统的计算能力要求较高,因此很大程度上还是依靠人工干预来进行控制,难以真正实现智能化开采[31]。
综上所述,由于综采工作面采煤机工作环境复杂恶劣,当前采煤机智能调高调速控制面临着三大技术难题:传统4G、WiFi等无线通信技术的数据通信能力不足、集中式云计算平台的数据处理协同性低、割煤控制需要较多的人工干预辅助。为了解决这些难题,对基于5G通信技术和云边端协同架构的采煤机智能调高调速控制系统进行了研制,攻克了采煤机5G通信和云边端协同控制技术,实现采煤机大带宽、低时延、高可靠性的数据传输能力,并且充分利用了云平台和边缘计算的优点;提出了基于特征级融合和决策级互补的多模态融合煤岩分布识别模型,能够对采煤机滚筒附近的煤岩分布情况和当前截割状态进行识别预测,并且提出基于“记忆割煤+煤岩分布识别干预”的控制策略对采煤机进行智能调高调速控制,能够大幅提高采煤机截割控制的智能化和无人化水平。
2. 基于5G通信的采煤机云边端协同框架
基于5G通信的采煤机云边端协同框架如图1所示,主要分为4个部分:终端设备、边缘节点、5G网络层、中心云节点。
2.1 终端设备
终端设备主要包括控制器、多种传感器和执行设备等。
1)边缘控制器。采用边缘控制器Automation PC 3100 mobile作为采煤机的控制器,其配备了第七代英特尔酷睿i处理器,具有最高16 GB RAM和480 GB闪存,并且可以对可选功能进行模块化扩展,适用于APC mobile的选项板,可为连接外部I/O添加接口,例如CAN或POWERLINK,不仅可以实现设备间的相互通信,而且还可以进行数据处理和直接上传云端,并且具有IP69K防护等级,具有抗振动、抗冲击能力,可以满足严苛环境下的使用。边缘控制器采用云化PLC技术,在一个系统内既有实时控制的PLC,又有非实时的可直接链接IT(包括云、数据中心等)的系统,能够实现OT与IT数据的深度融合,传输速度比传统PLC更快,通过软件升级可实现柔性化和灵活性配置,降本增效[32-33]。
2)多种传感器。多种多样的传感器是采煤机智能截割控制系统的基础,通过传感器来采集采煤机截割煤层时的视频、噪声、摇臂振动、截割电机电流和升降油缸压力等信号,同时也能够监测采煤机在工作面的当前位置、牵引速度以及滚筒高度,各传感器在采煤机上的安装位置如图2所示。
声音传感器安装在采煤机截割臂根部,振动传感器安装在截割臂靠近截割滚筒附近,煤机截割煤层时现场噪声和振动较大,要求传感器具有较高的动态范围与灵敏度,所以监测截割噪声和摇臂振动采用具有较高稳定性的低功耗MEMS声传感器和MEMS三轴加速度传感器。在井下充斥着水雾、烟尘的恶劣视觉环境下,只通过可见光视频无法获取充分的视频信息,因此采用红外摄像仪和黑白摄像仪互补进行视频监控,以获取更加全面丰富的视频图像效果,两种摄像仪并排安装在采煤机摇臂根部附近的护板上。霍尔大电流传感器无需与被测电路发生接触即可测试电路电流,而且不影响被测电路也不消耗电源功率,所以特别适合采煤机截割电机大电流的测试需求,因此采用霍尔大电流传感器安装在截割电机上对截割电机电流进行测试。压力传感器安装在摇臂升降油缸内部,能够将连续变化的压力信号转换成电信号,可以测试0~60 MPa的压力变化范围,实时测试升降油缸的压力信号。位置编码器为德国堡盟的光电式旋转编码器,安装在采煤机牵引箱高、低速轴轴向位置,可将输出轴的角位移转换成电信号,基于位姿解算更新算法可以得到采煤机在工作面上的位置和采煤机的牵引速度。采煤机所采用的摇臂倾角传感器为AccStar的电压型传感器,倾角传感器安装于截割电机接线腔内部,其量程为−60°~60°,通过采集采煤机摇臂角度来解算滚筒高度。
3)执行设备。采煤机调高调速控制中的执行设备主要为截割部和牵引部。截割部安装于采煤机头部和尾部,通过控制截割部的摇臂调高液压缸可以控制截割滚筒高度;牵引部布置于采煤机机身两侧,通过控制牵引部的牵引电机从而控制采煤机牵引速度。
2.2 边缘节点
边缘节点一方面融合工业网关从端侧获取实时数据;另一方面进行区域的数据融合与分析处理,根据场景智能化控制需求进行快速决策,降低控制时延[10]。边缘节点包括边缘节点服务软件、边缘节点数据服务和边缘节点硬件3大部分。
采煤机边缘计算的硬件为边缘控制器,边缘控制器是基于PC的控制器,其也具备终端控制器的功能,所以在终端设备中对边缘控制器进行了介绍,相比于传统PLC控制器,它是边缘计算和边缘数据中心的主要计算载体,配备边缘工业网关可具备较强接入能力和协议转换能力,边缘控制器将PLC、PC和运动控制器集成到同一台设备里,兼具多模态信号数据处理和调高调速逻辑控制,2种任务可以同时进行,又互不干扰。
边缘节点数据服务提供采煤机数据的基本管理功能,包括采煤机的上下行日志存储,以及一些数据指标的聚合分析,利用边缘计算数据处理组件和边缘APP为现场侧提供了丰富的计算和存储能力,实现边缘和云的协同。
边缘节点服务软件基于边缘计算的微服务架构,将采运协同智能控制、智能视频识别和多传感器融合识别等功能封装到边缘应用程序上,实现了软件与硬件平台的解耦,降低了开发难度,可通过边缘计算进行边缘应用程序的灵活部署,提高了软件质量。
2.3 5G网络层
5G通信技术所提供的单个用户100 Mbit/s以上,总吞吐量10 Gbit/s以上的数据传输带宽,以及99.999%的高可靠性和毫秒级超低时延的网络性能,可为采煤机的远程控制和数据传输提供通信保障[34]。5G网络层主要包括5G核心网、5G网管平台、交换机、基站控制器BBU(Baseband Unit,基带单元)、基站控制器RHUB(Remote Radio Unit Hub,射频远端CPRI数据汇聚单元)、5G基站pRRU(pico Remote Radio Unit,远端汇聚单元)和CPE(Customer Premise Equipment,客户前置设备)等设备,采煤机智能控制系统通过5G网络的低时延,大带宽特点和灵活切片技术,满足边缘节点和中心云节点的数据交互要求[14]。
1)5G核心网(5GC)包括5GC控制面、UPF(User Plane Function,用户面功能)&MEC(Multi-Access Edge Computing or Mobile Edge Computing,多接入边缘计算),具备部分网络管理、监测、独立运维运营等能力,支持数据分流、数据加密、数据隔离、数据访问控制等功能,提供NAT(Network Address Translation,网络地址转换)功能。
2)5G网管平台对核心网、传输、基站接入以及终端设备进行管理,保障5G网络稳定、安全、可控运行。
3)交换机安装在地面机房,用于实现大容量5G网络接入、汇聚和传输。
4)BBU安装在井下机头,集中控制管理整个基站系统,基带处理单元BBU支持插板式模块化结构,可根据不同网络容量需求配置不同数目的基带处理单板。
5)RHUB安装在控制台旁边设备板车上,具备与BBU 25GE级联能力和8路pRRU接入能力。
6)5G基站pRRU的型号为KT618(5G)-F,安装在液压支架和巷道的合适位置上,主要包括高速接口模块、信号处理单元、功放单元、扩展接口和电源模块等。使用预调度方案发送信息给基站,将采样周期内空口的平均时延控制在12 ms,实现远程控制业务平滑上车。
7)CPE设备安装于采煤机机身上,通过5G AR路由器双发选收的包复制技术,将采煤机与无线网络之间进行双链路连接,降低由于丢包带来的大幅度时延抖动。
2.4 中心云节点
中心云节点包括云边协同平台、集成平台、IoT物联网平台、大数据和PaaS(Platform as a Service,平台即服务)以及基础IAAS(Infrastructure as a Service,基础设施即服务)。中心云节点将数据抽取进行融合处理,从采煤机高效运行的角度进行全局化运营决策;另一方面,构建各场景数据引擎,对智能化模型进行训练,为边缘侧提供智能化数据模型与数据服务,发挥其存储及计算优势。云边端进行协同管理,动态分配云边计算资源,实现边缘计算数据和云计算数据跨层级交互的融合性、保证边缘计算层设备控制实时运算和保障数据安全交互。
云边协同平台涉及云、边、端各个方面的协同合作,基于端侧的监测数据和人工干预指令输入,将多模态融合煤岩分布识别算法和智能神经网络控制模型在高性能中心云上进行训练与搭建,并将训练后的模型算法部署到现场侧边缘节点,实现采煤机快速响应和控制。云边协同平台解决了模型训练和推理过程中的精度、时延、数据隐私等问题。
集成平台为采煤机控制系统提供了设备系统互联互通、数据集成汇聚、消息集成通讯、API生命周期管理等功能,支持多种数据源、多目标、多种协议的数据集成。
物联网平台集中管理声音传感器、振动传感器、压力传感器、电流传感器和摄像仪等物联网设备,提供强大的数据处理、数据分析、大数据等功能。
大数据和PaaS提供了测试环境、部署环境等应用,使得在编写和部署采煤机智能控制系统时无需关心应用服务器、数据库服务器、操作系统、网络和存储等资源的运维操作。
IaaS为采煤机智能控制系统提供了计算和存储等资源,采用了虚拟化、分布式存储、海量数据库存储(关系型、非关系型(如大表)等)等技术,使得采煤机智能控制系统可灵活扩展且数据安全性高。
2.5 基于5G通信的云边端协同
采煤机智能控制系统基于云、边、端协同架构,以5G网络通信为纽带进行各个设备系统之间的数据通信,边缘计算与云平台协同联动,云平台作为大脑,聚焦长周期、全局大数据的处理,而边缘侧作为中心云的触点延伸,聚焦实时、小数据的处理,灵活解决近实时业务需求,端侧聚焦于智能感知、数据采集、命令执行,是云边端协同的基础。具体的采煤机智能调高调速控制系统中各层结构的协作功能如下:
1)云侧可提供应用统一管理与数据统一展示分析功能,汇集海量多模态数据,对采煤机截割模型和算法进行AI训练。
2)边侧将工作面截割监测数据预处理后发送到云平台,并且接收来自云平台的控制命令和训练模型等数据,下发采煤机控制参数至采煤机控制器进行采煤机截割控制,满足云边端数据协同与数据安全管理的要求。
3)端侧包括控制器、多种传感器和采煤机执行设备,端侧可以监测采煤机截割过程中的多模态数据信息,并且执行控制命令进行截割。
4)网络侧为采煤机智能截割控制系统提供大带宽、大连接、低时延高可靠特性的数据传输功能,同时对接云端网络管理平台,提供云—边—端一体化的管理方式。
3. 采煤机智能控制硬件平台及通信网络
在图1中已针对采煤机的云边端协同框架和5G通信技术进行了介绍,5G通信技术是采煤机远程通信的关键技术,但是采煤机控制系统针对采煤机内部通信和远程通信配置了多种不同的通信方式,并且远程通信还通过冗余通信的方式来提高通信可靠性,因此进一步介绍采煤机的智能控制硬件平台及通信网络,采煤机智能截割控制系统通信拓扑如图3所示,采煤机智能截割控制系统是以高性能边缘控制器Automation PC 3100 mobile为核心,基于高可靠CAN总线及工业以太网的分布式系统,对外提供CAN、RS485、以太网等多种标准接口,并且可以通过5G WiFi网络进行数据无线传输。系统架构主要分为采煤机机身和采煤机外2部分,采煤机机身按照功能模块可分为传感器、显示装置、交换机、BOC模块、BPLM模块、AXI模块、SGC通信模块、MOC电机控制模块、WCR遥控模块、HEF漏电组件等,各组件模块之间基于CAN总线和工业以太网进行通信。采煤机支持5G WiFi网络、宽带载波、FSK载波、光纤等多种远程通信方式,采煤机外由BPLM模块、GSC模块、交换机、5G基站、集控中心、调度中心等组成,可以实现采煤机工作远程干预、采煤机数据监测、数据上云分析、数据展示等功能。
采煤机智能截割控制系统可以识别滚筒附近的煤岩分布情况和读取采煤机的牵引速度及位置,在显示屏中能够对采煤机当前的截割状态和牵引状态进行显示,并且可以对采煤机牵引速度和摇臂高度进行智能控制,实现采煤机的智能采煤功能。采煤机截割控制系统显示界面如图4所示。
4. 煤岩分布识别算法及采煤机智能调高调速控制方案
采煤机的高速通信网络和云边端协同框架是实现采煤机智能调高调速割煤的硬件基础和先驱技术,在此基础上依靠煤岩分布识别算法及采煤机智能调高调速控制方案输出控制决策对采煤机进行调高调速控制,以实现采煤机的智能采煤功能。
4.1 煤岩分布识别算法
多模态融合可以分为4个层级,传感器级融合、特征级融合、分数级融合和决策级融合。如图5所示,采煤机智能控制系统的多模态融合煤岩分布识别算法采用了前端特征级融合和后端决策级互补的融合策略,能够更好利用多模态信息的互补性和冗余性,相比一般的单一层级融合算法的准确性和鲁棒性更好[35]。
目前最典型的2种特征级融合方法分别为串行特征融合和并行特征融合,并行特征融合在小样本问题上的性能要优于串行特征融合[36]。假设有2个特征向量为a和b,维度为p维和q维,串行特征融合相当于2个特征向量沿纵轴方向进行连接得到一个p+q维的向量;并行特征融合则是将这2个特征向量组合成复合向量a+ib,特征向量维数不等时对低维特征向量进行补零。
决策级融合是最高层级的融合,通常采用简单的逻辑规则、多数投票法和模糊集合等方法,将来自不同特征向量的决策组合在一起,其中最常用的方法是多数投票法[37]。采煤机智能控制系统的多模态融合煤岩分布识别算法的具体内容如下:
1)通过MFCC(Mel Frequency Cepstrum Coefficient,梅尔频率倒谱系数)特征提取方法将声音信号和振动信号转换成时间和频率的二维向量表示,对振动和声音特征向量进行并行特征融合,然后基于CNN(Convolutional Neural Network,卷积神经网络)模型对截割状态进行识别。
2)建立截割电机电流和升降油缸压力与滚筒截割状态的关联载荷特征模型[38],对滚筒截割载荷进行特征识别。
3)采用Retinex图像增强算法对摄像机采集的截割红外图像和截割黑白图像进行增强去噪,对红外图像和黑白图像进行并行特征融合,然后采用深度对抗网络(Adversarial Learning)对煤岩分布进行图像分割。
4)基于多数投票法可以对多个模型的判断结果进行决策级融合,多模态融合的煤岩分布识别算法从决策层融合来看可分为3个模型:声音和振动的CNN模型、截割电机电流和升降油缸压力的关联载荷特征模型、截割红外图像和截割黑白图像的深度对抗网络,这3个模型均可对当前采煤机截割岩层的概率进行预测,利用多数投票法中的软投票方法,即以3个模型预测采煤机截割岩层的概率平均值作为判断标准,若预测截割岩层的概率平均值大于0.5,则认为此时采煤机正在截割岩层。
4.2 多传感器信号时间同步
多传感器信号的时间同步,即将各个传感器对同一目标的不同步的监测信息同步到同一时刻。多传感器信号不同步的原因主要有两个:一方面,由于通讯网络的不同延迟,各传感器平台向融合中心传送信息所需要的时间也不尽相同;另一方面,传感器采样周期往往也不相同,即使是初始时刻对齐后运行一段时间信号依旧会产生对齐偏差。目前多传感器信号时间同步常用的校准方法有最小二乘法、内插外推法、泰勒展开法、串行合并法、曲线拟合法等,采煤机多传感器信号时间同步采用内插外推法。
如图6所示,3种传感器由于通讯网络的延时不同导致传输到边缘节点时信号的采样初始时间TA、TB和TC并不相同,并且3种传感器的采样周期ΔtA、ΔtB和ΔtC也不一定相同。对一段时间内的各传感器数据进行内插、外推,在进行内插和外推操作时,将传感器数据在短时间内的变化认为是线性变化的,对传感器数据变化趋势进行拟合,根据传感器数据变化趋势按照Δt的采样间隔对未测时间节点的传感器数据进行重采样,一般来说将采样频率最低的传感器的采样时间间隔看作Δt,将信号采集频率高的传感器的数据推算到低频传感器对应的时间节点上,对于监测离散信号数据的传感器(如摄像仪、雷达、激光等)时间同步后的数据采样时间节点为tr、tr+Δt、tr+2Δt、……、tr+nΔt,对于监测连续信号数据的传感器(如压力传感器、振动传感器、声音传感器等)时间同步后的采样数据为tr~tr+Δt、tr+Δt~tr+2Δt、……、tr+(n-1)Δt~tr+nΔt的分段监测数据,最终实现所有传感器数据的时间同步,形成传感器数据时间同步后再进行多源信号融合。如采煤机智能控制系统的振动传感器和声音传感器的采样频率可达到2~3 kHz,霍尔大电流传感器采样频率范围为50~100 Hz,压力传感器的采样频率范围为200~1000 Hz,而黑白摄像仪和红外摄像仪的采样频率约为37 Hz,所以采煤机上不同传感器的采样频率和采样周期相差较大,因此在进行信号融合前需通过内插外推法进行多个传感器的监测数据时间同步。对于采煤机多传感器时间同步来说,摄像仪的采样频率37 Hz最低,所以将摄像仪的采样时间间隔作为Δt,并且设定统一的采样初始时间tr,将黑白摄像仪和红外摄像仪通过内插外推法同步为时间节点tr、tr+Δt、tr+2Δt、……、tr+nΔt的测试数据,将霍尔大电流传感器、压力传感器、振动传感器和声音传感器同步为tr~tr+Δt、tr+Δt~tr+2Δt、……、tr+(n−1)Δt~tr+nΔt的分段监测数据。
4.3 采煤机智能调高调速控制方案
采煤机智能调高调速的控制策略为“记忆截割+煤岩分布识别干预”,其方案如图7所示,采煤机按照记忆截割功能进行采煤,同时多模态融合的煤岩分布识别算法识别滚筒附近的煤岩分布情况以及当前截割状态,采煤机控制系统会根据煤岩分布情况,对采煤机滚筒高度和牵引速度进行智能干预。例如,当采煤机按照记忆截割进行截割时,煤岩分布识别算法判断滚筒此时正在截割或将要截割顶板矸石,于是采煤机控制系统对滚筒高度和牵引速度进行调节,避免截割矸石而导致安全事故发生和采煤机寿命降低等问题。整个采煤机智能截割控制方案的实施分为3个阶段:模型准备阶段—模型训练阶段—模型应用阶段。
1)模型准备阶段。①准备记忆截割模型,首先通过人工进行示范刀割煤,控制器将示范刀过程中的采煤机运行状态、采煤机运行位置、滚筒高度、采煤机空间姿态记录下来存入存储器中,并且可以根据存储的截割参数建立顶底板的数字化模型,得到模拟顶底板样本曲线,然后通过记忆截割参数和记忆顶底板曲线来自动控制采煤机进行截割;②建立多模态融合的煤岩分布识别模型,在实验室对采煤机截割过程进行模拟,基于测试数据初步对模型参数进行训练,然后将模型迁移到云端进行进一步的模型训练。
2)模型训练阶段。采煤机沿着工作面基于记忆截割参数和记忆顶底板曲线进行煤层截割,当煤层地质条件变化非常剧烈,采煤机无法正确自适应调整时,通过人工干预对采煤机截割运动轨迹进行修正,同时根据人工修正后的采煤机实际运行轨迹在云端对记忆截割模型和煤岩分布识别模型进行训练,通过模型训练一方面提高记忆截割功能的自适应控制能力,另外一方面是提高多模态融合的煤岩分布识别算法的预测准确度。模型训练终止的条件为多模态融合的煤岩分布识别算法的预测结果与人工修正结果准确度达到98%以上,此时可以认为多模态融合的煤岩分布识别算法已经训练收敛,算法预测结果足够准确,就不再需要人工干预修正。
3)模型应用阶段。图8为采煤机智能截割的数字孪生显示界面,采煤机沿着工作面基于训练后的记忆截割功能进行煤层截割,终端设备采集截割时的视频、声音、振动、压力和电流等多模态信息以及此时的滚筒高度和牵引速度等参数传输给边缘处理器,边缘处理器将多模态数据进行预处理后通过5G网络上传到云服务器进行存储和分析,并且在边缘处理器通过云服务器下发的训练好的多模态融合煤岩分布识别模型预测此时的煤岩分布情况和截割状态,根据煤岩分布识别情况和当前截割状态对采煤机的滚筒高度和牵引速度进行进行智能干预控制。
5. 现场应用及测试
神东保德煤矿81309综放工作面走向长度240 m,推进长度2 575 m。煤层平均厚度为7.0 m(5.8~8.6 m),煤层倾角3°~6°,煤层结构复杂,平均夹矸3层,岩性为泥岩及炭质泥岩,单层夹矸最大厚度1.6 m。煤层及顶板裂隙较为发育,在煤层起伏变化处发育强烈,易造成顶板破碎冒落。
该采煤机智能控制硬件平台及系统于2022年2月部署在神东保德煤矿81309工作面中,对配备的JOY公司的7LS6C/LWS636型变频电牵引采煤机进行了智能化改造和井下应用测试,图9为在井下安装5G通信设备后进行采煤机5G通信应用测试,图10为井下部分5G设备的安装位置。
经过2个月的采煤机智能控制硬件平台及系统应用测试,调取了采煤机智能控制系统统计数据和无源灰分仪统计的混矸率数据,智能化改造前后的现场截割数据结果对比见表1。
表 1 现场实测截割数据对比Table 1. Comparison of field measured cutting data项目 实时通讯丢包率/% 通信时延/ms 滚筒故障率/% 割煤速度/(m·min−1) 煤炭混矸率/% 记忆截割 0.023 80 2.6 1.9 7 智能截割 0.003 20 1.5 1.8 4 上述数据表明,应用了采煤机智能控制硬件平台及系统后,采煤机实时通讯丢包率约为0.003%,采煤机到集控中心之间的端到端平均通信时延下降了75%,采煤机滚筒故障率约下降了42%,采煤机割煤速度受限于瓦斯涌出限制,约为1.8 m/min,前部刮板输送机煤炭混矸率下降了42.9%,验证了该采煤机智能控制系统及硬件平台的实用性和可行性。
6. 结 论
1)利用5G网络通讯的低时延大带宽特点和灵活切片技术,实现了设备间的大带宽、大连接、低时延高可靠特性的数据传输。
2)采用云边端协同框架,既利用了边缘计算对多模态数据预处理降低数据体积的能力,也利用了云平台资源的数据分析存储能力。
3)多模态融合的煤岩分布识别算法采用了前端特征级融合和后端决策级互补的融合策略,比单一层级融合算法的准确性和鲁棒性更好。
4)基于“记忆截割+煤岩分布识别干预”的采煤机智能截割控制方案有望实现采煤机截割控制的“无人化”目标。
-
表 1 现场实测截割数据对比
Table 1 Comparison of field measured cutting data
项目 实时通讯丢包率/% 通信时延/ms 滚筒故障率/% 割煤速度/(m·min−1) 煤炭混矸率/% 记忆截割 0.023 80 2.6 1.9 7 智能截割 0.003 20 1.5 1.8 4 -
[1] 王国法,任世华,庞义辉,等. 煤炭工业“十三五”发展成效与“双碳”目标实施路径[J]. 煤炭科学技术,2021,49(9):1−8. WANG Guofa,REN Shihua,PANG Yihui,et al. Development achievements of China’s coal industry during 13 th Five-Year Plan period and future prospects[J]. Coal Science and Technology,2021,49(9):1−8.
[2] 汪海涛,张光磊. 基于VR场景的综放工作面仿真系统设计研究[J]. 机械与电子,2021,39(6):14−23. WANG Haitao,ZHANG Guanglei. Design and research of simulation system of fully mechanized caving face based on VR scene[J]. Machinery & Electronics,2021,39(6):14−23.
[3] JUNKAI X,ZENGCAI W,WANZHI Z,et al. Coal-rock interface recognition based on mfcc and neural network[J]. International Journal of Signal Processing, Image Processing and Pattern Recognition,2013,6(4):191−200.
[4] 张旭辉,郭欢欢,马宏伟,等. 基于生命周期的采煤机绿色评价方法研究及应用[J]. 煤炭科学技术,2020,48(6):205−212. ZHANG Xuhui,GUO Huanhuan,MA Hongwei,et al. Research and application of green evaluation method for shearer based on life cycle[J]. Coal Science and Technology,2020,48(6):205−212.
[5] 赵亦辉,赵友军,周 展. 综采工作面采煤机智能化技术研究现状[J]. 工矿自动化,2022,48(2):11−18. ZHAO Yihui,ZHAO Youjun,ZHOU Zhan. Research status of intelligent technology of shearer in fully mechanized working face[J]. Journal of Mine Automation,2022,48(2):11−18.
[6] 王国法,杜毅博,任怀伟,等. 智能化煤矿顶层设计研究与实践[J]. 煤炭学报,2020,45(6):1909−1924. doi: 10.13225/j.cnki.jccs.zn20.0284 WANG Guofa,DU Yibo,REN Huaiwei,et al. Top level design and practice of smart coal mines[J]. Journal of China Coal Society,2020,45(6):1909−1924. doi: 10.13225/j.cnki.jccs.zn20.0284
[7] 杨秀宇,李晓波,孙鹏亮. 采煤机远程通信控制技术研究[J]. 煤矿机械,2020,41(6):38−40. doi: 10.13436/j.mkjx.202006013 YANG Xiuyu,LI Xiaobo,SUN Pengliang. Research on remote communication control technology for shearer[J]. Coal Mine Machinery,2020,41(6):38−40. doi: 10.13436/j.mkjx.202006013
[8] 王 飞,罗 伟,任文清,等. 基于4G网络的采煤机数据上传系统设计[J]. 陕西煤炭,2020,39(1):115−117. doi: 10.3969/j.issn.1671-749X.2020.01.028 WANG Fei,LUO Wei,REN Wenqing,et al. Design of data upload system of shearer based on 4G network[J]. Shaanxi Coal,2020,39(1):115−117. doi: 10.3969/j.issn.1671-749X.2020.01.028
[9] 顾义东. 5G技术在煤矿掘进工作面运输系统中的应用[J]. 工矿自动化,2022,48(6):64−68. doi: 10.13272/j.issn.1671-251x.17919 GU Yidong. Application of 5G technology in coal mine heading face transportation system[J]. Journal of Mine Automation,2022,48(6):64−68. doi: 10.13272/j.issn.1671-251x.17919
[10] 胡亚辉,赵国瑞,吴群英. 面向煤矿智能化的5G关键技术研究[J]. 煤炭科学技术,2022,50(2):223−230. HU Yahui,ZHAO Guorui,WU Qunying. Research on 5G key technologies in intelligent coal mining[J]. Coal Science and Technology,2022,50(2):223−230.
[11] 顾义东,孟 玮. 煤矿5G无线通信系统建设构想[J]. 工矿自动化,2021,47(10):1−6,13. doi: 10.13272/j.issn.1671-251x.17850 GU Yidong,MENG Wei. Coal mine 5G wireless communication system construction concept[J]. Journal of Mine Automation,2021,47(10):1−6,13. doi: 10.13272/j.issn.1671-251x.17850
[12] 孙继平. 煤矿智能化与矿用5G[J]. 工矿自动化,2020,46(8):1−7. doi: 10.13272/j.issn.1671-251x.17821 SUN Jiping. Coal mine intelligence and mine-used 5G[J]. Journal of Mine Automation,2020,46(8):1−7. doi: 10.13272/j.issn.1671-251x.17821
[13] 王国法. 煤矿智能化最新技术进展与问题探讨[J]. 煤炭科学技术,2022,50(1):1−27. doi: 10.13199/j.cnki.cst.2022.01.001 WANG Guofa. New technological progress of coal mine intelligence and its problems[J]. Coal Science and Technology,2022,50(1):1−27. doi: 10.13199/j.cnki.cst.2022.01.001
[14] 于 颖. 基于5G互联网的高可靠性采煤机通信系统研究与展望[J]. 智能矿山,2022,3(4):61−66. YU Ying. Research and prospect of high reliability shearer communication system based on 5G Internet[J]. Journal of Intelligent Mine,2022,3(4):61−66.
[15] 宋革非. 基于5G通信技术的采煤机远程控制系统设计与应用[J]. 机械管理开发,2022,37(6):256−258. doi: 10.16525/j.cnki.cn14-1134/th.2022.06.110 SONG Gefei. Design and application of remote control system for coal mining machine based on 5G communication technology[J]. Mechanical Management and Development,2022,37(6):256−258. doi: 10.16525/j.cnki.cn14-1134/th.2022.06.110
[16] 王国法,王 虹,任怀伟,等. 智慧煤矿2025情景目标和发展路径[J]. 煤炭学报,2018,43(2):295−305. doi: 10.13225/j.cnki.jccs.2018.0152 WANG Guofa,WANG Hong,REN Huaiwei,et al. 2025 scenarios and development path of intelligent coal mine[J]. Journal of China Coal Society,2018,43(2):295−305. doi: 10.13225/j.cnki.jccs.2018.0152
[17] 吴群英,蒋 林,王国法,等. 智慧矿山顶层架构设计及其关键技术[J]. 煤炭科学技术,2020,48(7):80−91. WU Qunying,JIANG Lin,WANG Guofa,YE Ou,JIANG Zejun,DONG Lihong,GUO Jianjun,FU Limei,SHI Xiaonan,XI Xiao,XUE Zhongxin. Top-level architecture design and key technologies of smart mine[J]. Coal Science and Technology,2020,48(7):80−91.
[18] 丁恩杰,俞 啸,夏 冰,等. 矿山信息化发展及以数字孪生为核心的智慧矿山关键技术[J]. 煤炭学报,2022,47(1):564−578. DING Enjie,YU Xiao,XIA Bing,et al. Development of mine informatization and key technologies of intelligent mines[J]. Journal of China Coal Society,2022,47(1):564−578.
[19] 崔羽飞,张云勇,张 第,等. 基于云边协同的工业互联网实践[J]. 电信科学,2020,36(2):109−116. CUI Yufei,ZHANG Yunyong,ZHANG Di,et al. Analysis and development suggestions of operators in the field of industrial internet identification analysis system[J]. Telecommunications Science,2020,36(2):109−116.
[20] 蒋 干. 基于多传感信息融合的采煤机煤岩截割状态识别技术研究[D]. 徐州: 中国矿业大学, 2019: 1-20. JIANG Gan. Research on coal rock cutting state recognition technology of shearer based on multi-sensor information fusion[D]. Xuzhou: China University of Mining and Technology, 2019:1-20.
[21] 李文亮. 采煤机智能截割控制系统的应用研究[J]. 能源与节能,2021(5):188−189. doi: 10.3969/j.issn.2095-0802.2021.05.079 LI Wenliang. Study on application of intelligent cutting control system of shearers[J]. Energy and Energy Conservation,2021(5):188−189. doi: 10.3969/j.issn.2095-0802.2021.05.079
[22] 王忠宾,徐志鹏,董晓军. 基于人工免疫和记忆切割的采煤机滚筒自适应调高[J]. 煤炭学报,2009,34(10):1405−1409. doi: 10.3321/j.issn:0253-9993.2009.10.021 WANG Zhongbin,XU Zhipeng,DONG Xiaojun. Self-adaptive adjustment height of the drum in the shearer based on artificial immune and memory cutting[J]. Journal of China Coal Society,2009,34(10):1405−1409. doi: 10.3321/j.issn:0253-9993.2009.10.021
[23] BESSINGER S L,NELSON M G. Remnant roof coal thickness measurement with passive gamma ray instruments in coal mines[J]. IEEE Transactions on Industry Applications,1993,29(3):562−565. doi: 10.1109/28.222427
[24] 张 强,张润鑫,刘峻铭,等. 煤矿智能化开采煤岩识别技术综述[J]. 煤炭科学技术,2022,50(2):1−26. ZHANG Qiang,ZHANG Runxin,LIU Junming,et al. Review on coal and rock identification technology for intelligent mining in coal mines[J]. Coal Science and Technology,2022,50(2):1−26.
[25] ZHANG Q,WANG H J,WANG Z,et al. Analysis of coal—rock’s cutting characteristics and flash temperature for peak based on infrared thermal image testing[J]. Chinese Journal of Sensors and Actuators,2016,29(5):686−692.
[26] WANG B,WANG Z,ZHANG W. Coal-rock interface recognition method based on emd and neural network[J]. Journal of Vibration, Measurement & Diagnosis,2012,32(4):586−590.
[27] WANG X,DING E J,HU K X,et al. Effects of coal-rock scattering characteristics on the gpr detection of coal-rock interface[J]. China University. Of Mining and. Technoloty,2016,45:34−41.
[28] 王海舰,黄梦蝶,高兴宇,等. 考虑截齿损耗的多传感信息融合煤岩界面感知识别[J]. 煤炭学报,2021,46(6):1995−2008. doi: 10.13225/j.cnki.jccs.2020.0620 WANG Haijian,HUANG Mengdie,GAO Xingyu,et al. Coal-rock interface recognition based on multi-sensor information fusion considering pick wear[J]. Journal of China Coal Society,2021,46(6):1995−2008. doi: 10.13225/j.cnki.jccs.2020.0620
[29] WANG H,ZHANG Q. Dynamic identification of coal-rock interface based on adaptive weight optimization and multi-sensor information fusion[J]. Information Fusion,2019,51:114−128. doi: 10.1016/j.inffus.2018.09.007
[30] SI L,WANG Z,LIU X H,et al. Multi-sensor data fusion identification for shearer cutting conditions based on parallel quasi-newton neural networks and the dempster-shafer theory[J]. Sensors,2015,15(11):28772−28795. doi: 10.3390/s151128772
[31] 范京道,闫振国,李 川. 基于5G技术的煤矿智能化开采关键技术探索[J]. 煤炭科学技术,2020,48(7):92−97. doi: 10.13199/j.cnki.cst.2020.07.008 FAN Jingdao,YAN Zhenguo,LI Chuan. Exploration of intelligent coal mining key technology based on 5G technology[J]. Coal Science and Technology,2020,48(7):92−97. doi: 10.13199/j.cnki.cst.2020.07.008
[32] 贾子翔,翟春辉,贾 捷. 5G云化工业自动化监控系统的设计与实现[J]. 信息通信技术,2021,15(3):35−41. doi: 10.3969/j.issn.1674-1285.2021.03.006 JIA Zixiang,ZHAI Chunhui,JIA Jie. Design and implementation of 5G cloud-based industrial automation monitoring system[J]. Information and Communications Technologies,2021,15(3):35−41. doi: 10.3969/j.issn.1674-1285.2021.03.006
[33] 张呈宇,李红五,屈 阳,等. 面向工业互联网的5G边缘计算发展与应用[J]. 电信科学,2021,37(1):129−136. doi: 10.11959/j.issn.1000-0801.2021026 ZHANG Chengyu,LI Hongwu,QU Yang,et al. 5G edge computing development and application for industrial internet[J]. Telecommunications Science,2021,37(1):129−136. doi: 10.11959/j.issn.1000-0801.2021026
[34] 霍振龙,肖 松,孟 玮,等. 矿井5G无线通信系统关键技术及装备研发与示范应用[J]. 智能矿山,2022,3(4):55−60. HUO Zhenlong,XIAO Song,MENG Wei,et al. Research and development and demonstration application of key technologies and equipment of mine 5G wireless communication system[J]. Journal of Intelligent Mine,2022,3(4):55−60.
[35] 周晨怡. 基于融合算法和深度学习的多模态生物特征识别研究[D]. 广州: 南方医科大学, 2020: 10-40. ZHOU Chenyi. Research on multimodal biometric recognition based on fusion algorithm and deep learning[D]. Guangzhou: Southern Medical University,2020:10-40.
[36] YANG J,YANG J,ZHANG D,et al. Feature fusion: parallel strategy vs. serial strategy[J]. Pattern Recognition,2003,36(6):1369−1381. doi: 10.1016/S0031-3203(02)00262-5
[37] 宋余庆,陈健美,郭依正,等. 基于多特征融合的医学图像识别研究[J]. 计算机应用研究,2008,25(6):1750−1752. doi: 10.3969/j.issn.1001-3695.2008.06.043 SONG Yuqing,CHEN Jianmei,GUO Yizheng,et al. Research on multi-feature medical image recognition based on data fusion[J]. Application Research of Computers,2008,25(6):1750−1752. doi: 10.3969/j.issn.1001-3695.2008.06.043
[38] 刘春生,刘延婷,刘若涵,等. 采煤机截割状态与煤岩识别的关联载荷特征模型[J]. 煤炭学报,2022,47(1):527−540. doi: 10.13225/j.cnki.jccs.YG21.1792 LIU Chunsheng,LIU Yanting,LIU Ruohan,et al. Correlation load characteristic model between shearer cutting state and coal-rock recognition[J]. Journal of China Coal Society,2022,47(1):527−540. doi: 10.13225/j.cnki.jccs.YG21.1792
-
期刊类型引用(13)
1. 李秀金. 基于BP-PID控制的采煤机智能截割研究. 机械研究与应用. 2025(03) 百度学术
2. 王中卿. 采煤机智能控制系统关键技术研究. 矿业装备. 2025(04) 百度学术
3. 咸金龙,戚红建,孙茂森,周玉宝. 基于5G通信信道自适应均衡的无人驾驶矿卡远程控制方法. 机械与电子. 2025(01): 58-62+73 . 百度学术
4. 韩飞,王博,刘阔,王鑫彪,杨玉锁,宋宝. 场站巡检机器人RTK定位技术应用探讨. 导航定位学报. 2025(01): 21-29 . 百度学术
5. 王国法,张金虎,任怀伟,杜毅博,张德生,闫汝瑜,于翔. 煤炭高效开采数智技术与成套装备研究及应用. 煤炭学报. 2025(01): 43-64 . 百度学术
6. 马孝威,李标. 基于云边协同的带式输送机故障诊断技术. 工矿自动化. 2024(S1): 119-121+150 . 百度学术
7. 付振. 基于自适应通信网络的液压支架电液控制器设计与应用. 煤矿机械. 2024(08): 194-198 . 百度学术
8. 王少聪,杜肖鹏,丁小明,王会强,李恺,何芬,张勇,牛树启,付媛,冯阔,邓浩楠. 温室巡检机器人关键技术研究进展与展望. 江苏农业科学. 2024(16): 1-10 . 百度学术
9. 王博翰. 5G通信网络技术助力矿井智能化发展的研究. 西部探矿工程. 2024(10): 150-153 . 百度学术
10. 张强,杨康,曹津铭,白雨,邓攀博,杨子. 视频AI算法分析的煤矿固体智能充填开采方法. 煤炭科学技术. 2024(11): 163-173 . 本站查看
11. 巩师鑫,任怀伟,黄伟,李建. 复杂起伏煤层自适应开采截割路径优化与仿真. 煤炭科学技术. 2023(S2): 210-218 . 本站查看
12. 李曼,刘俊棋,曹现刚. 采煤机惯性传感器的减振方法与装置. 煤炭科学技术. 2023(S2): 219-228 . 本站查看
13. 崔耀,王军,赵旭,潘占仁,李艳杰. 采煤机电缆自动拖拽系统的设计及应用. 煤炭科学技术. 2023(S2): 268-274 . 本站查看
其他类型引用(3)