导语
劳动人民不容易,刚刚学会了挖掘机技能养家糊口,就有公司实现了挖掘自动化。
近日,由百度研究院机器人与自动驾驶实验室(RAL)团队牵头开发的全新无人挖掘机作业系统(AES)这一最新技术成果,登上了国际顶级期刊《Science》子刊《Science Robotics》,并获得了评审专家与期刊编委的高度评价。
该研究融合了感知、运动规划和控制系统,可驱动挖掘机自主完成挖装任务,进行24小时连续无人化作业,并成为全球首个实际落地的、可长时间作业的无人挖掘机系统,在工程机械自动化、无人化作业领域具有重要价值和影响。
工程机械的自动化与汽车的自动化区别就大了,除了工作环境有很大差异外,挖掘机的复杂性在于有特定的作业动作,而没有太多长距离的移动。当同样需要足够的精确度。
在硬件上,在挖斗和长臂上有多个“倾斜度”传感器,控制作业时的角度,这在汽车上是没有的。同时,保证视觉和定位的传感器是类似的,Camera、lidar、RTK等。另外,挖掘机系统控制的核心是需要有压力传感器,保证完成启停动作。
技术上,AES实现了三个方面的提升:使用多种传感器融合和感知算法,感知模块可以支持无人挖掘机在不同的工况和恶劣环境下进行无人化作业,保证了AES系统的作业效率、鲁棒性和泛化能力;作业和运动规划模块融合了数据驱动的学习算法和优化算法,可以有效计算挖掘位置和挖掘机铲斗轨迹,确保作业效率;高精度运动控制系统,有效实现挖掘机各机构的精准运动控制。
无人挖掘机系统(AES)框架图
具体而言,首先,感知系统利用低成本相机和激光雷达,实时生成高精度的三维环境地图,通过计算机视觉和深度学习等算法,AES可以检测作业环境中的运输卡车、障碍物、石块、标识和人员等,并对卡车、障碍物等物体进行准确的三维姿态估计,同时也可以识别作业物料材质等信息。其次,基于感知系统的信息反馈,通过学习和优化算法,AES能够快速进行作业规划和多自由度的挖掘机各关节运动路径规划,确保提升作业效率的同时降低机械损耗。最后,通过高精度运动闭环控制算法,AES能够实现挖掘机各机构的精准运动控制,解决了传统工程机械中运动控制无法闭环、轨迹难以跟踪、跟踪精度差等难题。此外,AES还包含一整套软件和界面设计,协助终端用户完成系统的操作、部署和使用。
AES视觉感知系统功能模块
以石块操作任务为例,AES系统的操作流程如下。感知系统以“从粗到细”的方式对场景信息进行处理。首先对图像进行增强处理,消除粉尘对整个识别系统的影响;之后对作业区域的物料进行材质识别;然后将图像中石块所在区域进行语义和实例分割算法处理。通过融合二维实例分割结果和LiDAR三维点云,确定石块的精确三维位置。感知模块最后将石块三维位置反馈给规划和控制模块,AES最后通过挖掘机多自由度运动规划和运动闭环控制,实现移除石块的任务。
AES石块操作示例
目前,AES已在多种复杂的室内和室外不同工况下进行了挖装测试、石块操作及挖沟任务等,充分显示了AES系统具备处理多种挖掘机任务的能力,证明了AES系统的技术先进性、作业任务兼容性、系统稳定性和鲁棒性。
据了解,AES 系统是世界第一批可落地实现的无人挖掘机系统之一,它通过在挖掘机身上安装激光雷达、摄像头以及专用传感器,用以感知 3D 环境并识别材料,进而执行准确的挖掘工作。经过研究人员实验测试后得出结论,搭载该系统的挖掘机,能在无人干预的情况下连续工作 24 小时以上。
工作效率方面,搭载 AES 系统的小型挖掘机每小时挖掘量为 67.1 立方米,据百度方面说法,这和专业操作员的工作效率相当。并且,AES 系统可以运用在大、中、小型挖掘机当中,工作效率都和人工操作员相差不多,而且能有效减少操作失误情况。
百度怎么啥也干?在AES系统的基础上,百度RAL联合百度智能云事业部开发的“盘古工程机械无人作业平台”,已成为国内首个基于智能云平台、软硬一体、技术领先的工程机械无人作业平台。基于盘古平台的挖掘机,在没有驾驶员操作的情况下,自主感知作业环境、规划任务并完成作业。
每个小男孩小时候都梦想着变成铁甲勇士一样上天遁地,公园里的儿童挖掘机也让他们体验了一把逢山开路,掘地三尺的感觉。不过要把开挖掘机当成一个职业,这种苦不是每个人都能承受的,两立方的驾驶仓里寂寞孤独,而且工作环境复杂,需要保持高度谨慎,以防发生塌方陷车等隐患,而且晃动颠簸,长时间持续工作,也给司机们带来多种职业病。
为什么要将挖掘机无人化?实际上,也是为了解决由于工作环境和能力要求等原因,挖掘机行业普遍存在招工难的人力短缺现场;挖掘机操作手还会遇到塌方、恶劣天气等问题,这些问题为工业生产带来巨大挑战。
据悉,AES已经落地工业废料处理相关领域,在实际的无人化、自动化应用中发挥重要作用。AES实现了工业废料连续24小时自动上料功能,助力工业废料处理产线实现全程的无人化处理。在工业废料上料过程中,AES感知模块首先进行工业废料的地形三维重建,确定待挖掘区域;运动规划模块根据感知模块的信息反馈设计运动轨迹,控制模块根据运动轨迹进行工业废料处理。目前AES赋能的无人挖掘机系统已在工业废料处理产线上无故障作业了数千小时,充分显示了AES系统的稳定性和鲁棒性,有效减少了工业废料对挖掘机操作手的损害,并为客户大幅节省人力成本。