近日同济大学刘春教授带领的时空智能感知研究团队,以智能驾驶的目标检测需求为牵引,面向空间场景智能理解的前沿科学问题和关键技术,在国家自然科学基金重点项目和上海汽车工业科技发展基金会产学研项目的共同资助下,联合厦门大学和上汽集团,依托同济大学国家卓越工程师学院与上汽集团开展的产学研深度合作,突破了跨模态点云的高效聚合、智能感知的技术难点,研究取得了阶段性的进展。
最新合作研究成果“FusionBev: LiDAR and 4D Radar Fusion for 3D Object Detection”近日在人工智能领域国际顶刊 《Information Fusion》在线发表。论文第一作者为团队戚远帆博士,刘春教授担任通讯作者,团队吴杭彬教授、陈睿婕博士研究生、贾守军博士,厦门大学温程璐教授、黄勋博士研究生,上汽集团大乘用车张可科工程师担任论文共同作者。
图1 论文成果发表
论文主要内容
随着自动驾驶技术的快速发展,高精度、高鲁棒性的三维环境感知已成为保障行车安全的核心。激光雷达和4D毫米波雷达在高分辨率三维成像、强穿透性和高速感知等方面各具优势。如何有效融合二者优势,突破单一传感器局限,成为提升自动驾驶感知可靠性的关键挑战。团队针对激光雷达与4D毫米波雷达融合中的异构特征对齐难、几何不一致、计算开销大等瓶颈(如图2所示),提出了一种高效、鲁棒的跨模态点云融合感知网络架构FusionBev(如图3所示)。
图2 跨模态点云融合瓶颈
图3 FusionBev模型框架
研究提出的FusionBev创新性地在体素层级实现跨模态特征聚合:通过哈希搜索快速融合几何一致的激光雷达与4D毫米波雷达体素,并共享物理属性(如速度),显著增强特征多样性;同时引入几何一致性模块,利用卡方分布建模传感器偏移,动态补偿因车辆老化或振动导致的标定漂移,提升系统长期稳定性。
研究在VoD数据集和K-Radar数据集上对FusionBev进行了全面评估,并与InterFusion和L4DR等最先进的跨模态点云融合感知方法进行对比(如图4、5所示):结果表明,FusionBev始终比其他方法具有显著的性能优势。此外,与其它的跨模态点云融合方法(L4DR, InterFusion)相比,本模型仅需要最少的GPU (2.81 GB)且推理速度高达27 FPS。这种高效性显著提升了自动驾驶汽车现场部署的可行性并降低了计算成本。
图4 跨模态点云与单模态点云目标检测对比示意图
图5 跨模态点云目标检测对比示意图
同济大学时空智能感知研究团队,依托同济大学国家卓越工程师学院与上汽集团开展产学研深度协同攻关。在“上海汽车工业科技发展基金会产学研项目”的支持下(如图6、7所示),团队聚焦自动驾驶关键感知技术的工程化落地,系统构建了“点云协同观测—BEV感知融合—OCC场景建图—点对点泊车”全链条技术闭环,实现了从基础理论到实际应用的创新突破。相关研究成果已成功应用于名爵MG7、尚界H5等量产车型,充分体现了科研创新与产业实践的深度融合,为自动驾驶智能感知技术的发展提供了“产教协同、融合育人”的创新范式。
图6 上汽产学研项目概况
图7 上汽产学研项目任务概况
总结与展望
本研究提出了一种面向自动驾驶感知的跨模态点云融合模型FusionBev,该模型将泛化点云“共性聚合”的核心思想应用于自动驾驶感知领域,实现了异构点云数据在体素层级的深度融合与特征增强。FusionBev通过物理属性聚合和几何关系统一,构建了完整性更好和物理属性更多样的点云模型,并解决了异构点云融合中的关键挑战,特别是由于遮挡和恶劣天气导致的数据退化问题,从而显著提升了自动驾驶汽车的感知性能。
未来,本团队将继续面向自动驾驶行业需求,持续拓展该方法在车路协同感知、全天候复杂交通场景理解等领域的应用,助力自动驾驶技术迭代与智能出行生态高质量发展。
项目资助:本研究得到国家自然科学基金重点项目“泛化点云的高维张量空间语义认知与建图”(项目编号:42130106)和上海汽车工业科技发展基金会产学研项目“基于点云识别的感知融合及环境建模技术”(项目编号:2202)资助。
论文信息: Qi, Y., Liu, C., Wu, H., Chen, R., Wen, C., Huang, X., Jia, S., Zhang, K., 2026. FusionBev: LiDAR and 4D radar fusion for 3D object detection. Information Fusion 132, 104240.
https://doi.org/10.1016/j.inffus.2026.104240.
京公网安备 11010802031220号