3D视觉 | 环境感知中的多传感器融合

环境感知是自动驾驶的核心技术之一，核心作用是感知车辆周围的行人、车辆、障碍物、车道线以及红绿灯等交通标志。多传感器融合是各种精确环境感知机器人应用的基础，通过不同传感器间的互补，能够使融合系统的整体感知能力显著提高。

在L3及以上的自动驾驶系统中，基于摄像头、激光雷达等多传感器的融合感知方案已逐渐量产落地。

但是多传感器融合感知技术涉及知识广，要求该领域的伙伴们不仅需要掌握多传感器的时空标定方法，更需要掌握2D、3D的感知方法以及融合策略。

大家在学习过程中一定会遇到的情况：

时间同步时如何将各个传感器的时间统一到参考标准时间上？

空间对准如何建立从各个传感器不同坐标系到一个统一的基准坐标系的变换关系？

融合算法作为多传感器融合感知的核心内容，前融合与后融合是必学内容。

level 的后融合：一个的一生，伙伴们刻苦研究的必备内容：

· 从一帧数据中可以检测出什么？

· 当连续两帧检测到同一个的时候，如何融合？

· 如何判断两帧检测到的是同一个物体呢？

前融合算法是自动驾驶中的多模态融合，但多模态融合有诸多难点：单模态特征表达、多模态时空对齐、多模态特征融合等内容。

如何设计一个完整的针对性融合系统及优缺点分析，这也是很多伙伴很难挑战成功的问题。

网上资源众多，但系统教程少，很多伙伴在筛选中多走很多弯路。

因此，深蓝学院重磅推出『多传感器融合感知』课程，帮助大家系统梳理常用的相机、激光雷达的时间空间标定方法，细致讲解当下主流的融合感知策略（前融合与后融合），并通过融合感知的，让大家具备亲自动手实现一个完整的融合感知系统的能力。

主讲老师

傅东旭

自动驾驶高级算法专家

历任百度自动驾驶高级研发工程师，纽劢科技L4部门研发负责人，商汤自动驾驶研发副总监。浙江大学控制系硕士，毕业至今拥有6年+的L4自动驾驶研发经验，擅长3D感知、定位建图和多传感器标定等技术。

课程大纲

（点击查看大图）

课程亮点

1. 从传感器特点出发，详细介绍L2/L4自动驾驶系统的设计思路；

2. 涵盖多传感器感知中的前融合与后融合等主流算法；

3. 实现融合感知算法的工程框架,完成一个融合感知的系统。

你将收获

1. 熟悉自动驾驶系统中多传感器的用途以及传感器系统的构建思路；

2. 掌握多传感器系统时域和空域的同步方法；

3. 学会如何将多种传感器的结果融合成稳定的感知输出；

4. 培养工程系统实现的能力。

基础与设备要求

· 熟悉ROS操作系统；

· 了解贝叶斯滤波和非线性优化等状态估计算法；

· 熟悉深度学习以及在计算机视觉中的实践经验；

· 扎实的C++编程功底和深度学习框架（或者）；

· 最好有配置GPU的电脑或者服务器，要求GTX 2080或者更高。