无人驾驶-10-完全端到端是怎么做到的

一、完全端到端的方法

1. 传感器输入
   数据来源：主要包括图像数据、各类雷达产生的点云数据以及地图数据
   处理方法：

   • 图像数据：使用CNN网络提取图像特征
   • 点云数据：采用点云任务特有的特征提取方式
   • 处理视角：从点的角度和环境角度两种不同方式出发

2. 端到端模型的输出部分
   

核心输出：

• 轨迹规划：预测车辆在未来若干时刻的运动轨迹

辅助任务：

• 安全功能：障碍物检测、红绿灯识别、车道线检测
• 预测功能：其他车辆未来运动预测、占据网格预测
• 设计原则：通过辅助任务提升规划控制的安全性和有效性

3. 完全端到端方法的模型
   

特征转换：
BEV特征：大部分方法会将图像或点云数据转换为BEV(Bird's Eye View)特征

特征交互：
直接传递：将BEV特征传递给所有模块
效率优化：采用其他模块特征传递给规划模块以提高实时性

设计考量：
辅助任务选择：需要思考哪些辅助任务更有效
特征传递方式：决定使用BEV特征还是辅助任务特征影响规划控制

4. 完全端到端算法的评估指标
   

开环指标：
L2误差：计算预测轨迹与真实轨迹的损失，公式为
碰撞率：轨迹与障碍物发生碰撞的概率，公式为
局限性：无法反映实际控车情况，可能掩盖真实偏离问题

闭环仿真：

• 路线完成率(RC)：完成路线占总路线的百分比
• 违规分数(IS)：衡量行驶过程中触发的违规行为
• 驾驶分数(DS)：综合路线完成率和违规分数评估驾驶进度和安全性

二、课程内容总结

核心要点：

• 传感器数据处理方法
• 辅助任务设计原则
• 模型特征交互方式
• 评估指标的选择与解读

学习重点：

• 理解不同数据类型的特征提取方式
• 掌握辅助任务对规划控制的影响机制
• 能够正确解读和比较不同方法的评估结果

为者常成，行者常至