- 一般的end2end自动驾驶算法在自车感知信息的利用上存在不足，例如速度信息；本文提出了一个新的评估度量方法判断预测轨迹是否还在路上
- 怀疑当前在nuScene数据上表现好的模型存在两个问题，1是过于依赖自车当前状态，未来继续保持当前状态行驶就能获得高分；2是当前的评估指标不能有效评估open-loop的轨迹，例如超出车道没有严重惩罚，因此需要增加新的指标；
- code：https://github.com/NVlabs/BEV-Planner
1. Introduction
- Open-loop evaluation将planning变成了一个以人驾数据为真值的模仿学习任务；
- Rethinking the open-loop evaluation of end-to-end autonomous driving in nuscenes. arXiv preprint arXiv:2305.10430, 2023
- 自车状态就是open-loop端到端自动驾驶所需的全部信息了吗？
- 是：ADMLP用历史轨迹和自车状态作为输入，EgoMLP用自车状态作为输入；两者在规划效果上并没有明显区别；
- 不是：自动驾驶的决策理论上不应该仅仅通过自车状态来评估，但这样的做法又取得了非常好的效果，这说明当前数据集存在一些缺陷；
- 问题1：Imblanced dataset
- nuScene中73.9%的数据是直行的，这说明只要简单地保持当前的速度、行驶方向就能取得很好的效果；
- 问题2：Existing metrics are not comprehensive
- 传统的预测轨迹和gt轨迹之间的L2距离以及预测轨迹和他车的碰撞率不能有效定量评估规划的行为；
- 冲出道路的case在现有指标中不会受到巨大的惩罚，因此本文新增了一个与道路边界交互的指标；
2. Related Work
3. Proposed BEV-Planner
- 方法很简单，将每个时间步的BEV特征计算出来并concatenate在一起，用它与ego query（通过可学习的embedding得到）进行cross-attention，之后通过MLP获得轨迹
4. Experiments
4.2. Metrics
- Collision Rate
碰撞率指标改为一段预测时间内发生碰撞的次数
Intersection Rate with Road Boundary
Union Implementation
指标和测试实验都没什么可取之处，这部分略过；
总结
当前开环测试过于依赖自车当前状态；
当前的指标不足以准确开环评估规划的轨迹；
相比较于在nuScenes数据集上获取sota性能，还不如赶紧设计个更好的数据集；