Txing

欢迎来到 | 伽蓝之堂

0%

Autonomous Driving | ActiveAD: Planning-Oriented Active Learning for End-to-End Autonomous Driving

Posted on In
Symbols count in article: 3.8k Reading time ≈ 3 mins.
ActiveAD从数据标注的角度入手，考虑如何减少对标注的需求（主要是感知任务上的标注），在端到端模型中引入了主动学习，迭代地使用有标签困难样本训练模型，提升数据的使用效率；实验结果显示使用了该方法的VAD模型的规划能力有较明显的提升，方法值得借鉴。
  • 当前自动驾驶的主要问题之一是缺少标注的数据，例如3D bounding box和语义分割框，标注费用昂贵；
  • 大部分数据都是直行，缺少关键场景数据；
  • 本文利用主动学习来对原始数据进行注释，提出了planning-oriented端到端模型；
  • 仅适用30%的nuScenes数据实现了SOTA的端到端模型效果；

1 Introduction

  • 当前最好的E2E模型例如UniAD和VAD都需要大量的标注数据以进行监督学习，标签也成了这些模型的发展瓶颈；
  • 并且驾驶场景数据有长尾问题，绝大部分的数据都是无用的，这一因素也限制了data-driven模型的应用；
  • 本文受UniAD启发，引入主动学习方法到planning-oriented自动驾驶算法框架中，直接优化规划结果；
  • 将主动学习引入自动驾驶任务的GAPs：
    • 自动驾驶数据多模态特性（视频数据、驾驶轨迹、车速、以及其他原始数据），传统的主动学习只考虑单一模态的图像数据作为输入；
    • 自动驾驶任务比分类问题更复杂；
端到端自动驾驶数据的主动学习框架

  • 实施过程：

    • 在初始采样选择阶段，ActiveAD引入了ego多样性来替代传统AD范式中常用的随机选择；ego多样性包括三个方面， weather, lighting, and vehicle speed；

    • 在主动采样迭代阶段，提出了三种标签度量方式：

      • Displacement Error：使用原始自车轨迹作为度量依据；
      • Soft Collision：用预测的自车轨迹和他车轨迹计算潜在碰撞风险，是一个连续版本的碰撞率；
      • Agent Uncertainty：考虑复杂的路况，计算其他车辆的不确定性；

2.1 End-to-End Autonomous Driving

  • 发展路线：
    • 直接深度学习建立图像到控制的映射；
    • 强化学习控制车辆；
    • 使用Transformer架构训练decoder-only模型；
    • 使用多模态的传感器数据；
    • ST-P3整合检测、预测、规划到BEV空间中；
    • UniAD使用Transformer连接各个任务；
    • VAD将任务模块进行删减，提升了性能；

2.2 Active Learning

  • we fill in this gap by devising novel uncertainty and diversity metrics for active learning of end-to-end AD

3 Formulation of Active Learning for AD

  • 定义 表示t时刻的原始图像，是相应的clips序列的长度；

  • 记录的自车轨迹、状态为（包括速度和驾驶指令）

  • 天气条件 （Sunny or Rainy），光照条件（Day or Night）

  • 上述易得的标签记为，场景信息记为 其中，表示场景个数

  • 而需要精细标注的标签记为，其中，表示属性（visibility, activity, and pose），表示3D框，表示语义分割的车道；

  • 一开始我们只有无标签的数据集记为 在给定标注预算 （<N）的情况下，需要选择序号集合 ，以从中获得子集 以及相应的标签，

  • 模型在有标签的集合上训练

  • 目标是选择数据集最小化期望误差（L2误差和碰撞率）

4 The Proposed ActiveAD

4.1 Initial Sample Selection for Labeling

  • 传统CV方向进行标签初始化时缺少可用的先验信息，大多使用Random initialization；而在自动驾驶场景中，有很多标签是容易获得的，可以帮助进行初始化；本文就设计了ego-diversity度量来初始化选择过程
Ego-Diversity Initialization. 上图展示了将给定预算分配给各种子集的过程。首先，根据天气-光照条件的比例划分第一级子集。然后，基于驱动命令的相应比例形成第二级子集。最后，在第二级阶段的每个子集内，基于速度对样本进行分类并统一选择
  • ego多样性（Ego-Diversity）包括三个部分
    • weather-lighting
    • driving commands
    • average speed
  • 初始化步骤：
    • 首先，将数据集分为4个互斥的子集：Day-Sunny (DS), Day-Rainy (DR), Night-Sunny (NS), Night-Rainy (NR)
    • 然后，根据车辆行为进一步将数据集分为4类Turn Left (L), Turn Right (R), Overtake (O), Go Straight (S)；设计了一个转向的阈值，如clip中的左转和右转时间步数量大于等于阈值，则我们认为这个clip是超车（overtake）场景
    • 仅当左转的数量大于阈值时，认为该场景为左转场景；同理可以定义右转场景，其余的为直行场景；
    • 最后，计算每个场景中的平均速度，并在相关子集中按升序排序
  • 给定初始化标注budget ，需要将其划分给每个子集；定义原始子集的样本数量为，被选择给标签的样本数量为，引入了一个参数用以控制每个子集的比例。可得，first-level 天气-光照子集的比例计算方式如下：

其中，

  • 每个子集标注的数量为，当，表示绝对的均匀分布，每个类别数量都相等；如果，则表示会有一个偏置，表明偏向样本总数较少的类别

其中，，

4.2 Criterion Design for Incremental Selection

Criterion I: Displacement Error (DE) Criterion I: Displacement Error (DE) Criterion III: Agent Uncertainty (AU)

设轨迹的模态数量为，每个模态的置信度为，其中；agent的不确定性可表示为： 其中，是预测的agent和自车之间的距离，表示权重，表示熵；

Overall Loss 其中， 和 是超参数，选择具有最大损失的top 个未标注的clips，表示在第i轮迭代中可被标注的clips数量

4.3 Overall Active Learning Paradigm

activeAD伪代码

5 Experiments

We conduct experiments on the widely used nuScenes dataset [4] in line with the peer works. All experiments are implemented using PyTorch and run on RTX 3090 and A100 GPUs. Source code will be made publicly available.

规划性能对比

总结

ActiveAD从数据标注的角度入手，考虑如何减少对标注的需求（主要是感知任务上的标注），在端到端模型中引入了主动学习，迭代地使用有标签困难样本训练模型，提升数据的使用效率；实验结果显示使用了该方法的VAD模型的规划能力有较明显的提升，方法值得借鉴。