全球首个语言与自动驾驶全栈开源数据集正式发布：大模型「上车」的重要一步

引言

自动驾驶技术的快速发展与应用面临着诸多挑战，尤其是在复杂交通场景中的决策推理能力。本文探讨了上海人工智能实验室OpenDriveLab推出的DriveLM数据集，旨在通过结合大语言模型与自动驾驶技术，提升自动驾驶系统在复杂环境下的表现。

自动驾驶技术现状

尽管特斯拉的FSD V12系统在自动驾驶领域处于领先地位，但在复杂路口等情况下仍然存在决策失误的风险。马斯克在一次直播中亲自演示时就遇到了需要手动干预的情况，这一事件突显了当前自动驾驶系统在处理复杂场景时的局限性。

大模型的引入

OpenDriveLab提出，通过引入大语言模型（如GPT等）来解决自动驾驶中的推理能力不足问题。大语言模型在自然语言处理领域的成功证明了其强大的推理能力，而结合海量数据则能进一步提升自动驾驶技术的智能化水平。

数据的必要性

为了让大语言模型在自动驾驶中发挥作用，必须依赖于海量的相关数据。当前，汽车制造商之间的竞争使得数据共享面临困难，导致量产车的数据采集尚处于建设阶段。因此，开发一个开放的数据集显得尤为重要。

DriveLM数据集概述

DriveLM是全球首个结合语言与自动驾驶的全栈开源数据集，由OpenDriveLab与德国图宾根大学联合推出。其目标在于利用大语言模型与自然语言数据集，提升自动驾驶系统在复杂场景下的安全性和可解释性。

竞赛与交流

DriveLM不仅是一个数据集，还将作为OpenDriveLab提出的DriveAGI框架的重要组成部分。OpenDriveLab计划围绕DriveLM举行一系列竞赛，以推动自然语言处理与自动驾驶技术之间的交流和技术进步。

DriveLM的特点

DriveLM数据集具备多项创新特点，能有效提升自动驾驶系统的推理能力：

结构化推理与思维图评测

DriveLM提供了量化的推理能力评估标准，确保自动驾驶系统在决策过程中每一步的合理性和可解释性。这种结构化推理能力的评估将有助于提升模型的透明度和信任度。

全栈数据覆盖

DriveLM在感知、预测与规划等模块上提供了全栈式的语言标注数据，使得自动驾驶系统能够全面理解和处理各种驾驶场景。

假设推理

DriveLM引入了基于假设进行推理的标注，允许模型在面对尚未发生的事件时进行预判。这一功能将大幅提升自动驾驶系统处理复杂场景的反应能力。

驾驶目标分解

DriveLM还提供了驾驶目标分解任务，将宏观驾驶任务分解为具体的子任务，帮助自动驾驶系统更好地应对复杂的交通环境。

数据与标注细节

DriveLM数据集基于nuScenes自动驾驶数据集构建，主要由关键帧描述与问答对构成。数据集中的问答对分为感知、预测和规划三类，涵盖了物体位置、运动状态以及未来行为等多方面的信息。

训练与验证集

DriveLM的数据集分为训练集和验证集，训练集包含697个场景，验证集包含150个场景。每个场景大约包含40帧，标注员会选择其中4-8个关键帧进行详细标注。

结论

DriveLM的推出为自动驾驶技术的发展提供了新的思路，利用大语言模型的推理能力与海量数据的结合，为提升自动驾驶系统的智能化水平开辟了新路径。通过进一步的研究与竞赛，DriveLM有望在未来推动自动驾驶与自然语言处理领域的深度融合，提升自动驾驶系统在复杂场景下的安全性与可解释性。