VLA 在微调之后，能遗忘到什么程度？上交CVPR‘26的工作给出了答案

点击下方卡片关注“自动驾驶之心”公众号戳我-领取自动驾驶近30个方向学习路线作者 | Runhao Mao等编辑 | 自动驾驶之心本文只做学术分享如有侵权联系删文自动驾驶前沿信息获取→自动驾驶之心知识星球当自动驾驶技术逐步告别传统端到端方案迈向基于视觉 - 语言大模型的 VLA 架构与快慢脑协同方案业界普遍怀揣着一个核心期许视觉语言大模型蕴含的海量世界知识能够破解自动驾驶场景中的长尾难题进而降低对极端场景数据采集的高度依赖。但我们在研究中观测到不尽如人意的现象将典型的 VL 模型在专属自驾数据集上微调后原本能轻松识别的简单场景例如道路中出现的牛模型反而丧失了判别能力这正是典型的灾难性遗忘问题。这不禁引发我们深度反思VLA 模型是否依旧需要依靠堆砌海量数据、覆盖无限场景才能实现预期性能倘若如此它与传统端到端自驾方案又存在何种本质差异针对这个问题上海交通大学人工智能学院 AutoLab 团队 围绕自动驾驶 VLM/VLA 在微调阶段的灾难性遗忘问题提出了首个面向该问题的系统化评测基准Fidelity Driving Bench并进一步设计了缓解遗忘的Driving Expert AdapterDEA。这项工作首次提出以往自驾VLA工作中的盲点即“VLA模型是否在学会驾驶的同时忘掉原有世界知识”并实现了可量化评估。团队构建了覆盖15 个数据源、18 万场景和90 万组 QA的大规模驾驶语义数据底座筛选出专门用于遗忘评测的高难长尾测试集并通过知识保留率、场景理解分数等指标系统揭示现有方法在关键目标感知与知识保留上的退化。 论文信息论文标题The Blind Spot of Adaptation: Quantifying and Mitigating Forgetting in Fine-tuned Driving Models论文链接https://arxiv.org/pdf/2604.04857代码链接https://github.com/AutoLab-SAI-SJTU/FidelityDrivingBench一、引言自动驾驶近两年的一个明显趋势是越来越多工作开始把 Vision-Language Model 引入感知、理解和决策链路。大家看重的正是这类模型在预训练阶段积累下来的常识性知识和长尾泛化能力。为了让通用 VLM/VLA 更适配自动驾驶现有方法通常会继续用驾驶数据做微调。短期看这确实能提升场景理解和任务回答能力但代价是模型也可能在这个过程中逐渐遗忘原本已有的知识。于是就出现一个很尴尬的悖论我们之所以引入 VLM是因为它相比传统端到端驾驶模型拥有常识而有更强的泛化性可一轮针对驾驶任务的微调反而可能把这部分最珍贵的能力丢掉了。作者指出现有自动驾驶 benchmark 更关注任务分数却没有量化“微调之后模型还剩下多少原本的认知能力”。论文中的案例直观地体现了基础模型仍能识别路沿、石块等关键障碍物而微调后的驾驶模型却把这些信息漏掉了最后给出了错误的解释与规划。图1 灾难性遗忘会直接体现在关键目标漏检上最后影响到规划安全。也正因为如此本文的核心问题是自动驾驶 VLM/VLA 在微调之后究竟有何种程度的遗忘二、Fidelity Driving Bench面向自动驾驶场景的遗忘评测基准2.1 数据构建为了专门评估灾难性遗忘作者构建了一套新的自动驾驶基准。整个数据底座覆盖 15 个数据源累计约18 万驾驶场景、90 万组 QA并在此基础上通过长尾挖掘流程筛选出1000 张代表性高难场景作为专门的遗忘测试集。围绕遗忘问题作者先用语言模型提取场景元素再通过基于 IDF 的稀有度统计和 BM25 风格归一化筛选出真正具有长尾属性的场景。为了保证测试集质量候选样本还经过了重新标注和人工审核尽量避免不同数据源标注风格不一致带来的偏差。图2 Fidelity Driving Bench 数据构建流程2.2 任务设置和评价指标围绕该 benchmark论文定义了三类任务Scene Description让模型自由描述当前驾驶场景。Traffic-QA考察模型对交通场景与驾驶决策问题的理解。Noteworthy Objects Perception考察模型能否识别真正关键的风险目标。对应地设计了两类核心指标NoPRNoteworthy Objects Perception Recall衡量模型对关键目标的感知保留情况。这个指标很重要因为真正危险的遗忘往往最先体现在关键目标“看不见”。KRRKnowledge Retention Rate衡量微调后模型相对于原始基座模型保住了多少知识。论文把“对关键目标的感知能力”视作知识保留的体现由此定义出 KRR。2.3 分析论文首先评估了一批公开的自动驾驶 VLM-centric 模型。首先发现多源数据训练通常比单一数据源更能缓解遗忘这一点与具体模型无关。进一步分析后本文总结出三条很关键的结论训练数据的场景多样性对知识保留非常重要。只追求 QA 数量、忽视场景多样性容易让模型在长尾测试集上表现更差。全量微调会显著加剧灾难性遗忘。论文对比发现它虽然能提升部分 in-domain 任务表现但会让关键目标感知能力明显下降甚至低于原始基座模型。LoRA 作用有限。作者在多个基础模型上做了 LoRA 实验发现它虽然通常比全量微调保留了更多知识但在驾驶决策能力上能力提升有限甚至会退化。三、DEA驾驶专家适配算法在完成系统分析后作者发现全量微调往往能带来更好的驾驶任务表现但也更容易破坏模型原本的泛化能力而简单的 LoRA 虽然相对温和却又很难真正提升模型在驾驶场景中的决策能力。基于这个判断论文提出了Driving Expert AdapterDEA。它的出发点很明确既然直接改主干参数容易伤到底座知识那就不再把所有适配压力都压在权重更新上而是转向更轻量、更可控的知识路由方式。通过提示适配和专家路由机制把知识适配从参数空间转向提示空间在尽量不破坏底座模型通用认知能力的前提下提升驾驶任务表现。图4 DEA 框架示意该方法由两个部分组成一是 Prompt Adapter用于为当前场景选择最合适的可学习提示词 token二是 Task-Adaptive Expert Module它通过一个作用于所有 token 的门控网络激活最适合当前场景的 LoRA 专家模块。DEA 由两个核心组件组成Prompt AdapterPA通过可学习提示把驾驶任务先验注入模型而不是直接重写主干参数。它会根据输入问题的语义选择最相关的提示 embedding帮助模型在保持底座不变的前提下稳定理解任务。Task-Adaptive Expert ModuleTAEM这是一个动态专家模块。它借鉴 Mixture-of-Experts 的思想根据场景线索和提示语义在多个驾驶专家之间做路由与融合让模型在复杂长尾场景下调用更匹配的能力。四、实验结果定量对比在验证 DEA 时论文以 Qwen2.5VL-3B 为基础模型进行了实验。结果表明DEA 相比原始基座模型在Scene Description上提升2.2%在Traffic-QA上提升12.3%在KRR上达到79.0%更值得注意的是其与全量微调的 ImpromptuVLA-3B 形成了鲜明对比知识保留率从原本的68.4%提升到了79.0%。 实验结果证明DEA 使模型能够在避免全参数更新所带来的破坏性副作用的同时学习到专门的驾驶技能。论文还做了两类补充实验LLM Judge 鲁棒性分析用 Qwen3-Max、Gemini-2.5-Pro、GPT-5 重新评估结论基本一致说明 benchmark 结果不是某一个评委模型带来的偏差。定性对比在夜间路口等典型长尾场景中DEA 能识别更多关键风险因素而对比方法更容易忽略交通或施工区从而低估危险。图6 模型在复杂场景中也能保证描述的准确性标注框表示关键目标对应描述中的红色文本。总结本文首次对基于视觉语言模型VLM的自动驾驶中的灾难性遗忘问题进行了系统性研究。这是一个至关重要但长期被忽视的挑战。我们引入了Fidelity Driving Bench用于量化知识退化现象尤其关注长尾场景和安全关键场景中的性能下降。为解决这一问题我们提出了Driving Expert AdapterDEA这是一种即插即用的框架能够在不破坏性覆盖预训练模型原有知识的前提下注入自动驾驶领域的专门知识。实验结果表明我们的方法在保持较强驾驶性能的同时能够显著缓解灾难性遗忘问题。自动驾驶之心求点赞求分享求喜欢