Waymo推出端到端多模态自动驾驶模型可改进自动驾驶训练

智能网联
2024-11-04 13:53

盖世汽车讯据外媒报道，当地时间10月30日，Waymo发布了其最新的研究论文——《端到端多模态自动驾驶模型（EMMA）》。在自动驾驶领域，Waymo公司在人工智能（AI）和机器学习（ML）方面，已经保持了15年以上的领先地位。Waymo自动驾驶模型（图片来源：Waymo）EMMA由Gemin..

盖世汽车讯据外媒报道，当地时间10月30日，Waymo发布了其最新的研究论文——《端到端多模态自动驾驶模型（EMMA）》。在自动驾驶领域，Waymo公司在人工智能（AI）和机器学习（ML）方面，已经保持了15年以上的领先地位。

Waymo自动驾驶模型（图片来源：Waymo）

EMMA由Gemini（谷歌研发的多模块大型语言模型）赋能，采用统一的端到端训练模型，可直接从传感器数据生成自动驾驶汽车的未来行进轨迹。EMMA经过专门针对自动驾驶应用的训练和微调，借助Gemini丰富的世界知识库，可以更精准地解读道路上的复杂场景。

Waymo的研究揭示了如何将Gemini等多模态模型应用于自动驾驶领域，并深入探讨了此种纯端到端方法的优缺点。该研究特别强调了在模型已经针对需要高度空间理解和推理能力的自动驾驶任务进行微调后，整合多模态知识的益处。值得注意的是，EMMA在多个关键的自动驾驶任务中展现了积极的任务迁移能力：当其被联合训练用于规划轨迹预测、目标探测和道路图理解时，其性能超过了用于每个任务的单独训练模型。这为未来研究指明了一条有发展前景的路径，可以采用类似的、扩展设置，让更多的核心自动驾驶任务结合起来。