GAIA-4：多模态世界模型，为安全、可扩展的自主系统实现闭环仿真提供支持

GAIA 的最新升级让 Wayve AI Driver 能够参与其中。这一升级将世界建模的方式从单纯的场景生成，转变为一种能够大规模衡量端到端安全性的方法。

GAIA-4s视频

AV2.0 世界中的安全与仿真技术

自动驾驶正从由多个独立模块构成的架构，转变为端到端的 AI 解决方案：即通过单一网络，将传感器的原始数据直接转化为驾驶决策。这就是 AV2.0 技术。该技术使得自动驾驶能够在不同的城市、使用不同的传感器以及不同的车辆上实现通用性，而这是传统模块化系统永远无法做到的。

但正是让端到端模型具备强大功能的特性——即它是一个整体化的学习系统，而非由多个独立部分构成的——反而使得业界过去用来验证安全性的各种手段失效了，包括仿真测试在内。安全性的验证成本、所需时间以及其可靠性都至关重要。仅靠现实世界的测试是不够的：随着模型性能的提升，验证安全性所需的测试里程会急剧增加，而几乎所有测试结果都是“一切正常”。仿真测试可以弥补这一缺陷，但要想验证端到端人工智能的安全性，现有的仿真技术体系需要重新构建。

为什么驾驶模型需要一种新的仿真方式

Simulation 1.0 是为模块化系统而设计的。当感知和规划是相互独立的组件时，就可以分别对它们进行测试和评估：比如检测的准确性、轨迹的误差等。每种功能都有相应的评估指标和测试方法。此外，还可以将开环感知结果与闭环规划相结合来进行测试。正是这种可分离性，使得该系统的设计变得可行。

相比之下，端到端驱动模型则不具备可分离性。不存在可以单独评估的中间感知输出，也没有可以独立测试的规划模块；行为完全由单一网络生成。因此，唯一的评估单元就是整个系统，其表现如何才是评价的标准。

这是一种截然不同的技术方法，因此需要使用不同的仿真工具来加以实现。我们将这种方法称为“仿真 2.0”：一种专门用于将驾驶模型视为一个整体行为系统来进行评估的仿真技术。

需要满足两个条件。首先，模拟器必须能够真实地再现模型在现实中通过各种传感器所获取的信息，因为驾驶模型需要使用这些原始传感器数据来做出决策。其次，更为重要的是：仅仅通过回放或开环测试是不够的。向模型展示固定的录像数据只能了解它可能会做出什么预测，但这些预测并不会改变后续的实际发生情况。因此，为了了解车辆的实际行为，必须让模型能够根据自身的决策来改变它所看到的情况，从而形成闭环。

闭环与开环回放方式

隆重介绍 GAIA-4

GAIA-4 是 Simulation 2.0 的核心模型，也是我们 GAIA 系列世界模型的最新成果。重要的是，端到端学习技术不仅适用于驾驶模型，也适用于安全相关领域和仿真过程。与驾驶场景类似，通过机器学习得到的模型，其安全性提升速度远远快于那些人工设计的模型。

在过去的 8 年里，Wayve 率先推动了“世界模型”的开发工作，从而改变了整个行业在自动驾驶车辆的训练和评估方式。2018 年，Wayve 开发出了首个自动驾驶“世界模型”；随后，通过 GAIA-1、GAIA-2 和 GAIA-3 等模型的开发，进一步实现了基于模拟环境的验证功能。

借助 GAIA-4，我们现在可以形成一个闭环：将录制的场景作为新模拟运行的起点，让 AI 驾驶系统再次参与其中。当模型做出不同的驾驶决策时，传感器接收到的输入数据也会随之改变。如果 AI 驾驶系统刹车，模拟画面就会减速；如果它转向，那么它所看到的场景也会随之改变。模拟器并非只是播放固定的录像，而是能够生成各种可能的未来场景——包括那些在现实世界中从未发生过的场景。同时，模拟器始终以实际发生的场景为基准，从而提供一个可用来对比的确定性参考点。

反事实案例：GAIA 模拟了人工智能驾驶者在现实中选择继续行驶而非让行的情况。

查看GAIA4 生成的视频

基于现实世界的闭环仿真

GAIA 在构建虚拟世界时，不依赖高精度地图、手工制作的场景模型、提示信息或额外的标注数据。它直接根据传感器记录的数据来生成场景。由于 GAIA 基于真实的记录数据，因此我们可以确保虚拟世界与现实情况完全一致，同时只需让自动驾驶车辆本身发生改变。我们将这种机制称为“固定规则下的世界”：AI 驾驶员的决策决定了模拟过程的走向——包括其位置、视角以及接收到的传感器数据——但场景中的其他所有元素都保持其在现实世界中的行为模式。其他道路使用者不会对自动驾驶车辆做出任何反应。原本要进入交叉口的汽车会继续进入交叉口；骑自行车过马路的人也会继续过马路。

这一限制条件使得模拟结果具备两项对验证而言至关重要的特性。首先，其他道路使用者的行为仍符合现实情况，因为他们会继续按照在真实驾驶过程中所表现出的行为来行事。其次，评估结果更为保守：没有任何车辆、行人或骑自行车的人会因为人工智能驾驶系统的存在而改变自己的行为。这样一来，模拟器就不会改变那些对安全性至关重要的结果。在“一切按规则行事”的限制条件下，我们可以评估各种情况下的安全性，包括那些有车辆安全操作员介入的情况。

在需要考虑“轨道世界”这一约束条件的情况下：下面的视频展示了在考虑与不考虑“轨道世界”约束条件时，所生成的相同场景。

“轨道化世界”是一种我们可以随时启用的功能，而非世界模型的固有限制。取消这一限制后，其他道路使用者就不再只是简单地重复原始场景中的行为；他们会根据自动驾驶车辆的行动做出反应。这样一来，就能实现只有真实互动才能带来的各种场景，比如在路口的协商式并道和互相让行。场景的其他部分则保持与原始记录一致。所谓“反应型智能体”，其实就是对“轨道化世界”功能的进一步扩展。为了确保安全性， “轨道化世界”能够提供对原始场景的精确再现。而“反应型智能体”则通过让世界能够对人工智能驾驶员做出反应，从而扩展了我们可以评估的互动类型。

反应性药物：以下视频展示了反应性药物如何扩展全球轨道能力。

由于该模拟视频是以真实记录为基础的，并且经过训练后能够确保整个世界的运行符合逻辑规律，因此 GAIA 能够以比通用世界模型更高的精度和一致性来重建所记录的场景。通过专门训练 GAIA 来执行这项任务，其再现真实世界的精度提升了 2.5 倍。这样一来，GAIA 就变成了一个可以用于闭环模拟的稳定系统。

反事实思维：了解人工智能驾驶员会做出什么选择

基于真实驾驶情况的闭环模拟，是我们用来检验和调试人工智能驾驶系统的一种方法。我们可以选取现实中的某个时刻，改变其中的一个因素，然后观察人工智能驾驶系统会如何做出反应。这样一来，我们就能更深入地理解该系统的行为模式了。

相关文章：
GAIA-4：多模态世界模型，为安全、可扩展的自主系统实现闭环仿真提供支持

为者常成，行者常至