世界模型（World Models）是人工智能领域一个至关重要的概念，它让AI系统能够像人类一样在内部构建对外部物理环境的模拟和理解，从而进行有效的规划和决策。
1. 世界模型的核心概念与定义
1.1 什么是世界模型？
1.1.1 定义：AI对环境的内部模拟与预测
世界模型（World Models）是人工智能领域一个至关重要的概念，它指的是一个能够对环境或世界的状态进行表征，并预测状态之间转移的模型 。这个模型的核心目标是让AI系统能够像人类一样，在内部构建一个对外部物理环境的模拟和理解 。通过这种方式，AI可以在“脑海”中模拟和预测不同行为可能导致的后果，从而进行有效的规划和决策。世界模型的概念源于认知科学和机器人学，它强调AI系统需要具备对物理世界的直观理解，而不仅仅是处理离散的符号或数据 。例如，一个具备世界模型的自动驾驶系统，可以在遇到湿滑路面时，预判到如果车速过快可能会导致刹车距离延长，从而提前减速，避免危险。这种能力源于AI内部对物理规律（如摩擦力、惯性）的模拟，而不是简单地记忆“湿滑路面要减速”这条规则。
世界模型的构建通常依赖于大量的交互数据。智能体在环境中执行各种动作，并观察这些动作带来的结果。通过这些观察，模型学习到如何根据当前的世界状态和智能体采取的行动来预测下一个状态。训练的目标是最小化预测误差，即模型预测的状态与实际发生的状态之间的差异。这种学习方式使得模型能够内化关于物理规律、因果关系以及物体间相互作用的知识。例如，一个经过充分训练的世界模型能够理解“物体上升后必然会下落”这一基本物理常识，或者预测“推动一个物体会使其移动”这一简单因果关系。这种对世界的内在表征，被认为是实现通用人工智能（AGI）的关键一步，因为它赋予了AI系统真正的常识性理解能力，而不仅仅是模式识别或数据拟合。
1.1.2 核心思想：让AI具备“想象力”与“规划”能力
世界模型的核心思想在于赋予人工智能系统一种类似人类的“想象力”和“规划”能力。这种能力使得AI能够超越简单的反应式行为，进行更深层次的思考和决策。具体来说，世界模型允许智能体在“心智”中模拟未来可能发生的情景，评估不同行动方案的潜在结果，并选择最优的策略来实现其目标。这种在模拟环境中进行“思想实验”的能力，极大地提高了学习效率和决策的鲁棒性。例如，在自动驾驶场景中，车辆可以利用世界模型来预测其他交通参与者的可能行为，并提前规划出安全的行驶路径，从而避免潜在的危险。同样，在机器人技术中，机器人可以在执行复杂任务（如抓取物体或组装零件）之前，先在内部模型中进行模拟，以找到最有效的动作序列，减少对真实世界数据的依赖和试错成本 。
这种“想象力”和“规划”能力的实现，依赖于世界模型对环境的抽象表征和动态预测。模型需要能够从高维的感官输入（如图像、视频）中提取出关键的、与任务相关的信息，并将其编码为低维的潜在向量。然后，基于这个潜在表示，模型需要能够预测在特定行动下，世界状态将如何随时间演变。这个过程不仅涉及对物理规律的理解，还包括对不确定性的处理。由于现实世界充满了不可预测的因素，一个鲁棒的世界模型必须能够生成多种可能的未来情景，并对每种情景的概率进行评估。这种能力使得智能体能够进行反事实推理，即思考“如果我当时采取了不同的行动，结果会怎样”，从而不断优化其策略。因此，世界模型不仅是预测未来的工具，更是智能体进行学习、适应和规划的强大引擎 。
1.1.3 与传统AI的区别：从被动响应到主动预测
世界模型与传统AI范式（如监督学习、强化学习）的根本区别在于其从被动响应到主动预测的转变。传统的监督学习模型，其核心任务是学习一个从输入到输出的映射函数，例如图像分类或语音识别。这些模型在处理一个输入时，并不会考虑这个输入在时间序列上的前后关系，也不会预测未来的状态。它们只是根据训练数据中学到的模式，对当前的输入做出一个判断。而世界模型则不同，它关注的是时间序列上的动态变化，致力于理解“世界为什么会这样变化”。
强化学习（RL）虽然也与环境的动态变化有关，但其学习方式通常是“试错”。智能体（Agent）在环境中通过不断尝试不同的行动，并根据获得的奖励或惩罚来调整其策略。这种方式在简单环境中可能有效，但在复杂、高维度的现实世界环境中，试错学习的成本极高，甚至可能带来灾难性的后果。世界模型则提供了一种更高效的学习方式。它通过观察和学习环境的动态规律，在内部构建一个模拟器。智能体可以在这个模拟器中进行大量的“想象”和“规划”，从而找到最优的行动序列，而无需在真实环境中进行大量的试错 。例如，在自动驾驶领域，传统的强化学习方法可能需要车辆在真实道路上进行数百万公里的测试，才能学会如何应对各种突发情况。而基于世界模型的方法，则可以通过学习大量的交通场景视频，在内部构建一个交通环境的模拟器，然后在这个模拟器中进行规划和训练，从而大大减少在真实道路上的测试里程和风险。
1.2 权威定义解析
1.2.1 David Ha与Jürgen Schmidhuber的定义：生成式神经网络模型
在2018年，David Ha和Jürgen Schmidhuber在其开创性的论文《Recurrent World Models Facilitate Policy Evolution》中，首次将世界模型的概念与深度学习相结合，提出了一个具体的神经网络架构 。他们将世界模型定义为一个生成式模型，该模型能够理解和模拟环境，学习行为策略，并将学到的知识迁移到新的情境中。具体来说，他们的模型由两个核心部分组成：一个变分自编码器（VAE）和一个循环神经网络（RNN）。VAE负责将高维的感官输入（如图像）压缩成一个低维的潜在向量（latent vector），这个向量捕捉了环境的关键特征。RNN则负责学习这些潜在向量在时间序列上的动态变化，即预测在给定当前状态和动作的情况下，下一个状态会是什么。
这个架构的核心思想是，通过训练一个生成式模型来模拟环境的动态，从而为智能体提供一个可以进行“想象”的内部世界。智能体（控制器）可以在这个内部世界中进行规划和决策，而无需直接与真实环境交互。Ha和Schmidhuber的这项工作在强化学习领域引起了广泛关注，因为它展示了世界模型在提高学习效率和解决复杂任务方面的巨大潜力。他们的实验表明，通过在“梦境”中训练智能体，可以使其在赛车游戏和Doom游戏中取得超越传统强化学习算法的表现 。这个定义强调了世界模型的生成能力，即它不仅能预测未来，还能生成新的、合理的未来场景，这为智能体的规划和探索提供了丰富的素材。
1.2.2 杨立昆（Yann LeCun）的定义：基于编码器与预测器的系统
作为深度学习领域的三巨头之一，Meta首席AI科学家杨立昆（Yann LeCun）也对世界模型给出了自己的权威定义。他在多次演讲和社交媒体上发表了对世界模型的看法，并提出了一个更为系统和抽象的数学框架 。根据杨立昆的定义，一个世界模型是一个基于序列数据的预测系统，它通过编码器（Encoder）和预测器（Predictor）来处理观测值、先前状态、行动和潜在变量，从而预测下一个状态 。这个定义的核心在于，世界模型不仅仅是一个生成模型，更是一个包含了感知、记忆、预测和规划等多个模块的完整认知架构。
杨立昆的定义强调了世界模型的几个关键要素。首先是编码器（Enc） ，它负责将高维的观测数据（如图像）转换成一个低维的、抽象的表示（h(t)）。这个表示捕捉了环境的关键信息，同时过滤掉了不相关的细节。其次是预测器（Pred） ，它接收当前的表示、之前的世界状态估计、一个预设的行动以及一个潜在变量，然后预测下一个世界的状态。这个潜在变量（z(t)）至关重要，它代表了那些无法被观测到的、但对预测结果有重要影响的信息，例如环境中的随机性或不确定性。通过引入潜在变量，世界模型可以处理那些本质上不可预测的事件，从而生成一组合理的未来预测，而不是一个确定性的结果 。杨立昆的定义更加强调了世界模型的认知功能，即它如何帮助智能体理解世界、进行推理和规划，而不仅仅是生成数据。
1.2.3 关键要素：观测、状态、行动与潜在变量
杨立昆对世界模型的定义中，包含了几个不可或缺的关键要素，它们共同构成了世界模型的核心功能。这些要素分别是观测（Observation）、状态（State）、行动（Action）和潜在变量（Latent Variable） 。
观测（x(t)） ：这是智能体从环境中接收到的原始感官数据，例如摄像头捕捉到的图像、麦克风接收到的声音等。观测数据通常是高维度的，并且可能包含噪声和无关信息。世界模型的第一步就是处理这些观测数据，提取出有用的信息。
状态（s(t)） ：状态是对世界在某一时刻的完整描述。它不仅仅包括当前的观测，还可能包含一些无法直接观测到的信息，例如物体的速度、隐藏的目标等。世界模型的目标之一就是维护一个对世界状态的准确估计。这个状态估计是智能体进行决策和规划的基础。
行动（a(t)） ：行动是智能体可以执行的操作，例如移动、抓取、说话等。世界模型需要能够预测不同行动可能带来的后果。通过模拟不同行动序列的结果，智能体可以选择最优的行动方案来达到其目标。
潜在变量（z(t)） ：这是杨立昆定义中一个非常关键的要素。潜在变量代表了那些无法被观测到的、但对世界演化有重要影响的信息。例如，一个球的飞行轨迹不仅取决于它的初始位置和速度，还可能受到风的影响。风的大小和方向就是潜在变量。由于我们无法直接观测到风，所以我们将其建模为一个随机变量。通过从某个分布中采样潜在变量，世界模型可以生成一组合理的未来预测，从而处理现实世界中的不确定性 。
这四个要素相互作用，共同构成了世界模型的核心功能。智能体通过观测来更新其对世界状态的估计，然后通过模拟不同行动在不同潜在变量影响下的结果，来进行规划和决策。这个框架为构建能够真正理解和交互于复杂现实世界的AI系统提供了一个坚实的理论基础。
2. 核心技术架构：V-M-C模型
2.1 视觉模型（Vision Model, V）：感知与表征
2.1.1 功能：将高维感官输入压缩为低维潜在向量
视觉模型（Vision Model, V）是世界模型架构中的第一个关键组件，其核心功能是处理来自外部世界的高维度感官输入，并将其压缩成一个低维度的潜在向量（latent vector）表示 。在现实世界中，智能体（如机器人或自动驾驶汽车）通过摄像头、激光雷达等传感器接收到的数据通常是极其庞大和复杂的。例如，一张高清彩色图像可能包含数百万个像素点，每个像素点又有RGB三个通道的值。直接处理如此高维度的原始数据不仅计算成本高昂，而且其中包含了大量冗余和无关的信息（如背景噪声、光照变化等），这些信息会干扰智能体对环境核心动态的理解。因此，视觉模型的首要任务就是对原始感官数据进行“降维”和“提纯”，提取出其中最关键、最本质的特征，形成一个紧凑而富有信息量的潜在表示。
这个潜在向量可以被看作是智能体对外部世界的一种“理解”或“感知”。它捕捉了环境中物体的位置、形状、运动状态等关键信息，同时忽略了那些不重要的细节。例如，在自动驾驶场景中，视觉模型需要能够从摄像头捕捉到的图像中，识别出车道线、交通信号灯、其他车辆和行人等关键元素，并将它们的状态（如车辆的速度、行人的行走方向）编码到潜在向量中。通过这种方式，视觉模型为后续的记忆模型和控制器提供了一个清晰、简洁的世界表征，使得整个系统能够更高效地进行学习和决策。这个压缩过程不仅减少了计算负担，更重要的是，它帮助智能体抓住了世界的本质规律，从而能够更好地进行泛化，应对那些从未见过的场景。
2.1.2 技术实现：变分自编码器（VAE）
在技术实现上，视觉模型通常采用变分自编码器（Variational Autoencoder, VAE）或其变种来完成从高维感官输入到低维潜在向量的转换 。VAE是一种强大的生成模型，它由一个编码器（Encoder）和一个解码器（Decoder）组成。编码器负责将输入数据（如一张图像）映射到一个潜在空间中的概率分布（通常是一个高斯分布），而不是一个确定的点。这个概率分布的均值和方差就构成了潜在向量。解码器则负责从这个潜在向量中重建出原始的输入数据。通过训练，VAE能够学习到一种高效的、能够捕捉数据核心特征的潜在表示。
VAE的优势在于它不仅能够进行数据压缩，还能够生成新的、与训练数据相似的数据。这对于世界模型来说非常重要，因为它意味着视觉模型不仅仅是被动地记录观测，而是主动地学习了世界的“生成规律”。此外，VAE通过引入概率分布，使得潜在空间具有良好的连续性和平滑性，这意味着在潜在空间中进行微小的扰动，解码器生成的图像也会发生平滑、合理的变化。这种特性为智能体的探索和学习提供了便利。例如，智能体可以通过在潜在空间中沿着某个方向移动，来“想象”出物体在不同角度或光照条件下的样子。除了VAE，其他一些自监督学习模型，如对比学习（Contrastive Learning）和掩码自编码器（Masked Autoencoders），也可以被用作视觉模型，它们同样能够学习到高质量的视觉表征。
2.1.3 作用：提取环境关键特征，过滤无关噪声
视觉模型在世界模型架构中扮演着“感知器官”的角色，其作用至关重要。它通过将高维的、充满噪声的原始感官数据，转化为低维的、结构化的潜在表示，为整个系统的后续运作奠定了基础。这个过程不仅仅是简单的数据压缩，更是一种“智能过滤”和“特征提取”的过程。它帮助智能体从纷繁复杂的世界中，识别出那些真正重要的信息，并忽略掉那些无关紧要的干扰。
例如，在一个机器人抓取任务中，视觉模型需要能够从摄像头捕捉到的图像中，准确地识别出目标物体的位置、姿态、形状和大小。同时，它还需要能够忽略掉背景中的杂物、光照的变化以及机器人自身手臂的遮挡等无关信息。通过将这些关键特征编码到潜在向量中，视觉模型为控制器提供了一个清晰、稳定的世界表征。控制器可以基于这个表征，来规划出精确的抓取动作。如果没有视觉模型的这种“去噪”和“提纯”功能，控制器将不得不直接处理充满噪声的原始像素数据，这将使得学习任务变得异常困难，甚至不可能完成。因此，视觉模型的作用可以概括为：为智能体提供一个清晰、简洁、信息丰富的“世界观”，使其能够更好地理解环境、进行推理和规划。
2.2 记忆模型（Memory Model, M）：学习与预测
2.2.1 功能：学习环境动态，预测未来状态
记忆模型（Memory Model, M）是世界模型架构中的第二个核心组件，其主要功能是学习环境在时间维度上的动态变化规律，并基于当前的状态和行动来预测未来的状态 。如果说视觉模型（V）负责理解“世界是什么样”，那么记忆模型则负责理解“世界将如何变化”。在现实世界中，几乎所有的事件都发生在时间序列中，当前的状态是过去状态演变的结果，而未来的状态又取决于当前的状态和正在发生的行动。因此，一个智能体要想真正地理解和交互于世界，就必须具备对时间动态进行建模的能力。
记忆模型通过接收来自视觉模型的潜在表示（即对当前世界状态的压缩描述）以及控制器发出的行动指令，来学习这两者与未来世界状态之间的因果关系。例如，在自动驾驶场景中，记忆模型需要学习“当车辆以某个速度行驶，并且方向盘转动某个角度时，车辆在下一秒的位置和朝向将会如何变化”。通过不断地学习和积累这些动态知识，记忆模型就能够在智能体的“脑海”中构建起一个关于世界如何运作的预测模型。这个预测模型是智能体进行规划和决策的基础。当智能体需要完成一个复杂任务时，它可以利用记忆模型来“想象”出执行不同行动序列后可能导致的未来场景，从而选择出最有可能成功的行动方案。
2.2.2 技术实现：循环神经网络（RNN）与混合密度网络（MDN）
在技术实现上，记忆模型通常采用循环神经网络（Recurrent Neural Network, RNN）或其更先进的变种，如长短期记忆网络（LSTM）或门控循环单元（GRU） 。RNN是一种专门为处理序列数据而设计的神经网络，其内部包含一个循环结构，可以保存之前的信息，并将其用于当前的计算。这使得RNN非常适合用来建模时间序列上的依赖关系。在世界模型中，RNN的输入是当前的潜在状态（来自视觉模型）和行动，输出是对下一个潜在状态的预测。
然而，现实世界充满了不确定性，未来的状态往往不是唯一确定的。例如，在掷骰子时，我们无法精确预测出最终的点数。为了处理这种不确定性，记忆模型通常会结合混合密度网络（Mixture Density Network, MDN） 。MDN是一种能够输出概率分布的神经网络，它通过学习多个高斯分布的混合来近似任意复杂的概率分布。在记忆模型中，RNN的输出不再是一个确定的潜在向量，而是一个MDN，这个MDN描述了下一个潜在状态的概率分布。通过从这个概率分布中进行采样，智能体就可以生成多个可能的未来场景，从而更好地应对不确定性。这种RNN+MDN的组合，使得记忆模型不仅能够预测未来，还能够量化未来预测的不确定性，为智能体的鲁棒决策提供了重要依据。
2.2.3 作用：建模时间依赖性，预测行动后果
记忆模型在世界模型架构中扮演着“预言家”的角色，其作用至关重要。它通过学习世界的时间动态，为智能体提供了预测未来的能力。这种能力使得智能体能够超越对当前状态的简单反应，转而进行具有前瞻性的规划和决策。记忆模型的作用可以具体体现在以下几个方面：
首先，建模时间依赖性。记忆模型通过其内部的循环结构，能够捕捉和记忆世界状态在时间上的演变规律。这使得智能体能够理解事件的因果关系，例如“按下开关”会导致“灯亮”。这种对因果关系的理解是智能体进行有效学习和泛化的基础。
其次，预测行动后果。记忆模型的核心功能是预测在给定当前状态和某个行动后，世界将会如何变化。这使得智能体可以在“脑海”中进行“思想实验”，即在真正执行行动之前，先模拟其可能带来的后果。例如，一个机器人可以通过记忆模型来预测，如果以某种方式移动手臂，是否会碰到周围的障碍物。这种预测能力极大地提高了智能体在复杂环境中的安全性和效率。
最后，支持长期规划。通过将记忆模型的预测能力迭代使用，智能体可以进行多步规划。它可以想象出执行一系列行动后，未来几步甚至几十步的世界状态。这种长期规划能力对于完成复杂的、需要多个步骤才能完成的任务至关重要。例如，在规划一次旅行时，我们需要考虑多个中转站、不同的交通方式以及时间安排，这种复杂的规划能力正是记忆模型所要赋予AI的。
2.3 控制器（Controller, C）：决策与规划
2.3.1 功能：基于世界模型的表示进行决策
控制器（Controller, C）是世界模型架构中的第三个，也是最后一个关键组件。它的核心功能是基于视觉模型（V）提供的当前世界表征和记忆模型（M）预测的未来状态，来做出最优的决策和规划 。如果说视觉模型是“眼睛”，记忆模型是“大脑”的预测部分，那么控制器就是“大脑”的决策部分，它负责决定智能体应该采取什么行动来达成其目标。控制器并不直接与原始的外部世界交互，而是在一个由视觉模型和记忆模型共同构建的内部模拟世界中进行“思考”和“规划”。
这种在内部世界中进行决策的方式，是世界模型架构相比于传统AI方法的一大优势。传统强化学习方法通常需要智能体在真实环境中进行大量的试错来学习策略，这不仅效率低下，而且在许多现实场景中是不可行的。而控制器则可以在一个安全、高效的模拟环境中进行训练。它可以通过向记忆模型提出各种“假设性问题”（例如，“如果我向左转，会发生什么？”），来评估不同行动可能带来的结果，并选择那个最有可能导向成功的行动。这个过程可以反复迭代，使得控制器能够规划出复杂的、多步的行动序列，以完成长期目标。例如，在机器人导航任务中，控制器可以利用世界模型来规划出一条从起点到终点的无碰撞路径。
2.3.2 技术实现：轻量级策略网络
在技术实现上，控制器通常被设计为一个轻量级的策略网络（Policy Network） 。由于控制器是在一个已经被视觉模型和记忆模型高度抽象和简化的潜在空间中运作，它不需要处理复杂的原始感官数据，因此其结构可以相对简单。一个典型的控制器可以是一个小型的前馈神经网络，其输入是当前的潜在状态（来自视觉模型）和记忆模型的隐藏状态（包含了对未来的预测信息），输出是一个行动指令（例如，机器人的关节角度、自动驾驶汽车的方向盘转角和油门）。
控制器的训练通常采用强化学习的方法。但与传统的强化学习不同，控制器是在世界模型构建的模拟环境中进行训练的。训练过程如下：控制器从某个初始状态开始，根据当前的世界表征选择一个行动；这个行动被输入到记忆模型中，记忆模型预测出下一个世界的状态；然后，根据这个新的状态，环境会给出一个奖励（或惩罚）；控制器根据这个奖励来更新其策略，以便在未来能够获得更高的累积奖励。由于整个过程都在模拟环境中进行，因此可以快速地执行数百万次的迭代，从而高效地学习到最优策略。一旦控制器在模拟环境中训练完成，它就可以被部署到真实世界中，与真实的环境进行交互。
2.3.3 作用：在模拟环境中选择最优行动序列
控制器在世界模型架构中扮演着“决策者”和“规划者”的角色，其作用至关重要。它利用视觉模型和记忆模型提供的“世界观”和“预测能力”，来制定智能体的行动策略。控制器的作用可以具体体现在以下几个方面：
首先，在模拟环境中进行高效训练。控制器最大的作用之一就是使得智能体的训练过程可以在一个完全模拟的环境中进行。这极大地提高了训练效率，并避免了在真实环境中进行试错可能带来的高昂成本和风险。例如，训练一个自动驾驶汽车，我们可以在模拟器中设置各种极端天气和复杂的交通状况，让控制器在这些场景下进行大量的练习，而无需担心安全问题。
其次，进行长期规划和决策。通过与世界模型（特别是记忆模型）的交互，控制器可以进行多步规划。它可以“想象”出执行一系列行动后可能导致的未来状态序列，并评估这个序列的最终结果。这种能力使得智能体能够完成那些需要长期规划和复杂决策的任务。例如，在机器人堆叠积木的任务中，控制器需要规划出一系列动作，以将散落的积木堆成一个稳定的塔，这需要它预见每一步动作对后续步骤的影响。
最后，实现目标导向的行为。控制器通常与一个目标函数（或奖励函数）相结合。这个目标函数定义了智能体需要达成的目标。控制器的作用就是找到一个行动序列，使得在执行这个序列后，世界的状态能够最大化地满足目标函数。这使得智能体的行为不再是随机的或反应式的，而是具有明确目的性的。例如，在机器人抓取任务中，目标函数可以被定义为“成功抓取物体”，控制器的作用就是规划出一条能够实现这个目标的手臂运动轨迹。
3. 应用场景与现状
3.1 强化学习与游戏
3.1.1 案例：赛车游戏（Car Racing）与Doom游戏
世界模型在游戏领域的应用是其能力最直观的展示。其中，由David Ha和Jürgen Schmidhuber在2018年提出的经典工作，利用世界模型成功训练AI智能体掌握了《Car Racing》和《ViZDoom》等复杂游戏 。在《Car Racing》中，智能体需要控制赛车在蜿蜒的赛道上高速行驶，同时避免冲出赛道。在《ViZDoom》中，智能体则需要在3D迷宫环境中进行导航、寻找敌人并射击。这些任务对智能体的感知、预测和决策能力提出了极高的要求。
在这些实验中，世界模型的架构被清晰地划分为三个部分：视觉模型（V）、记忆模型（M）和控制器（C）。首先，视觉模型（通常是一个变分自编码器VAE）将游戏的高维像素图像压缩成一个低维的潜在向量（latent vector），这个向量保留了图像中的关键信息，如赛车的位置、赛道的走向等，同时过滤掉了无关的噪声。接着，记忆模型（通常是一个循环神经网络RNN，如MDN-RNN）接收当前的潜在向量和智能体采取的动作，预测下一个时间步的潜在向量。这个记忆模型实际上学习到了游戏的物理引擎和动态规则，例如“向左转”这个动作会如何改变赛车在下一帧的位置和角度。最后，控制器（一个简单的神经网络）在由记忆模型构建的“梦境”中进行规划。它不再需要与真实的游戏环境交互，而是可以在内部模拟器中快速尝试成千上万种不同的动作序列，评估每种序列可能带来的结果（例如，赛车是否会偏离赛道），并选择最优的动作序列来执行 。
这种“在想象中训练”的方式带来了惊人的效果。智能体仅通过与真实环境的少量交互来收集初始数据以训练世界模型，之后几乎所有的策略学习都在其内部模拟器中完成。这不仅极大地加快了训练速度，还使得智能体能够学习到更加鲁棒和长远的策略。例如，在赛车游戏中，智能体可以提前预判弯道的出现并提前减速，而不是等到最后一刻才做出反应。这种基于模型的规划能力，是传统无模型强化学习方法难以企及的。
3.1.2 优势：在“梦境”中训练，减少真实环境试错成本
世界模型在强化学习中的核心优势在于其卓越的样本效率（Sample Efficiency）。样本效率指的是智能体达到特定性能水平所需的环境交互次数。在机器人控制、自动驾驶等现实世界应用中，每一次交互都可能意味着物理磨损、能源消耗甚至安全风险，因此高样本效率至关重要。世界模型通过将学习过程分为两个阶段——“世界模型学习”和“策略学习”——来解决这个问题。
在第一阶段，智能体通过与环境的少量交互，收集一系列（状态，动作，下一个状态）的转移数据，并用这些数据来训练一个能够准确预测环境动态的“世界模型”。这个模型本质上是一个环境的“数字孪生”或“模拟器”。在第二阶段，智能体不再需要与真实环境交互，而是直接在这个已经学习到的世界模型中进行策略优化。它可以在世界模型中自由地、无成本地进行大量的“rollouts”（推演），尝试各种可能的动作序列，并观察其后果。这个过程就像人类在脑海中进行“思想实验”或“白日梦”，通过想象来评估不同决策的优劣。
这种“在梦境中训练”的模式带来了多重好处。首先，它极大地降低了试错成本。智能体可以在模拟器中安全地探索那些可能导致失败或危险的动作，而这些动作在真实环境中是绝对不允许的。其次，它显著加快了学习速度。在模拟器中进行一次推演的时间远快于在真实环境中进行一次物理交互，这使得智能体可以在短时间内积累大量的经验。最后，它有助于实现长期规划。由于世界模型可以预测未来多个时间步的状态，智能体可以制定出跨越较长时间范围的复杂策略，而不仅仅是做出短视的即时反应。例如，DayDreamer算法成功地将这一思想应用于真实的物理机器人，让四足机器人在1小时内学会行走，机械臂在稀疏奖励下学会抓取物体，这些都证明了世界模型在减少真实世界试错成本方面的巨大潜力 。
3.2 自动驾驶
3.2.1 应用：预测交通参与者行为，规划安全路径
在自动驾驶场景中，世界模型的应用主要体现在两个层面：环境预测和行为规划。首先，在环境预测层面，世界模型能够整合来自摄像头、激光雷达（LiDAR）、毫米波雷达等多种传感器的数据，构建一个高保真的环境表征。这个表征不仅包含当前时刻的静态场景（如道路结构、建筑物），还包含所有动态交通参与者（如其他车辆、行人、自行车）的当前状态。更重要的是，世界模型能够基于这些动态参与者的历史轨迹和当前状态，预测它们在未来一段时间内的可能行为。例如，模型可以预测前方车辆是否会突然变道，路边行人是否有横穿马路的意图。这种预测能力对于提前规避风险至关重要。
其次，在行为规划层面，世界模型为车辆的决策系统提供了一个强大的“模拟器”。当车辆需要做出决策时（例如，在十字路口是左转还是直行），它可以在其内部世界模型中模拟执行不同决策可能带来的后果。例如，它可以模拟左转时与对向直行车辆发生碰撞的风险，或者模拟直行时是否会因为前方拥堵而陷入停滞。通过在模拟器中评估不同决策的长期收益和风险，车辆可以选择一个最优的、最安全的行驶轨迹。这种基于模型的规划方法，相比于传统的基于规则或基于优化的方法，能够更好地处理复杂和不确定的交通场景，特别是那些所谓的“长尾场景”（Long-tail Scenarios），即那些在训练数据中很少出现但现实中可能发生的极端情况。一篇2025年的综述论文指出，世界模型通过生成多样化的驾驶场景，可以有效增强对长尾场景的应对能力，从而提升自动驾驶系统的鲁棒性和安全性 。
3.2.2 技术路径：基于图像、鸟瞰图（BEV）和点云的生成方法
为了在自动驾驶中构建有效的世界模型，研究人员探索了多种技术路径，这些路径主要根据环境表征的形式来划分。根据一篇2025年发布的关于自动驾驶世界模型的综述，这些技术路径可以被系统地归类。
1. 基于图像（Image-based）的生成方法：这是最直观的方法，直接以摄像头捕捉的原始图像或视频作为世界模型的输入和输出。模型需要学习从一系列历史图像中预测未来的图像帧。这种方法的优点是能够保留丰富的视觉细节，但挑战在于图像是高维数据，直接预测像素级别的未来非常困难，容易产生模糊或不真实的结果。为了解决这个问题，研究人员引入了生成对抗网络（GANs）和扩散模型（Diffusion Models）等先进的生成技术，以提高生成图像的质量和真实感。
2. 基于鸟瞰图（Bird’s-Eye-View, BEV）的生成方法：BEV是一种将3D场景投影到2D俯视图的表征方式。它能够清晰地展示车辆、车道线、障碍物等在空间中的位置和关系，并且不受视角变化的影响，非常适合用于规划和决策。在BEV-based的世界模型中，模型学习从历史BEV图中预测未来的BEV图。这种方法将复杂的3D预测问题简化为2D图像预测问题，降低了模型的复杂度，同时保留了规划所需的关键空间信息。许多最新的研究，如BEVWorld，都采用了这种路径，通过统一的多模态潜在空间来构建BEV世界模型 。
3. 基于占用网格（Occupancy Grid, OG）和点云（Point Cloud, PC）的生成方法：这两种方法更侧重于对3D几何空间的建模。占用网格将3D空间划分为一个个小立方体（体素），并预测每个体素是否被占用。点云则是由激光雷达等设备直接获取的3D坐标点集合。基于OG或PC的世界模型，旨在预测未来3D空间的占用情况或点云的演化。这种方法能够更精确地捕捉物体的3D形状和运动，对于避免碰撞至关重要。例如，OccWorld和OccSora等模型就是基于占用网格来构建4D（3D空间+1D时间）的世界模拟器 。
此外，该综述还提出了一个三层分类法来概括自动驾驶世界模型的研究方向：
未来物理世界的生成（Generation of Future Physical World） ：即上述基于不同表征（图像、BEV、OG、PC）的生成方法。
智能体的行为规划（Behavior Planning for Intelligent Agents） ：将世界模型与规划模块结合，通过成本图优化或强化学习来生成安全的行驶轨迹。
预测与规划的交互（Interaction between Prediction and Planning） ：实现多智能体（自车与其他交通参与者）之间的协同决策，例如通过潜在空间扩散模型来模拟多车交互 。
这些技术路径的不断发展和融合，正在推动自动驾驶技术向着更安全、更智能、更可靠的方向迈进。
3.3 机器人技术
3.3.1 应用：提升机器人在复杂环境中的操作与导航能力
世界模型在机器人领域的应用主要集中在提升其操作（Manipulation）和导航（Navigation）两大核心能力上。在操作任务中，例如抓取和放置物体，机器人需要精确地理解物体的几何形状、物理属性（如重量、摩擦力）以及它们之间的相互作用。世界模型可以帮助机器人在执行动作前，在模拟器中预测抓取是否成功、物体会如何移动，从而选择最稳妥的抓取姿态和力度。一篇名为《Dream to Manipulate》的论文提出了一种名为DreMa的方法，它利用高斯溅射（Gaussian Splatting）和物理模拟器来构建一个可学习的“数字孪生”世界模型。这个模型不仅能复制真实世界的场景，还能让机器人在其中想象物体的新配置，并预测自己动作的后果。利用这种能力，机器人甚至可以从单个演示中学习新的操作任务（one-shot policy learning），极大地提高了数据效率。
在导航任务中，机器人需要在未知或动态的环境中规划路径，避开障碍物，并到达指定目标。世界模型可以帮助机器人预测环境中其他动态物体（如行人、其他机器人）的运动轨迹，从而提前规划出安全的避让路径。例如，加州大学伯克利分校的研究团队将Dreamer算法直接应用于四种不同的真实世界机器人，包括四足机器人、机械臂和轮式机器人。在没有使用任何模拟器的情况下，这些机器人从零开始，仅通过与真实世界的少量在线交互，就学会了翻滚、站立、行走、抓取、放置和导航等复杂技能。其中，四足机器人在被推倒后，能在10分钟内迅速适应并重新站稳，这充分展示了世界模型赋予机器人的快速适应和鲁棒性。
3.3.2 优势：通过模拟学习物理规律，减少对真实世界数据的依赖
世界模型在机器人技术中的最大优势在于其“样本高效性”和“安全性”。在真实世界中训练机器人是一项极具挑战性的任务。每一次失败的尝试都可能导致机器人损坏或对环境造成破坏，这使得探索性学习变得异常困难和昂贵。世界模型通过提供一个可学习的、可交互的模拟环境，完美地解决了这个问题。机器人可以在这个“梦境”中进行大量的、无风险的试错学习，探索各种可能的动作和策略，而无需担心物理上的后果。
此外，世界模型能够将从大量离线数据中学到的关于物理世界的通用知识（如重力、碰撞、物体持久性等）进行编码和泛化。这意味着，一旦一个通用的世界模型被训练好，它就可以被用于多种不同的下游任务，而无需为每个新任务都从头开始收集大量的真实世界数据。例如，一个学习了基本物理规律的世界模型，可以被用来训练机器人完成叠积木、整理桌面、开关抽屉等多种操作任务。这种知识的复用和泛化能力，是迈向通用机器人智能的关键一步。
一篇关于机器人世界模型的综述性文章指出，世界模型通过其“tell/ask”接口，实现了感知、记忆和规划模块之间的高效信息交换。感知模块将新的观测信息“告知（tell）”世界模型，更新其对环境的信念；而规划模块则可以“询问（ask）”世界模型，以获取关于环境状态或预测未来状态的信息，从而指导其决策 。这种模块化的架构，使得机器人系统能够以一种更加结构化和可解释的方式运行，为实现更高级别的自主智能奠定了坚实的基础。
4. 学术争议与未来方向：大模型与世界模型之争
4.1 争议焦点：生成式路线 vs. 非生成式路线
4.1.1 杨立昆对Sora的批评：生成式模型不是真正的世界模型
近年来，随着以Sora为代表的视频生成大模型的出现，关于“大语言模型（LLM）是否能通向通用人工智能（AGI）”的争论愈演愈烈。Meta首席AI科学家杨立昆（Yann LeCun）对此持明确的批判态度。他认为，像Sora这样的生成式模型，虽然在生成逼真视频方面表现出色，但它们本质上只是在学习数据的统计规律，而不是真正理解物理世界 。杨立昆指出，这些模型通过在离散的词元（token）空间中进行预测，其能力存在先天限制。他将LLM形容为“大型的token生成器”，并断言单纯依赖这种自回归语言模型的范式是条死胡同，甚至预测“再过五年可能没有人会再使用目前这种纯LLM范式” 。
杨立昆的核心论点是，生成式模型缺乏对物理世界的真实认知、持续的长时记忆、真正的因果推理能力以及复杂的规划能力 。例如，Sora生成的视频可能在视觉上很逼真，但它可能并不理解视频中的物体为什么会那样运动，也无法保证生成的视频始终遵循物理定律（如重力、惯性）。这种对物理世界理解的缺失，使得生成式模型在面对需要精确推理和规划的任务时，表现得力不从心。杨立昆认为，真正的智能需要建立在对世界如何运作的深刻理解之上，而这正是世界模型所要实现的目标。因此，他主张AI研究应该转向构建能够真正理解和模拟物理世界的世界模型，而不是仅仅停留在生成逼真数据的层面。
4.1.2 核心分歧：对物理世界的理解与因果推理能力
杨立昆与大模型支持者之间的核心分歧，在于对“理解”和“推理”这两个概念的不同看法。大模型的支持者认为，通过在海量数据上进行训练，模型能够隐式地学习到世界的知识，包括物理规律和因果关系。例如，一个模型在看到了无数张“苹果从树上掉下来”的图片后，就“理解”了重力的概念。然而，杨立昆认为，这种基于统计关联的学习方式，与真正的理解和推理相去甚远。他指出，LLM缺乏对物理世界的直观理解，因为它们从未真正“体验”过世界，而只是在处理文本和图像等符号 。
真正的理解和推理，意味着能够进行因果推断，即理解“为什么”会发生某件事，而不仅仅是“什么”会接着发生。例如，一个具备真正理解能力的AI，不仅应该知道“苹果会掉下来”，还应该能够理解这是因为“地球对苹果施加了引力”。这种因果推理能力，使得智能体能够进行反事实思考（“如果世界上没有重力，苹果还会掉下来吗？”），从而更好地进行规划和决策。杨立昆认为，世界模型正是实现这种因果推理能力的关键。通过在内部构建一个关于世界如何运作的模拟器，智能体可以在其中进行各种“思想实验”，来验证自己的假设，并学习世界的因果规律。这种基于模型的学习方式，被认为是通往更高级别人工智能的必经之路。
4.2 杨立昆的解决方案：JEPA架构
4.2.1 JEPA（联合嵌入预测架构）的核心思想
为了克服生成式模型的局限性，杨立昆提出了一个全新的AI架构——联合嵌入预测架构（Joint Embedding Predictive Architecture, JEPA） 。JEPA的核心思想是，不再直接在像素级或词元级的原始数据空间进行预测和生成，而是在一个更高层次的、抽象的潜在表示空间中进行预测。具体来说，JEPA包含两个主要部分：一个编码器（Encoder）和一个预测器（Predictor）。编码器负责将输入数据（如一段视频的两帧图像）分别映射到两个潜在向量。预测器则负责根据其中一个潜在向量（代表“源”视图），来预测另一个潜在向量（代表“目标”视图）。
JEPA的关键在于，它学习的是输入数据之间的依赖关系，而不是直接生成输出。例如，在视频预测任务中，JEPA的目标不是生成下一帧的像素图像，而是预测下一帧在潜在空间中的表示。这种方式有几个优点。首先，潜在空间通常比原始数据空间维度更低、更结构化，因此在其中进行预测的计算效率更高。其次，通过学习在抽象空间中进行预测，JEPA可以自然地忽略掉那些难以预测但对任务不重要的细节（如背景中的树叶晃动），从而专注于学习世界的核心动态。最后，JEPA的训练过程是自监督的，它不需要人工标注的数据，只需要从大量的未标记数据中学习，这使得它能够高效地利用海量的数据资源。
4.2.2 与生成式模型的区别：在抽象表示空间进行预测
JEPA与生成式模型（如VAE、GAN或LLM）的根本区别在于其预测的目标空间不同。生成式模型的目标是重建或生成与原始数据尽可能相似的输出，因此它们需要在高维的原始数据空间（如像素空间）中进行操作。这导致它们需要花费大量的计算资源来学习那些对理解世界动态并不重要的细节，例如图像的纹理、光照等。而JEPA则完全放弃了在原始数据空间中进行生成，转而专注于在编码器学习到的抽象潜在空间中进行预测。
这种在抽象空间中进行预测的方式，使得JEPA能够更高效地学习世界的核心规律。例如，在理解一段关于物体运动的视频时，生成式模型需要学习如何精确地生成物体的每一个像素，包括其颜色、纹理等。而JEPA只需要学习物体在潜在空间中的位置和运动轨迹，而无需关心其具体的外观。这使得JEPA能够更快地收敛，并且学到的表示更具泛化能力。此外，由于JEPA不进行像素级的重建，它也避免了生成式模型中常见的“模糊”或“不真实”的问题。杨立昆认为，这种在抽象空间中进行预测的方式，更接近于人类和动物的学习方式。我们理解世界，也是通过提取其核心概念和规律，而不是去记忆每一个细节。
| 特性 | 生成式模型 (如 Sora) | JEPA (如 V-JEPA) |
| 预测目标 | 像素级的细节（Pixel-level details） | 抽象的潜在表示（Abstract latent representation） |
| 预测空间 | 高维的像素空间 | 低维的嵌入空间 |
| 学习重点 | 模仿数据中的纹理和外观 | 学习世界动态的语义和规律 |
| 对噪声的处理 | 试图预测所有细节，包括噪声 | 忽略不可预测的噪声，专注于可预测的结构 |
| 计算效率 | 计算成本高昂 | 计算效率更高 |
| 物理理解 | 通过相关性学习“看起来像”物理 | 通过学习抽象规律来理解物理 |
4.2.3 V-JEPA：在视频理解领域的应用
为了验证JEPA架构的有效性，杨立昆的团队开发了V-JEPA（Video Joint Embedding Predictive Architecture），并将其应用于视频理解领域 。V-JEPA的训练方式是，向模型输入一段视频，然后随机地遮蔽（mask）掉其中的一部分，让模型根据未被遮蔽的部分来预测被遮蔽部分在潜在空间中的表示。通过这种方式，V-JEPA被迫去学习视频中的时空关系，例如物体的运动规律、场景的转换等。
V-JEPA在多个视频理解任务上都取得了优异的表现，例如动作识别、场景分类等。更重要的是，V-JEPA学到的表示具有很强的泛化能力，可以迁移到各种不同的下游任务中。这表明V-JEPA确实学习到了一些关于世界如何运作的通用知识，而不仅仅是针对某个特定任务的统计规律。杨立昆认为，V-JEPA的成功，为构建真正的世界模型指明了一条可行的道路。通过将JEPA架构扩展到更复杂的、多模态的数据上，并结合更强大的规划模块，我们有望构建出能够真正理解物理世界、进行因果推理和复杂规划的AI系统。V-JEPA的出现，也为“大模型与世界模型之争”提供了一个重要的实验证据，支持了杨立昆关于“非生成式路线是通往AGI的正确方向”的观点。
4.3 未来展望
4.3.1 世界模型被认为是通往通用人工智能（AGI）的关键路径
世界模型被广泛认为是实现通用人工智能（AGI）的关键路径之一 。AGI的目标是创造出能够像人类一样思考、学习和解决各种问题的智能系统。而人类智能的一个核心特征，就是具备一个关于世界的丰富而深刻的内部模型。我们通过这个模型来理解周围的环境，预测未来的事件，并进行复杂的规划和推理。因此，构建一个能够媲美人类的世界模型，被认为是实现AGI的必经之路。
杨立昆甚至提出了一个更为宏大的构想，即构建一个“自主机器智能”（Autonomous Machine Intelligence）系统 。这个系统不仅包含一个世界模型，还包含感知模块、记忆模块、执行模块和成本模块等多个部分。整个系统以最小化成本为目标，通过与世界进行交互来不断学习和优化其行为。杨立昆认为，这样的系统能够真正地理解世界，并以一种高效、安全的方式完成各种复杂的任务。他甚至预测，在未来6到7年内，我们有望看到达到动物级别智能的AI系统出现，而在十年内，可能会实现接近人类水平的推理能力 。这些预测虽然听起来有些激进，但它们反映了世界模型在AI领域的巨大潜力和广阔前景。
4.3.2 挑战：如何构建更精确、更通用的世界模型
尽管世界模型的前景广阔，但在实现这一目标的道路上，仍然面临着许多严峻的挑战。一方面，如何构建更精确的世界模型是一个核心难题。现实世界是极其复杂和多变的，充满了各种不确定性和随机性。要构建一个能够精确模拟现实世界的模型，需要解决高维连续空间的表示学习、复杂动态的建模、以及不确定性的量化等一系列技术难题。目前的世界模型大多只能在相对简单和受限的环境中工作，如何将其扩展到更复杂的、开放的真实世界场景中，是一个巨大的挑战。
另一方面，如何构建更通用的世界模型也是一个重要问题。目前的世界模型大多是针对特定任务或特定环境进行训练的，其学到的知识很难迁移到其他任务或环境中。例如，一个在赛车游戏中学到的世界模型，很难被直接应用到机器人抓取任务中。如何构建一个能够学习到关于世界通用规律的世界模型，使其学到的知识能够被广泛应用于各种不同的下游任务，是实现AGI所必须解决的关键问题。此外，如何有效地将世界模型与决策规划模块相结合，以及如何设计高效的世界模型训练算法，也是当前研究的热点和难点。
4.3.3 趋势：结合多模态感知与分层规划的世界模型
为了应对上述挑战，世界模型的研究呈现出一些明显的发展趋势。其中一个重要的趋势是结合多模态感知。现实世界中的信息是多模态的，我们不仅通过视觉来感知世界，还通过听觉、触觉、嗅觉等多种感官来获取信息。因此，未来的世界模型需要能够融合来自不同模态的信息，构建一个更加全面和立体的世界表征。例如，一个机器人不仅需要看到前面的障碍物，还需要听到它发出的声音，甚至感受到它表面的温度，才能更好地理解这个障碍物是什么，以及应该如何与之交互。
另一个重要的趋势是分层规划。现实世界中的任务通常是层次化的，一个复杂的任务可以被分解成一系列更简单的子任务。例如，“做一顿饭”这个任务，可以被分解为“洗菜”、“切菜”、“炒菜”等多个子任务。未来的世界模型需要能够支持这种分层规划的能力。在高层级，模型可以进行粗粒度的规划，例如决定先做什么菜，后做什么菜。在低层级，模型则可以进行细粒度的规划，例如规划出如何精确地切好一根黄瓜。这种分层规划的能力，不仅可以提高规划的效率，也使得智能体能够更好地处理那些需要长期规划和复杂决策的任务。通过将多模态感知和分层规划相结合，未来的世界模型有望变得更加智能、更加通用，从而真正实现与人类水平的智能。
