OmniRL: Large-Scale Meta-Training in Randomized Worlds
|
|
|
|
|
OmniRL:实时上下文强化学习基座模型 |
预训练和元训练：授模型以鱼和授模型以渔
训练最早以教会模型完成多种多样的任务为出发点，在大规模预训练中，模型除了记住这些训练任务本身，涌现出的最重要的能力就是上下文学习（In-Context Learning），这种能力能够帮助大模型通过提示信息来构建完成新任务的能力。
OmniRL提出大规模元训练，和预训练不同之处在于，OmniRL目标不是记忆训练任务的技能本身，而是学习如何进行强化学习的过程。元学习，又叫学习学习的方法(Learning To Learn)，早在80年代被提出。但OmniRL论文认为，缺乏大规模任务和长序列支撑的元学习，容易实际陷入“任务识别”的模式：模型只是记住了训练的环境，在推理时通过识别处于哪一个环境“激活”对应的技能。这种模式不具备对未见任务和分布外任务的泛化性。
随机世界：AnyMDP
AnyMDP生成的随机世界示例。点的颜色标识状态的平均奖励，线的深度标识状态之间的平均转移概率 |
首次利用上下文学习统一多强化学习和模仿学习
OmniRL提出同时利用先验信息和后验奖励（Feedback）进行上下文学习，使得该模型可以自己在不同学习模式间根据需求切换。图2展示了在随机世界中训练的OmniRL模型，仅通过上下文学习，不依赖于任何梯度优化，在冷启动，或者预先给定一段演示轨迹（包括专家演示，以及较差的演示），能通过在线强化学习（Online-RL），离线强化学习 (Offline-RL)，模仿学习 (IL)的自主切换，达到较好表现，证明上下文学习有巨大的灵活性。进一步，还能在演示的基础上，进一步通过自主探索持续提升自身能力。
OmniRL在完全未见过的Gymnasium环境中的表现 |
OmniRL训练的智能体甚至可以完成多智能体协作任务。通过把对方的状态引入到观测，它可以完成类似Switch这种简单任务。这类任务要求智能体展现不同的行为模式来实现协作。而通过模型的上下文学习和适应能力，两个OmniRL控制的智能体能够有效完成上述任务。
首次揭示出数据多样性和序列长度重要性根源
模型的位置损失和元训练的步数，以及上下文长度的关系 |
- 数据的完整性和多样性比数据的绝对准确性（absolute fidelity）更重要.即使采用失真的数据，通过提升上下文学习的泛化性，也有可能更好泛化到真实任务。
- 长序列建模和长时记忆是通用学习能力的自然选择.在训练任务数量增加时，模型在学习过程中自然选择不去记忆任务关联的知识，而是只记忆学习方法，从而导致对训练集中出现的任务也需要花费更长适应时间。这正是大规模元学习的特点。
线性自注意力机制体现出效率和长序列表现上的明显优势
模型的位置损失和元训练的步数，以及上下文长度的关系 |
面向下一代通用具身智能体的技术探索
我们的最终目标是实现对任意环境都能完全自主探索和学习的智能体。对于具身智能意义更加重大。大语言模型通过参数记忆捕捉了大量常识，百科和数理逻辑，构成了其零样本能力的基础。但具身智能面对多样的环境，任务以及复杂的本体异构性，常识很难成为解决具身问题的基础。我们认为，自主学习能力和长时记忆将是通用具身智能体的关键。