手把手带你入门！具身导航的S2E模型，让AI学会“

主要贡献

• 提出Seeing-to-Experiencing（S2E）学习框架，将离线视频预训练和模拟环境中的强化学习相结合，既保持了模型从大规模真实世界视频中获得的泛化能力，又通过强化学习增强了模型的交互性。
• 引入锚点引导分布匹配（Anchor-Guided Distribution Matching，AGDM）策略用于离线预训练，通过基于锚点的监督稳定学习并建模多样化的运动模式。
• 提出残差注意力模块（Residual-Attention Module，RAM）用于强化学习阶段，在模拟环境中获得反应性行为的同时，保留模型的预训练知识。
• 建立基于真实世界场景的光栅化三维高斯溅射重建的NavBench-GS综合端到端评估基准，能够系统评估导航基础模型的泛化性和安全性。
• 通过大量实验表明，S2E框架能够显著提升模型性能，缓解仅使用离线数据扩展时的收益递减问题，并且在真实世界的不同机器人平台上实现了零样本泛化。

研究背景

• 导航基础模型在大规模网络规模数据上进行训练，能够使智能体在多样化环境中泛化，但仅基于离线数据训练的模型在现实世界城市导航中面临局限性，如缺乏对行为后果的推理能力和通过反事实理解进行适应的能力，难以应对动态环境中的障碍物和行人等交互性和安全性要求高的任务。
• 以往的导航基础模型研究主要依赖大规模网络视频和人类演示进行预训练，但这些方法存在一些问题，如缺乏物理和因果关系的明确信息，导致模型在真实世界中的适应性和反应性有限。

S2E 学习框架

框架概述

S2E（Seeing-to-Experiencing）学习框架旨在通过结合离线视频预训练和模拟环境中的强化学习，训练出既具有泛化能力又具备交互性的导航基础模型。该框架的核心目标是学习一个视觉导航策略π，使机器人能够从起点ps导航到目标点pd。具体来说，S2E框架包含两个关键部分：

• 离线预训练：通过锚点引导分布匹配（Anchor-Guided Distribution Matching，AGDM）策略对真实世界视频数据进行预训练，以学习复杂的多模态分布并稳定学习过程。
• 强化学习后训练：通过残差注意力模块（Residual-Attention Module，RAM）在模拟环境中进行强化学习，以增强模型的交互性并保留预训练知识。

锚点引导分布匹配预训练

机器人导航轨迹具有多模态性，即在相同的观察条件下，可能存在多个有效的动作。有效建模这种多模态性对于泛化策略至关重要。然而，常见的表示方法（如离散动作或单模态高斯分布）缺乏表达能力，而扩散模型虽然表达能力强，但过于灵活，难以控制，可能导致不安全的轨迹。

• 方法介绍：

  （1） 提出了一种锚点引导的高斯混合模型（GMM）来表示机器人动作。具体来说，通过在机器人的前进方向上均匀采样生成多个锚点，每个锚点对应GMM中的一个高斯模式。
  （2）这些锚点作为可解释的高级意图，模型通过学习这些锚点的分数来反映每个意图点被选为引导模式的概率。通过这种方式，模型能够在保持结构化的同时，生成多样化且目标一致的行为。

• 模型架构：

  （1）模型接收连续的RGB帧和目标位置作为上下文信息，并使用预定义的与具体体现无关的锚点作为查询进行预测。首先，通过自注意力模块整合上下文嵌入，生成键（K）和值（V）。同时，锚点特征fP作为查询（Q）。
  （2） 随后，RAM块根据锚点查询Q计算加权特征，并生成细化的锚点特征。最终，通过分类头和回归头解码锚点特征，预测分数和归一化的轨迹以及速度尺度。

• 训练过程：

  （1） 模型采用端到端的训练方式，使用两种训练损失。第一种是负对数似然（NLL）损失，用于监督分类头和轨迹头。
  （2）通过选择与真实轨迹方向最一致的模式进行优化。第二种是L2回归损失，用于优化速度尺度。

残差注意力强化学习

如果直接对整个模型参数进行强化学习微调，可能会导致模型对模拟数据过度拟合，从而在真实世界数据上表现不佳。特别是对于视觉编码器等对领域变化敏感的组件，这种分布偏移可能会显著降低性能。

• 方法介绍：

  （1） RAM模块通过复制预训练的交叉注意力层，并在复制的层上进行微调，同时保持原始模块冻结。
  （2）这种设计通过在复制的模块周围添加两个零初始化的线性层，确保在初始化时，添加的适应分支对原始模型输出没有影响，但在微调过程中可以平滑地进行适应。

• 训练过程：

  （1） 使用PPO算法进行训练，定义了综合的奖励函数，包括速度方向奖励、位移惩罚、到达目标奖励和碰撞惩罚。
  （2）通过策略梯度调整RAM模块的参数，使用PPO剪辑目标和熵正则化进行微调。

实验

通过强化学习提升模型性能

• 研究问题：验证强化学习（RL）是否能在离线预训练的基础上进一步提升导航性能。
• 模型变体：

• S2E-BC：仅使用离线预训练数据的行为克隆模型。
• S2E-PPO：从头开始使用PPO进行强化学习训练的模型。
• S2E-SFT：在预训练后使用监督微调（SFT）的模型。
• S2E-Full：结合预训练和强化学习微调的完整方法。

• 数据集：使用不同规模的离线数据进行训练，评估模型在不同数据规模下的性能。
• 实验结果：

• 数据规模与性能：S2E-BC在数据规模增加到一定程度后，性能提升有限（从100k样本增加到200k样本，成功率仅提高3%）。而S2E-PPO通过强化学习在模拟环境中学习交互性，成功率比预训练模型提高了21%，且未使用更多离线数据。
• SFT与RL对比：在增加训练成本的情况下，RL保持或提高了成功率，而SFT则出现严重的过拟合问题。这表明RL不仅样本效率更高，而且在增加训练成本时更具鲁棒性。

NavBench-GS 基准测试

• 基准测试设计：

  （1）测试场景：基于光栅化三维高斯溅射重建的真实世界场景，包含26个场景，每个场景包含4种任务：空环境、有随机静态障碍物的环境、有移动行人的环境、有障碍物和行人的环境。
  （2）评估指标：成功率（SR）、路线完成率（RC）和碰撞次数（CT）。

• 基线方法：

  （1） 图像目标方法：GNM、ViNT、NoMaD。
  （2） 点目标方法：CityWalker、MBRA、ViNT*、NoMaD*（*表示使用点作为目标重新训练的模型）。

• 实验结果：

• S2E-Full性能：S2E-Full在所有测试场景中均优于基线方法。与S2E-BC相比，S2E-Full在障碍物场景中的成功率提高了21%，在行人场景中提高了3%，在障碍物-行人场景中提高了17%。这表明强化学习在增强策略的交互能力方面发挥了关键作用。
• 与其他方法对比：S2E-Full在成功率和碰撞避免方面均优于其他基线方法，证明了S2E框架在复杂环境中的有效性和鲁棒性。

真实世界评估

• 实验设置：

• 环境类型：空环境和有静态障碍物的环境。
• 机器人平台：Unitree GO2四足机器人和COCO轮式机器人。
• 测试路线：共8条路线，每条路线重复3次。

• 实验结果：
  

• S2E-Full在真实世界中展现了优越的碰撞规避能力。在轮式机器人和四足机器人上，S2E-Full在成功率和碰撞避免指标上均取得了最高性能。
• 具体来说，轮式机器人上S2E-Full的成功率为0.42，碰撞次数为0.70；四足机器人上S2E-Full的成功率为0.50，碰撞次数为0.75。
• 这表明通过强化学习在模拟环境中获得的交互能力能够有效地迁移到真实世界中，实现零样本泛化。

消融研究

锚点引导分布匹配的有效性

• 实验设置：

  （1） 对比方法：ViNT*（单模态匹配）和S2E-BC（锚点引导分布匹配）。
  （2）测试场景：包含障碍物和行人的复杂环境。

• 实验结果：

  （1）性能对比：S2E-BC在成功率上比ViNT*提高了33%，碰撞率降低。这表明锚点引导分布匹配能够显著提升模型在复杂环境中的性能，有效捕捉多模态分布。

残差注意力模块的有效性

• 实验设置：

  （1） 对比方法：S2E-SFT（监督微调）、S2E-PPO（从头开始的强化学习）、S2E-FullFT（全参数微调）和S2E-Full（使用RAM的强化学习）。
  （2） 测试场景：NavBench-GS中的障碍物环境。

• 实验结果：

• 性能对比：S2E-Full在成功率和碰撞次数上均优于其他方法。具体来说，S2E-Full的成功率为0.76，碰撞次数为0.56，而S2E-SFT的成功率为0.71，碰撞次数为0.77。这表明RAM在有限模块适应的情况下，能够有效地提升模型的交互能力，同时保持预训练知识。

结论与未来工作

• 结论：

  （1） S2E框架通过结合离线预训练和强化学习，有效地提升了导航基础模型在多样化真实世界环境中的泛化能力和交互性，能够在不同的机器人平台上实现零样本泛化，为机器人导航领域提供了一种新的、有效的学习方法。

• 未来工作：

  （1） 当前系统缺乏3D感知能力，导致即使S2E-full模型有时也会出现碰撞失败的情况，未来可以考虑整合深度估计或占用预测任务来推断3D结构线索。
  （2）此外，还需要解决由于机器人机械结构导致的问题，如模拟与真实机器人平台之间的差异所引起的sim-to-real差距，以及运动控制不准确导致的性能下降问题，可以通过实施更高保真度的模拟建模并结合广泛的数据增强策略来有效缓解这些问题。
  （3） 在未来，还计划将该框架扩展到其他机器人应用领域，例如移动操作等。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】