来自Aofei Temple Qubits的Lu Yu |官方帐户Qbitai“仿生的人是否梦想着电子绵羊？”这是科幻界的一个众所周知的问题。现在，NVIDIA给出答案：是的！您还可以从中学习新技能。例如，以下淫秽操作在现实世界中没有数据作为对培训的支持。机器人仅根据文本指令完成相应的任务。这是Nvidia Gear Lab发起的最新Dreamgen项目。它所谓的“梦想梦想”是使用AI视频世界模型产生神经轨迹的明智之举。只有少量的真实视频才能使机器人学会执行22个新任务。在实际的机器人测试中，复杂任务的成功率从21％急剧增加到45.5％，而实际违规行为首次从0开始。 Nvidia的负责人最近在他的2025年演讲中正式宣布了它是Gr00t-Dreams的一部分。扩展全文
做梦
阿尔多UGH传统机器人在现实生活中表现出了巨大的潜力，它们依靠过度大规模的远程操作数据手动收集，这是昂贵且时间。
纯计算机模拟合成数据，并且由于模拟环境与真正的物理世界之间的巨大差距，机器人学到的技能很难直接应用于现实。
因此，研究小组建议是否试图让机器人在梦中学习？
这个想法不是基础。早期，作为2016年麻省理工学院的一项研究，证实婴儿的智力在睡眠期间通过神经活动学习了SA。
从这里出生的Dreamgen的主要思想是使用视频的成熟视频模型（例如Sora和Veo）几乎综合了真实的视频并创建大型现实培训数据。
新范式主要遵循四个步骤：
1。微调模型
通过目标机器人操作的远程轨迹，捕获运动学和动态Properties并调整视频的视频。
2。虚拟生成数据
提供了初始的框架和语言说明，生成了一个大量的机器人视频序列，该序列描述了预期的行为，包括修复后已知的行为和未知情况下的新行为。
当然，在此步骤中，我们还应该对不跟随牛仔的噩梦进行整洁的噩梦。
3.采取虚拟动作
使用潜在的动作模型或相反的动力学（IDM）模型评估伪行动序列以形成神经轨迹。
4。练习策略
视觉运动降落技术是使用生成的视频动作序列对训练的（即神经轨迹）。
通过Dreamgen，该团队可以根据单个环境中的单个拾取任务的远程操作数据在10个新环境中产生“梦想”或神经轨迹，例如倒入，跳动，折叠，折叠，熨烫，熨烫，scoop m米m的豆类等，并跟踪机器人以执行TH的机器人在“零镜头”下执行任务。
此外，它可以增强不同的机器人系统（例如Francha和SO-100）和各种策略架构（例如Inffusion Policy的Asdang绩效，GR00T N1）实际上实现了零样本的行为行为，并从0到1到1到1。
实验结果表明，使用单个动作数据研究新运动的成功率从11.2％增加到43.2％。在单环境培训下，新环境中的成功率也从0％增加到28.5％（几乎无法完成传统方法）。
在基于Robocasa的模拟验证时，神经轨迹的大小达到了人类演示数据的333倍，并且该方法的性能逐渐增加到轨迹的数量。
在真实平台（例如Fourier Gr1，Francha Emika和SO-100机器人）上进行复杂任务的成功率也大大提高，哪个Dreamgen的效率已得到证实。
此外，该团队还开发了第一个机器人视频生成评估基准Dreamgen Batch，该基准台上的基准测试台评估了模型通过两个指标生成的数据的质量：遵守教学（if）和身体合理性（PA）。
NVIDIA的GR00T-DREAMS蓝图
Nvidia的野心不仅仅是这样。作为NVIDIA的Grand Blueprint的一部分，Dreamgen将帮助新的GR00T-DREAMS工具从单个图像中生成大量的合成运动数据，并通过压缩动作令牌来加速行为的研究。
以下视频来自
Nvidia
这意味着GR00T-DREAMS将将GR00T N1.5的发展从3个月减少到36小时。作为NVIDIA开放，通用，完全可以完全定制的作为人类推理和梅恩模型的更新，GR00T N1.5将放置在Jetson Thor上，并有望在今年年底之前推出。
在谈论TH时是发展，老子说：
从机器人的人工智能大脑到用于实践的模拟世界，再到用于训练基本模型的人工超级计算机，NVIDIA为机器人开发的每个阶段提供了主要模块。
从机器人的人工智能大脑到用于实践的模拟世界，再到用于训练基本模型的人工超级计算机，NVIDIA为机器人开发的每个阶段提供了主要模块。
也许正如网民所说，Nvidia正在做梦：
纸质链接：https：//arxiv.org/abs/2505.12705
项目链接：https：//research.nvidia.com/labs/gear/dreamgen/
参考链接：
[1] https://x.com/drjimfan/status/1924819887139987855
[2] https://x.com/jang_yoel/status/1924805253993488595
[3] https://www.youtube.com/watch?v=tlzna9__dni t = 5059S
-
