在自动驾驶领域，世界模型的应用尤为引人注目。然而，现有数据集在视频多样性和行为复杂性方面的不足，限制了世界模型潜力的全面发挥。为了解决这一瓶颈，中国科学院自动化研究所联合美团无人车团队推出了 DrivingDojo 数据集 —— 全球规模最大、专为自动驾驶世界模型研究设计的高质量视频数据集。该数据集已被 NeurIPS 2024 的 Dataset Track 接收。
斯坦福大学推出的IKEA Video Manuals数据集，通过4D对齐组装视频和说明书，为AI理解和执行复杂空间任务提供了新的挑战和研究基准，让机器人或AR眼镜指导家具组装不再是梦。
这是一个不容小觑的最新推理框架，它解耦了LLM的记忆与推理，用此框架Fine-tuned过的LLaMa-3.1-8B在TruthfulQA数据集上首次超越了GPT-4o。
斯坦福吴佳俊团队，给机器人设计了一套组装宜家家具的视频教程！
在智慧城市和大数据时代背景下，人类轨迹数据的分析对于交通优化、城市管理、物流配送等关键领域具有重要意义。然而，现有的轨迹相关模型往往受限于特定任务、区域依赖、轨迹数据规模和多样性困乏等问题，限制了模型的泛化能力和实际应用范围。
最近，Jim Fan参与的一项研究推出了自动化数据生成系统DexMimicGen。该系统可基于少量人类演示，合成类人机器人的灵巧手运动轨迹，解决了训练数据集的获取难题，而且还提升了实验中机器人的表现。
论文提出了一种RAG任务分类法，将用户查询分为四个级别，并讨论了将外部数据集成到LLMs中的三种主要方式。从简单的事实检索到复杂的推理任务，每个级别都有其独特的难点和解决方案，需要不同的技术和方法来优化性能。
在多样化的机器人数据集上预训练的大型策略有潜力改变机器人学习：与从头开始训练新策略相比，这种通用型机器人策略可以通过少量的领域内数据进行微调，同时具备广泛的泛化能力。
近日，中科大王杰教授团队 (MIRA Lab) 针对离线强化学习数据集存在多类数据损坏这一复杂的实际问题，提出了一种鲁棒的变分贝叶斯推断方法，有效地提升了智能决策模型的鲁棒性，为机器人控制、自动驾驶等领域的鲁棒学习奠定了重要基础。论文发表在 CCF-A 类人工智能顶级会议 Neural Information Processing Systems（NeurIPS 2024）。
GenXD模型结合CamVid-30K数据集突破了3D和4D场景生成的挑战，能从单张图片生成逼真的动态3D和4D场景。这一进展为虚拟世界构建带来新的可能性，让动态场景的生成更加快速和真实。
