为了构建鲁棒的 3D 机器人操纵大模型，Lift3D 系统性地增强 2D 大规模预训练模型的隐式和显式 3D 机器人表示，并对点云数据直接编码进行 3D 模仿学习。Lift3D 在多个仿真环境和真实场景中实现了 SOTA 的操纵效果，并验证了该方法的泛化性和可扩展性。
华中科技大学研发的UniSeg3D算法，能一次性完成三维场景中的六项分割任务，提升了场景理解的全面性和效率。通过任务间的信息共享，优化了性能，为虚拟现实和机器人导航等领域带来新的解决方案。
用大模型“蒸馏”小模型，有新招了！
尽管近期 Qwen2-VL 和 InternVL-2.0 的出现将开源多模态大模型的 SOTA 提升到了新高度，但巨大的计算开销限制了其在很多场景下的应用。
用看漫画的方式，大幅提升视频大模型时序定位能力！
tokenizer对于图像、视频生成的重要性值得重视。
消除激活值(outliers)，大语言模型低比特量化有新招了—— 自动化所、清华、港城大团队最近有一篇论文入选了NeurIPS 2024（Oral Presentation），他们针对LLM权重激活量化提出了两种正交变换，有效降低了outliers现象，达到了4-bit的新SOTA。
网络智能体旨在让一切基于网络功能的任务自动发生。比如你告诉智能体你的预算，它可以帮你预订酒店。既拥有海量常识，又能做长期规划的大语言模型（LLM），自然成为了智能体常用的基础模块。
SegVG是一种新的视觉定位方法，通过将边界框注释转化为像素级分割信号来增强模型的监督信号，同时利用三重对齐模块解决特征域差异问题，提升了定位准确性。实验结果显示，SegVG在多个标准数据集上超越了现有的最佳模型，证明了其在视觉定位任务中的有效性和实用性。
这两天Github上有一个项目火了。可用于生产环境GraphRAG的开源UI项目kotaemon，更新不到两天后已经有6.6KStar，昨日新增1.3KStar已位居Github Trending榜首。周末抽空部署了一下，还挺简单，推荐给大家。
