本文介绍了来自北京大学王选计算机研究所的王勇涛团队的最新研究成果 VL-SAM。针对开放场景，该篇工作提出了一个基于注意力图提示的免训练开放式目标检测和分割框架 VL-SAM，在无需训练的情况下，取得了良好的开放式 (Open-ended) 目标检测和实例分割结果，论文已被 NeurIPS 2024 录用。
近日，中科大王杰教授团队 (MIRA Lab) 针对离线强化学习数据集存在多类数据损坏这一复杂的实际问题，提出了一种鲁棒的变分贝叶斯推断方法，有效地提升了智能决策模型的鲁棒性，为机器人控制、自动驾驶等领域的鲁棒学习奠定了重要基础。论文发表在 CCF-A 类人工智能顶级会议 Neural Information Processing Systems（NeurIPS 2024）。
利用概念激活向量破解大模型的安全对齐，揭示LLM重要安全风险漏洞。
预测金融市场和股票价格变动需分析公司表现、历史价格、行业事件及人类因素（如社交媒体和新闻报道）。
MEGA-Bench是一个包含500多个真实世界任务的多模态评测套件，为全面评估AI模型提供了高效工具。研究人员发现，尽管顶级AI模型在多个任务中表现出色，但在复杂推理和跨模态理解方面仍有提升空间。
这篇文章获选 Neurips 2024 Spotlight，作者均来自于伊利诺伊大学香槟分校计算机系。第一作者是博士生林啸，指导老师是童行行教授。所在的 IDEA 实验室的研究兴趣涵盖图机器学习、可信机器学习、LLM 优化以及数据挖掘等方面。
Sora 的发布让广大研究者及开发者深刻认识到基于 Transformer 架构扩散模型的巨大潜力。作为这一类的代表性工作，DiT 模型抛弃了传统的 U-Net 扩散架构，转而使用直筒型去噪模型。鉴于直筒型 DiT 在隐空间生成任务上效果出众，后续的一些工作如 PixArt、SD3 等等也都不约而同地使用了直筒型架构。
最近，专注做AI转型的Zeta Alpha对2023年引用次数最多的 AI 论文进行了排名，列出了影响力最高的100篇论文，引发了业界热议，并且就论文的机构也做了一个梳理。
文本到图像的生成模型让创作更加灵活，用户可以用自然语言引导生成图像。
高效组合多个大模型“取长补短”新思路，被顶会NeurIPS 2024接收。
现在，随便丢给机械手一个陌生物体，它都可以像人类一样轻松拿捏了——
大模型的具身智能决策能力，终于有系统的通用评估基准了。
继 OpenAI o1 成为首个达到 Kaggle 特级大师的人工智能（AI）模型后，另一个 Kaggle 大师级 AI 也诞生了。
传统的训练方法通常依赖于大量人工标注的数据和外部奖励模型，这些方法往往受到成本、质量控制和泛化能力的限制。因此，如何减少对人工标注的依赖，并提高模型在复杂推理任务中的表现，成为了当前的主要挑战之一。
Recraft团队通过结合TextDiffuser-2技术和自训练的大型语言模型，提升了文本到图像渲染的质量和准确性，不过现有模型在处理复杂语言如中文和未明确指定的文本时，仍存在渲染不准确的问题。
随着人形机器人技术的迅猛发展，如何有效获取高质量的操作数据成为核心挑战。鉴于人类操作行为的复杂性和多样性，如何从真实世界中精准捕捉手与物体交互的完整状态，成为推动人形机器人操作技能学习的关键所在。
新一代通用灵活的网络结构 TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters 来啦！
随着大语言模型（LLMs）在处理复杂任务中的广泛应用，高质量数据的获取变得尤为关键。为了确保模型能够准确理解并执行用户指令，模型必须依赖大量真实且多样化的数据进行后训练。然而，获取此类数据往往伴随着高昂的成本和数据稀缺性。因此，如何有效生成能够反映现实需求的高质量合成数据，成为了当前亟需解决的核心挑战。
30多年的数学猜想首次获得了进展！Meta等学者提出的PatternBoost，使用Transformer构造了一个反例，反驳了一个已悬而未决30年的猜想。是否所有数学问题都适合机器学习技术？这样的未来太令人期待了。
GenXD模型结合CamVid-30K数据集突破了3D和4D场景生成的挑战，能从单张图片生成逼真的动态3D和4D场景。这一进展为虚拟世界构建带来新的可能性，让动态场景的生成更加快速和真实。
从文字生成三维世界的场景有多难？
世界模型又出新进展了，来自国内机构。
连续学习（CL）旨在增强机器学习模型的能力，使其能够不断从新数据中学习，而无需进行所有旧数据的重新训练。连续学习的主要挑战是灾难性遗忘：当任务按顺序训练时，新的任务训练会严重干扰之前学习的任务的性能，因为不受约束的微调会使参数远离旧任务的最优状态。
如何更好地设计提示词（Prompt）一直是大家关注的焦点。最近，一个独特的研究视角引起了广泛关注：将LLMs视为“演员”，将提示词视为“剧本”，将模型输出视为“表演”。
最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
“过去24个月，AI行业发生的最大变化是什么？是大模型基本消除了幻觉。”11月12日，百度创始人李彦宏在百度世界2024大会上，发表了主题为《应用来了》的演讲，发布两大赋能应用的AI技术：检索增强的文生图技术（iRAG）和无代码工具“秒哒”。文心iRAG用于解决大模型在图片生成上的幻觉问题，极大提升实用性；无代码工具“秒哒”让每个人都拥有程序员的能力，将打造数百万“超级有用”的应用。
人工智能的发展如火如荼，但大多数人只看到应用的火爆。真正的支撑力量鲜为人知，人工智能的发展越来越离不开庞大算力的支撑。现在，每5座为人工智能而生的数据中心所消耗的电力，就相当于一个纽约市的消耗。本文将介绍关于AI数据中心的一些基础知识。
小米大模型第二代来了！ 相比第一代，训练数据规模更大、品质更高，训练策略与微调机制上也进行了深入打磨。
研究人员通过案例研究，利用大型语言模型（LLMs）如GPT-4、Claude 3和Llama 3.1，探索了思维链（CoT）提示在解码移位密码任务中的表现；CoT提示虽然提升了模型的推理能力，但这种能力并非纯粹的符号推理，而是结合了记忆和概率推理的复杂过程。
第8届CoRL于2024年11月6日至9日在德国慕尼黑举行，展示了机器人学习领域的前沿研究和发展，尤其是在自主系统、机器人控制和多模态人工智能领域。
