从 2023 年的 Sora 到如今的可灵、Vidu、通义万相，AIGC 生成式技术的魔法席卷全球，打开了 AI 应用落地的大门。
Mixture-of-Experts（MoE）在推理时仅激活每个 token 所需的一小部分专家，凭借其稀疏激活的特点，已成为当前 LLM 中的主流架构。然而，MoE 虽然显著降低了推理时的计算量，但整体参数规模依然大于同等性能的 Dense 模型，因此在显存资源极为受限的端侧部署场景中，仍然面临较大挑战。
现在如果我想听音乐，我第一反应是：“我要用哪个服务？Spotify还是Tidal？”但这其实不是我真正的需求。我的真实意图是：“我想听这首歌。”我希望只要说出来，AI就能帮我搞定。
AI 与 SaaS 的结合，有哪些可能性？
无监督学习训练整数规划求解器的新范式来了。
低秩适配器（LoRA）能够在有监督微调中以约 5% 的可训练参数实现全参数微调 90% 性能。
论文第一作者为余鑫，香港大学三年级博士生，通讯作者为香港大学齐晓娟教授。主要研究方向为生成模型及其在图像和 3D 中的应用，发表计算机视觉和图形学顶级会议期刊论文数十篇，论文数次获得 Oral, Spotlight 和 Best Paper Honorable Mention 等荣誉。此项研究工作为作者于 Adobe Research 的实习期间完成。
最近，全球 AI 和机器学习顶会 ICLR 2025 公布了论文录取结果：由蚂蚁数科与清华大学联合团队提出的全新具身协同框架 BodyGen 成功入选 Spotlight（聚光灯/特别关注）论文。
在深度学习的多个应用场景中，联合优化多个损失项是一个普遍的问题。典型的例子包括物理信息神经网络（Physics-Informed Neural Networks, PINNs）、多任务学习（Multi-Task Learning, MTL）和连续学习（Continual Learning, CL）。然而，不同损失项的梯度方向往往相互冲突，导致优化过程陷入局部最优甚至训练失败。
来自哥本哈根大学、苏黎世联邦理工学院等机构的研究人员，提出了一个全新的多模态Few-shot 3D分割设定和创新方法。无需额外标注成本，该方法就可以融合文本、2D和3D信息，让模型迅速掌握新类别。
