为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。
音视频大语言模型在处理视频内容时，往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新：音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅在单一模态任务上表现优异，更在视听联合任务中展现了卓越的性能，证明了其全面性和准确性。
AI 视频圈正「互扯头花」。
三个月前，生数科技联合清华大学正式发布了中国首个长时长、高一致性、高动态性视频大模型Vidu。发布时的视频效果更是与Sora不相上下，因此被网友称为“国产最强Sora”。
本文介绍清华大学的一篇关于长尾视觉识别的论文: Probabilistic Contrastive Learning for Long-Tailed Visual Recognition. 该工作已被 TPAMI 2024 录用，代码已开源。
以GPT-4o为代表的多模态大语言模型（MLLMs）因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手，还逐渐渗透到自动驾驶、医学诊断等各大应用领域，掀起了一场技术革命。
陶芳波博士，心识宇宙创始人兼 CEO，毕业于清华大学和 UIUC，并先后在美国微软研究院、Facebook 研究院工作，后归国成立阿里达摩院神经符号实验室从事 AI 研发工作，随后在 2022 年初开始 AI 创业，获红杉、线性、Square Peg 等近亿元融资。
“北有清华系，南有交大帮”，这种说法在AI大模型创业圈里流传甚广。放眼望去，中国AI大模型初创企业圈颇有被“清华系”“交大帮”包围的势头，这波AI创业门槛直接被拉升至学霸级别。
如何让大模型更好的遵从人类指令和意图？如何让大模型有更好的推理能力？如何让大模型避免幻觉？能否解决这些问题，是让大模型真正广泛可用，甚至实现超级智能（Super Intelligence）最为关键的技术挑战。这些最困难的挑战也是吴翼团队长期以来的研究重点，大模型对齐技术（Alignment）所要攻克的难题。
“大模型尺寸之争正在加速……倒退！”
