深挖RLHF潜力，复旦语言和视觉团队创新奖励模型优化，让大模型更对齐
深挖RLHF潜力，复旦语言和视觉团队创新奖励模型优化，让大模型更对齐复旦团队进一步挖掘 RLHF 的潜力，重点关注奖励模型（Reward Model）在面对实际应用挑战时的表现和优化途径。
来自主题: AI技术研报
2911 点击 2024-01-16 10:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
复旦团队进一步挖掘 RLHF 的潜力，重点关注奖励模型（Reward Model）在面对实际应用挑战时的表现和优化途径。
ChatGPT、OpenAI这两个名字无疑是2023年科技圈最为炙手可热的存在，但投入AI大模型赛道的显然远远不止OpenAI一家，例如谷歌有Gemini、Meta有开源的Llama 2、亚马逊也有Titan。
“AI会塑造现世的魔王，而被魔王上身的人自己也不知道”。陈伟星如是形容困在“信息茧房”中的人。
将2D扩散模型的强大图像生成能力与再绘策略的纹理对齐能力结合起来，Repaint123能够在2分钟内从零开始生成具有多视角一致性和精细纹理的高质量3D内容。
2023年，以ChatGPT为代表的大型语言模型（LLM）集中爆发，让各界都看到人工智能全新的可能性。但期冀总是与担忧并存，随着大模型在各领域的应用深化，已经沉寂许久的“AI威胁论”又开始甚嚣尘上。在漫长的技术史中，技术恐惧如同摆脱不了的阴影，总是与技术发展随行。
多模态技术是 AI 多样化场景应用的重要基础，多模态大模型（MLLM）展现出了优秀的多模态信息理解和推理能力，正成为人工智能研究的前沿热点。上周，谷歌发布 AI 大模型 Gemini，据称其性能在多模态任务上已全面超越 OpenAI 的 GPT-4V，再次引发行业的广泛关注和热议。
Ilya领衔的OpenAI对齐团队，刚刚发表了首篇论文——用类似GPT-2监督GPT-4的方法，或可帮人类搞定自己更聪明的超级AI！
大模型的效果好不好，有时候对齐调优很关键。但近来很多研究开始探索无微调的方法，艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优（SFT）和人类反馈强化学习（RLHF）的 LLM 性能。
这一切看似尘埃落定，但伴随着此次OpenAI纷争，一个潜藏的深层次议题浮出水面：考量AGI的未来轨迹时，有两种观念：一方面是“有效加速主义”，主张无条件加速技术创新，快速推动社会结构的颠覆；另一方面是“超级爱对齐”，强调在AI发展过程中必须注入对人类的深层关怀与爱，以确保AI对人类的安全性。
最近，来自北京大学等机构研究者提出了一种全新视觉语言大模型——Video-LLaVA，使得LLM能够同时接收图片和视频为输入。Video-LlaVA在下游任务中取得了卓越的性能，并在图片、视频的13个基准上达到先进的性能。这个结果表明，统一LLM的输入能让LLM的视觉理解能力提升。