多模态模型学会打扑克：表现超越GPT-4v，全新强化学习框架是关键
多模态模型学会打扑克：表现超越GPT-4v，全新强化学习框架是关键只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！
来自主题: AI技术研报
8760 点击 2024-06-04 17:23
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策！
在复杂的物理世界中，人型机器人的全身控制一直是个难题，现有的强化学习做出的效果有时会比较抽象。近日，LeCun参与的一项工作给出了基于数据驱动的全新解决方案。
为了将大型语言模型（LLM）与人类的价值和意图对齐，学习人类反馈至关重要，这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面，一种有效的方法是根据人类反馈的强化学习（RLHF）。尽管经典 RLHF 方法的结果很出色，但其多阶段的过程依然带来了一些优化难题，其中涉及到训练一个奖励模型，然后优化一个策略模型来最大化该奖励。
在图像生成领域占据主导地位的扩散模型，开始挑战强化学习智能体。
基于人类反馈的强化学习 (RLHF) 使得大语言模型的输出能够更加符合人类的目标、期望与需求，是提升许多闭源语言模型 Chat-GPT, Claude, Gemini 表现的核心方法之一。
在对齐大型语言模型（LLM）与人类意图方面，最常用的方法必然是根据人类反馈的强化学习（RLHF）
AI和机器人专家的长远目标，是创造出具有一般具身智能的代理，它们能够像动物或人类一样，在物理世界中灵活、巧妙地行动
大语言模型（LLM），通过在海量数据集上的训练，展现了超强的多任务学习、通用世界知识目标规划以及推理能力
你敢信？一款手游里藏着400+个AI角色，且各自有各自的性格……这就是腾讯在一年一度的“游戏界春晚”GDC上展示的一场技术肌肉秀——《火影忍者》手游相关负责人介绍了大规模强化学习AI训练系统，该方法的训练成本和时间比传统的训练方案减少90%。
StepCoder将长序列代码生成任务分解为代码完成子任务课程来缓解强化学习探索难题，对未执行的代码段以细粒度优化；还开源了可用于强化学习训练的APPS+数据集。