北大领衔，多智能体强化学习研究登上Nature子刊
北大领衔，多智能体强化学习研究登上Nature子刊近日，由北京大学人工智能研究院杨耀东课题组牵头完成的研究成果 ——「大规模多智能体系统的高效强化学习」在人工智能顶级学术期刊 Nature Machine Intelligence 上发表。
来自主题: AI技术研报
7588 点击 2024-09-06 11:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，由北京大学人工智能研究院杨耀东课题组牵头完成的研究成果 ——「大规模多智能体系统的高效强化学习」在人工智能顶级学术期刊 Nature Machine Intelligence 上发表。
又有AI初创公司创始人卖身大厂——
本文第一作者为香港大学博士研究生谢知晖，主要研究兴趣为大模型对齐与强化学习。
「相比于强化学习（RL），我确实更喜欢模型预测控制（MPC）。至少从 2016 年起，我就一直在强调这一点。强化学习在学习任何新任务时都需要进行极其大量的尝试。相比之下，模型预测控制是零样本的：如果你有一个良好的世界模型和一个良好的任务目标，模型预测控制就可以在不需要任何特定任务学习的情况下解决新任务。这就是规划的魔力。这并不意味着强化学习是无用的，但它的使用应该是最后的手段。」
RLHF到底是不是强化学习？最近，AI大佬圈因为这个讨论炸锅了。和LeCun同为质疑派的Karpathy表示：比起那种让AlphaGo在围棋中击败人类的强化学习，RLHF还差得远呢。
RLHF 与 RL 到底能不能归属为一类，看来大家还是有不一样的看法。
大模型展现出了卓越的指令跟从和任务泛化的能力，这种独特的能力源自 LLMs 在训练中使用了指令跟随数据以及人类反馈强化学习（RLHF）。
解决问题：语言智能体的动作通常由 Token（令牌，语言模型中表示单词/短语/汉字的最小符号单元）序列组成，直接将强化学习用于语言智能体进行策略优化的过程中，一般需要预定义可行动作集合，同时忽略了动作内 Token 细粒度信用分配问题，团队将 Agent 优化从动作层分解到 Token 层，为每个动作内 Token 提供更精细的监督，可在语言动作空间不受约束的环境中实现可控优化复杂度
在人工智能领域的发展过程中，对大语言模型（LLM）的控制与指导始终是核心挑战之一，旨在确保这些模型既强大又安全地服务于人类社会。早期的努力集中于通过人类反馈的强化学习方法（RLHF）来管理这些模型，成效显著，标志着向更加人性化 AI 迈出的关键一步。
随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解决这一难题方面，一种强大的技术是根据人类反馈的强化学习（RLHF）。