性能提升、成本降低，这是分布式强化学习算法最新研究进展
性能提升、成本降低，这是分布式强化学习算法最新研究进展分布式强化学习是一个综合的研究子领域，需要深度强化学习算法以及分布式系统设计的互相感知和协同。考虑到 DDRL 的巨大进步，我们梳理形成了 DDRL 技术的展历程、挑战和机遇的系列文章。
来自主题: AI技术研报
2026 点击 2024-02-13 14:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
分布式强化学习是一个综合的研究子领域，需要深度强化学习算法以及分布式系统设计的互相感知和协同。考虑到 DDRL 的巨大进步，我们梳理形成了 DDRL 技术的展历程、挑战和机遇的系列文章。
大型语言模型（LLM）的成功离不开「基于人类反馈的强化学习（RLHF）」。RLHF 可以大致可以分为两个阶段，首先，给定一对偏好和不偏好的行为，训练一个奖励模型，通过分类目标为前者分配更高的分数。
有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。
过去几个月中，随着 GPT-4V、DALL-E 3、Gemini 等重磅工作的相继推出，「AGI 的下一步」—— 多模态生成大模型迅速成为全球学者瞩目的焦点。
这两天Steam上突然出现了一款爆火的现象级游戏《幻兽帕鲁（Palworld）》。发售没几天就直接冲到了Steam史上玩家在线排行榜第2，超过了CS2等一众经典老游戏。
2013 年创立的科技产品发现平台 Product Hunt 如今已经成为发现新的 AI 产品的主要平台，里面聚集了大量 Early Adopters 种子用户。Notion、Framer 和 Loom 等等产品都通过 Product Hunt 成功实现了冷启动。
人工智能的反馈（AIF）要代替 RLHF 了？
大模型在极大的提高工作效率的同时，也将一些隐患带入到人们的生活中，比如擦边内容、暴力诱导、种族歧视、虚假和有害信息等。
复旦团队进一步挖掘 RLHF 的潜力，重点关注奖励模型（Reward Model）在面对实际应用挑战时的表现和优化途径。
微软和 AI 初创公司 Inworld 达成合作，将引入基于 AI 的“角色引擎”及“Copilot 助理”，为开发者提供一系列开发工具，以创建更真实、动态的 NPC。