中科大联合华为诺亚提出Entropy Law，揭秘大模型性能、数据压缩率以及训练损失关系
中科大联合华为诺亚提出Entropy Law，揭秘大模型性能、数据压缩率以及训练损失关系数据是大语言模型（LLMs）成功的基石，但并非所有数据都有益于模型学习。
来自主题: AI技术研报
10110 点击 2024-07-22 14:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
数据是大语言模型（LLMs）成功的基石，但并非所有数据都有益于模型学习。
MoE 因其在训推流程中低销高效的特点，近两年在大语言模型领域大放异彩。作为 MoE 的灵魂，专家如何能够发挥出最大的学习潜能，相关的研究与讨论层出不穷。此前，华为 GTS AI 计算 Lab 的研究团队提出了 LocMoE ，包括新颖的路由网络结构、辅助降低通信开销的本地性 loss 等，引发了广泛关注。
整个市场不再追求大而全，都在走小而精的路线了。
人工智能（AI）在过去十年里取得了长足进步，特别是在自然语言处理和计算机视觉领域。然而，如何提升 AI 的认知能力和推理能力，仍然是一个巨大的挑战。
“鸿蒙原生智能”Harmony Intelligence来了！
现在，AI 大模型可以真正与物理世界结合了。
苹果OpenAI官宣合作，GPT-4o加持Siri，让AI个性化生成赛道热度飙升。
火爆了卷翻了！50个大模型大单燃起价格战。
无需采集3D数据，也能训练出高质量的3D自动驾驶场景生成模型。
iVideoGPT，满足世界模型高交互性需求。