AI画家的「滑铁卢」：为什么冰可乐不愿意住进茶杯里？
AI画家的「滑铁卢」：为什么冰可乐不愿意住进茶杯里？大模型为何在生成「茶杯中的冰可乐」上失败了？上海交通大学最新揭秘。
来自主题: AI资讯
11016 点击 2024-08-07 10:52
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大模型为何在生成「茶杯中的冰可乐」上失败了？上海交通大学最新揭秘。
最近的英伟达似乎步入了多事之秋。
Llama 3.1刚发布不久，Llama 4已完全投入训练中。 这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
简而言之：矩阵 → ReLU 激活 → 矩阵
为了对齐 LLM，各路研究者妙招连连。
大模型作为当下 AI 工业界和学术界当之无愧的「流量之王」，吸引了大批学者和企业投入资源去研究与训练。随着规模越做越大，系统和工程问题已经成了大模型训练中绕不开的难题。例如在 Llama3.1 54 天的训练里，系统会崩溃 466 次，平均 2.78 小时一次！
在 RAG 系统开发中，良好的 Reranker 模型处于必不可少的环节，也总是被拿来放到各类评测当中，这是因为以向量搜索为代表的查询，会面临命中率低的问题，因此需要高级的 Reranker 模型来补救，这样就构成了以向量搜索为粗筛，以 Reranker 模型作精排的两阶段排序架构。
如今一场席卷人工智能圈的“石油危机”已经出现，几乎每一家AI厂商都在竭力寻求新的语料来源，但再多的数据似乎也填不满AI大模型的胃口。更何况越来越多的内容平台意识到了手中数据的价值，纷纷开始敝帚自珍。为此，“合成数据”也成为了整个AI行业探索的新方向。
在当前 AI 领域，大语言模型采用的主流架构是 Transformer。不过，随着 RWKV、Mamba 等架构的陆续问世，出现了一个很明显的趋势：在语言建模困惑度方面与 Transformer 较量的循环大语言模型正在快速进入人们的视线。
你规定路线，Tora 来生成相应轨迹的视频。