面向超长上下文，大语言模型如何优化架构，这篇综述一网打尽了
面向超长上下文，大语言模型如何优化架构，这篇综述一网打尽了作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。
来自主题: AI资讯
4196 点击 2024-01-03 13:38
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。
Hyena处理长序列输入比FlashAttention速度高100倍！最新发布的StripedHyena模型可能成下一代AI架构的新标准？
华为盘古系列，带来架构层面上新！量子位获悉，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。
一个来自MIT博士生的惊人发现：只需对Transformer的特定层进行一种非常简单的修剪，即可在缩小模型规模的同时显著提高模型性能。
近日，来自华为诺亚方舟实验室、北京大学等机构的研究者提出了盘古 π 的网络架构，尝试来构建更高效的大模型架构。
近日，福布斯发布了2024年的10大AI预测，Stability AI将会倒闭？微软和OpenAI也将分道扬镳？
MIT、微软联合研究：不需要额外训练，也能增强大语言模型的任务性能并降低其大小。
在Transformer占据多模态工具半壁江山的时代，大核CNN又“杀了回来”，成为了一匹新的黑马。
Transformer作者创立的大模型公司，再获5650万美元投资，换算成人民币有四亿多。
在视频生成场景中，用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。