在当前 AI 领域，大语言模型采用的主流架构是 Transformer。不过，随着 RWKV、Mamba 等架构的陆续问世，出现了一个很明显的趋势：在语言建模困惑度方面与 Transformer 较量的循环大语言模型正在快速进入人们的视线。
人工智能赛道最受关注的独角兽之一，Character.AI迎来了新命运。尽管近期媒体报道，伊隆·马斯克的 xAI 正在考虑收购Character.AI，但最终摘到果实的是谷歌。
明星AI独角兽Character.AI，核心团队被谷歌打包带走了。
明星AI独角兽Character.AI，核心团队被谷歌打包带走了。
AI 初创者的归宿还是大厂？
Transformer大模型尺寸变化，正在重走CNN的老路！
RNN每个step的隐状态都取决于上一个step的输出，这种连续的状态转移方式使得RNN天然带有位置信息。
Transformer中的信息流动机制，被最新研究揭开了：
大模型在语言、图像领域取得了巨大成功，时间序列作为多个行业的重要数据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务通用的时序分析模型，展现出大模型特有的泛化性与可扩展性
好家伙！为了揭秘Transformer内部工作原理，陈丹琦团队直接复现——
