AI资讯新闻榜单内容搜索-小模型

关键词: 苹果,OpenELM,Llama 3,Phi-3,Transformer

从Llama 3到Phi-3，蹭着开源热乎劲儿，苹果也来搞事情了。

关键词: 大模型,小模型,算力,Llama 3

这段时间，AI模型界是真的热闹，新的模型不断涌现，不管是开源还是闭源，都在刷新成绩。就在前几天，Meta就上演了一出“重夺开源铁王座”的好戏。发布了Llama 3 8B和70B两个版本，在多项指标上都超越了此前开源的Grok-1和DBRX，成为了新的开源大模型王者。

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文

关键词: Mistral,欧洲openai,chaGPT,Anthropic

Mistral 可以说是欧洲目前最有代表性的 AI 公司，开源小模型、MoE、专注欧洲多语言市场等等，都让它与美国的几家大模型公司如 OpenAI、Anthropic 截然不同。

关键词: 大语言模型,大模型,AI,LLM

早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。

关键词: AI公司,Sakana AI,Preferred Networks,AI Medical Service,ABEJA

前段时间，种子轮融资3000万美元的日本公司Sakana AI，因为众多亮眼标签，受到很多关注——谷歌科学家、硅谷原班人马、总部扎根东京、小模型……

关键词: DeepMind,AGI,AI,谷歌AI,Gemini

Google 最近在大模型上动作不断，先是发布了性能更强大的多模态 Gemini 1.5 Pro，然后是开源的小模型 Gemma，评测结果超过了 7b 量级的 Llama 2。

关键词: 模型训练,AI大模型,MoE,AI,人工智能,LLM,WARM

AI大模型并非越大越好？过去一个月，关于大模型变小的研究成为亮点，通过模型合并，采用MoE架构都能实现小模型高性能。

关键词: Agent,GPT-4,Deezer,Shazam,α-UMi

关键词: 无注意力大模型,Eagle7B,RWKV

在 AI 赛道中，与动辄上千亿参数的模型相比，最近，小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型，其在每个基准测试中，都优于 Llama 2 13B，并且在代码、数学和推理方面也优于 LLaMA 1 34B。