AI资讯新闻榜单内容搜索-7B模型

关键词: 微调,AI,完全稀疏激活,模型训练,人工智能

只需激活60%的参数，就能实现与全激活稠密模型相当的性能。

关键词: AI,7B Mamba,Mistral,人工智能

最近，7B小模型又成为了AI巨头们竞相追赶的潮流。继谷歌的Gemma2 7B后，Mistral今天又发布了两个7B模型，分别是针对STEM学科的Mathstral，以及使用Mamaba架构的代码模型Codestral Mamba。

关键词: Gemma-2,LLM,GPT-4o,Fine-tune,微调

谷歌的Gemma 2刚刚发布，清华和北航的两名博士生就已经成功推出了指令微调版本，显著增强了Gemma 2 9B/27B模型的中文通用对话、角色扮演、数学、工具使用等能力。

关键词: GPT4,AI,提示词 ,AI数学

10亿名“员工”生产数据合成，数量占到了世界人口的13%。

关键词: Gemma 2,LLaMA3,开源模型,AI,谷歌AI

谷歌开源模型Gemma 2开放了！ 虽然前段时间Google I/O大会上，Gemma 2开源的消息就已经被放出，但谷歌还留了个小惊喜—— 除27B模型外，还有一个更轻的9B版本。 DeepMind创始人哈萨比斯表示，27B参数规模下，Gemma 2提供了同类模型最强性能，甚至还能与其两倍大的模型竞争。

关键词: AI,Q*,AI算法,模型训练

近日，一篇出自中国团队之手的AI论文在外网引发热议。论文中，研究团队提出了Q*模型算法，帮助Llama-2-7b等小模型达到参数量比其大数十倍、甚至上百倍模型的推理能力，使模型性能迎来惊人提升。

关键词: Q*算法,openai,AGI,chatGPT

自 OpenAI 的 Q* 项目曝光后，引发业内众多讨论。据现有信息汇总，Q* 项目被视作 OpenAI 在探索人工通用智能（Artificial General Intelligence, AGI）道路上的一次重大尝试，有望在包括数学问题解决能力、自主学习和自我改进等多个层面对人工智能技术带来革新性突破。

关键词: GPT-4,港科大7B模型,GPT-4,GraphWiz

大模型执行图推理任务，我们是希望大模型仅仅给出结果，还是在给出准确答案的同时，输出详细的推理过程？

关键词: AlphaGo,GPT-4,7B模型,AI数据,LLM,AlphaMath

把AlphaGo的核心算法用在大模型上，“高考”成绩直接提升了20多分。

关键词: LLM,LLaMA,NLP, LLaMA2-7B,Transformer

基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复杂度使得大模型的推理成本和内存占用十分巨大，特别是在长序列的场景中。