AI资讯新闻榜单内容搜索-LLM

关键词: GPT-4 Turbo,RAG,LLM

RAG或许就是大模型能力飙升下一个未来。RAG+GPT-4，4%的成本，便可拥有卓越的性能。

关键词: 大模型,AirLLM

大语言模型需要消耗巨量的GPU内存。有可能一个单卡GPU跑推理吗？可以的话，最低多少显存？70B大语言模型仅参数量就有130GB，仅仅把模型加载到GPU显卡里边就需要2台顶配100GB内存的A100。

关键词: 微调,对齐,提示词,LLM,提示工程师

大模型的效果好不好，有时候对齐调优很关键。但近来很多研究开始探索无微调的方法，艾伦人工智能研究所和华盛顿大学的研究者用「免调优」对齐新方法超越了使用监督调优（SFT）和人类反馈强化学习（RLHF）的 LLM 性能。

关键词: AI训练,LoRA,LLM

增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。

关键词: DeepSpeed,LLM,FastGen

DeepSpeed-FastGen结合MII和DeepSpeed-Inference实现LLM高吞吐量文本生成。

关键词: GPT-4,Claude 2,角色调节,LLM越狱

让大模型洗钱、制造炸弹、合成冰毒？GPT-4、 Claude 2纷纷沦陷了。让大模型成功越狱，还是有机可乘。

关键词: Anthropic,chatGPT,LLM

Anthropic的模型可解释性团队，从大模型中看到了它的「灵魂」——一个可解释的更高级的模型。

关键词: GPT-4,MMMU,LLM,AGI

目前最好的大型多模态模型 GPT-4V 与大学生谁更强？我们还不知道，但近日一个新的基准数据集 MMMU 以及基于其的基准测试或许能给我们提供一点线索，

关键词: LLM,DeepMind,Step-Back Prompting,提示词

谷歌DeepMind全新提示技术「Step-Back Prompting」，让LLM性能拉满！

关键词: LLM,大模型,Transformer

只需不到9行代码，就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延，且首个token和下一个token的推理速度分别提升多达40倍和2.68倍，还能满足更多场景应用需求。