RAG还是微调？微软出了一份特定领域大模型应用建设流程指南
RAG还是微调？微软出了一份特定领域大模型应用建设流程指南检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。
来自主题: AI技术研报
5096 点击 2024-02-17 12:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。
为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。
国外网站AIPRM收集了100多项ChatGPT统计数据，考察了ChatGPT的增长、使用和公众意见等各项数据。上线一年多以后ChatGPT真的成茶叶蛋了吗？
微软、谷歌、 英伟达等科技巨头加码 AI 的野心人尽皆知，但跑得快并不一定能吃上肉。从几家公司刚刚发布的Q4季度报看，有的已经享受到AI带来的红利，有的仍在为AI铺路，甚至不惜壮士断腕。
在大模型技术的带动下，微软成为唯一一家营收增速还有明显上涨的云厂商
微软研究院上线了面向全球研究界的全新线上系列活动 Microsoft Research Forum，旨在共同探讨人工智能时代的最新研究进展、大胆新颖的想法以及全球研究界关注的重要议题。来自微软研究院全球各地的研究人员将分享他们的研究洞见，并与大家进行在线讨论，希望碰撞出更多新的思想火花。
AI大模型在业界备受关注，但对于一些公司来说，采用小模型可能是一种更好的选择。微软已经开始研发小规模、低算力需求的模型，并组建新团队进行对话式AI的开发。而对于工业、金融和汽车等领域而言，小模型更易于落地，并且具有省电、省钱、省时间的优势。
删除权重矩阵的一些行和列，让 LLAMA-2 70B 的参数量减少 25%，模型还能保持 99% 的零样本任务性能，同时计算效率大大提升。这就是微软 SliceGPT 的威力。
随着大型语言模型（LLM）技术日渐成熟，提示工程（Prompt Engineering）变得越来越重要。一些研究机构发布了 LLM 提示工程指南，包括微软、OpenAI 等等。
两年的时间见证了DeepMind基于AlphaFold建立Isomorphic Lab，微软建立AI4Science Initiative, 以及国内深势科技，AISI等大力推动AI4Science建设的企业，学术机构的不断发展壮大。