2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。
ChatGPT 等通用大模型支持的功能成百上千，但是对于普通日常用户来说，智能写作一定是最常见的，也是大模型最能真正帮上忙的使用场景之一。
作为图领域首个通用框架，OFA实现了训练单一GNN模型即可解决图领域内任意数据集、任意任务类型、任意场景的分类任务。
在软件工程顶会ESEC/FSE上，来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了新的成果，使用LLM解决自动化定理证明问题。
艾伦人工智能研究所等5机构最近公布了史上最全的开源模型「OLMo」，公开了模型的模型权重、完整训练代码、数据集和训练过程，为以后开源社区的工作设立了新的标杆。
加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》 的 Perspective 文章，强调了语言模型在构建量子计算机方面所做出的贡献，并讨论了它们在量子优势竞争中的未来角色。
有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。
一周前，OpenAI 给广大用户发放福利，在下场修复 GPT-4 变懒的问题后，还顺道上新了 5 个新模型，其中就包括更小且高效的 text-embedding-3-small 嵌入模型。
一直以来，让 AI 成为手机操作助手都是一项颇具挑战性的任务。在该场景下，AI 需要根据用户的要求自动操作手机，逐步完成任务。
将不同的基模型象征为不同品种的狗，其中相同的「狗形指纹」表明它们源自同一个基模型。
华中科技大学联合华南理工大学、北京科技大学等机构的研究人员对14个主流多模态大模型进行了全面测评，涵盖5个任务，27个数据集。
来自UCLA的华人团队提出一种全新的LLM自我对弈系统，能够让LLM自我合成数据，自我微调提升性能，甚至超过了用GPT-4作为专家模型指导的效果。
来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。
在 AI 赛道中，与动辄上千亿参数的模型相比，最近，小模型开始受到大家的青睐。比如法国 AI 初创公司发布的 Mistral-7B 模型，其在每个基准测试中，都优于 Llama 2 13B，并且在代码、数学和推理方面也优于 LLaMA 1 34B。
过去几个月中，随着 GPT-4V、DALL-E 3、Gemini 等重磅工作的相继推出，「AGI 的下一步」—— 多模态生成大模型迅速成为全球学者瞩目的焦点。
还有谁不知道“假装”给ChatGPT小费可以让它服务更卖力？
多模态大型语言模型进展如何？盘点 26 个当前最佳多模态大型语言模型。
对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型性能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。
“大模型排位赛”权威榜单Chatbot Arena刷新：谷歌Bard超越GPT-4，排名位居第二，仅次于GPT-4 Turbo。
羊驼家族的“最强开源代码模型”，迎来了它的“超大杯”——就在今天凌晨，Meta宣布推出Code Llama的70B版本。
马里兰大学联合北卡教堂山发布首个专为多模态大语言模型（MLLM）设计的图像序列的基准测试Mementos，涵盖了真实世界图像序列、机器人图像序列，以及动漫图像序列，用4761个多样化图像序列的集合，全面测试MLLM对碎散图像序列的推理能力！
不用图像，只用文本就能训练出视觉概念表征？用写代码的方式读懂画面，形状、物体、场景都能懂！
AI 对于阅读和创作肯定会有影响，甚至很多人的观点是稍微悲观的，认为以后的创作都是 AI 了，连阅读都快要被 AI 代劳了。
非十科技推出了一款基于自研代码大模型打造的 AI 代码助手 ——Fitten Code，它可以帮助程序员更迅捷、更准确、更高质量地完成编码任务，大幅提升编码效率，并且向用户免费开放使用！
南京大学周志华教授提出的「学件」范式通过模型 + 规约的思路构建学件市场（现称学件基座系统），让用户根据需求从中统一地选择和部署模型。如今学件范式迎来了首个开源的基础平台 —— 北冥坞（Beimingwu）。
删除权重矩阵的一些行和列，让 LLAMA-2 70B 的参数量减少 25%，模型还能保持 99% 的零样本任务性能，同时计算效率大大提升。这就是微软 SliceGPT 的威力。
动态视觉分词统一图文表示，快手与北大合作提出基座模型 LaVIT 刷榜多模态理解与生成任务。
使用LLM生成海量任务的文本数据，无需人工标注即可大幅提升文本嵌入的适用度，只需1000训练步即可轻松扩展到100种语言。
Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。
一家名为GitClear的公司分析了近四年超过1.5亿行代码后发现，随着GitHub Copilot工具的加入，代码流失率（即代码写入后不久又被返工修改、删除的情况）出现了显著上升： 2023年为7.1%，而2020年时仅为3.3%，翻了一番。
