今天介绍一篇密歇根州立大学 (Michigan State University) 和劳伦斯・利弗莫尔国家实验室（Lawrence Livermore National Laboratory）的一篇关于零阶优化深度学习框架的文章 ，本文被 ICLR 2024 接收，代码已开源。
2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。
混合专家（MoE）架构已支持多模态大模型，开发者终于不用卷参数量了！北大联合中山大学、腾讯等机构推出的新模型MoE-LLaVA，登上了GitHub热榜。
AI大模型并非越大越好？过去一个月，关于大模型变小的研究成为亮点，通过模型合并，采用MoE架构都能实现小模型高性能。
谷歌&南加大推出最新研究“自我发现”（Self-Discover），重新定义了大模型推理范式。与已成行业标准的思维链（CoT）相比，新方法不仅让模型在面对复杂任务时表现更佳，还把同等效果下的推理成本压缩至1/40。
7B开源模型，数学能力超过了千亿规模的GPT-4！它的表现可谓是突破了开源模型的极限，连阿里通义的研究员也感叹缩放定律是不是失效了。
随着越来越多的企业将人工智能应用于其产品，AI芯片需求快速增长，市场规模增长显著。因此，本文主要针对目前市场上的AI芯片厂商及其产品进行简要概述。
赶在春节前，通义千问大模型（Qwen）的 1.5 版上线了。今天上午，新版本的消息引发了 AI 社区关注。
现有的语义分割技术在评估指标、损失函数等设计上都存在缺陷，研究人员针对相关缺陷设计了全新的损失函数、评估指标和基准，在多个应用场景下展现了更高的准确性和校准性。
最近，复旦、俄亥俄州立大学、Meta和宾夕法尼亚州立大学的研究者发现，GPT-4 Agent规划旅行只有0.6%成功率！离在人类复杂环境中做出规划，智能体还任重道远。
Transformer的固定尺寸上下文使得GPT模型无法生成任意长的文本。在本文中，我们介绍了RECURRENTGPT，一个基于语言的模拟RNN中的递归机制。
MiniCPM 是一系列端侧语言大模型，主体语言模型 MiniCPM-2B 具有 2.4B 的非词嵌入参数量。
今天，穆罕默德・本・扎耶德人工智能大学 VILA Lab 带来了一项关于如何更好地为不同规模的大模型书写提示词（prompt）的研究，让大模型性能在不需要任何额外训练的前提下轻松提升 50% 以上。该工作在 X (Twitter)、Reddit 和 LinkedIn 等平台上都引起了广泛的讨论和关注。
最近，谷歌的一篇论文在 X 等社交媒体平台上引发了一些争议。
最近，来自Meta和UC伯克利的研究人员，发布了一种最新的音频到人像模型。操作简单，输出极致逼真。
最近，来自UCSB和苹果的华人团队提出了MGIE，通过多模态模型引导图像精准编辑，可以10秒完成P图。
这几天，古老的AI应用——「AI换脸」多次破圈，屡屡登上热搜。
分手8个月想挽回，女友却爱上了AI男友，怎么破？这位美国博士小哥选择用错误数据毒害模型，训成一个妥妥的负分男友，结果，女友果真来找他了……
人工智能，即大家说的AI（Artificial Intelligent），当属最热门的技术之一。今天站在嵌入式的角度给大家分享一下人工智能包含的一些要点。
一项名为MetaGPT的研究，通过对智能体角色进行明确分工，并要求多个智能体在协作中采用统一规范的“交流格式”等方法，让智能体性能大增。
模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。
2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。
ChatGPT 等通用大模型支持的功能成百上千，但是对于普通日常用户来说，智能写作一定是最常见的，也是大模型最能真正帮上忙的使用场景之一。
作为图领域首个通用框架，OFA实现了训练单一GNN模型即可解决图领域内任意数据集、任意任务类型、任意场景的分类任务。
在软件工程顶会ESEC/FSE上，来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了新的成果，使用LLM解决自动化定理证明问题。
艾伦人工智能研究所等5机构最近公布了史上最全的开源模型「OLMo」，公开了模型的模型权重、完整训练代码、数据集和训练过程，为以后开源社区的工作设立了新的标杆。
加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》 的 Perspective 文章，强调了语言模型在构建量子计算机方面所做出的贡献，并讨论了它们在量子优势竞争中的未来角色。
有的大模型对齐方法包括基于示例的监督微调（SFT）和基于分数反馈的强化学习（RLHF）。然而，分数只能反应当前回复的好坏程度，并不能明确指出模型的不足之处。相较之下，我们人类通常是从语言反馈中学习并调整自己的行为模式。
一周前，OpenAI 给广大用户发放福利，在下场修复 GPT-4 变懒的问题后，还顺道上新了 5 个新模型，其中就包括更小且高效的 text-embedding-3-small 嵌入模型。
