「大模型变小」成年度大趋势！1月AI四大研究精彩亮点超长总结，模型合并MoE方法是主流
「大模型变小」成年度大趋势！1月AI四大研究精彩亮点超长总结，模型合并MoE方法是主流AI大模型并非越大越好？过去一个月，关于大模型变小的研究成为亮点，通过模型合并，采用MoE架构都能实现小模型高性能。
来自主题: AI技术研报
5669 点击 2024-02-09 12:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
AI大模型并非越大越好？过去一个月，关于大模型变小的研究成为亮点，通过模型合并，采用MoE架构都能实现小模型高性能。
高水平国际科技杂志《New Scientist》报道称，“兵棋推演”重复模拟的结果显示，OpenAI最强的人工智能（AI）模型会选择发动核打击。
去年 6 月，JetBrains 宣布所有基于 IntelliJ 的 IDE 和 .NET 工具都将集成一个新功能：AI 助手（AI Assistant）——该功能由 JetBrains AI 服务提供支持，可连接不同的大语言模型（LLM），并表示会将它整合到 IDE 的核心工作流中。
上月初，Perplexity 完成了 B 轮融资，最新估值为 5.2 亿美元，这轮融资由 IVP 领投，NVIDIA 和 Jeff Bezos、NEA、Elad Gil、Nat Friedman 等跟投，Perplexity 的累计融资额超过了 1 亿美元，创下了近年搜索领域初创公司的融资金额纪录。
今天，穆罕默德・本・扎耶德人工智能大学 VILA Lab 带来了一项关于如何更好地为不同规模的大模型书写提示词（prompt）的研究，让大模型性能在不需要任何额外训练的前提下轻松提升 50% 以上。该工作在 X (Twitter)、Reddit 和 LinkedIn 等平台上都引起了广泛的讨论和关注。
最近，谷歌的一篇论文在 X 等社交媒体平台上引发了一些争议。
分手8个月想挽回，女友却爱上了AI男友，怎么破？这位美国博士小哥选择用错误数据毒害模型，训成一个妥妥的负分男友，结果，女友果真来找他了……
2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。
随着多模态大语言模型（Multimodal Large Language Model，MLLM）的快速发展，以 MLLM 为基础的多模态 agent 逐渐应用于各种实际应用场景中，这使得借助多模态 agent 实现手机操作助手成为了可能。
在软件工程顶会ESEC/FSE上，来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了新的成果，使用LLM解决自动化定理证明问题。