3倍生成速度还降内存成本，超越Medusa2的高效解码框架终于来了
3倍生成速度还降内存成本，超越Medusa2的高效解码框架终于来了传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。
来自主题: AI技术研报
5551 点击 2024-05-10 23:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。
尽管苹果在生成式 AI 方面的进展没有像谷歌、Meta 和微软等竞争对手那样高调，但该公司一直在进行相关研究，其构筑新生态的思路总是显得与众不同。
在机器学习社区中，ICLR （国际学习表征会议）是较为「年轻」的学术会议，它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办。但 ICLR 很快就获得了研究者的广泛认可，并且在 AI 圈拥有了深度学习会议「无冕之王」的称号。
阿里云正式发布通义千问2.5大模型，同时宣布性能全面赶超GPT-4 Turbo。
芝麻粒大小的人脑组织，突触规模就相当于一个GPT-4！
ControlNet作者新作，玩儿得人直呼过瘾，刚开源就揽星1.2k。
机器学习三大顶会之一的ICLR 2024，正在维也纳如火如荼地举行。
凭借“黏土风滤镜”，借助“五一”期间用户发布旅游照片的热潮，Remini在国内的下载量暴增。据七麦数据，Remini自4月29日后下载量暴增，5月1日下载量增长至28.53万次，5月2日至5月8日一周内，下载量预估总计191.13万次
一年前，朱啸虎和傅盛围绕ChatGPT创业的话题，在朋友圈隔空“抬杠”。朱啸虎站在投资者的角度认为，ChatGPT对创业公司很不友好，未来两三年内请大家放弃融资幻想。而傅盛作为创业者代表则认为，大模型相关领域有很多价值机会。
“镜头围绕一大堆老式电视旋转，所有电视都显示不同的节目——20世纪50年代的科幻电影、恐怖电影、新闻、静态、1970年代的情景喜剧等，背景设置在纽约一家大型博物馆画廊。”