GPT-4可能也在用的推测解码是什么?一文综述前世今生和应用情况
GPT-4可能也在用的推测解码是什么?一文综述前世今生和应用情况推测解码(Speculative Decoding)是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下,获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。
推测解码(Speculative Decoding)是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下,获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。
甲辰龙年伊始,OpenAI发布首个文生视频模型Sora,震惊业界及市场的同时,也使自身跃升全球第三大独角兽。
AI 视频生成的「ChatGPT时刻」比想象中提前了6个月。Sora 的诞生意味着什么,何以堪称「世界的模拟器」?
卷疯了!世界最快的大模型Groq一夜之间爆火,能够每秒输出近500个token。如此神速的响应,背后全凭自研的LPU。
2024年的开年震撼同样来自OpenAI。节后还没开工,Altman就带着继ChatGPT的第二个杀手级应用Sora大杀四方。我们看完那条长达60s的演示视频后,脑中只有一句话:大家谁都别想玩了。
简单说一下我的见解,以公司和技术趋势而不是个人的角度做一些分析,并预测一些OpenAI下一步的进展。
我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到,前者可以处理的上下文窗口达百万级别,而后者生成的视频能够理解运动中的物理世界,被很多人称为「世界模型」。
从文本生成模型 GPT、文生图模型 DALL·E,到文生视频模型 Sora,OpenAI 可以说成功跑通了 AGI 的所有技术栈,为什么是 OpenAI 而不是谷歌、Meta?
月之暗面,拿到了中国大模型初创公司自ChatGPT出现至今的最大一笔单轮融资,10亿美元。
为何Sora会掀起滔天巨浪?Sora的技术,就是机器模拟我们世界的下一步。而且今天有人扒出,Sora创新的核心秘密时空Patches,竟是来自谷歌DeepMind和谢赛宁的论文成果。