搜索
推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。
甲辰龙年伊始，OpenAI发布首个文生视频模型Sora，震惊业界及市场的同时，也使自身跃升全球第三大独角兽。
卷疯了！世界最快的大模型Groq一夜之间爆火，能够每秒输出近500个token。如此神速的响应，背后全凭自研的LPU。
我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。
如果允许学生用AI“作弊”，他们的成绩分布会发生怎样的变化？
微软首个为Windows而设的智能体（Agent） 亮相：基于GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整个过程无需人为干预，其执行成功率和效率是GPT-4的两倍，GPT-3.5的四倍。
Karpathy力推代码生成任务增强流程，让GPT-4在CodeContests从19%提升到44%，不用微调不用新数据集训练，让大模型代码能力大幅提升。
没想到，AI要是“够废”，也能爆火全网。一个“什么问题都回答不了”的AI，这几天成了圈内新星。Reddit、HackerNews上讨论热度持续升高。
最近，UIUC苹果华人提出了一个通用智能体框架CodeAct，通过Python代码统一LLM智能体的行动。
现在一句口令，就能指挥汽车了。比如说声“我开会要迟到了”“我不想让我朋友等太久”等等，车就能理解，并且自动加速起来。