Phi-4系列模型上新了！56亿参数Phi-4-multimodal集语音、视觉、文本多模态于一体，读图推理性能碾压GPT-4o；另一款38亿参数Phi-4-mini在推理、数学、编程等任务中超越了参数更大的LLM，支持128K token上下文。
OpenAI的重磅炸弹GPT-4.5，刚刚如期上线了！它并不是推理模型，但是规模最大、知识最丰富，最鲜明的特点就是情商高、很类人。Pro版用户和付费开发者已经能用了，但token定价有点离谱。
最近，英伟达开源了首个在Blackwell架构上优化的DeepSeek-R1，实现了推理速度提升25倍，和每token成本降低20倍的惊人成果。同时，DeepSeek连续开源多个英伟达GPU优化项目，共同探索模型性能极限。
谷歌首席科学家Jeff Dean与Transformer作者Noam Shazeer在一场访谈中不仅揭秘了让模型速度提升三倍的低精度计算技术，分享了「猫神经元」等早期AI突破的背后故事，还大胆畅想了AI处理万亿级别Token、实现「1000万倍工程师」的可能性。
谷歌研究人员提出了一种创新的token拍卖模型，通过「竞拍」的方式，让智能体在文本生成过程中进行出价，确保最终输出能满足各方利益，实现最佳效果。这一机制优化了广告、内容创作等领域的协作。
Transformer 架构在过去几年中通过注意力机制在多个领域（如计算机视觉、自然语言处理和长序列任务）中取得了非凡的成就。然而，其核心组件「自注意力机制」 的计算复杂度随输入 token 数量呈二次方增长，导致资源消耗巨大，难以扩展到更长的序列或更大的模型。
RedStone是一个高效构建大规模指定领域数据的处理管道，通过优化数据处理流程，从Common Crawl中提取了RedStone-Web、RedStone-Code、RedStone-Math和RedStone-QA等数据集，在多项任务中超越了现有开源数据集，显著提升了模型性能。
用扩散模型替代自回归，大模型的逆诅咒有解了!
近年来，大语言模型（LLMs）取得了突破性进展，展现了诸如上下文学习、指令遵循、推理和多轮对话等能力。目前，普遍的观点认为其成功依赖于自回归模型的「next token prediction」范式。
自然语言 token 代表的意思通常是表层的（例如 the 或 a 这样的功能性词汇），需要模型进行大量训练才能获得高级推理和对概念的理解能力，
