Token已死？AI认知的新范式正在崛起
Token已死？AI认知的新范式正在崛起就在OpenAI热闹的12天发布会刚刚落下帷幕，谷歌的火力全开新模型Voe2和Gemnini2吸引了全球AI开发者的眼球时，Meta作为三巨头之一则在筹划着一场静悄悄的革命。
来自主题: AI技术研报
8302 点击 2024-12-27 10:23
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
就在OpenAI热闹的12天发布会刚刚落下帷幕，谷歌的火力全开新模型Voe2和Gemnini2吸引了全球AI开发者的眼球时，Meta作为三巨头之一则在筹划着一场静悄悄的革命。
大模型中，线性层的低比特量化已经逐步落地。然而，对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。并且，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为主要开销。
随着Gemini家族的日趋完善、阵容的发展壮大，谷歌大模型将可代表用户完成更多现实工作。
微软对 Windows 系统中的 Copilot 实现方式进行了又一次更新。
Sora、Genie等模型会都用到的Tokenizer，微软下手了—— 开源了一套全能的Video Tokenizer，名为VidTok。
Mindgard 宣布完成800万美元的融资，旨在加速其研发进程，并推动其在美国市场的扩展。此次融资由.406Ventures 领投，参与投资的还有 Atlantic Bridge、Willowtree Investments 及现有投资者 IQ Capital 和 Lakestar。同时，Mindgard 还任命了两位行业领军人物，分别担任产品负责人和市场副总裁，以强化公司的产品开发和市场推广。
2024年，AI Agent称得上最火热的概念。一方面，大模型赛道降温，并呈现出赢家通吃的局面；另一方面，AI Agent则是大模型应用落地的最佳形式，其能够解决LLMs在具体应用场景中的局限性。
近些年来，以 Stable Diffusion 为代表的扩散模型为文生图（T2I）任务树立了新的标准，PixArt，LUMINA，Hunyuan-DiT 以及 Sana 等工作进一步提高了图像生成的质量和效率。然而，目前的这些文生图（T2I）扩散模型受限于模型尺寸和运行时间，仍然很难直接部署到移动设备上。
想象这样一个场景：深夜 11 点，你已经忙碌了一天，正准备休息，却想起明天早上还得分享一篇经典论文《Attention Is All You Need》，需要准备幻灯片。这时，你突然想到了自己的 AI 助手 —— PC Agent。
IBM 正式发布了其新一代开源大语言模型 Granite 3.1，这是一组轻量级、先进的开源基础模型，支持多语言、代码生成、推理和工具使用，能够在有限的计算资源上运行。这一系列模型具备 128K 的扩展上下文长度、嵌入模型、内置的幻觉检测功能以及性能的显著提升。