大模型训练开销还能更小！微软推出首个FP4训练框架，训练效果与BF16相当
大模型训练开销还能更小！微软推出首个FP4训练框架，训练效果与BF16相当首个FP4精度的大模型训练框架来了，来自微软研究院！
来自主题:
AI技术研报
9105 点击 2025-01-30 15:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
首个FP4精度的大模型训练框架来了，来自微软研究院！
2025 年伊始，全球 AI 业界被 DeepSeek 刷屏。当 OpenAI 宣布 5000 亿美元的「星际之门」计划，Meta 在建规模超 130 万 GPU 的数据中心时，这个来自中国的团队打破了大模型军备竞赛的既定逻辑：用 2048 张 H800 GPU，两个月训练出了一个媲美全球顶尖水平的模型。
"Deepseek R1不就是一个参数更大的语言模型吗？随便问问题就行了，还需要什么特殊技巧？"——当你说出这句话时，是否意识到自己正像《西游记》里高举紫金葫芦的妖怪，对着齐天大圣叫嚣："我叫你的名字，你敢答应吗？"
他们急了！特朗普的AI沙皇和微软纷纷指控DeepSeek「偷窃」数据，DeepSeek不断遭受来自美国IP的不间断大规模攻击。Anthropic CEO更是发出檄文：再不加强对中国的芯片管制，就来不及了！
五角大楼的90天AI计划，正式启动了。美国印太司令部将在实验中，评估AI在现实军事场景中对抗我国等高科技对手的潜力。据悉，重点集中在海军应用上。
相比LLM和Agent领域日新月异、高度成熟的进展相比，数据收集方面的规范有明显滞后。由超过50名研究人员组成的「数据溯源计划」（DPI）旨在回答这样一个问题：AI训练所需的数据究竟来自何处？
梁文锋带领着DeepSeek，还在继续搅动大模型行业。继用R1模型炸场之后，1月28日凌晨，除夕夜前一晚，DeepSeek又开源了其多模态模型Janus-Pro-7B，宣布在GenEval和DPG-Bench基准测试中击败了DALL-E 3（来自 OpenAI）和Stable Diffusion。
过去一个月，我用AI完成了所有文字工作。从视频脚本、公众号长文，再到整活，我主业和副业的所有工作，几乎全是用AI写的。
据参考消息援引美媒报道，美国海军基于“潜在安全和道德问题”，已要求人员避免以任何形式使用中国公司的DeepSeek模型。另据@玉渊潭天 消息，当地时间1月28日，美国多名官员回应DeepSeek对美国的影响，表示DeepSeek是“偷窃”，正对其影响开展国家安全调查。
时隔7年，阿里巴巴再次成为春晚上“最靓的仔”。据了解，阿里云主要为春晚提供两部分技术支持：一是阿里云云转播技术支持全球华人云上看春晚，二是阿里云通义大模型技术支持春晚节目创新，创造全新的视听效果。此前，阿里云已连续多年为央视总台提供护航服务，保障春晚稳定直播。
DeepSeek、迅雷、虎扑其实都在思考同一个问题：数字时代发展到当下，科技行业应该何去何从？龙年年底，科技界和体育界分别迎来两宗大事件——2025年1月20日，DeepSeek-R1开源人工智能模型发布；2025年1月27日，迅雷宣布作价5亿元人民币收购体育媒体及数据平台虎扑。
DeeSeek R1横空出世撼动了整个硅谷，这波AI恐惧仍在蔓延扩散。奥特曼、OpenAI首席研究官不得不发文承认DeeSeek的技术突破，预告未来会加快新模型的发布。与此同时，研究人员们也纷纷展开了对DeepSeek技术的深入分析。
世界首个不用编码AI工程师Heyboss横空出世！一句话创建超级应用，99%人也能当程序员。最近，初创Heyboss AI官宣了AI非编码工具Heyboss，专为代码小白量身打造。
基于一段文本提问时，人类和大模型会基于截然不同的思维模式给出问题。大模型喜欢那些需要详细解释才能回答的问题，而人类倾向于提出更直接、基于事实的问题。
「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。
由港科广、中南、西湖大学、UIUC、新加坡国立大学、上海 AI Lab、宾夕法尼亚大学等团队联合发布的首篇聚焦医疗领域具身智能的综述论文《A Survey of Embodied AI in Healthcare: Techniques, Applications, and Opportunities》正式上线，中南大学刘艺灏为第一作者
硬件媒体Tom‘s Hardware带来开年最新热议：DeepSeek甚至绕过了CUDA，使用更底层的编程语言做优化。这一次是DeepSeek-V3论文中的更多细节，被人挖掘出来。
昨晚，杭州大模型又双叒不睡，给大伙儿拜年啦～就在春晚直播进行时，阿里通义Qwen发布新春节礼第三弹：Qwen2.5-Max来袭，多个基准测试中超越当红炸子鸡DeepSeek V3。
RAG系统的搭建与优化是一项庞大且复杂的系统工程，通常需要兼顾测试制定、检索调优、模型调优等关键环节，繁琐的工作流程往往让人无从下手。
今天（1月28日）凌晨，国内火爆的AI大模型公司深度求索（DeepSeek）称遭受大规模恶意攻击。据悉，DeepSeek旗下AI（人工智能）服务在24小时内经历多次宕机。
ETH Zurich等机构提出了推理语言模型（RLM）蓝图，超越LLM局限，更接近AGI，有望人人可用o3这类强推理模型。
VARGPT是一种新型多模态大模型，能够在单一框架内实现视觉理解和生成任务。通过预测下一个token完成视觉理解，预测下一个scale完成视觉生成，展现出强大的混合模态输入输出能力。
知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map，提高学生模型的准确性。迁移学习则通常通过预训练和微调，将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。
在过去的两年里，城市场景生成技术迎来了飞速发展，一个全新的概念 ——世界模型（World Model）也随之崛起。当前的世界模型大多依赖 Video Diffusion Models（视频扩散模型）强大的生成能力，在城市场景合成方面取得了令人瞩目的突破。然而，这些方法始终面临一个关键挑战：如何在视频生成过程中保持多视角一致性？
2025年1月26日，拾象创始人兼CEO李广密，组织了一场关于 DeepSeek的闭门讨论会，嘉宾包括数十位顶尖AI研究员、投资人与一线 AI 从业者，围绕DeepSeek的技术细节、组织文化以及其出圈后的短中长期影响等，进行了探讨与学习。
DeepSeek大爆出圈，现在连夜发布新模型——多模态Janus-Pro-7B，发布即开源。在GenEval和DPG-Bench基准测试中击败了DALL-E 3和Stable Diffusion。
TurboLearn AI 通过自动将讲座录音转化为有组织的笔记、闪卡和测验，让学生专注于学习，减少因错过关键细节而产生的压力。
科技媒体 testingcatalog 今天（1 月 27 日）发布博文，报道称 xAI 官方虽然尚未公布，但 Grok-3 已短暂现身独立平台和 X 平台，开启内部测试，有望下周正式发布。
在美国发布AI禁令后，特朗普随即宣布了一项预算高达5000亿美元的AGI计划——星际之门，以保证其在AI领域的领先地位。而在大洋彼岸的中国，一家名为Deepseek的中国创业公司，只用了2048块显卡，就训练出了一个能与顶级模型相媲美的Deepseek-V3模型。
