3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源
3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
来自主题: AI技术研报
6215 点击 2024-12-18 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
大模型如今已具有越来越长的上下文，而与之相伴的是推理成本的上升。英伟达最新提出的Star Attention，能够在不损失精度的同时，显著减少推理计算量，从而助力边缘计算。
社交平台Bluesky近期爆火，有人认为它可能取代X（原Twitter）。 作为新晋的社交平台，Bluesky在上周已突破2000万用户。在过去一周，Bluesky每天都有将近100万的新用户注册。特别是在美国大选结果揭晓后，大量的用户离开马斯克的X，转向Bluesky。
一个有效的复杂系统总是从一个有效的简单系统演化而来的。——John Gall
Hugging Face 上的模型数量已经超过了 100 万。但是几乎每个模型都是孤立的，难以与其它模型沟通。尽管有些研究者甚至娱乐播主试过让 LLM 互相交流，但所用的方法大都比较简单。
如果把人工智能比作人类技术史上的一场革命， 那么 Hugging Face 就是这场革命中的一位「使者」， 它用一场场真诚的拥抱，拉近了科研与应用、技术与人之间的距离。 今天，Hugging Face 已成为 AI 开源领域的明星，拥有超过 50 亿美元的估值，并成功将开源精神与商业化模式融合，成为全球最活跃的 AI 社区之一。 但这一切，起点却颇为意外，从一款聊天机器人开始。
OpenAI 2024年开发者大会第二场（伦敦场）刚结束。 10月初在旧金山举办了第一场 OpenAI 开发者大会，但这次没有像上一场放出很多花活，这次开始走剧透局了！
前几天在 Hugging Face 文本转图像排行榜上排名第一的 red_panda，是一个名为 Recraft V3 的模型，由 AI 初创公司 Recraft 提供。 Recraft V3 以 1172 的 ELO 评分位居第一，超越了 Midjourney、OpenAI 和其他公司的模型。
北京时间 10 月 30 日，GitHub Universe 2024 如约而至，而今年正值大会十周年纪念日。本文将从 GitHub 发布的 AI 新进展入手，围绕开源模型、用户数量、盈利模式、发展历程等几个方面，全面梳理 GitHub 与 Hugging Face 两大开源平台的异同。
「这才是开放研究该有的样子。」 经常刷 arXiv 的同学，你有没有发现页面上多了个新功能？这个新功能（图中的「Hugging Face」按钮）隐藏在「Code, Data, Media」选项卡下，选中之后就可以直达相关的 Hugging Face 论文、模型和数据集。