前谷歌科学家离职创业1年，自述训练LLM卡在算力上！买卡就像中彩票，Karpathy转赞
前谷歌科学家离职创业1年，自述训练LLM卡在算力上！买卡就像中彩票，Karpathy转赞一家大模型初创公司从创立到训练出大模型，要克服怎样的难题？前谷歌科学家离职后创业一年，发文自述算力是训练大模型的难点。
来自主题: AI资讯
8541 点击 2024-03-10 15:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
一家大模型初创公司从创立到训练出大模型，要克服怎样的难题？前谷歌科学家离职后创业一年，发文自述算力是训练大模型的难点。
剧本杀是一种广受欢迎的多角色扮演侦探游戏，要求玩家扮演不同的角色。通过阅读角色文本、理解各自的故事、搜集线索、以及逻辑推理，玩家们共同努力揭开谜团。游戏角色通常被分为平民和凶手两大类：平民的目标是找出隐藏在他们中间的凶手，而凶手则尽力隐藏自己的身份，避免被发现。那么，如果让 AI 加入游戏，会产生怎样的新变化呢？
近期的研究表明，采用扩散模型的规划模块能够同时生成长序列的轨迹规划，这更加符合人类的决策模式。此外，扩散模型在策略表征和数据合成方面也能为现有的决策智能算法提供更优的选择。
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。
依靠接近 GPT-4 能力的 GLM-4 的基础模型能力，智谱清言中的智能体（GLMs）也是我体验过的众多智能体中，使用体验比较不错的。
本周四，美国 AI 创业公司 Inflection AI 正式发布新一代大语言模型 Inflection-2.5。仅用 40% 计算量，实现与 GPT-4 相媲美性能。
最终，Claude 3最强的“大杯”模型Opus得分1233，成为第一个能和GPT-4-Turbo一较高下的选手。
到了2024年，大模型领域还是这么卷。继世界最强模型Claude 3诞生之后，OpenAI劲敌新升级了Inflection-2.5，仅用40%的计算量，性能竟与GPT-4平起平坐。
3 月 1 日，未来高新视频智能技术创新中心成果汇报会暨创新联合体揭牌仪式在北京快手科技举办。
本周四，美国 AI 创业公司 Inflection AI 正式发布新一代大语言模型 Inflection-2.5。