随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
据全球知名创投研究机构 CB Insights 发布的统计数据显示，2024 年第三季度，接近 1/3（31%）的风险投资流入了 AI 初创企业。另根据 Crunchbase 的数据，AI 公司在 2024 年第三季度筹集了 190 亿美元，占所有风险投资的 28%。2024 年第三季度还完成了有史以来最大的风险投资交易：OpenAI 募集了 66 亿美元的巨额资金。
在数据分布持续变化的动态环境中，如何进行连续模型泛化？
论文提出了一种RAG任务分类法，将用户查询分为四个级别，并讨论了将外部数据集成到LLMs中的三种主要方式。从简单的事实检索到复杂的推理任务，每个级别都有其独特的难点和解决方案，需要不同的技术和方法来优化性能。
“赛博螺丝工”解放双手的时刻来了！
谁是在线购物领域最强大模型？也有评测基准了。
如何解决模型生成幻觉一直是人工智能（AI）领域的一个悬而未解的问题。为了测量语言模型的事实正确性，近期 OpenAI 发布并开源了一个名为 SimpleQA 的评测集。而我们也同样一直在关注模型事实正确性这一领域，目前该领域存在数据过时、评测不准和覆盖不全等问题。例如现在大家广泛使用的知识评测集还是 CommonSenseQA、CMMLU 和 C-Eval 等选择题形式的评测集。
在今天的Ignite开发者大会上，微软发布了两款专为其数据中心基础设施设计的新芯片：Azure Integrated HSM和Azure Boost DPU。
在AI领域数据和算力的军备竞赛中，AI从业者要么紧密跟随OpenAI等领先公司做进一步的应用开发，要么在Transformer机制日益显现局限之时探索新的路径。
在多样化的机器人数据集上预训练的大型策略有潜力改变机器人学习：与从头开始训练新策略相比，这种通用型机器人策略可以通过少量的领域内数据进行微调，同时具备广泛的泛化能力。
