大模型+蒙特卡洛树搜索，一招让LLaMa-3 8B奥数水平直逼GPT-4
大模型+蒙特卡洛树搜索，一招让LLaMa-3 8B奥数水平直逼GPT-4通过算法层面的创新，未来大语言模型做数学题的水平会不断地提高。
来自主题: AI技术研报
9968 点击 2024-06-17 19:32
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
通过算法层面的创新，未来大语言模型做数学题的水平会不断地提高。
最近两天，一篇入选 ACL 2024 的论文《Can Language Models Serve as Text-Based World Simulators?》在社交媒体 X 上引发了热议，就连图灵奖得主 Yann LeCun 也参与了进来。
来自浙江大学和伊利诺伊大学厄巴纳-香槟分校的研究者发表了他们关于「表格语言模型」（Tabular Language Model）的研究成果
近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。然而，大语言模型的落地应用受到其较大的推理开销的限制，对部署资源、用户体验、经济成本都带来了巨大挑战。
GPT-4o再次掀起多模态大模型的浪潮。
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。
大型语言模型（LLM）的一个主要特点是「大」，也因此其训练和部署成本都相当高，如何在保证 LLM 准确度的同时让其变小就成了非常重要且有价值的研究课题。
360 度场景生成是计算机视觉的重要任务，主流方法主要可分为两类，一类利用图像扩散模型分别生成 360 度场景的多个视角。由于图像扩散模型缺乏场景全局结构的先验知识，这类方法无法有效生成多样的 360 度视角，导致场景内主要的目标被多次重复生成，如图 1 的床和雕塑。
在大语言模型突飞猛进的同时，谷歌的研究团队在时序预测方面也取得了突破性的成果——今年2月发表的模型TimesFM，而且放出了模型的代码和权重，让更多开发者体验这种「开箱即用」的零样本预测能力。
从大规模网络爬取、精细过滤到去重技术，通过FineWeb的技术报告探索如何打造高质量数据集，为大型语言模型（LLM）预训练提供更优质的性能。