AI资讯新闻榜单内容搜索-Al

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: Al
ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力,开源框架SymbCoT来了

ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力,开源框架SymbCoT来了

ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力,开源框架SymbCoT来了

不使用外部工具也能让大语言模型(LLMs)实现严谨可信的推理,新国立提出 SymbCoT 推理框架:结合符号化逻辑(Symbolic Logical)表达式与思维链,极大提升推理质量,鲁棒性与可信度。

来自主题: AI技术研报
10176 点击    2024-06-07 14:39
ICML 2024 Oral|外部引导的深度聚类新范式

ICML 2024 Oral|外部引导的深度聚类新范式

ICML 2024 Oral|外部引导的深度聚类新范式

怎样才能将可爱又迷人的柯基与柴犬的图像进行区分?

来自主题: AI技术研报
8923 点击    2024-06-07 10:56
腾讯混元、北大发现Scaling law「浪涌现象」,解决学习率调参难题

腾讯混元、北大发现Scaling law「浪涌现象」,解决学习率调参难题

腾讯混元、北大发现Scaling law「浪涌现象」,解决学习率调参难题

过去十年间,基于随机梯度下降(SGD)的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中,Adam 及其变种最受追捧。无论是 SGD,还是 Adam,亦或是其他优化器,最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。

来自主题: AI技术研报
8506 点击    2024-06-05 22:57
Karpathy点赞,这份报告教你如何用 LLaMa 3创建高质量网络数据集

Karpathy点赞,这份报告教你如何用 LLaMa 3创建高质量网络数据集

Karpathy点赞,这份报告教你如何用 LLaMa 3创建高质量网络数据集

众所周知,对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说,构建高质量的网络规模数据集是非常重要的。然而,即使是最先进的开源 LLM 的预训练数据集也不公开,人们对其创建过程知之甚少。

来自主题: AI技术研报
9728 点击    2024-06-04 17:45
不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它

不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它

不同数据集有不同的Scaling law?而你可用一个压缩算法来预测它

一般而言,训练神经网络耗费的计算量越大,其性能就越好。在扩大计算规模时,必须要做个决定:是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。

来自主题: AI技术研报
6980 点击    2024-06-03 17:55
对话田渊栋:Scaling law代表一个非常悲观的未来

对话田渊栋:Scaling law代表一个非常悲观的未来

对话田渊栋:Scaling law代表一个非常悲观的未来

Scaling law发展到最后,可能每个人都站在一个数据孤岛上。

来自主题: AI资讯
8247 点击    2024-06-03 17:23