AI资讯新闻榜单内容搜索-数据集

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 数据集
吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务

吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务

吴恩达团队新作:多模态多样本上下文学习,无需微调快速适应新任务

本研究评估了先进多模态基础模型在 10 个数据集上的多样本上下文学习,揭示了持续的性能提升。批量查询显著降低了每个示例的延迟和推理成本而不牺牲性能。这些发现表明:利用大量演示示例可以快速适应新任务和新领域,而无需传统的微调。

来自主题: AI技术研报
9478 点击    2024-06-19 23:13
ICLR 2024 Oral | 应对随时间变化的分布偏移,西安大略大学等提出学习时序轨迹方法

ICLR 2024 Oral | 应对随时间变化的分布偏移,西安大略大学等提出学习时序轨迹方法

ICLR 2024 Oral | 应对随时间变化的分布偏移,西安大略大学等提出学习时序轨迹方法

在现实世界的机器学习应用中,随时间变化的分布偏移是常见的问题。这种情况被构建为时变域泛化(EDG),目标是通过学习跨领域的潜在演变模式,并利用这些模式,使模型能够在时间变化系统中对未见目标域进行良好的泛化。然而,由于 EDG 数据集中时间戳的数量有限,现有方法在捕获演变动态和避免对稀疏时间戳的过拟合方面遇到了挑战,这限制了它们对新任务的泛化和适应性。

来自主题: AI技术研报
9564 点击    2024-06-19 23:11
星环科技孙元浩:语料已经是大模型最大的挑战

星环科技孙元浩:语料已经是大模型最大的挑战

星环科技孙元浩:语料已经是大模型最大的挑战

「原来以为语料已经匮乏了,大模型训练已经没有语料了,实际上不是的,数据还远远没有跑光」。

来自主题: AI资讯
8831 点击    2024-06-16 18:09
Scaling Law触礁「数据墙」?Epoch AI发文预测LLM到2028年耗尽所有文本数据

Scaling Law触礁「数据墙」?Epoch AI发文预测LLM到2028年耗尽所有文本数据

Scaling Law触礁「数据墙」?Epoch AI发文预测LLM到2028年耗尽所有文本数据

训练数据的数量和质量,对LLM性能的重要性已经是不言自明的事实。然而,Epoch AI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水,他们预测,互联网上可用的人类文本数据将在四年后,即2028年耗尽。

来自主题: AI技术研报
9707 点击    2024-06-15 16:20
英伟达开源3400亿巨兽,98%合成数据训出最强开源通用模型!性能对标GPT-4o

英伟达开源3400亿巨兽,98%合成数据训出最强开源通用模型!性能对标GPT-4o

英伟达开源3400亿巨兽,98%合成数据训出最强开源通用模型!性能对标GPT-4o

刚刚,英伟达全新发布的开源模型Nemotron-4 340B,有可能彻底改变训练LLM的方式!从此,或许各行各业都不再需要昂贵的真实世界数据集了。而且,Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2,甚至可以和GPT-4掰手腕!

来自主题: AI技术研报
4649 点击    2024-06-15 15:58
对话林咏华:刚在“AI春晚”上开源了3.4T数据集的智源,是如何死磕大模型数据难题的

对话林咏华:刚在“AI春晚”上开源了3.4T数据集的智源,是如何死磕大模型数据难题的

对话林咏华:刚在“AI春晚”上开源了3.4T数据集的智源,是如何死磕大模型数据难题的

本周五,一年一度的AI春晚“北京智源大会”正式开幕。本次大会AI明星浓度,放在全球范围内可能也是独一份:OpenAI Sora负责人Aditya Ramesh作为神秘嘉宾进行了分享,并接受了DiT作者谢赛宁的“拷问”、李开复与张亚勤炉边对话AGI、还集齐了国内大模型“四小龙”,百川智能CEO王小川、智谱AI CEO张鹏、月之暗面CEO杨植麟、面壁智能CEO李大海…… 这还只是第一天上午的开幕式。

来自主题: AI资讯
9212 点击    2024-06-15 15:38
FineWeb技术报告出炉!揭秘HuggingFace规模最大、质量最高预训练数据集

FineWeb技术报告出炉!揭秘HuggingFace规模最大、质量最高预训练数据集

FineWeb技术报告出炉!揭秘HuggingFace规模最大、质量最高预训练数据集

从大规模网络爬取、精细过滤到去重技术,通过FineWeb的技术报告探索如何打造高质量数据集,为大型语言模型(LLM)预训练提供更优质的性能。

来自主题: AI资讯
9299 点击    2024-06-09 18:06
首次证实白盒Transformer可扩展性!马毅教授CRATE-α:鲸吞14亿数据,性能稳步提升

首次证实白盒Transformer可扩展性!马毅教授CRATE-α:鲸吞14亿数据,性能稳步提升

首次证实白盒Transformer可扩展性!马毅教授CRATE-α:鲸吞14亿数据,性能稳步提升

CRATE-α是一种新型Transformer架构变体,通过设计改进提升了模型的可扩展性、性能和可解释性,CRATE-α-Base在ImageNet分类任务上的性能显著超过了之前最好的CRATE-B模型,其性能会随着模型和数据集规模扩大而继续提升。

来自主题: AI技术研报
8998 点击    2024-06-06 15:48