AI资讯新闻榜单内容搜索-transforme

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: transforme
「群体智能」剑指AGI革命!国产架构挑战Transformer霸权,首款非Attention模型更新

「群体智能」剑指AGI革命!国产架构挑战Transformer霸权,首款非Attention模型更新

「群体智能」剑指AGI革命!国产架构挑战Transformer霸权,首款非Attention模型更新

通往AGI的路径只有一条吗?实则不然。这家国产AI黑马认为,「群体智能」或许是一种最佳的尝试。他们正打破惯性思维,打造出最强AI大脑,要让世界每一台设备都有自己的智能。

来自主题: AI技术研报
8676 点击    2024-09-27 19:19
首个Mamba+Transformer混合架构多模态大模型来了,实现单卡千图推理

首个Mamba+Transformer混合架构多模态大模型来了,实现单卡千图推理

首个Mamba+Transformer混合架构多模态大模型来了,实现单卡千图推理

扩展多模态大语言模型(MLLMs)的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要。这涉及一系列系统性的优化,包括模型架构、数据构建和训练策略,尤其要解决诸如随着图像增多性能下降以及高计算成本等挑战。

来自主题: AI技术研报
7372 点击    2024-09-21 18:19
Transformer推理天花板被谷歌打破?DeepMind首席科学家亮出84页PPT,却遭LeCun反对

Transformer推理天花板被谷歌打破?DeepMind首席科学家亮出84页PPT,却遭LeCun反对

Transformer推理天花板被谷歌打破?DeepMind首席科学家亮出84页PPT,却遭LeCun反对

随OpenAI爆火的CoT,已经引发了大佬间的激战!谷歌DeepMind首席科学家Denny Zhou拿出一篇ICLR 2024论文称:CoT可以让Transformer推理无极限。但随即他就遭到了田渊栋和LeCun等的质疑。最终,CoT会是通往AGI的正确路径吗?

来自主题: AI技术研报
8569 点击    2024-09-20 19:48
KAN结合Transformer,真有团队搞出了解决扩展缺陷的KAT

KAN结合Transformer,真有团队搞出了解决扩展缺陷的KAT

KAN结合Transformer,真有团队搞出了解决扩展缺陷的KAT

Transformer 是现代深度学习的基石。传统上,Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。

来自主题: AI资讯
3753 点击    2024-09-19 15:16
Sigmoid注意力一样强,苹果开始重新审视注意力机制

Sigmoid注意力一样强,苹果开始重新审视注意力机制

Sigmoid注意力一样强,苹果开始重新审视注意力机制

注意力是 Transformer 架构的关键部分,负责将每个序列元素转换为值的加权和。将查询与所有键进行点积,然后通过 softmax 函数归一化,会得到每个键对应的注意力权重。

来自主题: AI技术研报
6158 点击    2024-09-19 11:10
谢尔盖布林:谷歌不敢用Transformer,作者全跑路了,现在我每天都在写代码

谢尔盖布林:谷歌不敢用Transformer,作者全跑路了,现在我每天都在写代码

谢尔盖布林:谷歌不敢用Transformer,作者全跑路了,现在我每天都在写代码

坐拥世界最大的搜索业务,谷歌一直独步于硅谷。搜索所带来的丰厚广告收入,让两位创始人谢尔盖・布林 (Sergey Brin) 和拉里・(Larry Page)可以退居二线,安心享受生活。

来自主题: AI资讯
3669 点击    2024-09-12 14:13
分享一波,近期GitHub上有哪些免费的神级AI项目

分享一波,近期GitHub上有哪些免费的神级AI项目

分享一波,近期GitHub上有哪些免费的神级AI项目

之前已经分享过一次AI领域GitHub上那些神级项目,大家可以回顾下这篇文章《震撼来袭,盘点GitHub上那些免费的神级AI项目,建议立刻收藏!》。但是AI发展那么迅速,所以今天继续来给大家盘点一下近期在Github上,AI领域又有哪些神级的项目,最后一个特别推荐。

来自主题: AI技术研报
11514 点击    2024-09-09 21:53
TPAMI 2024 | 计算机视觉中基于图神经网络和图Transformers的方法和最新进展

TPAMI 2024 | 计算机视觉中基于图神经网络和图Transformers的方法和最新进展

TPAMI 2024 | 计算机视觉中基于图神经网络和图Transformers的方法和最新进展

基于图神经网络的方法被广泛应用于不同问题并且显著推动了相关领域的进步,包括但不限于数据挖掘、计算机视觉和自然语言处理。考虑到图神经网络已经取得了丰硕的成果,一篇全面且详细的综述可以帮助相关研究人员掌握近年来计算机视觉中基于图神经网络的方法的进展,以及从现有论文中总结经验和产生新的想法。

来自主题: AI资讯
3445 点击    2024-09-09 14:23
GPT-4o不会数r,被外国小哥原地逼疯! 谷歌论文揭秘Transformer「数不到n」

GPT-4o不会数r,被外国小哥原地逼疯! 谷歌论文揭秘Transformer「数不到n」

GPT-4o不会数r,被外国小哥原地逼疯! 谷歌论文揭秘Transformer「数不到n」

提示工程师Riley Goodside小哥,依然在用「Strawberry里有几个r」折磨大模型们,GPT-4o在无限次PUA后,已经被原地逼疯!相比之下,Claude坚决拒绝PUA,是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间,来存储计数向量。

来自主题: AI技术研报
5242 点击    2024-09-07 17:07