
Flash Attention稳定吗?Meta、哈佛发现其模型权重偏差呈现数量级波动
Flash Attention稳定吗?Meta、哈佛发现其模型权重偏差呈现数量级波动众所周知,大语言模型的训练常常需要数月的时间,使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例,其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性,导致训练大模型存在着独特的系统性挑战。
众所周知,大语言模型的训练常常需要数月的时间,使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例,其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性,导致训练大模型存在着独特的系统性挑战。
基于 Diffusion Transformer(DiT)又迎来一大力作「Flag-DiT」,这次要将图像、视频、音频和 3D「一网打尽」。
大模型回答如何更可靠?MIT研究团队设计出「共识博弈」,将数学家常用的博弈论引入LLM改进中。没想到,LLaMA-7B的表现,击败了LLaMA-65B,甚至与PaLM-540B相媲美。
最少只需1个3D样例,即可生成3D主题乐园。
微软&清华最新研究,打破GPT系列开创的Decoder-Only架构——
最近OpenAI太反常,消息一会一变,直让人摸不着头脑。
昨天刚刚在顶会ICLR作为特邀演讲(Invited Talk)中“国内唯一”的大模型玩家智谱AI,今天又放出了一个好消息
Richard Sutton 在 「The Bitter Lesson」中做过这样的评价:「从70年的人工智能研究中可以得出的最重要教训是,那些利用计算的通用方法最终是最有效的,而且优势巨大。」
刚刚提出了KAN的MIT物理学家Max Tegmark和北大校友刘子鸣,又有一项重磅研究问世了!团队发现,它们用AI发现了物理学中的新方程,从此,AI很可能被引入物理学研究领域,帮助人类物理学家做出全新的发现。
人类大脑皮层,可以以纳米级分辨率建模了!
当地时间5月7日,ICLR 2024颁发了自大会举办以来的首个「时间检验奖」!
DeepMind新发布的AlphaFold 3是科技圈今天的绝对大热门,成为了Hacker News等许多科技媒体的头版头条。
有数据统计,2022年全年,全国数据中心耗电量达到2700亿千瓦时,占全社会用电量约3%。预计2024年全国数据中心的耗电量将在3400亿至3600亿度之间,到2025年可能增长至4000亿至4400亿度。
自计算机诞生以来,指令集架构一直是计算机体系结构中的核心概念之一。目前市场上主流的指令集架构两大巨头是x86和ARM,前者基本垄断了PC、笔记本电脑和服务器领域,后者则在智能手机和移动终端市场占据主导地位。
2023-2024年,以 GPT-4V、Gemini、Claude、LLaVA 为代表的多模态大模型(Multimodal LLMs)已经在文本和图像等多模态内容处理方面表现出了空前的能力,成为技术新浪潮。
传统上,大型语言模型(LLMs)被认为是顺序解码器,逐个解码每个token。
尽管苹果在生成式 AI 方面的进展没有像谷歌、Meta 和微软等竞争对手那样高调,但该公司一直在进行相关研究,其构筑新生态的思路总是显得与众不同。
在机器学习社区中,ICLR (国际学习表征会议)是较为「年轻」的学术会议,它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办。但 ICLR 很快就获得了研究者的广泛认可,并且在 AI 圈拥有了深度学习会议「无冕之王」的称号。
阿里云正式发布通义千问2.5大模型,同时宣布性能全面赶超GPT-4 Turbo。
芝麻粒大小的人脑组织,突触规模就相当于一个GPT-4!
ControlNet作者新作,玩儿得人直呼过瘾,刚开源就揽星1.2k。
机器学习三大顶会之一的ICLR 2024,正在维也纳如火如荼地举行。
传统 LLM-based AI Agent 运维平台在复杂应用开发方面存在一定局限 ,复旦大学人工智能创新与产业研究院(AI³)徐盈辉研究员与 AI2Apps 团队打造的 AI2Apps 可视化集成开发环境集成了工程级的开发工具,覆盖 AI Agent 完整开发周期,具有完全开放的扩展性,并自带浏览器沙盒环境,借鉴 Figma 的理念
近年来,在经历了ChatGPT、Midjourney等国际AIGC产品的飞速发展,以及百度文心、阿里通义、Kimi等国内AIGC产品的激烈追赶后,2024年,几乎每位互联网用户都或多或少接触了AIGC技术产生的内容。从智能手机中的大模型助手,到日常所见的AI生成图片,再到职场中的AIGC工具辅助优化工作,AIGC内容已遍布人们的生活中。
腾讯科技讯 作为搜索领域无可争议的霸主,谷歌改变了我们生活的方方面面,从日常琐事到工作事务,再到我们的沟通方式。多年来,谷歌一直是互联网的窗口,为我们提供大量知识和信息,但如今,随着其他类似平台的崛起,谷歌可能不再是我们寻找答案的首要选择。那么,面对这样的挑战,谷歌又将如何应对?
当人们还在呼唤GPT-5、辗转于各种聊天机器人争夺战时,Google已经把人工智能模型与现实世界的距离又拉近了一大步。
“逐梦AI圈”的中小创业者,何时圆梦?
“用智能,开启无限可能” 2024惠普商用AI战略暨AI PC新品发布会在北京盛大举行。
Sora 的第一批使用者,详细讲述了自己使用其生成完整视频的制作过程。
OpenAI挖角谷歌、加班加点研发的AI搜索产品,马上就要上线了。