12年前上手深度学习,Karpathy掀起一波AlexNet时代回忆杀,LeCun、Goodfellow等都下场
12年前上手深度学习,Karpathy掀起一波AlexNet时代回忆杀,LeCun、Goodfellow等都下场没想到,自 2012 年 AlexNet 开启的深度学习革命已经过去了 12 年。
没想到,自 2012 年 AlexNet 开启的深度学习革命已经过去了 12 年。
机器如何能像人类和动物一样高效地学习?机器如何学习世界运作方式并获得常识?机器如何学习推理和规划……
随着 Llama 3 发布,未来大模型的参数量已飙升至惊人的 4000 亿。尽管每周几乎都有一个声称性能超强的大模型出来炸场,但 AI 应用还在等待属于它们的「ChatGPT 时刻」。其中,AI 智能体无疑是最被看好的赛道。
对于烟雾等动态三维物理现象的高效高质量采集重建是相关科学研究中的重要问题,在空气动力学设计验证,气象三维观测等领域有着广泛的应用前景。通过采集重建随时间变化的三维密场度序列,可以帮助科学家更好地理解与验证真实世界中的各类复杂物理现象。
生成式 AI 可以对话、写诗、画图、做视频、作曲、写代码......
AI做数学题,真正的思考居然是暗中“心算”的?
身为文案内容创作的打工人,每天都要不停的码字,写文案,写脚本,写日报,写周报等等等。。。脑细胞真的剩的不多了!
2016 年,由人工智能撰写《电脑写小说的那一天》小说成功通过了日本“星新一文学奖”的初选;Sony 开发的 DeepBach AI 在深度学习巴赫后,创作出的仿巴赫音乐,在 1600 位听众里,骗过了超过一半的人,让他们以为这就是巴赫本人的创作。
资本市场即将决出下一阶段人工智能受益者。一年多来,人工智能一直是投资者关注的焦点,为这一新周期构建硬件和软件的公司享受着出色的股票回报。接下来,一些非科技企业将从人工智能中受益,他们通过AI工具提高效率和生产力。
2024年5月3日下午,北大建校126周年校庆之际,在北大博雅酒店的聚光灯下,一场汇聚顶尖AI智慧的盛宴——北京大学人工智能产业峰会暨校友「人工智能+」论坛在北大校庆期间隆重举行。
没想到,在大模型时代,知名「AI 教母」李飞飞也要「创业」了,并完成了种子轮融资。
今年 1 月份,2024 年度 IEEE 冯诺伊曼奖项结果正式公布,斯坦福大学语言学和计算机科学教授、AI 学者克里斯托弗・曼宁(Christopher Manning)获奖。
近年来,大型语言模型(LLM)在数学应用题和数学定理证明等任务中取得了长足的进步。数学推理需要严格的、形式化的多步推理过程,因此是 LLMs 推理能力进步的关键里程碑, 但仍然面临着重要的挑战。
使用测序 (scATAC-seq) 技术对转座酶可及的染色质进行单细胞测定,可在单细胞分辨率下深入了解基因调控和表观遗传异质性,但由于数据的高维性和极度稀疏性,scATAC-seq 的细胞注释仍然具有挑战性。现有的细胞注释方法大多集中在细胞峰矩阵上,而没有充分利用底层的基因组序列。
在过去一年中,通义千问系列模型持续开源。
万万没想到,与任务无直接关联的多模态数据也能提升Transformer模型性能。
我有一个朋友,中年被裁、股市爆仓、子女厌学……但是他毫不气馁,不怨天地,每天除了钓鱼、打游戏,剩下的时间都用来积极思考新的创业良机。
“预测下一个token”被认为是大模型的基本范式,一次预测多个tokens又会怎样?
全球AIGC应用浪潮下,怎样将大模型产品以一种更贴近消费者的形式融入生产力工具?
尽管蛋白质结构预测取得了重大进展。但对于 80% 以上的蛋白质,迄今为止尚未发现小分子配体。识别大多数蛋白质的小分子配体仍具有挑战性。
传统的 3D 重建算法需要不同视角拍摄的多张图片作为输入从而重建出 3D 场景。近年来,有相当多的工作尝试从单张图片构建 3D 场景。然而,绝大多数此类工作都依赖生成式模型(如 Stable Diffusion),换句话说,此类工作仍然需要通过预训练的生成式模型推理场景中的 3D 信息。
语言建模领域的最新进展在于在极大规模的网络文本语料库上预训练高参数化的神经网络。在实践中,使用这样的模型进行训练和推断可能会成本高昂,这促使人们使用较小的替代模型。然而,已经观察到较小的模型可能会出现饱和现象,表现为在训练的某个高级阶段性能下降并趋于稳定。
当前最火的大模型,竟然三分之二都存在过拟合问题?
AI又把「魔爪」伸向了一波打工人,而且这次还是一波高级打工人。
答案揭晓了! 「神秘gpt2-chatbot不是GPT-4.5」。
在陶哲轩的启发下,越来越多的数学家开始尝试利用人工智能进行数学探索。这次,他们瞄准的目标是世界十大最顶尖数学难题之一的费马大定理。
2024 年 4 月 20 日,即 Meta 开源 Llama 3 的隔天,初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本,每秒可输出token输提升至800。
微软与 OpenAI 之间的关系紧密而复杂。在 OpenAI CEO Sam Altman 陷入辞退的风波时,微软 CEO 纳德拉曾多次力挺他,并向他抛出橄榄枝。当这场 OpenAI「宫斗」过去后,纳德拉也表示,无论 Altman 身在何处,仍然会支持他。
自2021年诞生,CLIP已在计算机视觉识别系统和生成模型上得到了广泛的应用和巨大的成功。我们相信CLIP的创新和成功来自其高质量数据(WIT400M),而非模型或者损失函数本身。虽然3年来CLIP有大量的后续研究,但并未有研究通过对CLIP进行严格的消融实验来了解数据、模型和训练的关系。
一种全新的神经网络架构KAN,诞生了! 与传统的MLP架构截然不同,且能用更少的参数在数学、物理问题上取得更高精度。