马斯克突发Grok 1.5！上下文长度至128k、HumanEval得分超GPT-4
马斯克突发Grok 1.5！上下文长度至128k、HumanEval得分超GPT-4就在刚刚，马斯克Grok大模型宣布重大升级。
来自主题: AI技术研报
7607 点击 2024-03-30 13:48
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
就在刚刚，马斯克Grok大模型宣布重大升级。
中国大模型产业该怎么看？
【新智元导读】52B的生产级Mamba大模型来了！这个超强变体Jamba刚刚打破世界纪录，它能正面硬刚Transformer，256K超长上下文窗口，吞吐量提升3倍，权重免费下载。
【新智元导读】马斯克「搞笑」模型刚刚升级到Grok-1.5，推理性能暴涨，支持128k长上下文。最重要的是，Grok-1.5的数学和代码能力大幅提升。
【新智元导读】Stability AI在大佬出走后似乎并未受到影响，最近又官宣了新的代码模型Stable Code Instruct 3B，在之前的基础上更进一步，干掉了所有同级竞品，甚至能和7B、15B的模型掰手腕。
【新智元导读】从今天起，千元级就能解锁专属大模型了！这款搭载首颗纯国产14nm Chiplet大模型推理芯片的「深目」AI模盒，可以轻松实现百亿级参数多模态大模型的推理+微调。各种碎片化长尾算法，直接秒级生成！
【新智元导读】过去25年，半导体工艺制程不断逼近极限，才有了ChatGPT的诞生。如今世界最强英伟达GPU已有超2080亿个晶体管。台积电大佬预测，未来十年，1万亿晶体管GPU将问世。
一张照片 + 一段视频，就能让照片活起来！
DeepMind 这篇论文一出，人类标注者的饭碗也要被砸了吗？
马斯克搞大模型，速度也奇快。
Mamba时代来了？
过去一年，从通用大模型的爆发性成长，再到垂直行业大模型与场景化应用的深度融合，人工智能正以前所未有的速度影响甚至改变世界。
“最强”开源大模型之争，又有新王入局：
【新智元导读】近日，来自谷歌的研究人员发布了多模态扩散模型VLOGGER，只需一张照片，和一段音频，就能直接生成人物说话的视频！
【新智元导读】Claude 3在通用任务上是全球最强已经毋庸置疑。更令人惊叹的是，它在专业领域的表现，比如化学任务，也能远远领先GPT-4。
【新智元导读】OpenAI给开发者分钱了！就在刚刚，OpenAI宣布GPT将「货币化」，所有美国开发者都可以得到收入分成，具体细节还在摸索。开发者欢呼：爱死OpenAI了！
【新智元导读】就在刚刚，全球最强开源大模型王座易主，创业公司Databricks发布的DBRX，超越了Llama 2、Mixtral和Grok-1。MoE又立大功！这个过程只用了2个月，1000万美元，和3100块H100。
建设大学 AI 专业，大力投入产业发展，现在成效已逐渐显现。
扩散模型凭借其在图像生成方面的出色表现，开启了生成式模型的新纪元。诸如 Stable Diffusion，DALLE，Imagen，SORA 等大模型如雨后春笋般涌现，进一步丰富了生成式 AI 的应用前景。然而，当前的扩散模型在理论上并非完美，鲜有研究关注到采样时间端点处未定义的奇点问题。此外，奇点问题在应用中导致的平均灰度等影响生成图像质量的问题也一直未得到解决。
这是迄今为止最强大的开源大语言模型，超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。
RLHF 通过学习人类偏好，能够在难以手工设计奖励函数的复杂决策任务中学习到正确的奖励引导，得到了很高的关注，在不同环境中选择合适的人类反馈类型和不同的学习方法至关重要
【新智元导读】GPT-5还未发布，GPT-6已经在路上了？微软工程师曝出，为GPT-6搭建10万个H100训练集群，整个电网却被搞崩。通往AGI大关，还需要破解电力难题。
Stable Diffusion 3 还没全面开放，这家公司的代码生成模型先来了。本周一，Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。
让大模型自己动手，好过让人类动手。黄仁勋对话Transformer八子时，最后一位离开谷歌的论文作者Llion Jones，相信这是大模型技术的关键趋势。他还卖了个关子，预告他创立的Sakana AI马上就有大动作。
LLM-Powered Agent凭借长期记忆+自主规划+自动执行等特性，是探索人工通用智能(AGI)的可能途径之一。从单一智能体到多智能体的迭代，是实现AI执行更多更复杂的工作的重要跨越。
3 月 23 日，国内通用大模型创业公司阶跃星辰在 2024 全球开发者先锋大会上发布了公司的通用大模型产品。阶跃星辰创始人、CEO 姜大昕博士在大会开幕式上对外发布了 Step 系列通用大模型，包括 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型以及 Step-2 万亿参数 MoE 语言大模型预览版。
自理海大学、微软研究院的研究者提出了一种多智能体框架 Mora，该框架整合了几种先进的视觉 AI 智能体，以复制 Sora 所展示的通用视频生成能力。
近年来，LLM 已经一统所有文本任务，展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力，其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务，目前依然缺乏一个强大的基础模型。
受人类视觉系统的启发，MVDiffusion++结合计算方法高保真和人类视觉系统灵活性，可以根据任意数量的无位姿图片， 生成密集、高分辨率的有位姿图像，实现了高质量的3D模型重建。
近日，Stability AI又发布了新作SV3D，基于视频扩散模型的SV3D将3D模型生成的效果提升了一大截，模型权重已在huggingface开放。