赶超 GPT-4o，最强大模型 Llama 3.1 405B 一夜封神，扎克伯格：开源引领新时代
赶超 GPT-4o，最强大模型 Llama 3.1 405B 一夜封神，扎克伯格：开源引领新时代就在刚刚，Meta 如期发布了 Llama 3.1 模型。
来自主题: AI资讯
3994 点击 2024-07-24 11:00
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
就在刚刚，Meta 如期发布了 Llama 3.1 模型。
Llama 3.1 终于现身了，不过出处却不是 Meta 官方。
Scaling Law还没走到尽头，「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列，规模甚至降低到了1B以下，两个版本分别只有125M和350M参数，但却实现了比更大规模模型更优的性能。
大模型开源的热潮下，隐藏着诸多问题，从定义的模糊到实际开放内容的局限性，Lecun再陷Meta大模型是否真开源的质疑风波只是冰山一角。
最近，PyTorch团队首次公布了开发路线图，由内部技术文档直接修改而来，披露了这个经典开源库下一步的发展方向。
研究者表示，如果 Sytem 2 蒸馏可以成为未来持续学习 AI 系统的重要特征，则可以进一步提升 System 2 表现不那么好的推理任务的性能。
《思考快与慢》中人类的两种思考方式，属实是被Meta给玩明白了。
Meta目前专注于通过参与度实现盈利
Meta首席人工智能科学家、深度学习之父Yann LeCun又开喷了。
下一代视觉模型会摒弃patch吗？Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构，让Transformer直接学习单个像素而不是16×16的patch，结果在多个下游任务中取得了全面超越ViT模型的性能。