
LLM巫师,代码预训练是魔杖!UIUC华人团队揭秘代码数据三大好处
LLM巫师,代码预训练是魔杖!UIUC华人团队揭秘代码数据三大好处如果语言模型是巫师,代码预训练就是魔杖!
来自主题: AI技术研报
7055 点击 2024-01-28 18:36
如果语言模型是巫师,代码预训练就是魔杖!
去年,在加速大语言模型推理层面,我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今,关于 Medusa 终于有了完整技术论文,还提供了新的版本。
全新代码大模型Magicoder,不到7B参数,就能在代码生成领域与顶级代码模型不相上下。
软件开发人员对代码生成 AI 已经不陌生,它们已经成为提高生产力的利器。本文中,伊利诺伊大学香槟分校(UIUC)张令明老师团队带来了代码生成 AI 领域的又一力作 ——Magicoder,在短短一周之内狂揽 1200 多颗 GitHub Star,登上 GitHub Trending 日榜,并获推特大佬 AK(@_akhaliq)发推力荐。