
腾讯大模型落地实操:模型推理引擎 TACO-LLM 的实践、腾讯乐享的 AI 功能探索
腾讯大模型落地实操:模型推理引擎 TACO-LLM 的实践、腾讯乐享的 AI 功能探索大模型在今年的落地,除了对用 AI 对已有业务进行改造和提效外,算力和推理的优化,可能是另外一项重要的实践了。这在腾讯的两个完全不同的业务上有着明显的体现。
大模型在今年的落地,除了对用 AI 对已有业务进行改造和提效外,算力和推理的优化,可能是另外一项重要的实践了。这在腾讯的两个完全不同的业务上有着明显的体现。
JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow,也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。
Mamba时代来了?
最近两年的人工智能繁荣,让英伟达凭借GPU登上了芯片之巅。于是包括AMD、Intel、Graphcore、Cerebras和Tenstorrent等在内的传统和新贵芯片企业试图在这个领域将英伟达拉下马。
非十科技推出了一款基于自研代码大模型打造的 AI 代码助手 ——Fitten Code,它可以帮助程序员更迅捷、更准确、更高质量地完成编码任务,大幅提升编码效率,并且向用户免费开放使用!
以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中小型企业望而却步。
美国著名科技播客Latent Space对于刚刚过去的NeurIPS 2023上的精彩论文进行了一个全面的总结,回顾了多篇优秀论文,虽然没有获奖,但同样值得学界关注。
Lightning Attention-2 是一种新型的线性注意力机制,让长序列的训练和推理成本与 1K 序列长度的一致。
一款国产编程神器,秒杀了微软GitHub Copilot。比GitHub Copilot快两倍的同时,准确度还提高了约20%。
Hyena处理长序列输入比FlashAttention速度高100倍!最新发布的StripedHyena模型可能成下一代AI架构的新标准?