新年第一天，陈天奇团队的FlashInfer论文出炉！块稀疏、可组合、可定制、负载均衡......更快的LLM推理技术细节全公开。
新学期压力山大？让AI来帮你轻松应对！Z Potentials独家合作AI搜索独角兽Perplexity为学生们推荐一款学习神器——Perplexity Spaces！这个AI学习助手将彻底改变你的学习方式。
大模型中，线性层的低比特量化已经逐步落地。然而，对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。并且，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为主要开销。
想象这样一个场景：深夜 11 点，你已经忙碌了一天，正准备休息，却想起明天早上还得分享一篇经典论文《Attention Is All You Need》，需要准备幻灯片。这时，你突然想到了自己的 AI 助手 —— PC Agent。
知乎上有个问题：国内主流AI大模型都是Python 开发的，国外AI大模型是什么语言开发的？为什么要用python？
AutoPatent框架能够自动化生成高质量的专利文档，大幅提高专利撰写效率，有望简化专利申请流程，降低成本，促进创新保护。
“它前进着，又跨过了新的一级台阶，耳边仿佛传来由远及近的低语：前方，即是世界。”
Tenyx利用AI和ML，打破传统IVR系统的局限，为多元化行业提供精准、自然的语音交互解决方案，引领客户服务领域的技术革命。
自从 Chatgpt 诞生以来，LLM（大语言模型）的参数量似乎就成为了各个公司的竞赛指标。GPT-1 参数量为 1.17 亿（1.17M），而它的第四代 GPT-4 参数量已经刷新到了 1.8 万亿（1800B）。
大模型如今已具有越来越长的上下文，而与之相伴的是推理成本的上升。英伟达最新提出的Star Attention，能够在不损失精度的同时，显著减少推理计算量，从而助力边缘计算。
