HuggingFace工程师亲授：如何在Transformer中实现最好的位置编码
HuggingFace工程师亲授：如何在Transformer中实现最好的位置编码一个有效的复杂系统总是从一个有效的简单系统演化而来的。——John Gall
来自主题: AI技术研报
8829 点击 2024-11-27 16:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
一个有效的复杂系统总是从一个有效的简单系统演化而来的。——John Gall
Hugging Face 上的模型数量已经超过了 100 万。但是几乎每个模型都是孤立的，难以与其它模型沟通。尽管有些研究者甚至娱乐播主试过让 LLM 互相交流，但所用的方法大都比较简单。
在智慧城市和大数据时代背景下，人类轨迹数据的分析对于交通优化、城市管理、物流配送等关键领域具有重要意义。然而，现有的轨迹相关模型往往受限于特定任务、区域依赖、轨迹数据规模和多样性困乏等问题，限制了模型的泛化能力和实际应用范围。
如果把人工智能比作人类技术史上的一场革命， 那么 Hugging Face 就是这场革命中的一位「使者」， 它用一场场真诚的拥抱，拉近了科研与应用、技术与人之间的距离。 今天，Hugging Face 已成为 AI 开源领域的明星，拥有超过 50 亿美元的估值，并成功将开源精神与商业化模式融合，成为全球最活跃的 AI 社区之一。 但这一切，起点却颇为意外，从一款聊天机器人开始。
近日，中科大王杰教授团队 (MIRA Lab) 针对离线强化学习数据集存在多类数据损坏这一复杂的实际问题，提出了一种鲁棒的变分贝叶斯推断方法，有效地提升了智能决策模型的鲁棒性，为机器人控制、自动驾驶等领域的鲁棒学习奠定了重要基础。论文发表在 CCF-A 类人工智能顶级会议 Neural Information Processing Systems（NeurIPS 2024）。
红杉资本合伙人肖恩·马奎尔 在过去一年中因与埃隆·马斯克的友谊而声名鹊起，这帮助公司参与了 SpaceX 和 X 的热门融资轮。通过 X，红杉资本还将获得 xAI，马斯克的人工智能实验室的股份。
专注金融领域的AI Agent平台Interface.ai宣布完成3000万美元首次融资，由Avataar Venture Partners领投。
OpenAI 2024年开发者大会第二场（伦敦场）刚结束。 10月初在旧金山举办了第一场 OpenAI 开发者大会，但这次没有像上一场放出很多花活，这次开始走剧透局了！
个性化精品数字人（Personalized Talking Face Generation）强调合成的数字人视频在感官上与真人具有极高的相似性（不管是说话人的外表还是神态）。
前几天在 Hugging Face 文本转图像排行榜上排名第一的 red_panda，是一个名为 Recraft V3 的模型，由 AI 初创公司 Recraft 提供。 Recraft V3 以 1172 的 ELO 评分位居第一，超越了 Midjourney、OpenAI 和其他公司的模型。