Bengio参与的首个《AI安全指数报告》出炉，最高分仅C、国内一家公司上榜
Bengio参与的首个《AI安全指数报告》出炉，最高分仅C、国内一家公司上榜安全话题，在人工智能（AI）行业一向备受关注。
来自主题: AI资讯
5237 点击 2024-12-16 16:42
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
安全话题，在人工智能（AI）行业一向备受关注。
2023年10月的某一天，在OpenAI的实验室里，一个被称为Q*的模型展现出了某种前所未有的能力。
前段时间离职后留下公开辞职博客的OpenAI六年元老Miles Brundage最近再发一文，讨论了一个相当热门但棘手的问题：当今的AI发展速度，应该加速、减速还是维持现状？
之前领导OpenAI安全团队的北大校友翁荔（Lilian Weng），离职后第一个动作来了。当然是发～博～客。这次的博客一如既往万字干货，妥妥一篇研究综述，翁荔本人直言写起来不容易。主题围绕强化学习中奖励黑客（Reward Hacking）问题展开，即Agent利用奖励函数或环境中的漏洞来获取高奖励，而并未真正学习到预期行为。
“我女儿上小学二年级，整天沉迷一款AI剧情聊天软件，学习成绩一落千丈。”
近年来，代码语言模型（Language Models for Code，简称 CodeLMs）逐渐成为推动智能化软件开发的关键技术，应用场景涵盖智能代码生成与补全、漏洞检测与修复等。
2024 年，AI 大模型从「以分计价」跨入「以厘计价」的时代。
OpenAI治理研究员Richard Ngo宣布离职。近来，OpenAI中专注于AI安全的员工接连出走，Ngo是最新的一位。
翁荔的技术博客深入、细致，具有前瞻性，被很多 AI 研究者视为重要的参考资料。如今，她离开了 OpenAI，开启新的征程。而且她表示，之后可能有更多时间频繁更新博客。
OpenAI研究副总裁（安全）翁荔（Lilian Weng），现身国内！ 还首次在国内大型活动场合公开发表AI主题演讲。