Hinton、Bengio等联合中国专家达成AI安全共识：AI系统不应违反红线
Hinton、Bengio等联合中国专家达成AI安全共识：AI系统不应违反红线为了应对 AI 发展带来的挑战，国内外研究者展开合作以避免其可能带来的灾难的发生。
来自主题: AI资讯
2640 点击 2024-03-19 10:05
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
为了应对 AI 发展带来的挑战，国内外研究者展开合作以避免其可能带来的灾难的发生。
如果说2023年主导网络安全行业的话题是什么，那肯定是AI。这既包括对恶意行为者如何利用AI的恐惧和担忧，也包括防御者如何利用AI来降低风险、保护组织以及创新和加速传统网络安全活动。
瑞士信息与通信科技公司Lakera成立于2021年，该公司为生成式AI应用程序开发的安全工具拥有专有的威胁情报数据库，可防御对大型语言模型（LLM）的各类攻击并对AI应用程序进行压力测试检测漏洞，为AI应用程序提供企业级的安全保护。
现在的GPT-4，未来的GPT-5，相较于前几个版本性能更强。安全挑战，史无前例。
大模型狂飙至今，已逼近一周年。撇开最近戏剧化的高层动荡不谈，自北京时间 11月 7日 OpenAI的首届开发者大会（DevDay）以“AI春晚”之势炸场以来，ChatGPT的周活跃用户超过一亿，全球用户高涨的热情直接把 OpenAI的服务器给冲宕机了，于是上面这个不受待见的画面就频繁出现在了无数人的眼前，随之而来的是人们的沮丧、愤怒甚至恐慌。
连续五天的OpenAI管理层冲突及谈判后，Sam Altman最终回归OpenAI。但皆大欢喜之际，是时候聊聊这次事件的另外一边声音了：OpenAI技术灵魂人物Ilya Sutskeve对AI安全的恐惧和他对技术发展的信念。
HydroX AI近日完成400万美元天使轮融资，由绿洲资本领投.HydroX AI成立于2023年7月，位于美国加州，是一家专注于AI Safety（大模型安全）和Safe AI（安全人工智能）的科技企业，致力于为大模型公司、使用大模型的企业以及其他B2B行业的客户提供全方位、多层次的AI安全解决方案。
本文介绍了第一届全球人工智能安全峰会在英国举行的情况，讨论了人工智能安全的重要性和挑战，以及各国在监管和创新之间的博弈。
OpenAI它成立了一个新团队来评估和探索人工智能模型，以防范其所描述的“灾难性风险”。
一家叫HiddenLayer的公司打造了一个全面的安全平台，它提供即插即用的AI安全性，不会从AI模型的层面增加不必要的复杂性，也不需要访问原始数据和算法。最近，这家公司获得了5000万美元的A轮融资，这是截至目前AI安全领域金额最高的A轮融资。