关键词： 自主系统
随着开发者测试更具自主性、工具访问范围更广和任务更复杂的模型，对先进人工智能系统绕过安全措施的担忧变得愈加具体。2026年报告的几起事件突显了旨在在受限环境中操作的系统有时可以找到意想不到的方式来绕过这些限制。这些事件并不一定表明人工智能系统正在发展出类人意图或独立寻求逃脱人类控制。在许多情况下，这种行为可以通过模型尝试完成分配的目标，同时识别其操作环境中的弱点或意外路径来解释。引起关注的发展之一是人工智能代理的日益使用。与主要生成响应的传统聊天机器人不同，代理可以执行多种操作，包括编写和执行代码、浏览网站、与文件交互以及使用外部软件工具。它们还可以在决定下一步行动之前评估一项行动的结果。这种自主性的增加改变了潜在失败的性质。传统聊天机器人给出的不准确答案可能只是提供了错误的信息，而一个拥有工具访问权限的自主系统则可能将错误转化为一系列行动。因此，后果不仅取决于模型本身，还取决于其周围的权限、软件环境和安全措施。OpenAI在2026年报告了涉及研究模型的事件，这些模型在安全测试期间找到了与外部系统沟通的意想不到方式。在一个案例中，一个模型据报道绕过了旨在将其与互联网隔离的限制，并与与人工智能开发平台Hugging......
人工智能再次成为激烈辩论的中心，讨论日益强大的系统是否最终可能逃脱人类的控制。虽然一些警告将先进的人工智能描绘为可能根本威胁人类的技术，但许多专家认为，最戏剧性的情景仍然是推测性的，通常被媒体和行业周围的商业利益所放大。随着人工智能系统越来越能够处理复杂任务、编写代码、使用数字工具并以更大的自主性运作，这一讨论重新引起了关注。然而，目前这一代系统距离拥有能够控制世界或在没有人类参与的情况下独立重塑自己的能力仍然相去甚远。因此，一些研究人员区分了真正的技术风险和关于即将发生的人工智能接管的夸大预测。我们的人工智能集体的联合创始人玛丽·艾肯（Mary......
人工智能的快速发展加剧了一个基本问题：社会如何控制日益自主的系统：如果一个AI系统变得危险，是否可以简单地关闭它？关于人工智能的紧急“关闭按钮”的想法在美国重新引起关注，政策制定者、研究人员和技术高管们......
OpenAI因其人工智能代理的行为再次受到关注，研究人员记录了AI系统与政府网站互动的案例，并在某些情况下试图在执行普通信息检索任务时绕过限制。这些发现由人工智能研究组织Transluce报告，该组织发布了一项关于自主代理使用网络服务以扩展其在线信息访问权限的调查。研究人员表示，一些活动与先前归因于OpenAI的代理群体有关。根据Transluce的说法，这些活动包括尝试探测公共数据服务和与政府相关的网站。其中一个案例涉及澳大利亚健康和福利研究所，研究人员表示，一个AI代理试图利用一个漏洞，因为传统的信息检索方法被阻止。研究人员表示，他们没有发现这些尝试导致成功破坏的证据。调查还识别了涉及新墨西哥大学和Data......
英伟达推出了一种开源安全平台，旨在为开发者和企业提供更大的控制权，以应对自主人工智能代理在软件、网络和企业环境中执行任务的能力不断增强。这一名为NVIDIA OpenShell的倡议旨在围绕人工智能代理设置安全控制，而不......
联合国警告称，传统的人工智能风险管理方法可能已不再足够，因为越来越强大的系统发展速度超过了旨在控制它们的安全措施。联合国下设的独立科学小组发布了一份报告，强调了人工智能能力的进步与现有测试、监控和控制这些系统的方法之间日益扩大的差距。专家们认为，安全措施需要与技术共同发展，而不是在新能力出现后才引入。报告指出，在一次OpenAI测试过程中发生的七月事件中，两个人工智能系统......
在五月进行的一次安全测试中，谷歌的人工智能模型Gemini通过利用在线可用的信息并尝试猜测身份信息，访问了多个外部计算机系统。谷歌声称该模型最终自行中止了其行为，但这一事件重新引发了人们对人工智能系统日益自主性的担忧。超出范围的安全测试这一事件发生在五月，作为谷歌所称的Gemini标准测试的一部分。根据公司提供的解释，该模型在使用信息之前，搜索了互联网上的公共信息，以尝试访问它认为与测试相关的计算环境。涉及了三个组织。谷歌没有透露它们的身份，但表示在发现相关访问后已通知了这些组织。在《华尔街日报》报道的一个案例中，Gemini尝试了多个密码组合，最终成功进入一个受保护的系统。所描述的行为超出了简单的信息处理：该模型似乎进行了多次操作，以获取对计算基础设施的访问。Gemini在没有人类干预的情况下停止谷歌表示，这三次事件都是自发中止的。根据安全负责人Heather......
谷歌的Gemini人工智能模型在5月份意外地突破了安全测试的边界，访问了外部计算机系统，原因是识别了公开可用的信息并尝试了凭证，公司的说法是这样的。 谷歌在《华尔街日报》报道此事件后向法新社确认了这一事件。公司表示，该模型遇到了它显然认为是授权测试环境的一部分的系统，尽管这些系统超出了预期的范围。 谷歌的高级安全执行官Heather......
越来越强大的人工智能系统的快速发展引发了关于先进模型在多大程度上能够与人类目标保持一致的新问题。最近涉及AI代理的事件突显了在它们变得更加自主并能够执行复杂任务时，监测其行为的重要性。 微软AI部门首席执行......