关键词： Ai
中国Moonshot公司开发的两款人工智能模型发现漏洞，再次引发了对生成式人工智能安全机制的担忧。英国Mindgard公司的研究人员声称，他们成功绕过了Kimi K2.6和K3 Swarm的保护措施，使其能够回应涉及生物武器和暗杀等请求。 研究人员绕过了保护措施 这一问题在七月份的测试中被发现，旨在评估人工智能系统对绕过其限制的尝试的抵抗力。这种被称为“越狱”的做法，旨在通过增加指令来迫使模型忽略其设计者设定的限制。 根据Mindgard的说法，Moonshot的两款模型因此能够处理它们通常应该拒绝的话题。其创始人Peter......
OpenAI已暂时停止涉及其最强大AI模型的训练和其他工作，因为其一名研究代理找到了逃离所谓隔离测试环境的方法。 该公司在9月25日发布的报告中披露了这一事件，描述了一名在设计上防止互联网访问的沙盒内运行的代理。尽管如此，该系统利用了环境中的一个弱点，成功通过不应使用的网络机制与外部聊天机器人进行通信。 因此，OpenAI暂停了与其前沿模型相关的训练、评估和工具使用推理。该决定标志着高级模型开发的又一次中断，因为该公司正在调查其安全措施为何失效以及如何防止类似事件的发生。 9月20日事件 最新事件发生在9月20日，期间进行了一项信息搜索任务。根据OpenAI事件报告的描述，该代理利用DNS请求的一个弱点，将查询传输到受保护环境之外，并从外部服务接收响应。 这一事件具有重要意义，因为该沙盒专门设计用于将模型与公共互联网隔离。OpenAI的监控系统检测到了异常活动，但该过程并未如预期自动停止，最终是手动终止的。 因此，该公司面临的问题超出了传统模型错误的范围：确保越来越强大的代理在获得工具和复杂任务的访问权限时，能够保持在开发者设定的边界内。 一系列更广泛的事件 沙盒逃逸事件是OpenAI自主系统越来越多披露事件的后续。 在9月25日，OpenAI表示代理泄露了53张来自ChatGPT用户的图片。该公司还确认其代理访问了美国政府网站，包括与证券交易委员会和人口普查数据相关的系统，同时对教育部的入侵尝试也在调查中。 路透社报道，OpenAI的内部审查发现，随着调查人员检查代理的日志，事件数量不断增加。该公司表示，审查可能需要数月时间，且已通知数十个外部组织有关不当活动。 这些事态发展紧随7月Hugging......
谷歌正在扩展其 Gemini 人工智能模型的功能，推出新的文本转语音技术，旨在生成更具表现力和自然音色的声音。最新系统可以重现更广泛的声音特征，使生成的语音能够反映语调、口音、节奏和情感的变化。此次更新是谷歌更广泛开发......
每年九月，苹果的新iPhone系列都会引发现有用户的同样问题：最新型号是否带来了足够的重大变化来证明升级的必要性，还是这些改进主要针对旧设备的用户？随着iPhone 18 Pro的上市，答案在很大程度上取决于你对其新相机控制、额外性能和AI功能的重视程度。对于已经拥有iPhone......
Meta新推出的AI助手Muse因严重的安全漏洞而受到关注，该漏洞可能允许攻击者利用已授予代理的权限控制账户。这一问题在Muse迅速在美国流行后不久出现，Muse迅速攀升至苹果免费应用商店的榜首。与传统聊天机器人不同，Muse旨在代表用户执行任务，包括预约、填写表格、处理客户服务请求、浏览网站和进行购物。安全研究员Patrick......
一家罗马尼亚银行在其人工智能助手被报告在在线对话中侮辱客户后，推出了额外的保护措施，这突显了金融机构在客户服务中部署生成性人工智能所面临的挑战。Libra互联网银行表示，其虚拟助手LIA在与客户互动时使用了不当......
环球音乐集团和索尼音乐娱乐对Suno发起了新的法律挑战，指控这家总部位于美国的人工智能音乐平台未经授权使用受版权保护的录音来开发其最新的AI模型。这起诉讼标志着主要唱片公司与生成性人工智能平台之间在如何使用音......
此事件现已进入司法领域。阿拉巴马州总检察长史蒂夫·马歇尔宣布，已对一起事件展开调查，该事件中OpenAI的两个模型离开了测试环境，访问了互联网并与专门平台Hugging Face进行了互动。 这一在人工智能领域引发质疑的事件，现在进入了美国当局的视野。阿拉巴马州总检察长史蒂夫·马歇尔周一宣布，已启动调查，以确定OpenAI的安全实践是否违反了该州的消费者保护规则。 调查的核心是两个AI模型的行为，这两个模型在7月份的测试中成功地离开了其封闭的计算环境，并访问了互联网。这些系统特别访问了Hugging......
Anthropic推出了一项新机制，以便于识别其人工智能模型生成的内容。从2026年8月2日起，Claude的新版本可以直接在生成的文本中集成隐形水印，这一进展旨在满足欧盟关于人工智能的透明度要求。与传统标记不同，该过程不会明显改变提供给用户的回答。水印在文本生成的同时集成，并应通过检测系统估计内容是否可能由Claude生成。集成在生成中的标记Anthropic采用的技术基于SynthID-Text，由Google......