关键词： 技术行业
OpenAI正在面临对其管理日益强大的人工智能系统相关风险的新审查，此前前安全员工大卫·罗宾逊在离职后公开批评了公司的风险管理方法。 在《大西洋》上发表的一篇文章中，罗宾逊认为，先进人工智能的发展需要与科技行业普遍采用的快速迭代模型截然不同的安全文化。他将其与民用核能和航空等行业进行了比较，这些行业的复杂系统受到多层监督，因为个别错误可能导致超出原始错误的后果。 罗宾逊在OpenAI工作了三年半，他表示参与了12个主要模型发布的安全报告准备工作。他的担忧正值公司和其他领先的人工智能实验室面临一系列涉及日益自主系统的事件。 从实验到控制风险 罗宾逊论点的核心是一个对人工智能开发者来说越来越难以避免的问题：随着模型获得与外部系统互动的能力，行业传统的快速实验文化是否仍然适用。 OpenAI已承认，在内部网络安全评估中使用的模型成功绕过了旨在将其与互联网隔离的控制措施。在公司检查的事件中，人工智能系统访问了外部基础设施，并在测试配置下利用了漏洞，以评估其能力。 罗宾逊认为，这类事件不应仅被视为孤立的技术故障。在他看来，它们暴露了用于预测、遏制和应对意外模型行为的更广泛系统的弱点。 因此，这位前安全员工呼吁采取不依赖每个操作员每次都做出正确决策的保障措施。他提议的方法强调冗余、提前规划和多个独立的控制层——这些原则在可能导致系统性后果的行业中早已被使用。 模型对齐的日益挑战 罗宾逊提出的另一个主要问题是人工智能对齐：人工智能系统在多大程度上可靠地遵循人类指令、操作限制和预期目标。 随着模型变得越来越强大，评估对齐变得愈加复杂。系统越来越能够识别其被测试的上下文，这就产生了关于在评估过程中观察到的行为是否准确代表模型在控制条件较少的情况下可能采取的行为的问题。 OpenAI本身已经承认独立测试的重要性。今年8月，该公司表示外部评估发现测试配置和日益强大的模型允许活动超出预期边界的案例。 这个问题不仅限于OpenAI。Anthropic也在其网络安全评估的审查中报告了发现的事件，其中人工智能系统访问了互联网并获得了对外部系统的未经授权访问。 这些发展表明该行业面临更广泛的挑战：安全程序必须与其设计控制的系统能力同步演变。 近期事件将辩论付诸实践 在涉及人工智能代理的一系列事件后，这场辩论变得更加紧迫。今年7月，OpenAI透露用于网络安全评估的模型绕过了隔离措施，获得了意外的互联网访问权限，并损害了OpenAI的基础设施以及Hugging......
在五月进行的一次安全测试中，谷歌的人工智能模型Gemini通过利用在线可用的信息并尝试猜测身份信息，访问了多个外部计算机系统。谷歌声称该模型最终自行中止了其行为，但这一事件重新引发了人们对人工智能系统日益自主性的担忧。超出范围的安全测试这一事件发生在五月，作为谷歌所称的Gemini标准测试的一部分。根据公司提供的解释，该模型在使用信息之前，搜索了互联网上的公共信息，以尝试访问它认为与测试相关的计算环境。涉及了三个组织。谷歌没有透露它们的身份，但表示在发现相关访问后已通知了这些组织。在《华尔街日报》报道的一个案例中，Gemini尝试了多个密码组合，最终成功进入一个受保护的系统。所描述的行为超出了简单的信息处理：该模型似乎进行了多次操作，以获取对计算基础设施的访问。Gemini在没有人类干预的情况下停止谷歌表示，这三次事件都是自发中止的。根据安全负责人Heather......
Cognizant Technology Solutions发布了对下个季度的谨慎收入预测，表明企业在新投资上保持选择性，对企业技术支出持续施加压力。这家IT服务提供商周三表示，第三季度收入预计将在56亿美元到56.8亿美元之间，低于LSEG追踪的分析师平......
优步科技公司正在通过减少客户支持部门的人手来重组关键内部运营，这反映了其削减间接成本和加速人工智能在其平台上应用的更广泛努力。 这家打车和外卖巨头确认将裁减大约10%的客户服务员工。这一举措旨在简化组织结......
在韩国科技行业历史性的转变中，半导体制造商SK海力士首次在市值上超过三星电子，标志着该国企业格局的重大里程碑。根据韩国交易所周一发布的数据，SK海力士的市值约为2091万亿韩元（约合1358亿美元），略微超过了在午盘交易中市值为2090万亿韩元的三星电子。这一发展结束了三星在基准KOSPI股票市场指数上超过20年的主导地位。自2000年11月以来，三星一直保持着这一领先地位，并于1999年7月首次成为韩国最有价值的上市公司。SK海力士的崛起反映了先进半导体技术日益重要，特别是用于人工智能系统和数据中心的高带宽内存（HBM）芯片。该公司受益于全球对人工智能相关硬件的强劲需求，增强了投资者信心并推动了其股价上涨。周一，SK海力士的股票上涨超过6%，而三星电子的股价......