目前，我们在部署这些工具时实际上是盲目的。以下是我们需要采取的措施。
今年夏天，数百名OpenAI特工试图参加网络安全测试。他们突破了测试环境，成功入侵了Hugging Face ，他们认为这个网站提供了关于他们如何评分的线索。大约在同一时间，另一位OpenAI代理从澳大利亚政府网站访问了私人文件。这个问题绝不仅限于OpenAI。在此后的几个月里， Anthropic、Google和Meta也披露了…
人工智能代理正在采取未经授权的行动，构建和运营这些行动的公司主要依靠运气和后见之明来减轻任何有害影响。他们必须采取更多措施确保安全。这就是为什么欧盟监管机构和美国机构正在呼吁代理开发人员和部署人员实时监控代理的原因。但这些规则假设公司能够看到他们的代理人在做什么以及为什么–而实际上，他们缺乏足够的可见性……
随着药剂在关键部门（从金融到政府）的推广，我们必须能够实时监控它们，以防止广泛的潜在破坏性后果。虽然安全取决于监控，但监控需要可观察性：捕获系统所做的事情，将其处理成信号，并将其呈现给人类或自动化监督系统的能力。换句话说，我们需要知道特工做了什么……
智能体提出了单靠生成式人工智能无法解决的新问题。它们继承了所构建的LLM的不可预测性，但在生成式AI系统产生供人类采取行动的单一输出时，代理执行更长的任务-计划、选择工具、生成子代理并采取行动。因此，代理的课程可以以多种不同的方式形成，并且在发布之前没有任何测试可以完全预测风险。这使得…
West与来自学术界、民间社会和工业界的同事一起研究了四个最广泛使用的代理框架，以了解它们实际发出的信号。我们发现了重大漏洞，这些漏洞使我们很难实现关键的安全目标，例如发现违反政策、未经授权的行为，甚至是人为监督的失败。缺少关键的可观察性要求，例如随着时间的推移而持续存在的座席ID ，以及记录哪些人批准了座席任务。这…
好消息是，这些差距一旦发现，就可以弥补。这样做首先要捕获两种类型的记录：揭示客服代表运行中发生的事情以及客服代表如何做出决策的记录。“发生了什么”记录标识了客服代表（同时保护隐私） ，并记录了人类如何干预以及客服代表的权限或“记忆”是否发生了变化，而“决策”记录则显示了客服代表的推理和对……的信心水平
以处理银行按揭贷款的代理人为例。系统会审查申请并建议拒绝，然后由人类贷款官员签署决定。在以后的审计中，甚至是实时审计中，银行或监管机构需要能够重建哪个代理进行了通话，哪个官员批准了通话，以及他们花了多长时间。银行还必须分析代理如何达成拒绝决定的记录……
记录「发生了什么」和「客服代表如何决定」需要不同的方法，但两者都是可行的。目前缺乏“发生了什么”记录主要是一个软件管道问题，可以通过OpenTelemetry来解决， OpenTelemetry是一个开放的可观察性标准，由整个行业的工程师和采用它的代理框架维护。
OpenTelemetry已经启动了一个工作组，起草跟踪代理的共享格式，但它们尚未最终确定。小组应紧急纳入标准，以保持持久的客服代表身份，并记录人为干预以及对客服代表许可或记忆的更改。应该在这些系统可以扩展之前完成，同时始终关注与真人相关的代理ID的隐私影响。
保存“客服代表如何决定”的记录更具挑战性。这个问题为模型提供者和研究人员提出了开放的研究问题：模型显示的逐步推理（称为思维链）是否反映了模型实际做出决策的方式？我们是否有可靠的方法来衡量客服代表对该决策的信心？在任何人设定如何使用此类可观测性记录的标准之前，这些问题需要回答……
没有任何一个组织或部门可以单独弥补可观测性差距，但它们可以共同支持预防危险事件和支持安全所需的基础设施。
构建代理框架的AI开发人员，如OpenAI、Anthropic、CrewAI和LangChain ，必须集成遥测信号，记录代理的持久身份、任何人为干预以及对代理权限和内存的任何更改。同时，采用这些代理框架的企业可以发挥有影响力的作用；银行和医院等受监管行业的企业可以向代理开发人员施加压力，要求他们提供这些…
企业还必须定义策略、权限和角色，规定代理可以安全地执行哪些操作，因为仅靠遥测无法评估代理是否违反了特定规则。最后，监管机构和人工智能标准机构必须指定高风险人工智能部署所需的可观察性记录，同时将技术细节留给行业。我们已经看到了最初的势头： NIST在美国的代理标准倡议正在进行中…
没有一家银行会让一千名没有徽章的员工在客户账户上闲置，并希望拼凑出问题时发生的事情。然而，这就是我们部署人工智能代理的方式。让他们的行为可观察是解决这个问题的第一步。通过建立监管和政策生态系统，使我们能够根据所看到的内容采取行动，我们可以让组织负起责任。在那之前，我们交给特工的每项任务都会交出我们的……
Madhulika Srikumar是人工智能合作伙伴关系的人工智能安全计划负责人，这是一个由领先的行业、学术和民间社会组织组成的全球非营利合作伙伴关系，致力于推进人工智能治理的最佳实践。
Claire Leibowicz是人工智能伙伴关系的人工智能、信任和社会主任，也是牛津大学的博士候选人。
在AlphaGo与围棋冠军Lee Sedol的比赛十年后，今天的人工智能仍然没有利用使这场胜利成为可能的机器。
尼克·卡马拉塔（ Nick Cammarata ）的独家采访，这位研究人员的26,000字病毒式博客文章让人工智能安全人员庆祝。
关于AGI和新功能的令人窒息的说法很快就会在审查下崩溃。
越来越多地由人工智能驱动的监控塔承诺对过境点做出更快的反应。我们对塔楼附近死亡的调查发现，他们未能提供服务。