检测到您的浏览器版本过低,可能导致某些功能无法正常使用,建议升级您的浏览器,或使用推荐浏览器 Google Chrome 、Edge、Firefox 。 X
面对智能体 AI 的治理挑战,新加坡率先在全球构建起专项治理体系。治理体系由政府与 AI、网络安全社区合作开发,兼顾了创新与安全, 既为智能体 AI 的发展预设了治理边界,避免因无规则而引发安全问题,也未对具体技术路径进行规制,为技术创新保留了空间。这一治理思路符合新加坡一贯的 “柔性治理” 理念,使它能够在全球 AI 治理中率先迈出步伐。新加坡 IMDA 发布的《智能体人工智能治理示范框架》是全球首个智能体 AI 专项治理框架,其核心逻辑是“以人类责任为核心,构建全流程、多维度的治理体系”,摒弃了传统的 “形式化人机回圈”,提出了七大核心治理原则,从制度设计、技术控制、部署运营、用户赋能等方面为智能体 AI 治理划定了核心要求,构成了智能体 AI 治理的重要原则。
在技术安全层面,框架明确指出,智能体 AI 面临的威胁形态与传统系统存在显著差异,其依赖提示词和工具调用机制的特征,使其更容易受到提示词注入等攻击方式的影响,被诱导执行越权操作。针对这一特征,框架提出了两大核心技术控制要求:一是开展专门的红队测试:部署方应针对智能体 AI 开展定制化的红队测试,模拟智能体在复杂或对抗性环境中可能出现的异常行为,如提示注入、工具滥用、目标操纵等,而非仅仅测试模型本身的准确性或稳健性。红队测试的核心目的是发现智能体 AI 的潜在漏洞与攻击路径,提前采取缓解措施;二是高风险任务采用沙箱运行:对智能体 AI 的高风险任务采用沙箱运行机制,即在隔离的测试环境中观察智能体的行为是否符合预期,验证其安全性后,再逐步放开权限至生产环境。沙箱运行机制能够有效隔离高风险任务的影响,即使智能体在沙箱中出现异常,也不会对实际系统造成危害,是防范恶意行为的重要技术手段。
在部署策略上,框架明确反对一次性、大规模上线高自治智能体,提出了 “渐进式部署” 的要求,同时强调建立持续监控机制,将治理视为一个持续过程,而非上线前的单次合规动作。渐进式部署要求组织从内部辅助、低风险场景入手,逐步扩大智能体 AI 的应用范围,而非直接让其对接关键业务或外部用户。例如,企业可先将智能体 AI 应用于内部文档整理、员工考勤等低风险场景,验证其安全性与稳定性后,再逐步应用于客户服务、流程自动化等中等风险场景,最后再考虑应用于金融交易、系统运维等高风险场景。渐进式部署能够有效降低智能体 AI 上线的风险,让企业在实践中不断优化治理措施;持续监控机制要求部署方应设置明确的行为阈值和监控指标,对智能体 AI 的运行状态、工具使用、权限变更、决策过程等进行实时监控,一旦智能体出现异常行为、陷入推理循环、偏离既定目标或超出行为阈值,系统应能够自动报警并触发中断机制,及时制止有害行为的发生。监控指标应根据智能体的自主性级别、应用场景进行定制化设置,确保监控的有效性。
在用户保障方面,框架将治理视角从系统内部延伸至终端用户,提出了 “赋能最终用户” 的要求,认为智能体 AI 的安全治理不仅是开发方、部署方的责任,也需要用户的参与,核心是通过保障用户知情权、提升用户监督能力,形成全方位的治理体系。首先是保障用户的知情权:用户在与智能体 AI 交互时,应当清楚知晓其面对的是 AI 系统,并理解该系统的能力边界和使用限制。这一要求旨在防止用户对智能体 AI 的能力产生不切实际的期待,避免因用户误操作或过度依赖而引发风险;其次是提升用户的监督能力:框架强调,对员工和用户的培训不应止于 “如何使用 AI”,而应包括如何审计、质疑和监督智能体的输出与行为。只有当使用者具备基本的审计意识和判断能力,能够发现智能体的异常行为并及时反馈,智能体 AI 才可能在组织内部实现相对安全的运行。
最后,框架将风险治理的防线前移至系统设计阶段,提出了两大核心设计要求,从源头降低智能体 AI 的风险,这也是新加坡 “全生命周期风险预防” 治理思路的体现:一是最小权限原则:为智能体设定清晰的行动边界,智能体只应被赋予完成其功能所必需的权限,而不应因便利或效率考虑而获得不必要的系统访问权。例如,日程管理智能体不应被授权访问财务系统,客户服务智能体不应被授权修改企业核心数据库。最小权限原则是防范工具滥用、权限升级等风险的核心手段,也是智能体 AI 系统设计的首要原则;二是行动可逆性评估:将 “行动可逆性” 作为风险评估的重要维度,要求部署方在评估智能体使用场景时,严格区分低风险、可逆操作与高风险、不可逆操作。其中,发送内部通知、整理信息等行为风险较低、可轻松逆转,可适当放宽监督要求;而对外转账、删除数据、触发关键业务流程等行为风险较高且不可逆,必须设置更严格的护栏和人工干预机制,如多重人工审批、操作前预警、操作留痕等。
新加坡 CSA 发布的《保护自主型 AI》作为《保护 AI 系统指南和配套指南》的增编文件,是对《智能体人工智能治理示范框架》的实操落地,其核心是采用基于风险的生命周期方法,为系统所有者提供保护自主型 AI 系统的具体指导。该指南提出了风险评估四步法,并在 AI 生命周期的规划设计、开发、部署、运营维护四个阶段,详细列举了具体的安全控制措施,同时针对 SaaS 环境这一典型应用场景提出了特殊考量,还通过三个实际案例展示了治理要求的落地方法,形成了 “评估 - 排序 - 控制 - 评估” 的闭环治理流程,具有极强的实操性。
新加坡 CSA 提出,保护智能体 AI 系统的核心是开展科学、全面的风险评估,并制定了风险评估四步法,这一方法贯穿于智能体 AI 的全生命周期,是所有安全控制措施的基础。四步法并非线性流程,而是闭环迭代的过程,在系统的运行维护阶段需持续开展风险评估,根据实际情况优化控制措施。
开展全面的风险评估具体包括三个步骤:一是评估自主性级别:确定系统的自主性水平是理解其安全挑战的第一步,不同自主性级别的系统,风险评估的重点、方法与控制措施存在显著差异;二是执行威胁建模和污点追踪:绘制智能体 AI 的工作流图,明确其执行路径、组件交互、工具调用等流程,同时使用污点追踪(Taint Tracing) 技术跟踪不受信任的数据在系统中的流动路径,识别关键的脆弱点;三是识别与能力相关的风险:以智能体 AI 的认知、交互、操作三大能力为中心进行风险分析,精确评估每项能力的潜在影响,例如对具备代码执行能力的智能体,重点评估工具滥用、恶意代码执行的风险;对具备商业交易能力的智能体,重点评估恶意交易、数据泄露的风险。
在识别出所有风险后,需根据风险的可能性、影响程度、企业可用资源、风险偏好,对已识别的风险进行排序,确定风险处理的优先级。核心原则是“高可能性、高影响” 的风险优先处理。风险优先级的确定需结合实际情况,例如金融企业的风险偏好较低,对数据泄露、恶意交易等风险的处理优先级应更高;而初创企业的资源有限,可在保障核心安全的前提下,优先处理影响业务运行的风险。
根据风险评估结果与优先级排序,在智能体 AI 生命周期的规划设计、开发、部署、运营维护四个阶段,针对性地实施安全控制措施,这是风险防控的核心环节。CSA 在指南中详细列举了四个阶段的具体控制措施,形成了全流程的安全防护体系,具体措施将在 6.2 节详细阐述。实施控制措施的核心原则是“分层防护、重点管控”,即针对不同风险等级、不同自主性级别的系统,实施不同强度的控制措施,避免 “一刀切”。
在实施安全控制措施后,需对残余风险进行评估,即评估控制措施实施后,未被完全消除的风险是否在企业的风险容忍度范围内。对于残余风险,企业有两种处理方式:一是接受风险:若残余风险的可能性与影响程度均较低,且在企业的风险容忍度范围内,企业可正式接受该风险,并做好风险监控;二是进一步缓解风险:若残余风险超出企业的风险容忍度范围,企业需进一步优化控制措施,采取额外的安全手段,直至残余风险降至可接受水平。2.2 全周期的安全控制措施
新加坡 CSA 在《保护自主型 AI》中,将智能体 AI 的生命周期划分为规划与设计、开发、部署、运营与维护四个阶段,针对每个阶段的核心风险点,制定了具体的安全控制措施,形成了 “源头防控、过程管控、末端治理” 的全流程安全防护体系。所有控制措施均围绕智能体 AI 的核心风险展开,具有极强的针对性与实操性,是企业落地安全治理的核心依据。首先,规划与设计阶段是智能体 AI 风险预防的源头,该阶段的控制措施核心是从设计上规避风险,为后续的开发、部署、运营奠定安全基础,仅制定 1 项核心控制措施,但却是整个生命周期安全控制的前提。其次,进行全面的风险评估与威胁建模:采用行业最佳实践进行风险评估和威胁建模,明确系统的风险底数与脆弱点。对于 2 级弱自主系统和 3 级完全自主系统,污点追踪技术尤为重要,需通过污点追踪识别整个工作流中的下游影响,划定不受信任数据的隔离范围,从设计上防止风险的传导与扩散。
开发阶段是智能体 AI 系统加固的核心,该阶段的控制措施覆盖了供应链、模型、系统、资产、权限、环境等多个维度,0是全生命周期中控制措施最多的阶段,核心目标是构建安全、可控的智能体 AI 系统底座,具体措施如下表所示:
表1: 新加坡智能体系统安全控制开发阶段措施表
控制措施 | 核心描述 | 风险类型 |
供应链安全 | 确保数据、模型、代理、软件库和工具等所有组件均来自可信来源;使用软件成分分析(SCA)工具扫描依赖项 | 供应链投毒、恶意组件引入 |
模型加固 | 优先选择指令遵循能力强的 LLM;训练模型识别并拒绝被禁止的任务 | 提示注入、越狱攻击、目标操纵 |
系统加固 | 采用 “设计即安全” 原则和安全软件开发生命周期(SDLC);实施零信任架构;对系统提示进行稳健性设计 | 系统漏洞、权限泄露、恶意行为 |
资产识别、跟踪与保护 | 使用模型卡、代理卡、数据卡和 SBOMs 记录管理 AI 资产;对内存中的数据进行静态加密 | 资产丢失、数据泄露、记忆投毒 |
定期备份 | 对内存快照、代码和文件进行充分备份,便于异常时的取证分析和回滚 | 数据丢失、系统瘫痪、恶意操作 |
身份验证与访问控制 | 对 API、模型、数据、工具和环境实施严格的身份验证和授权;应用细粒度、有时限的范围令牌或凭证 | 权限升级、未授权访问、工具滥用 |
限制代理权能 | 实施防护栏,设定明确的操作边界;动态授予代理完成任务所需的最小权限,不允许代理修改自身权限 | 工具滥用、权限升级、恶意行为 |
默认安全 | 应用最小权限原则配置所有代理和委派角色;默认拒绝所有网络访问和管理员权限 | 权限泄露、未授权访问、网络攻击 |
环境隔离 | 在沙箱环境中运行代码和测试第三方工具;将数据处理流与控制流解耦 | 恶意代码执行、工具滥用、风险传导 |
模型自我反思 | 执行决策前,提示代理总结对指令的理解并请求澄清 | 指令误解、目标偏差、决策错误 |
减少幻觉 | 通过 RAG 等技术使模型输出保持事实性;定期进行内存核对以清除错误信息 | 级联幻觉攻击、决策偏差、数据投毒 |
部署阶段是智能体 AI 从测试环境走向生产环境的关键关口,该阶段的控制措施核心是安全测试与运行保障,确保上线后的智能体 AI 能够稳定、安全运行,具体措施如下表所示:
表2: 新加坡智能体AI系统安全控制开发阶段措施表
控制措施 | 核心描述 | 风险类型 |
可用性控制 | 实施速率限制防止拒绝服务攻击;部署资源管理控制,防止推理循环或资源滥用导致的性能下降 | 资源过载、拒绝服务攻击、系统瘫痪 |
安全测试 | 进行行为测试、对抗性评估和 AI 红队演练,发现规范博弈、逻辑错误或潜在漏洞 | 提示注入、工具滥用、目标操纵等各类新型风险 |
保护 MCP 服务器 | 若部署 MCP 服务器,实施上下文级别的访问控制,并对工具输入进行净化 | MCP 服务器被攻击、代理间通信异常、工具滥用 |
保护代理间通信 | 实施代理间身份验证和消息加密;监控交互异常;对关键决策实施多代理共识验证 | 代理间通信泄露、恶意代理入侵、决策错误 |
运营与维护阶段是智能体 AI 全生命周期的持续环节,核心目标是及时发现并处置智能体 AI 运行过程中的异常行为,防范风险的发生与扩散,具体措施如下表所示:
表3: 新加坡智能体AI系统运营与维护阶段措施表
控制措施 | 核心描述 | 风险类型 |
输入验证 | 实施输入防护栏,检测直接和间接的提示注入;对用户输入进行净化或编码;对外部文件进行扫描 | 提示注入、恶意输入、数据投毒 |
输出验证 | 在工作流各阶段插入验证检查点;实施输出防护栏,检测并过滤敏感信息或恶意内容;对 AI 生成的代码进行静态分析和漏洞扫描 | 数据泄露、恶意代码执行、虚假信息输出 |
持续监控与日志记录 | 监控模型行为漂移、工具使用模式和权限变更;应用熔断机制,异常时冻结风险传播;实施端到端分布式追踪,确保可追溯性 | 行为异常、工具滥用、权限升级、风险传导 |
人机回圈(Human-in-the-Loop) | 对高风险、不可逆的操作(如商业交易、数据库修改)要求人工批准 | 恶意行为、决策错误、不可逆的操作危害 |
建立漏洞披露流程 | 提供渠道供用户报告安全问题或就系统行为提供反馈 | 未被发现的潜在漏洞、系统异常行为 |
新加坡发布的全球首个智能体 AI 治理框架与安全指南,不仅为新加坡本土的智能体 AI 发展划定了治理边界,也为全球智能体 AI 治理提供了首个官方参考范式,其治理思路与方法突破了传统 AI 治理的局限,实现了从 “内容治理” 到 “行为治理”、从 “事后追责” 到 “全生命周期预防”、从 “形式化监督” 到 “有意义的人类责任” 的三重跨越,对全球 AI 治理的发展具有重要的里程碑意义,也为各国政府、企业提供了重要的启示。
在智能体 AI 成为 AI 发展新阶段的背景下,全球各国均面临着智能体 AI 治理的空白,新加坡的治理体系率先填补了这一空白,为全球提供了首个治理范式,其核心价值体现在三个方面:
第一,确立了人类责任为核心的治理内核:新加坡的治理体系始终将人类责任放在核心位置,摒弃了形式化的人机回圈,提出了 “有意义的监督” 原则,明确了智能体 AI 的行为最终由人类承担责任,这一原则成为智能体 AI 治理的底层逻辑,为各国治理框架的制定奠定了基础;
第二,构建了风险导向的全生命周期治理方法:新加坡以风险评估为核心,构建了覆盖规划设计、开发、部署、运营维护的全生命周期治理体系,提出了可实操的风险评估四步法与 41 项安全控制措施,让企业能够清晰地知道 “如何开展风险评估”“如何实施安全控制”,解决了治理落地难的问题;
第三,兼顾了创新与安全的平衡:新加坡的治理体系并非强制性的法律法规,而是非强制性的示范框架与信息资源,未对智能体 AI 的具体技术路径进行规制,为技术创新保留了充足的空间,同时通过划定治理边界、提出安全要求,防范了过度创新带来的安全风险,实现了创新与安全的平衡,这一治理思路符合 AI 技术发展的规律。
新加坡的治理体系为各国政府开展智能体 AI 治理提供了重要的启示,各国政府应结合本国的 AI 发展现状、产业需求、安全诉求,构建适配智能体 AI 的治理体系,核心思路包括:
第一,坚持 “柔性治理”,避免过度规制:智能体 AI 仍处于发展初期,技术路线尚未定型,各国政府应借鉴新加坡的经验,采用非强制性的示范框架、指南等柔性治理手段,而非急于出台强制性的法律法规,为技术创新保留空间,同时通过行业自律、政企合作等方式,推动治理要求的落地;
第二,构建科学的治理架构:各国政府应先制定智能体 AI 治理的核心原则,明确治理的底层逻辑与边界,再组织技术、安全领域的专家,制定具体的实操指南,为企业提供可落地的治理方法,形成 “原则指引方向,实操保障落地” 的治理体系;
第三,强化政企协同,凝聚治理共识:智能体 AI 的治理并非政府的单一责任,需要政府、企业、科研机构、行业协会等多方主体的协同参与。各国政府应搭建政企协同的治理平台,与 AI、网络安全社区合作开发治理文件,凝聚治理共识,让治理要求更符合产业实际;
最后,针对特殊场景制定定制化治理要求:各国政府应关注 SaaS、多代理系统、金融、医疗等智能体 AI 的典型应用场景与高风险场景,制定定制化的治理要求,解决特殊场景下的治理难题,提升治理的针对性与有效性。
参考文献:
1.Singapore debuts world’s first governance framework for agentic AI[EB/OL].[2026-01-23].[2026-02-10]https://www.computerweekly.com/news/366637674/Singapore-debuts-worlds-first-governance-framework-for-agentic-AI
2.Singapore Launches World-First Guide for Responsible Deployment of Agentic AI[EB/OL].[2026-01-23].[2026-02-10]https://fintechnews.sg/125071/ai/singapore-agentic-ai-framework/
3.联合早报:我国推出全球首个由政府主导代理式人工智能监管模式框架[EB/OL].[2026-01-22].[2026-02-10]https://www.zaobao.com.sg/news/singapore/story20260122-8143450
4.新加坡发布新框架旨在管控自主AI智能体的风险[EB/OL].[2026-01-22].[2026-02-10]https://www.businesstimes.com.sg/zh-hans/companies-markets/singapore-unveils-new-framework-rein-risks-autonomous-ai-agents