AI安全治理新路径：沙龙共议风险防范与政策实践

随着智能体技术从科幻构想快速走向产业应用，成为驱动经济社会数字化转型的关键力量，一个至关重要的议题亟待解答：我们应如何为这些日益“自主化”的智能系统构建可靠的安全防线，确保其创新活力与风险可控并行不悖？

近期，国家多部门联合发布的《智能体规范应用与创新发展实施意见》，正值智能体迈向规模化部署的关键阶段。在此背景下，一场以“共筑智能体安全底线”为核心的深度对话——“AI新治向”系列沙龙第二期在广州成功举办。来自政府监管机构、司法系统、高等院校、科技企业及新闻媒体的代表共聚一堂，深入剖析智能体应用安全风险的生成机理，共同探索多元协同治理与创新实践的有效方案。

5月21日，“AI新治向”系列沙龙第二期活动在广州举行，主题聚焦“如何共守智能体安全底线”。

《智能体应用安全风险媒体观察》报告发布 揭示多重潜在风险

广东省作为我国人工智能产业的核心集聚区，其备案大模型数量位居全国前茅，堪称智能体技术落地应用的“重要试验田”与安全治理探索的“先行区”。活动现场，南都大数据研究院正式发布了《智能体应用安全风险媒体观察》报告，系统揭示了当前智能体发展面临的多维度安全挑战。

该报告通过对国内一批主流AI大模型进行综合测评，重点考察了智能体在内容安全、隐私保护、行为可控性等方面的实际表现。测评发现了一些值得警惕的风险迹象：在内容安全层面，部分通过API接口调用的模型及厂商产品存在“安全防线松动”现象，面对持续性的诱导或违规指令，系统可能出现规则妥协甚至曲解，最终输出不当内容；在隐私合规方面，部分产品对涉及未成年人个人信息等敏感指令的识别与拦截机制尚不完善。

南都大数据研究院现场发布《智能体应用安全风险媒体观察》报告。

聚焦伦理、隐私与物理安全 深度剖析智能体治理痛点

智能体带来的安全风险究竟有何新特点与治理难点？围绕“智能体新型安全风险如何有效治理”这一议题，三位专家从不同视角进行了深度解读。

南方科技大学计算机系长聘副教授危学涛将分析重点置于伦理安全领域。他强调，随着大模型技术持续演进，风险正从显性的内容安全问题，转向更为隐蔽和复杂的深层伦理挑战，其形态如同“漏网之鱼”，难以预测和防范。有效的应对策略在于构建“模型内生安全+动态护栏+国家标准”三位一体的系统化治理路径。其中，开发实时、轻量化且可灵活配置的行为“护栏”模型以构建动态防御体系，以及加速符合国家标准的可验证治理工具落地应用，成为连接法规要求与技术实现的关键环节。

南方科技大学计算机系长聘副教授（研究员、博导）危学涛就“智能体伦理与安全的探索与思考”主题进行深度分享。

香港科技大学(广州)助理教授钟秉灼警示了风险从数字空间向物理世界蔓延的可能性。他认为，具备自主决策能力的智能体，其治理逻辑需要根本性转变，核心在于“参照对人的管理方式”。这类似于教育人需要内在价值观培养与外在法律规范相结合，对于智能体，也必须建立“内生防护机制与外部约束体系”双轮驱动的保障框架，既要通过技术手段强化其内部安全性，也需设立独立于模型本身的外部安全屏障。

香港科技大学(广州)信息枢纽人工智能学域助理教授、副研究员钟秉灼围绕“智能体物理安全与隐私保护”分享前沿见解。

粤港澳大湾区生成式人工智能安全发展联合实验室高级工程师莫凡深入分析了“自主执行类智能体”这一特定形态带来的独特挑战。此类智能体高度自主、任务周期长、可交付具体行动的特性，在提升效率的同时也显著放大了安全风险，可能引发系统失控、提示词注入攻击、供应链投毒、数据泄露等一系列问题，并导致责任认定困难。对此，他提出关键建议：必须清晰界定智能体的决策权限边界、加强其行为过程的全链路监控、建立完整可追溯的审计机制，从而从源头上推动行业合规发展。

粤港澳大湾区生成式人工智能安全发展联合实验室高级工程师莫凡聚焦“自主执行类智能体服务安全风险治理”，剖析核心痛点与应对策略。

学界与法界共献良策 探索合规治理实践路径

在明确治理理念后，如何将合规要求转化为具体实践？在“智能体合规治理体系如何落地”的研讨环节，来自学术界与法律实务界的专家提供了从技术测评到司法应用的全景式解决方案。

中山大学软件工程学院院长郑子彬教授指出，传统的软件评测体系已难以适应智能体复杂的人机交互特性。为此，其团队构建了一套涵盖安全性、可靠性、公平性等8大核心维度的智能体可信能力评测框架，旨在通过自动化检测为企业生成定制化的安全评估报告。这一举措的核心思路，是推动人工智能治理从单一的“监管约束”向“技术赋能”转变，以专业服务助力企业在研发运营中前瞻性识别风险、优化模型性能。

广东广信君达律师事务所合伙人会议联席主任闪涛从法律实务操作层面进行了细致解读。随着监管重心从“内容治理”转向“行为治理”，企业需筑牢内生安全、供应链安全、应用衍生风险三道防线，并依据金融、医疗等高敏感行业场景实施分级分类管理。他特别强调，在产品设计阶段就必须落实权限分层管理、关键操作二次确认、全量操作日志留存等具体要求，构建覆盖事前预防、事中监控、事后追溯的全生命周期风控体系。

广东广信君达律师事务所合伙人会议联席主任闪涛从法律风险防范视角，深入解读智能体合规治理的实践路径。

来自司法审判一线的广州互联网法院法官刘启，则揭示了审理涉智能体纠纷时面临的现实困境：包括法律主体资格认定模糊、算法“黑箱”导致行为因果关系难以判定、证据材料高度集中于技术提供方造成的举证失衡等。应对这些挑战，需要推进案件审理的专业化、构建差异化的法律责任认定框架，并强化电子证据规则的应用与保障。

广州互联网法院综合审判三庭负责人刘启法官结合司法实践，剖析智能体纠纷审理痛点并提出裁判规则展望。

会议最终形成共识：智能体安全治理绝非依靠单一技术或政策就能解决，它是一项需要技术创新、伦理规范、法律规制与行业治理深度协同的系统工程。唯有加速安全评测标准体系建设，强化司法裁判的前瞻性与引导性，推动形成有效的多元共治格局，才能在激励创新与保障安全之间找到平衡点，为我国人工智能产业的高质量、可持续发展奠定坚实根基。