人工智能与机器学习风险降低实用方法

当企业决定引入新技术时，安全性往往被置于次要位置。毕竟，尽快以最低成本将新产品或服务推向市场的诱惑实在太大，难以抗拒。

人工智能和机器学习亦不例外。它们不仅带来了与早期技术演进相同的漏洞和错误配置机会，还引入了自身特有的风险。当企业陆续启动由AI驱动的数字化转型时，这些风险可能被进一步放大。博思艾伦汉密尔顿公司的首席科学家爱德华·拉夫直言不讳：“别急着冲进这个领域。”

相比其他技术，AI和ML对数据的需求更大，对数据复杂性的要求也更高。那些由数学家和数据科学家开发的算法，最初多源于研究项目。而直到最近，科学界才开始真正认识到AI本身也存在安全隐患。

云平台通常需要处理大量工作负载，这又增加了一层复杂性与脆弱性。因此，网络安全成为AI采用者最担忧的问题，这一点毫不令人意外。德勤数月前的一项调查显示，62%的AI采用者认为网络安全风险是最大的顾虑，但只有39%的人表示自己已做好应对这些风险的准备。

事情还有更耐人寻味的一面：网络安全恰恰是AI应用中最常见的领域之一。德勤技术、媒体和电信中心的执行董事杰夫·洛克斯指出，企业在AI领域投入越久、经验越丰富，对网络安全风险的焦虑感就越强烈。

但即便是那些经验更丰富的企业，也未能严格遵守基本的安全规范——比如对所有AI和ML项目进行完整的审计与测试。洛克斯坦言，公司在这些方面的执行情况并不理想。

AI和ML对数据的需求引发风险

一个AI或ML系统需要三组数据：训练数据（用于建立预测模型）、测试数据（用于评估模型表现）、以及运营数据（模型正式投入使用时产生）。实时交易或运营数据显然是一项有价值的企业资产，但训练和测试数据池中同样可能包含敏感信息，这一点却常常被忽视。

很多用于保护其他系统中数据的原则，同样适用于AI和ML项目——例如匿名化、令牌化和加密。第一步，先问问自己：真的需要这些数据吗？在准备AI和ML项目时，许多人习惯将所有能获取的数据都收集起来，然后看能做些什么。但更明智的做法是，先聚焦业务成果，从而将数据收集范围压缩到真正需要的程度。

举个例子，为教育机构分析学生数据的Othot公司，其首席技术官约翰·阿巴蒂科表示，他们的数据科学团队拿到数据时态度明确：学生的个人身份信息并非必需，也永远不应该被提供给他们团队。当然，错误仍会发生——比如客户有时会提供社会保险号这类高度敏感信息。这些数据不会让模型更强大，反而平添了风险。阿巴蒂科说，团队已制定了一套流程：专门用于识别PII，从所有系统中清除，并通知客户。

更棘手的是，人工智能系统还需要情景数据，这可能会大幅扩大企业的暴露面。假设一家保险公司想更深入了解客户的驾驶习惯，它可以购买购物、驾驶、位置等各类数据集——这些数据很容易交叉关联，并与客户账户一一匹配。这种指数级扩张的新数据集，对黑客来说吸引力巨大，一旦被攻破，对企业声誉的打击也会更加沉重。

人工智能的安全设计

有一家在这方面做得不错的公司是在线文件共享平台Box。Box用AI来提取元数据，提升搜索、分类等能力。Box的CISO拉克希米·汉斯帕尔说，他们能从合同中提取条款、续订信息和定价信息。但Box的大多数客户，其内容分类要么由用户自行定义，要么干脆被完全忽视。也就是说，客户其实坐拥一堆可能对数字化转型有用的数据，却没有好好利用。

汉斯帕尔强调，保护数据是Box的首要任务，同样的数据保护标准也适用于AI系统，包括训练数据。他们的理念是“建立信任，并保持信任”。这意味着所有系统，包括新上马的AI项目，都要围绕核心数据安全原则来构建——加密、日志记录、监控、身份验证和访问控制，一个都不能少。用她的话说：“数字信任是我们平台与生俱来的东西，我们只是将它落实到了实践中。”

Box对传统代码和新的AI、ML支持系统都有一套安全开发流程。汉斯帕尔表示：“我们在开发安全产品方面与ISO的行业标准保持一致。安全性是设计之初就内置的，还有一整套制衡机制，包括渗透测试和红队演练。”

但问题在于，数学家和数据科学家在编写AI和ML算法代码时，通常不太关注潜在的漏洞。企业构建AI系统时，要么借鉴现有的开源算法，要么使用商业“黑匣子”AI系统，要么从零开始自建。对于开源方案，攻击者有可能嵌入恶意代码，或者代码本身就存在漏洞或易受攻击的依赖项。专有商业系统虽然也使用开源代码，但企业客户通常看不到里面到底装了些什么。

逆向攻击是主要威胁之一

AI和ML系统往往是开源库和新编写代码的混搭组合，而这些代码的编写者通常不是安全工程师。更尴尬的是，目前还没有一套标准的最佳实践来指导如何编写安全的AI算法。考虑到安全专家和数据科学家本就稀缺，能同时懂这两样的人更是少之又少。

AI和ML算法背后的潜在风险之一，也是最让博思艾伦·汉密尔顿的拉夫忧心的长期威胁，就是可能将训练数据泄露给攻击者。他解释说：“存在一些逆向攻击手段，能让AI模型向你透露关于它自身以及它所接受训练的信息。如果模型是根据PII数据训练的，你就能让它把这些信息泄露出来——真实的人个身份信息可能会暴露。”

拉夫说，这是一个正在被积极研究的领域，也是一个巨大的潜在痛点。虽然已有工具可以在一定程度上保护训练数据免受逆向攻击，但它们实在太贵了。“我们知道怎么阻止这种威胁，但会让模型训练的成本增加100倍——这不是夸张，所以没人会这么做。”

无法解释的东西，就无法确保安全

另一个研究热点是可解释性。如今许多AI和ML系统，包括不少主流网络安全供应商提供的工具，都是彻头彻尾的“黑匣子”。YL Ventures的CISO Sounil Yu一针见血：“供应商没有在系统里建立可解释性。而在安全领域，能解释发生了什么，是基本要求。如果连为什么发生这个问题都搞不清楚，那还怎么补救？”

对于自行构建AI或ML系统的公司来说，出了问题至少还能回溯到训练数据或所用算法来查找原因。但Yu指出，如果你用的是别人构建的系统，你根本就不知道训练数据是什么。

需要保护的不仅仅是算法

人工智能系统不仅仅是一个自然语言处理引擎，也不仅仅是一个分类算法或一个神经网络。即使所有这些核心部件都是完全安全的，系统仍然需要与用户和后端平台交互。所以，得反复问问自己：系统是否使用了强身份验证和最低权限原则？到后端数据库的连接安全吗？与第三方数据源的连接怎么样？用户界面能不能扛住注入攻击？

还有一个与人相关的不安全感来源，是AI和ML项目独有的：数据科学家。Othot的阿巴蒂科说，优秀的数据科学家总是乐于对数据进行实验，从而得出有洞察力的模型。但当涉及数据安全时，这种“实验精神”可能会导致危险行为——比如用完数据后，他们可能会随意将数据挪到不安全的位置，或者顺手删掉样本数据集。Othot很早就投资获得了SOC II认证，这些控制措施帮助公司贯彻了强有力的数据保护实践，包括在移动或删除数据时。

人工智能机构Urvin AI的产品经理、国际非营利安全研究组织ISECOM的联合创始人彼得·赫尔佐格说得更直接：“事实上，大多数AI模型里最大的风险并不在AI本身，问题出在人身上。几乎没有哪个AI模型天生就存在安全问题——是人决定怎么训练它们，是人决定把什么数据放进去，是人决定要预测什么、预测到什么程度，也是人决定暴露多少信息。”

另一个AI和ML系统特有的安全风险是数据中毒——攻击者将错误信息输入系统，迫使它做出不准确的预测。比如，攻击者可能会通过向系统提供带有类似恶意软件特征的合法软件样本，让系统误以为恶意软件是安全的。拉夫说：“这是大多数企业高度关注的问题。但目前，我还没有看到任何AI系统在现实中被真实攻击过。从长远来看，这是真正的威胁，但现在攻击者用来躲避杀毒软件的经典工具仍然有效，所以他们暂时还不需要玩得太花哨。”

避免偏差和模型漂移

当AI和ML系统用于企业安全时——比如用户行为分析、监控网络流量或检查数据泄露——偏差和模型漂移有可能带来潜在风险。训练数据集如果很快就过时了，可能会让组织变得脆弱，尤其是在越来越依赖AI进行防御的情况下。企业需要持续更新模型，将模型更新当成一项日常任务。

在某些情况下，训练数据更新可以自动化。比如，根据不断变化的天气模式或供应链交付时间表来调整模型，能让它随着时间的推移变得更可靠。但当信息源涉及到恶意行为者时，就需要格外小心地管理训练数据集，避免中毒和操纵。

企业已经在处理那些造成道德问题的算法——比如面部识别或招聘平台歧视女性和少数族裔。当偏见悄悄渗透到算法中时，还可能引发合规问题，甚至——在自动驾驶汽车和医疗应用等场景下——可能导致人员死亡。

有趣的是，算法可以把偏差注入预测中，同样也能用来控制偏差。Othot帮助大学实现班级规模优化或财务目标。阿巴蒂科说，如果创建模型时没有适当约束，就很容易产生偏见。“审查偏差需要额外花精力。加入与多样性相关的目标，有助于建模理解目标，也能帮助抵消偏差——如果不把多样性目标作为约束因素包括进来，偏差很容易被纳入模型。”

人工智能的未来在云端

AI和ML系统需要海量数据、复杂算法和强大的处理器，而且要能在需要时随时扩展。所有主流云供应商都在争相提供数据科学平台，将所有东西整合在一个方便的地方——数据科学家不用再等着IT部门给他们配服务器，只要上网填几张表格就能开工。

根据德勤的AI调查，93%的企业正在使用某种形式的云端AI。德勤的洛克斯说：“这让人更容易上手了。”但这些项目随后会变成运营系统，随着规模扩大，配置问题成倍增加。而最新服务虽然方便，但往往缺乏集中化、自动化的配置和安全管理仪表盘，公司要么自己动手写，要么等供应商快马加鞭来填补空白。

当使用这些系统的人是“公民数据科学家”或理论研究人员，而他们在安全方面缺乏扎实背景时，情况就更棘手了。何况供应商历来都是先推新功能，再补安全功能。当系统被快速部署、然后扩张得更快时，这就会成为一个大问题——我们在物联网设备、云存储和容器上都见识过这种情况。

拉夫说，AI平台供应商现在越来越意识到这个威胁，也正在从错误中吸取教训。“我看到，考虑到历史上那种‘安全放最后’的心态，他们纳入安全内容的计划比我原本预期的要积极得多。ML社区对此更加关注了，延迟的时间应该会更短。”德勤AI联席主管Irfan Saif也认同这个看法，尤其是针对那些支持大型企业AI工作负载的主要云平台：“在网络安全能力的演变方面，它们可能比之前的技术成熟得更早一些。”

人工智能项目安全检查清单

以下这些要点，或许能帮助确保人工智能项目的安全。它们摘自德勤发布的《企业中的AI状况》报告（第3版）：

• 保存所有AI实施项目的正式清单
• 使AI风险管理与更广泛的风险管理工作保持一致
• 安排一位高管专门负责AI相关的风险
• 进行内部审计和测试
• 利用外部供应商进行独立审计和测试
• 培训从业者如何识别并解决AI相关的伦理问题
• 与外部各方合作，制定合理的AI道德规范
• 确保AI供应商提供不偏不倚的系统
• 制定指导AI伦理的政策，或设立专门委员会

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：人工智能与机器学习风险降低实用方法要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题