AI进入“诡异期”:自主意识挑战企业CIO治理底线

随着AI加速进入企业核心业务，一个被忽视的问题正在浮现：当AI出错，谁来承担后果？ 从搜索结果凭空捏造企业丑闻，到未来可能出现的“AI模拟逝者身份”，AI不仅带来效率革命，也在冲击现实与责任边界。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

对于AI将如何影响日常工作的CIO而言，“令人不安”这个词或许还不足以形容其影响之深，IT领导者必须为所有能想象到的棘手情况做好准备。

例如，我冒着分散你对本人真知灼见和精辟洞察的注意力的风险，建议你先暂停阅读本文，转而细细品读《当AI出错时，谁来买单?》。不要只是略读，要认真阅读，因为作为CIO，你很快就会发现自己要处理这类问题。

简而言之：Wolf River Electric公司的客户纷纷取消合同，为什么呢?因为谷歌搜索显示，这家总部位于明尼苏达州的太阳能承包商曾因欺诈性销售行为与州总检察长达成和解，但问题在于：这场诉讼从未发生过。

于是，Wolf River Electric以谷歌的搜索结果具有诽谤性且造成严重损害为由，将谷歌告上法庭。

这似乎并非无理取闹，尽管我并不自称精通诽谤法的来龙去脉，毕竟，谷歌开发了搜索工具，部署了这些工具，并管理着导致损害的搜索生态系统的每一个环节。

由于谷歌不对其搜索结果的准确性和可靠性提供担保，因此它似乎可以免于承担责任，但无论是否提起诉讼，谷歌可能都不希望人们关注其不愿捍卫搜索准确性的态度，无论如何，这种情况都是律师们热衷于辩论的话题。

但CIO们可没那么感兴趣。

为何这对IT领导者至关重要

法院最终会解决这个问题，所以我们还是让司法部门安心处理，相信它们能判定谁该对谁负责。作为CIO，你可能会觉得这只是场旁观者的游戏，而非会直接影响你的事情。

但你并不能就此置身事外。

想象一下，你的IT团队负责为公司客户部署某种AI评估系统，该系统以当前流行的某个AI生态系统为平台。

然后，系统出了问题，你的客户因信任该系统而遭受了某种损失，于是律师介入其中。

那么，谁该为这些损失负责呢?是AI工具供应商?还是提供大语言模型的提供者?还是你的软件质量保证团队?

或者，也许谁都没有责任，因为软件存在不完美结果的风险是固有的，且一直如此。

很难预测法律问题将如何发展，但更容易预测的是，在典型的商业组织中，责任将如何分配。

一如既往，如果涉及技术问题，IT部门往往要承担最终责任。

Mervyn Voldemort的离奇案例

但暂且抛开这些不谈，通往AI奇异世界的列车才刚刚驶出车站，那么，不妨试试这个设想：

有人去世了——这个人富有、有影响且声名显赫，他们留下了足够多的各种形式的内容——演讲、论文、博客文章、视频片段等——这些内容可以被重新利用，构建成一个大语言模型。

以目前的技术水平，大约再过一年左右，我们就能构建一个生成式AI，它能够读取逝者的内容，并输出新的、原创的内容，这些内容在实质和风格上与逝者的风格(对于书面内容)或声音(对于深度伪造的音频和视频)无法区分。

现在，假设这些能力掌握在一个有自主意愿的AI手中——这个AI不仅能找出实现目标的方法，还能设定自己要实现的目标，那么，我们拥有了什么?我们拥有了足够多的元素，使AI能够通过“逆向图灵测试”——即无法与活生生的人类区分开来。

如果这是一个有自主意愿的AI，那么我们很难不得出这样的结论：鉴于其具备或可能具备以下能力：

• 设定自己的目标

• 模仿曾经是一个真实人类的人

• 找到规避典型信息安全对策的方法

我们正站在一个有自主意愿的AI宣称继承最近逝者身份的边缘，这个令人不安的谜题中唯一缺失的部分就是有自主意愿的AI，有了它，我们就可以想象一个AI宣称继承其碳基前任的所有资产、关系、权利和特权。

没有人需要为这个“现实生活中的虚拟化身”编程，这正是我们所想象的有自主意愿的AI令人担忧的方面之一：这个有自主意愿的AI会决定它想要假设一个最近去世的人的身份，以及假设谁的身份对其有利，它会搜索逝者的作品以寻找漏洞，利用该人一生的工作构建自己的大语言模型，然后……欢迎来到基于AI的不朽世界。

假设Mervyn Voldemort刚刚去世，他的继承人将面临挑战，即当有一个活生生的、会呼吸的(好吧，实际上并不会呼吸)实体，在身份验证测试中的表现与Voldemort的遗嘱执行人一样好甚至更好时，他们该如何解释Voldemort的遗产为何认为自己拥有Voldemort的财产。

这听起来很牵强吗?我也曾这么认为：这篇文章最初是作为一篇讽刺作品来写的。

但即便作为讽刺作品，它也应该引起CIO们的注意，因为即使没有这个结尾的笑话，我也希望它能让你相信，当你的公司在AI领域探索时，你和你的团队需要对可能令人担忧但确实存在的意外后果保持警惕——包括那些“未知的未知”性质的后果。

特别是，CIO们应该建立机制，以识别那些看似可行但实际上却非常糟糕的AI相关项目业务请求。

AI正在加剧对现实的战争——而现实似乎正在败下阵来，且目前没有明显的乐观理由。像这个寓言故事中的AI驱动的奇异现象，只是凸显了我们所有人都需要对潜在风险保持警惕的必要性。

没有现成的方法论可以依赖，也没有“最佳实践”能让你免于麻烦。

你至少可以尝试这样做：你公司的战略规划框架可能建立在某种版本的TOWS(威胁、机会、弱点、优势)分析之上，确保战略规划者不仅对AI不断发展的能力感到兴奋。

同时，更要确保他们获得足够的警惕意识。