范凌：设计专业人工智能教学的探索与反思

# 01. 三个核心信仰 先讲一下做设计人工智能的三个核心信仰： 1. **把科技带入设计，而不是用科技取代创意，不是让设计师变成工程师**：艺术的心和科技的脑——这是贯穿始终的出发点。要做的事情不是把每个创作者都变成工程师，而是把工程的力量带到艺术领域里去。说到底，艺术、设计、创意是人性化科技的手段，让科技和我们的生活连接起来，否则科技只会冷冰冰地解决问题。 2. **不是机器取代人，而是人与机器共创更美好的未来**：创业前在美国教“人机交互”。人机交互和人工智能一个最大的区别在于：人工智能以机器取代人为目的，希望把人的工作自动化；人机交互则希望人和机器一起，做人和机器单独都做不到的事情。这里的一个底层信仰是：不让人工智能去取代人的工作，而是让人工智能和人一起创造更美好的生活和未来。 3. **预测未来最好的方式是动手创建未来**：无论是作为创业者还是研究者，有一件不变的事就是动手创建。核心价值观是“创建未来 / to build and create”——to build就是写代码，to create就是去创作。 # 02. 为什么是设计人工智能 2017年，第一次参加阿里设计的大会，也是第一次对外宣讲“设计人工智能”。那时设计人工智能还不是一个共识，所以加了一个“和”字，叫“设计和人工智能”。正因为上面提到的信仰，所以也不叫“人工智能设计”。七年过去了，这些年让人更深刻地思考、尝试、行动，和同事、学生一起做了很多有意思的实验性项目。 实验室的同事和学生，有三类专业背景：计算机、工科和人文背景。计算机背景的人解决生产力的问题，做各种生成的算法和工具；工科背景的人解决生产资料的问题，理解设计如何翻译成机器可以理解的数据；而人文背景的人则通过运用新的科技、手段、工具，来创造新的场景和产品。 有一个不变的“研究问题”——“创意的可计算性”。这个问题本身是矛盾的：创意肯定是人文的，需要人的灵光乍现和历史积淀，从这个角度来说“创意可计算性”具有争议。但创意又有一部分可被计算：什么样的创意表现好，什么样的形式更符合几何原则……越矛盾、越争议的题目越能带来有意思的讨论。**这个讨论不为了达成共识，而是让我们各自奔赴到自己方向的一个动力。** 亚里士多德讲过：我们知道的越多，我们知道自己不知道的就越多。所以创意的可计算性越多，我们理解创意的不可被计算性也就越多。 这个过程中学习是很重要的。实验室有研究生、博士生、博士后，也有交流的访问学者、研究员和特赞科技的工程师、算法团队等。大多数时候并不是我在教他们，而是他们在教我们——这是一个研究型组织，更是学习型组织。 研究“设计人工智能”的另一个视角是企业视角。企业带来了真实问题，有社会性的，也有商业性的；有关于每个消费者的，也有关于整个社会的。企业里很多问题需要“更快”的解决方式。企业发展过程从研发到市场，过去这个过程背后有大量科技型投资在支撑，而现在则需要企业真的产生客户价值为导向的产品服务和技术。 所以在设计人工智能的研究中，行动和知识很重要。我们当然要和历史、文化和学科发生关系；另一方面又要和社会、商业、真相发生关系。就像在学校做研究的时候，是年轻人带来了新的知识、新的工具、新的场景、新的思考方式。在商业语境做研发的时候，是客户、合作企业带来了很多问题、答案和研究问题。 希望以to build and create的方式，去建立一个比较良性的“学”与“做”的模式——这大概就是做设计人工智能研究/研发的大背景，接下来讲讲做了些什么。 # 03. 数据是设计人工智能的突破口 当讨论设计人工智能的时候，尤其是最近的AIGC——不管是文生图、文生视频还是文生文的内容——其实人工智能都在扮演一个很有天赋的形式创造者。它们能做很漂亮的东西：漂亮的句式、漂亮的图片、漂亮的视频，现在甚至可以做漂亮的三维模型。但天赋只代表形式创造的平均水平变高了，并不代表这是一种设计创造的能力，**因为它们还没有帮我们解决问题。** 一说到AIGC，大家就会期待“一键生成”——输入提示词后生成结果。要么是把一段很复杂的东西总结一下，要么是把简单的一句话变成复杂的设计。但一键生成只是一个开始，离我们需要的结果还要走一段调整、再创作的路。先简单了解一下这些生成式模型的基本原理，这里有几个要素： - 第一个要素是**“数据集”**，没有数据集计算机就没有可以学习的教材。 - 第二个要素是需要把数据embed到一个向量矩阵里，这个过程是**“深度学习”**，或者更抽象地说叫**算法**。现在用的深度学习框架是Transformer。 - 第三个要素是**“算力”**，通过调用GPU来完成。 以生成图为例，使用扩散diffusion模型，从而让每一张图生成出来都不一样。前半部分叫模型训练，后半部分叫模型应用（更专业的词叫“推理”），连接模型和推理的叫“提示词”。听说中国GPU的使用，大概95%以上是在模型训练——也就是说还在建模型的阶段，就像“要致富先修路”，还在修路的阶段。另外5%左右的GPU使用在推理上，所以使用的场景、规模、数量都远远还很早期。 人工智能有三个重要支柱：算力、算法、数据。算力的垄断者是英伟达；算法的垄断者是OpenAI；数据方面还没有看到单一的垄断者，尤其是在垂直领域的数据。也许消费者数据有很多平台，但生产者供给侧创意方的设计数据却分散着，没有被很好地处理。所以做设计人工智能的思路是：充分利用已有的算力和算法，在设计和创意的数据上做文章。 **数据不能只是大，而且要能被很好地处理好。** 互联网上大概有95%的数据是非结构化数据，而与设计创意有关的很多数据几乎都是非结构化的。什么叫结构化的数据？就是在Excel表格可以处理的数据。而图、文、视频、音乐、地理信息、三维模型……都是非结构化的数据。处理不好非结构化的数据，计算机就无法理解设计和创意。 处理非结构化的方式，就像多模态模型或大语言模型，其实是把内容变成向量。如果是人来处理图片，我们会知道图片背后的文化暗示，也可能会揣测图片制作过程的信息……但在大模型里，现在还只被用一种很简单的方式处理，就是用图片像素对应文字产生向量。所以大模型的图片处理还很粗糙，但规模庞大。之所以说生成式人工智能现阶段还只是一个有天赋的形式主义者，就是因为它只是理解像素和文字的向量的对应（学习形式与风格），并没有深入的专业、文化影响。它不知道这些像素为什么存在，只知道它们存在的概率。 从2017年到19年，每年做一份《设计人工智能报告》，来到阿里巴巴的设计大会发布。贯穿报告的主题之一是把设计翻译为一种数据资产，一直试图**用设计的语言，而不是用科技的语言去解释设计人工智能的问题。** 因此在提到设计数据的时候，借用了柳冠中先生的“设计事理学”：一种设计数据叫“大数据”，指的是很多对于设计的特征描述——这个设计是什么？就像刚刚用像素去描述这个设计一样；另一种角度是从“事”的角度——设计有过程、有思考、有参考、有过程迭代、有商业影响和社会影响。这些把设计当做一件“事”，而不是只当一个“物”。那么这些维度怎么能够成为设计数据资产的一部分，未来在模型调优、训练中有所体现？这就是实验室里去探索的方向。 # 04. 把设计翻译成机器可以理解的元数据 我们是翻译家，**要把设计翻译给机器。** 用生成式人工智能里一个更专业的词，“翻译”应该叫做“对齐（alignment）”。对齐是大模型里很重要的维度，我们在做的就是按设计的思路和逻辑对计算机结果进行调优。为此，做了很多研究课题。 比如2017-18年的时候做数据集，就像李飞飞教授的ImageNet让机器能够有眼睛一样，由眼睛发展出了视力，能够看见。做的数据集叫DesignNet——当机器可以看见以后，是不是可以审美？教机器的设计语言就像教一个八岁小孩什么是设计，比如字体、设计风格、色彩组合等。这件事非常难做，需要大量的人工标记。很感谢许多耐心而优秀的学生和同事，他们做了大量的标记。 接下来，除了自下而上地让机器去理解设计作品外，还试着做一个设计的**知识图谱**——通过设计的书籍、文章等提取设计作为一种学科知识，这些知识点连接成为一个自上而下的设计知识图谱。这是2019年做的，采用最简单的对话形式来进行交互，现在看上去和ChatGPT还有些相似。你可以问设计问题，机器从设计知识库里找到向量关系，或者找到问答的索引。如果说数据集是一种自下而上的草根式理解设计，那么知识图谱就是一种自上而下、通过设计学本身的知识来教机器什么是设计。 这两样东西结合在一起，是不是就可以成为设计的可计算基础了呢？后来发现很难。每一次设计的语言描述又会给理解提供一个新的维度。所以倒过来，开始想能不能用人工智能的技术手段去理解设计的文化现象？ 有些学生每周头发的颜色都不一样——红色、粉色、蓝色、宝石蓝等。问这些颜色是哪里来的？说是亚文化的颜色。亚文化颜色并没有很明确的设计定义，但存在于很多案例中。这很有意思，能不能用计算机视觉倒过来建立亚文化色彩的理论？通过提取染发剂的色卡，通过摇滚音乐会的海报，倒过来去研究亚文化色彩的理论到底是什么。于是就做了一个亚文化的色彩数据集，数据集里任何相邻的颜色就是一种亚文化色彩的搭配关系。 把这个研究项目介绍给一些国外学校的朋友时，他们告诉我正好有一个新兴的学科方向，隶属于数字人文，叫做“文化分析（cultural analytics）”。文化分析和人文视角的研究相对应，人文的方式叫文化研究（cultural study），而现在这种计算的方式增加了文化研究的维度。其实除了色彩、设计之外，越来越多的人文学科开始“可计算”了。著名经济学家陈志武教授现在在推动“量化历史”。如果认为历史原来是由一个个个体个案组成的，那么量化历史是通过量化研究来研究老百姓群体——不是一个个孤立的故事，而是一个连续的过程。历史和量化历史的关系，正好也是设计和设计可计算之间的关系。 实验室还做了不少有意思的事情。有位学生把自己朋友圈发出去的内容进行分析和理解，做了一个小小的个人数据库，包含99条朋友圈，有她喜欢的东西、观点感言等。只做了一件事：想知道这99条朋友圈如果变成输入条件，通过扩散模型会输出一张什么样的意向。结果输出的是一张图——不知道为什么那么缤纷的朋友圈最后指向的是一个“庙门”。这个过程很有趣——扩散模型作为一个很强的归纳者，不是用AIGC去卷我们已知的设计问题，而是让我们理解以前不理解的东西，比如情绪被生成了。并不在意这张图片本身的质量，而在于通过这张意向的理解，能更好地知道自己的情绪是怎么样的。 如果上面的项目是研究物质背后的情绪，那么还有一个项目正好相反，是研究创意背后的物质。有位学生用各种算法和工具生成了很多图，然后研究做这些图的耗电量。大家知道一张图被生成需要耗多少电量吗？研究表明：**用Midjourney做一张图，整个链路上用的电，大概可以把苹果手机充电25%。** 生成式人工智能虽然不消耗多少创造力，却着实消耗不少电量。把能量这个维度的数据也放到创意上——当开始做这么多动画的时候，当可以实现空间化的时候，想一想背后消耗的能量有多少。不想那么快进入到道德和批判，但这确实是一个很重要的设计的数据维度，而过去是不考虑的。 上述的项目都遵循着如下的结构：想法通过图文、视频、色彩等内容形式来承载，然后通过元数据（metadata）来对齐给机器——元数据就是那些让机器去理解的数据单元。做了一个这样的工具（musedam），让人们可以把设计创意翻译成数据资产。 听上去这种记录很抽象，但事实上这不是什么新的概念，只是通过数字化工具和人工智能，这个记录又有了更强大的新工具而已。想分享一个10分钟的纪录片，记录了《教*父》导演科波拉的笔记本。这个笔记本是他自己做的：中间是《教*父》的原著，外边他做了一个白色的框，被贴在每一页原著上。他在旁边做了很多笔记，就像元数据一样。所以《教*父》就变成了属于科波拉的《教*父》了。他说：只需要这本笔记本，他就可以拍出电影了。猜猜这本笔记本叫什么？**Prompt book**。 Prompt这个词大家越来越熟悉，就是驱动大模型的“提示词”。早在几十年前，戏剧导演的创作过程中就在用一个叫Prompt Book的工具。现在如果在搜索引擎上去找Prompt Book，十有八九会拿到一本AIGC的提示词秘籍。但那个时候科波拉自己做了属于自己的Prompt Book，所有的想法都是从这个很物质化的元数据集里被prompt出来，产生他的艺术创作。在让机器更好地理解设计、做设计的路上，还有像科波拉做笔记本一样的“数据工作”可以做。 # 05. 设计人工智能要从视觉到行动 既然设计可以被翻译为数据，那么是不是也可以用数据来生成设计？现在设计的生成是形式主义，是西方视觉历史的延续。西方学者（如Jonathan Crary等）认为西方的视觉历史是关于“看（opticality）”的，人作为观者（observer）。 巫鸿教授的《重屏》则通过分析顾闳中的《韩熙载夜宴图》来研究中国的视觉，增加了时空和变换角色的维度。他认为在全画中画家有时候是第一人称，有时候是第三人称，有时候是宴会的参与者，有时候是宴会的记录者。这种具有时空、行为和角色的视觉值得注意。现代设计其实一直在做一个努力——从纯视觉，从设计“物”转变为设计“行动”。从只做视觉转变为设计服务、体验、社会、生物等。从**以物为中心，能不能到以人为中心？从以设计作为以造物为目的，到作为改造社会的手段。** 目前还缺少一种讨论——设计人工智能到底怎么能让设计学科在推动的变革继续延续。 也做了一些很早期的尝试，比如通过人工智能来保护传统的手工艺。这个项目中讨论了两个人工智能与手工艺保护冲突的元问题：一、到底应该如何让生成的结果可控？是应该让AI生成金山农民画真的很好，还是做得一般就可以？二、到底应该生成新的金山农民画元素，还是用原有元素生成新的布局和主题？这些话题都是开始用人工智能作为一种手段去重新想设计的问题时才会遇见。如果只想绝对优化，那一定应该做到最好，应该生成更多的元素。但如果把设计作为一种保护手段，也许不该这么选择。 过去是有了声音才有节拍，听到音乐翩翩起舞，舞蹈的创造往往受制于音乐。如果去掉音乐的限制因素，任何舞蹈都可以配出合适的音乐，会对舞蹈/行动有什么影响？所以做了个通过节拍生成音乐的算法，只要确定节奏，就可以产生任何配舞音乐。 希望通过AI来创造新的故事叙述。总觉得AI的形象都太刚性——女儿喜欢的AI会是什么样子？用生成的方式做了很多叫“脑机比”的玩偶，每个人背后都有个故事。这些是最早的种子：第一个是鲁班，第二个是达芬奇，第三个是特斯拉……然后用这些种子进行组合生成，产生了5000个变种。比如特斯拉如果和爱因斯坦结合在一起，可能叫爱因斯拉。他们会对世界的发展产生什么影响？用GPT生成这样的故事，也许他们改造的世界会是我们的平行宇宙。所以当重新去思考AI的时候，AI应该给我们创造更多的可能性，而不应该只有一种视觉的结果。 最近开始试着做一些空间维度的探索。从一个中国的绘画开始，不停地通过各种生成的算法来无穷无尽地拓展它的空间边界。在中国视觉里，关于时空和体验的，怎样让原来一个平面的绘画，重新利用AI找回它的空间感。 有学生想给每个人做一个自己喜欢的冥想空间。生成个人化的视觉、气味、声音，生成一种属于你自己的独特体验空间，从而让你放松下来。 这是另一个学生的作品。我们都是被动劳动，能不能实时地生成各种各样的场景，把劳动和游戏结合，劳动就像是在玩沉浸式游戏一样？这一系列的尝试，其实都是让AI不只是针对物的形式主义，而是回归到希望通过设计来对行为进行改变上。 最后，在变化万千的人工智能技术下，始终有一些不变的东西。 第一，并没有以技术作为目的，而是以技术作为手段，最后解放人。如果不能更开心，技术不能让生活更美好，这就不是一个对的技术。反过来，如果设计不能让我们变得更快乐，不能让这个社会变得更好，可能也不是一个好的设计。所以现在特别重要的不只是强调技术的效率，也需要带入设计的人文。 第二，一键生成不会产生好的设计，积累从来没有比现在更重要。就像科波拉的Prompt Book一样，有多少东西被解释、翻译、对齐给数据，就决定了有多少能力去提取和创作。藤子·F·不二雄在他的创作书里就强调这个观点：没有想法是平白无故产生的，我们要提取都不会从一个透明的盒子里面去提取。所有的积累才是创作的源泉，发散才会有收敛，创意才会出现。 第三，好的创意来自于不断迭代反馈。**OpenAI的CEO Sam Altman说：“创意就是过去东西的重组，加上灵光乍现，乘以迭代的数量和反馈的质量。人们往往觉得要最大化的变量是灵光乍现，其实关键是要最大化迭代的数量和反馈质量。”** 最后引用毕加索讲的一句话：“电脑没有用，因为电脑只会给答案。” 剩下的，就交给各位了。谢谢大家。