NLP技术应用场景解析与深度思考

一张图就能清晰阐明阿里巴巴的核心业务布局。

在阿里巴巴的生态系统中，计算平台广泛分布，承载着多样化的业务层。核心区域聚焦于买家与卖家之间的关系——涵盖销售、支付等环节。围绕这一核心，外围逐步扩展出从娱乐、广告到金融、购物、物流的庞大生态体系。关键在于，这些环节之间产生了海量且相互关联的数据。因此，这张图高度凝练地展示了我们的工作重心：数据是中心。在所有数据中，最早、最核心的部分无疑是从电商起步阶段积累下来的，电商数据至今仍是重中之重。随后，数据版图延伸至金融、菜鸟物流、健康及娱乐领域，例如大文娱事业群旗下的优酷土豆等，这些生态都在持续不断地产生数据，其中包含了大量的文本信息。

具体到电商平台，整个生态系统内拥有数十亿件商品。每件商品都自带详尽的标题、副标题、详情页、评价区甚至问答区，这些信息汇聚成了一个极为丰富的商品信息池。此外，还有上亿篇内容文章。两年前我们开始全面拥抱内容时代，各类内容营销、直播、圆桌问答等场景层出不穷。这些文章本身又包含了标题、正文、评论等海量数据。这还仅仅是电商领域的例子，如果再算上金融、物流、健康、娱乐，总计的数据量只能用“海量”来形容，自然也就催生了大量文本处理方面的需求。

自然语言处理究竟是什么？

我们先从最基本的定义聊起。

语言，是生物之间为了沟通需要，所制定的具备统一编码解码标准的声音（或图像）指令。手势、表情、语音等肢体语言都算在内，而文字是其显性符号。
所谓“自然语言”，通常是指一种随文化演化而自然形成的语言，例如英语、汉语、日语。这与世界语、编程语言等人造语言有着本质区别。
自然语言处理（NLP）包含理解与生成两大部分。理解，就是将自然语言转换为计算机能够识别的语言，把非结构化的文本转化为结构化信息。
在NLP领域中，有四个经典的“AI完全”难题：问答、复述、文摘、翻译。业界存在一种说法：只要真正攻克了其中任何一个，剩下的三个问题也就迎刃而解了。问答，是让机器像真人一样开放地回应各种提问；复述，是让机器换一种方式把意思表达清楚；文摘，是给定一篇长文，让它写出100字的摘要，这极具挑战；翻译更是如此，中英文思维方式的转换，涉及到大量复杂问题。

阿里巴巴需要怎样的NLP技术？

阿里巴巴的生态非常复杂，不可能用一套简单的NLP技术包打天下。早期，自然语言处理相对简单，有时甚至一张词表就能解决所有问题。但随着电商生态的持续扩张，对技术的要求也变得异常复杂。我们需要的是完备且高性能的技术。这里的高性能，既指算法精度，也指执行效率。IDST（数据科学与技术研究院）的定位十分明确：引领技术前沿，赶超市场最佳竞争者，完备和完善AliNLP平台的技术体系及服务能力；赋能核心业务，帮助核心业务快速成长，找到并解决业务方最痛的痛点；创造商业机会，去探索那些看似不可能的商业技术，深度理解语言和需求，变革产品体验。

AliNLP自然语言技术平台

这张图是我们整个自然语言处理平台最核心的框架。底层是各种基础数据；中间层涵盖基本的词法分析、句法分析、语义分析、文档分析，以及其他与深度学习相关的技术；上层，是NLP能够直接掌控和变革的算法与业务，例如内容搜索、推荐、评价、问答、文摘、文本理解等；最上层，直接支撑电商搜索、推荐、智能交互、翻译（商业翻译与普通机器翻译不同）、广告、风控、舆情监控等大业务单元。这个层次结构相对传统，为了让平台具备良好的落地能力，右侧专门设置了一列“平台工程”，专注于解决算法如何快速应用到业务中的问题。

进一步细化这张核心框架图，底层数据类型十分丰富：实体库、源学辞典、词性标注库、词性关系库、句法树库、情感分析标注库、情感词典、资讯库、图谱等。词法分析层，包括分词、词性标注、实体识别、拼写检查等基础组件。句法分析层，包含结构句法分析、依存句法分析、语义分布表示等。语义分析层，涵盖词义消歧、语义角色标注、主题模型、行为表示等。文档分析层，则负责文档聚类、分类、事件挖掘、层次聚类、意图分类等。此外，还有大量偏向深度学习的自然语言算法研究。

右侧的平台工程，我们进行了许多尝试与迭代。团队经过几年发展，不断反思如何让技术快速对接业务。在不断尝试后，我们实现了多种可视化工具、需求管理、用户中心、监控中心、系统运维，以及自动标注平台、训练平台、评测中心等。经过这一系列封装，平台才变得越来越完善，越来越易用。

这张图是阿里AliNLP的系统架构图。左侧是算法模块，包括知识库、语料库、算法模型。中间是服务化平台，服务分为在线和离线两种。离线服务依托于阿里巴巴最大的计算平台ODPS，进行了大量UDF操作。在线服务则通过HSF和HTTP提供服务，能够很好地对接各种业务方。中间还有用户中心、监控中心、测试中心、系统运维等一套复杂体系。右侧是生态平台，通过接口层直接对接各种上层应用。这个架构经历了多轮迭代才成型，目前大概支持30多个业务方，平均每天调用量在数百亿的规模。

AliNLP平台核心价值

AliNLP平台的核心价值，概括起来就是两个字：解耦。我们希望用它来服务整个阿里巴巴生态：

• 算法超市：希望它成为一个NLP算法的超市，业务方可以清晰地看到分门别类的算法，按需取用。
• 工程小白：希望它能解决一切工程问题，让算法工程师可以安心专注于算法研发，哪怕在工程方面是个新手，也能顺利交付。
• 系统生态：以平台为中心，形成一个完整的系统生态体系，从各个环节切入，为NLP算法和业务提供服务。
• 服务底线：对于产品和运营，平台只做底层模型的服务输出，不直接对接具体业务，保持清晰的责任边界。

经过各种迭代、打磨和反思，我们在5月初发布了2.0版本，未来还会持续改进。平台中最核心的三个概念必须理解清楚：

1. 模型：这是最基本的算法逻辑复用单元。用超市的概念来解释，模型就是原材料，是算法工程师的主要产出成果。
2. 方案：这是多个模型的组合，用于真正解决某一方向的具体问题，好比是超市里待售的“商品”。方案是业务和算法之间的结合点，负责“算法售卖”的同学会把手头已有的模型通过不同组合配置，产生出不同的方案供业务方使用。
3. 场景：这是多个方案在线上部署后的最终形态，是最终服务的提供者，也是业务方真正用上算法大礼包的地方。目前的设计下，不同业务方可以在相互隔离的多个场景中使用算法服务。

只有理解了这三个概念，才能真正用好这个平台。

NLP算法举例

下面我们看几个具体的算法例子，会更加直观。

• 词法分析（分词、词性、实体）：基于Bi-LSTM-CRF算法体系，搭配丰富的多领域词表。应用在优酷、YunOS、蚂蚁金服、推荐算法、资讯搜索等场景。
• 句法分析（依存句法分析、成分句法分析）：算法包括Shift-reduce、graph-based、Bi-LSTM。应用在新闻领域、商品评价、商品标题、搜索Query，以及资讯搜索、评价情感分析等。
• 情感分析（情感对象、属性、关联）：算法包括情感词典挖掘，以及属性级、句子级、篇章级情感分析。应用在商品评价、商品问答、品牌舆情、互联网舆情等。
• 句子生成（可控改写、句子压缩）：算法包括Beam Search、Seq2Seq+Attention。应用在商品标题压缩、资讯标题改写、PUSH消息改写等。
• 句子相似度（浅层相似度、语义相似度）：算法包括Edit Distance、Word2Vec、DSSM。应用在“问大家”相似问题检测、商品重发检测、影视作品相似度判断等。
• 文本分类/聚类（垃圾防控、信息聚合）：算法包括ME、SVM、FastText。应用在商品类目预测、问答意图分析、文本垃圾过滤、舆情聚类、名片OCR后语义识别等。
• 文本表示（词向量、句子向量、篇章向量、Seq2Seq）：以Word2Vec、LSTM、DSSM、Seq2Seq为基础进行深入研究。
• 知识库：数据规模包括电商同义词、通用同义词、电商上下位、通用上下位、领域词库（电商词、娱乐领域词、通用实体词）、情感词库。挖掘算法有bootstrapping、click-through mining、word2vec、k-means、CRF。应用在语义归一、语义扩展、Query理解、意图理解、情感分析等。
• 语料库：包括分词、词性标注数据，依存句法标注数据。

拿一个电商场景中非常常见的句子来举例——“我要买秋天穿的红色连衣裙”。词法分析的结果会精确地将“我要”拆分开，但“秋天”是一个词，“连衣裙”也是一个词。下面那层标签是对应的词性。最上面的结构是一棵句法树，它会把句子的深层结构解析出来。只有完成了这种结构化的解析，才能把句子导入数据库，进行后续的各种机器学习和应用。这，就是所谓的结构句法分析。

不过，对于电商来说，光有句法分析还不够。你还需要知道，“秋天”这个成分代表的是适用季节，“红色”是颜色分类，“连衣裙”是产品。只有分析到这一步，才能在电商场景中真正应用起来。例如，我们使用通用领域的依存分析器，针对商品标题来决定使用哪一种依存句法分析器。还是那句“我要买秋天穿的红色连衣裙”，在电商场景下，“我要买”和“穿的”这些词并没有实际意义，我们只需要把“秋天”、“红色”、“连衣裙”这几个关键成分标出来，然后做进一步组合。

如果这句话本身是一个搜索query，那么某些核心成分甚至完全不需要关注。直接输出“秋天”、“红色”、“连衣裙”三个词串，并标出它们之间的依存关系即可。这能实现非常好的信息凝练。我们针对三种不同类型的文本，都做了非常深入的底层自然语言处理分析。

再看一个例子：买家对某商品的评论——“虽然有点贵，不是很修身，但是颜色很亮，布料摸起来挺舒服的，图案也好看。挺喜欢的。”这是一句情感分析的结果。我们不仅要知道整句话的情感倾向，比如整句被标记为蓝色、淡蓝色，表示情感总体上是正向的，表达了褒义，但并非完全满意。更深入的是，我们会进行细粒度的拆解，识别出“贵”、“修身”、“颜色”等属性，这就是属性级的情感分析。“贵”这个形容词，表达的是相对关系，有时说“黄金很贵”反而是褒义，所以词语情感在不同环境下褒贬不一。至于“修身”，在这个平台语境下，它表达的是一种负向关系，我们会识别出来并标记为红色。只有经过这种深度细致的分析，后面才能衍生出各种玩法和应用。

“问大家”问题解析

在“问大家”这个场景中，我们完成了以下工作：

• 无效问题过滤：由专业的外包同学标注无效问题，再通过Active Learning筛选待标注样本。分类模型采用LR+GBDT，并定制了特征。无效问题会不断变种，因此算法和标注需要迭代推进。
• 相似问题识别：通过Doc2Vec计算问题间的相似度，并进行人工评测。
• 页面问答排序：综合内容丰富度、点赞数、过滤词表匹配数等指标进行加权求和。这直接提升了商品详情页中“问大家”模块的点击率。

内容资讯分析

针对内容资讯，我们需要进行大量分析工作。底层是各种数据库的汇总，中间层包括文本算法，例如相关性判断、时效和质量评估、CTR预估、个性化推荐、分类、打标、质量评估和去重等。同时，还有系统工程和服务体系在中间协调。最上层是业务场景，比如淘秘籍、微淘、淘宝头条、知识卡片、社区问答等。这些场景能帮助用户快速进入良好的购物背景知识状态，做出更明智的购物决策。你可以在手机淘宝搜索结果页的第四个Tab里找到淘秘籍产品。

思考

自然语言处理到底难在哪里？它直接关联到人的认知能力。知识和语言、思考和行动，形成了一个循环：知识 → 语言 → 思考 → 行动。这其中最难的两个问题是：第一，歧义。自然语言与计算机语言之间有着天生的、不可调和的矛盾。计算机语言是精确的、可枚举的、无歧义的。第二，变化。语言的变化非常剧烈。它的语法在群体层面具有一致性，但在个体层面千差万别。语言每天都在发生变化，新词在不断涌现，根本无法穷举。同一个词在不同上下文中有不同含义，甚至随着时间的推移，词义也在发生演变，例如“Apple”从水果变成了公司，“Google”从名词变成了动词“to google”。

那么，NLP的路该怎么走？

• 在完全搞清楚人脑机制之前，NLP的研究始终是在模拟人类群体智慧在文字方面的表现。
• 这种模仿的效果会越来越好，会持续提升。
• 更深入的模拟方向是，NLP会与语音、图像、视频、触觉等多维度信息进行融合学习。

未来，我们在一年内会继续把AliNLP平台做得更完备和完善，开放更多能力，服务好阿里内部各种生态系统，目标是让调用量超过千亿。两年内，争取对外开放，普惠大众，更好地开放融合，调用量目标达到万亿。我们也希望它能做得更美好！

（本文整理自阿里巴巴iDST 自然语言处理部总监上乘的分享。上乘博士毕业于哈尔滨工业大学自然语言处理方向，曾在新加坡资讯技术研究院工作四年，担任研究科学家负责统计机器翻译系统的研发和应用。2014年至今在阿里巴巴iDST担任资深专家，从零组建了自然语言处理部门，负责技术平台研发和多项核心业务应用。）

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：NLP技术应用场景解析与深度思考要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题