湖仓一体技术开启大模型时代数据智能新范式

导读 今天分享的主题是：大模型时代下，基于湖仓一体的数据智能新范式。这项分享来自阿里云数据库团队的陈茏久（茏城），他目前负责 OLAP 及数据工具产品。整场介绍将围绕四个核心问题展开：大模型时代来临、企业数据平台的能力挑战、阿里云 AnalyticDB 在 AIGC 时代下驱动企业架构升级、以及问答环节。

01 大模型时代来临

1. 大模型的发展历程

先来看一下大模型发展的时间线。2022 年 ChatGPT 发布后，现在已有非常多大模型入局。去年 3 月，大模型开始与企业自身的知识结合——ChatGPT Retrieval Plugin 带动了大模型在各行各业应用场景上的快速落地，避免了模型泛而通，而是结合企业的知识和能力实现应用侧变革。当下，Model-as-a-Service 的服务（如海外的 HuggingFace，阿里的 ModelScope）正在被开发者广泛使用，帮助大家完成大模型实践。国家层面也出台了评测标准，阿里、百度、腾讯、360 等去年底纷纷实现了自身模型的优化。

可以说 2023 年是大模型“百模大战”的一年，企业从年初摸索，到如今已能在一些场景上较为成熟地落地。今年年初 Sora 的发布，预示着这一年大模型在多模态领域、在模型与真实世界的碰撞上，会有进一步拓展，带来新的变革动力。

2. 深化产业影响，驱动全行业能力升级

通过《2023年中国AIGC产业全景报告》可以看到，大模型对产业的影响非常广泛且程度不同。基于企业的数字化程度和技术拥抱程度，呈现出多档变化的节奏：

（1）内容生产效率将快速变革。价值链线上化程度越高、内容在价值链中占比越高的企业，对大模型的拥抱度往往更高，能更快应用到内容生产上。目前在生产效率上能带来 50%～70% 的提升。同时，海量数据的开发效率提升背后，扫描的数据面积会更大，生产的数据也会更多。随着大规模大模型的使用，数据处理面向应用内容生产的数据量会大幅增长。

（2）垂直领域随大模型能力深入持续变革。垂直领域的发展更多在于如何让大模型的数据质量更高，提供更准确、更可用的产品能力。以教育、影视行业为主的一些领域，对大模型的准确性、垂直领域的定向优化以及数据层面的质量提升有强烈诉求。

（3）信息化安全等级较高且数据受政府强监管的组织，更加注重“稳中求变”。这类组织将关注政策导向、数据安全及能力演进，需要自底向上全盘思考、有序推进，最终实现全行业拥抱。

3. AIGC 分层能力一览

AIGC 要协同不同层的能力一起落地。通用大模型这一层，我们接触较多的是阿里的通义千问、ChatGPT 等基座大模型。基座之上，各行业正推出自己的行业大模型，包括金融、安全、零售、医疗等。行业大模型的训练通常由模型服务商提供，将自身的数据运用于大语言模型之上。行业企业自身再将传统的对象存储、湖存储的知识快速结合上大模型的能力进行应用层构建。加上模型服务过程中自顶向下进行基于业务的 FineTune，最终将模型服务商的能力与企业自身的能力结合。目前企业的探索和模型服务商正在不断逼近，甚至在某些领域已达成对齐。

02 企业数据平台的能力挑战

1. 企业数据平台变革带来的挑战

从 AIGC 行业趋势和数据平台能力的演进方向看，目前企业数据平台面临的能力挑战主要集中在三个层面：

第一个是 AIGC 应用层。应用层对 AI 的集成度最为广泛，面向大模型的应用构建基于很多非结构化和半结构化数据，加上大模型能力来支持具体业务场景。这对数据源和数据处理能力有很高要求，数据辐射面积也会更大。要求应用侧增强智能化的数据在线加工能力，如向量、语义召回等。

第二个是 AIGC 平台工具层。目前以 Copilot 和 NL2SQL 等基于语义检索的能力为主，重点面向开发者提升开发效率。同时也有垂直行业（如数据标注、垂直领域开发属性链路）的智能化提升，帮助分析师和数据使用者通过大模型降低门槛、提升效率。

第三个是 AIGC 基础层。需要更多高质量数据用于模型训练，同时也要平衡海量数据存储和 IT 成本之间的矛盾，避免因训练和数据爆炸导致企业在未看到收益之前过度投入。

2. 当前数据平台能力瓶颈

传统数据平台对多模数据的处理能力遇到了瓶颈。文字、文本、音频、图像、地理信息等数据的处理需要更灵活的空间，数据湖可能成为主要载体，并通过数据分析引擎处理这些非结构化数据，拓广企业数据平台的覆盖面积。

由于 OLTP 平台只传入传统结构化数据，已不能很好地支撑企业所有应用。企业的一些数据平台（包括传统数仓）也要面向应用侧进行能力升级，把湖仓的能力上浮到应用侧。传统分离式的 OLTP 和 OLAP 平台，可能在接下来一段时间内整合，并将部分应用下沉到湖仓一体的能力上，这对企业数据平台是较大的考验。

3. 数据平台趋势分解

数据平台包含应用层、平台工具层和基础层。应用层的核心诉求是海量数据需要直接支持应用，集成方式更加灵活，比如企业的知识库、客服和 RAG 场景。平台工具层希望将数仓的核心能力（如数据分析、开发能力）与大语言模型结合，升级整体能力。基础层则更多提供低成本的算力和存储。

4. 一站式智能数据平台架构

为了面向 AIGC 的业务和应用，我们将平台的数据能力向上浮了一层——即数据智能服务层，包括 RAG Service、Data API、模型管理，同时覆盖文档处理、图像处理、检索推理和安全过滤等原子能力，让上层应用能更好地直接访问中间的数据层。

在企业核心的数据层，保有数据平台和数仓、数据湖能力之上，我们添加了在仓内进行数据模型直接调用的方式。相比原来只做标准算子的分析，现在能支持企业在仓内、湖内叠加增强分析能力（例如大语言模型）。举个简单例子：在文本中提取用户的情感倾向、核心关注点或者客诉客情申请。原来无法在仓内或湖内直接实现，通过引入大语言模型，现在可以直接调用非结构化数据进行快速的情感倾向判断，提升数据服务能力。这些能力也能反哺 NL2SQL 的支撑——通过自然语言理解判断用户意图，然后投递成 SQL，转换到仓内湖内进行分析。

底层主要涉及对海量结构化、半结构化数据进行廉价存储。为了支持海量数据廉价存储，平台进行冷热数据分离，确保对应用层的高性能支持。平台目前支持异构算力（CPU、GPU 和远端服务化算力），向量检索、模型使用的资源可以复用，避免浪费。

接下来介绍阿里云 AnalyticDB 在相关领域的探索。

03 阿里云 AnalyticDB：在 AIGC 时代下，驱动企业架构升级

AnalyticDB 是阿里云自研的云原生数据库，在数据仓库、语义检索、多模处理能力上具备强竞争力，被多个世界 500 强企业选为核心数仓系统。2020 年 TPC-H 30T 评测结果为性价比世界第一，也是阿里云第一个被 OpenAI ChatGPT Retrieval Plugin 项目推荐的向量数据库，同时被 LangChain 等开源社区集成。

1. AnalyticDB 一站式湖仓设计

对于企业应用侧，通过 SQL API、服务 API 完成向量面向应用侧的加速和布局。实现了在仓内通过内置的模型服务模块快速连接到企业部署的模型服务能力，并将这些能力与原生的数据分析引擎融合。无论是“通义千问”还是企业自己部署的私域模型，都可以直接在仓内进行数据分析、检索，同时处理非结构化数据。底层湖仓一体的存储，通过分层对现有存储进行解耦。配套的阿里云数据库生态和开发工具，能够实现数据开发的 Copilot 在线支持，以及一站式自然语义分析。

从产品优势布局看，传统数据平台向业务侧推进了一步，在平台自身能力上引入 AI 来提升开发效率。同时，通过湖仓一体的存储，保证了企业在数据膨胀和数据管理上体验的一致性。

2. AIService：大模型+湖仓 RAG 应用搭建

面向应用侧的服务中提供了一套 AI Service 能力，包含大模型和湖仓 RAG 的搭建。为企业知识开发阶段提供了整套 DataAPI，支持企业快速搭建数据湖，包括企业知识库构建的全流程、Embedding 算法的调用。数据入湖后，提供预检索、召回精排和面向推理的 API 及加速引擎。

对于大语言模型侧的调用，非面向业务侧的人员可以调用标准 API。对于多轮对话和调用大模型进行推理，也进行了较好的封装，帮助客户快速应用于自身业务。

3. AI 增强分析平台-仓内智能

在 AI 增强分析平台上，支持企业对于业务场景进行快速的情感判断和分析。包括两部分：

一是传统机器分析能力的增强。例如对一系列 Comments 进行情感分析判断，可以快速在仓内构建情感分析方式，通过调用企业自身模型或三方模型，快速进行情感分析判断，并结合原生数据库引擎进行数据持久化。这样数据处理效率会大幅增加，处理难度也会大幅降低。

二是支持仓内调用企业自身私有化模型。将数据通过键值对方式投递到远端进行模型训练，训练后的私有模型在仓内注册，也可在仓内直接调用。这既连接了企业自身专属模型 FineTune 的链路，又实现了快速从数据侧主动驱动的私有化模型部署和训练。

4. AnalyticDB 分布式架构设计

AnalyticDB 采用分布式架构，在保有所有数据库能力基础上，支持所有语义相关检索，包括向量检索和全文检索。结构化向量和非结构化的全文检索可实现一站式融合查询，通过 SQL 直接实现语义查询。

支持关联远端的湖存储，可直接访问和查询相关业务属性数据。单节点能力也进行了增强，支持企业对百亿单表数据进行分布式查询，这是企业面向未来在可扩展性上很关注的一点。产品具备自顶向下的优化能力，无论在指令层还是顶层算法和构建方式上，都支持对执行侧检索进行优化，整体优化后的性能往往达到社区系统的 5 到 10 倍。

5. AnalyticDB 完备企业级能力

在实现面向应用侧和自身能力升级之外，AnalyticDB 保有了完备的企业级能力，包括写入事务的原子性。例如做 AI 面向应用支持时，语义查询存在多路召回，可以保证多路同时更新后相关事务才能被找到。同时是实时离在线一体，实时数据写入、批量写入可支持不同接入方式和整套 update、delete 操作。高可用方面，可同时支持多个向量索引构建，这些能力相比同类产品更具完备性，更能满足企业级要求。

6. 阿里云百炼集成 AnalyticDB 助力企业应用

目前 AnalyticDB 集成到了阿里云大模型体系中，包括阿里云百炼也在使用，支持用户使用互通一体的 ADB 产品和基于业务的 RAG 开发。目前已在一些场景下实现整体落地，有近百位客户的支持。接下来对整体管理的易用性和湖仓内调用大模型的能力会进一步优化，也期待能更好地帮助企业。

04 问答环节

Q：产品在索引加速方面做了哪些优化？

A：产品在 2019 年发布，使用的向量检索引擎是全自研的，当时面向的是万维以下的百亿数据量毫秒到秒的查询返回目标。一方面在指令侧做了相关优化；另一方面，支持大规模数据的 PQ 降维；同时在参数和索引构建上做了压缩和编码优化，对 MPP 也做了一套适配。随着资源增加，并发检索效率很高。

以上就是本次分享的内容，谢谢大家。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：湖仓一体技术开启大模型时代数据智能新范式要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题