新一代数智开发平台专注Data+AI

深入探索在Data+AI融合趋势下，新一代数智开发平台的创新设计与实践应用。

本文核心内容：

1. 当前数据平台面临的主要挑战与技术进化需求

2. WeData新一代数智开发平台的架构设计思路与关键技术

3. Data+AI一体化平台在企业数字化转型中的实际应用与核心优势

导读 本文聚焦于Data+AI融合趋势下，如何构建新一代数智开发平台。文章系统梳理了当前数据平台在烟囱式架构下面临的技术挑战，并详细介绍了WeData面向Data+AI融合场景的新一代数智开发平台的四层架构设计。通过Setats流湖一体引擎、多模态TC Catalog管理、Serverless Computing一体化计算资源以及OneOps一体化开发环境等关键技术创新，该平台实现了数据全生命周期管理，并显著提升了智能开发效能。实际应用案例表明，该平台在优化业务效率与控制成本方面具备明显优势，为企业数字化转型提供了切实可行的技术路径。

文章将围绕以下五个部分展开：

1. LLM时代数据平台的挑战与进化方向

2. WeData：面向Data+AI的新一代数智一体化平台

3. Data+AI一体化平台的关键技术解析

4. Data+AI一体化平台的应用实践

5. 总结与展望

在数字经济快速发展的背景下，数据与人工智能技术的深度融合，正成为企业提升核心竞争力的关键驱动力。传统数据平台普遍采用烟囱式架构，导致大数据与AI系统相互割裂，计算和存储成本居高不下，数据处理效率低下等问题日益突出。随着大语言模型（LLM）技术的持续成熟，数据平台亟需向更高效、更智能的方向演进。本文基于腾讯WeData平台的实践，系统探讨了面向Data+AI的新一代数智开发平台的架构设计与技术实现方案。

01 LLM时代数据平台的挑战与进化需求

1. 当前数据平台面临的挑战

我们来审视一下当前数据平台的实际状况：用户需要根据不同的业务场景，选择合适的计算框架。

• 批量处理场景：通常选用Spark引擎，对大规模数据进行离线批量计算；
• 交互式查询场景：倾向于采用SR等计算引擎，实现快速的数据检索与分析；
• 流式数据处理场景：普遍使用Flink引擎，实时处理持续产生的数据流；
• 数据科学领域：常采用TensorFlow等框架，用于机器学习模型的开发与训练；
• 大语言模型（LM）训练：一般会选择DeepSeek等框架，支撑复杂的模型调优。

问题在于，当大数据平台完成数据加工后，需要将数据直接供给AI平台用于模型训练或预测；反过来，AI模型预测出的数据也需要反馈给大数据平台进行消费。这中间，数据需要在两个平台间来回搬运。这种基于多种工作负载构建的烟囱式架构，衍生出一系列亟待解决的痛点：

• 开发隔离问题：大数据平台与AI平台相互独立，用户无法在单一平台内完成数据清洗、加工、分析，以及机器学习模型的训练和推理等全流程工作，导致业务流程分散、效率低下。
• 存储与计算成本高昂：数据在两套系统间频繁搬运，不仅增加了数据传输成本，还使得计算资源难以跨平台复用，造成双重浪费。
• 数据处理门槛高：对非结构化数据的处理和管理能力不足，数据代码工程效率低，缺乏自动化与自然语言交互能力。
• 应用与对接困难：AI技术尤其是大语言模型应用，与现有数据平台接口的集成难度较大。此外，缺乏统一的数据权限管控体系，在数据访问和使用过程中，容易引发数据隐私泄露和安全风险。

2. 平台进化方向

随着DeepSeek迅速出圈，企业可以更低的门槛落地AI技术。在LLM时代，大数据平台将在以下三个方面迎来关键进化：

• 更一体化：打造面向数据工程与数据科学的一体化平台，实现一份数据和计算资源同时服务于数据分析与AI应用，打破数据与应用间的壁垒。
• 平台AI-Native：AI驱动的数据开发平台，提升数据工程和运维效率。
• Data Driven LLM应用：数据进一步推动LLM大模型应用落地，实现数据与通用AI能力的深度融合。

“Data+AI”一体化架构的核心目的，是解决企业在大数据和AI业务中的痛点。它能在同一套数据基础上，支撑多样化的业务负载，帮助企业简化架构，提高数据的分析和应用效率，降低管理和运营成本。

3. 未来Data+AI一体化架构设计

未来的Data+AI一体化平台，会在一份数据基础上，支持多种大数据及AI业务负载。它从下到上大致分为四个层次：统一Lakehouse存储、统一元数据、多元异构高性能引擎，以及Data+AI一体化开发平台。这样做可以有效帮助企业简化架构，提升数据分析效率。

02 WeData平台升级

今年WeData将迎来全新升级，推出面向Data+AI的新一代数智开发平台WeData 3.0。在数据湖仓层，平台提供了统一的Lakehouse存储格式，打通了流湖和AI计算引擎对数据的访问，同时提供统一的元数据服务，实现结构化数据和非结构化数据的统一管理。

在计算引擎层，WeData深度适配Spark、Flink、Ray、Tione等几十种大数据和AI计算服务。在此基础上，平台提供了统一的数据开发能力，在原有架构上进行了全面的云原生化升级。通过统一的开发IDE，打通了AI开发平台Tione和Agent平台LKE，新的工作流可以一体化编排数仓节点、Flink流式节点和AI模型训练节点，支撑多元计算引擎的协同数据开发。

在此之上，平台提供了统一的Data+AI数据治理体系，在传统结构化湖仓资产的基础上，增加了对AI资产的覆盖。全新推出的数据血缘功能，能够实现从数据集、数据处理、模型训练到推理服务的全链路可视化数据血缘。然后，基于高质量资产和指标建模，构建出统一语义模型的资产知识库，供给到数据智能应用。

同时，在统一数据开发和数据治理链路中，平台融入了AI-Native能力，如代码生成、自动ETL配置等，以提升数据代码工程效率。

03 关键技术实现

以下逐层介绍Data+AI架构中的关键技术点。

关键能力1：统一Lakehouse存储——Setats流湖一体引擎

传统的Lambda架构，离线链路使用Spark基于Iceberg进行多层数据之间的转换；实时链路则通过Flink+Kafka的方式来进行分层构建。这套架构面临一些挑战：多套存储计算系统并存，Kafka和Flink State维护成本高，实时链路数据回溯困难；离线链路存储架构基于文件系统，分钟级延迟几乎已经是极限。

基于这些挑战，业界近些年也在积极寻找解决方案：

• 方案1：直接将流式数据作为增量日志，同时upsert到表中，提供离线查询能力。但这样做存在数据延迟高，且增量日志不完整、缺少所有字段和update before信息的问题。
• 方案2：将流式数据先缓存，然后定期与远程数据进行合并，再产生增量日志和更新远程数据。这个方案下，数据和增量日志的延迟都比较高。
• 方案3：将绝大部分数据缓存在本地并通过本地合并，再产生增量日志和更新远程数据。除非本地能缓存所有数据，否则无法产生完整的增量日志。

为了同时实现秒级延迟和完整的增量日志，Setats流湖一体引擎应运而生。Setats在存储层实现了一个高性能的实时数据合并引擎。当新数据到达时，它能马上与远程历史数据进行合并，产生完整的增量日志和更新后的数据，从而实现秒级延迟。这个实时数据合并引擎在底层引入了冷热分离的行列混存、多级文件索引，并实现了全异步的数据读写，从而在秒级可见的前提下，实现了2倍的性能提升。

基于这一高性能数据合并能力，我们可以将传统的Flink State也存储到Setats中。这样一来，上层计算任务可以快速启停，进而可以将常驻流计算任务转化为定时增量计算模式。这就实现了流、批、增量多种计算模式的统一支持，用户可以根据成本和延迟目标进行动态选择。在某出行客户的实践中，告警实时处理效率提升了30%，数据存储成本降低了40%，IDC资源节约超过30%。

关键能力2：Unity Catalog多模态元数据目录和治理

传统的Catalog，无论是早期的Hive Metastore还是近些年以Doris/SR为代表的Multi-Catalog，都存在一些挑战：缺少对非结构化数据的管理，缺少统一数据面的权限管理——同一份数据目录，不同计算引擎需要在多个平台上多次对用户授权。

TCI Catalog的解决方案是：在TC-Catalog层抽象出table、volume和model，实现对传统结构化数据、非结构化数据（如文本、音频、视频）以及AI模型等元数据的统一纳管，并提供统一的处理和Rest API协议。在此基础上，构建全域资产盘点、全链路血缘、统一权限管理、成本治理等治理服务。

这样做带来的优势很明显：实现了多模态数据的统一管理，提供单一真相来源，大幅减少业务因数据口径差异产生的问题；让大数据和AI引擎能够平等地访问数据；只需对用户进行一次元数据授权，即可在多引擎中使用；多数据源注册后支持联邦查询；通过全链路数据和模型血缘的跟踪分析，实现统一的访问审计和成本治理。

关键能力3：一体化大数据和AI计算资源

当前数据平台的用户需要购买多种资源，比如大数据提交/计算资源、AI资源等。每种资源都有自己的一套度量机制和镜像机制，资源之间相互隔离，无法最大化利用资源效率。

我们对此进行了三个层次的融合：

• 第一层：数据计算与LLM任务的统一调度融合。实现了资源组的全面Serverless化，从原来多类型的资源组统一为通用型资源组，不区分用途，可以使用平台的全部能力。同时，统一了资源配额管理，减少了资源碎片化问题，用户付费更灵活，按需使用即可。
• 第二层：数据计算与ML计算资源的融合。融合了ML和计算资源，基于一体化调度实现大数据和AI作业的混部，结合原生的弹性扩缩容，提高资源利用率。
• 第三层：数据计算与ML编程接口的融合。推出了统一的编程接口，一套Python代码即可完成数据处理和模型训练，无需跨平台读写和数据导入导出。

关键能力4：OneOps一体化开发环境

当前，很多用户是在多套平台上进行大数据和AI开发的：在大数据编排平台开展DataOps，在AI训练平台开发和维护另一套AI代码。上游数据的变更不能及时同步给下游AI应用，带来了更大的运维成本。

基于此，我们在Serverless资源组之上，构建了统一的Notebook开发IDE。它允许用户自定义镜像，对接GIT，一站式支持大数据和模型训练的编排。这样做的好处是：实现了大数据与AI的统一编排调度——多计算引擎、模型训练节点可以统一协同编排，一站式完成样本清洗、ML训练、推理服务，全链路追溯和可视化展现数据及模型血缘，加速AI模型的迭代。

同时，在开发全链路上实现了AI-Native化：内置Copilot实现大数据开发的自动补全、代码生成、纠错等功能；开发流程上提供各类Agent，实现自动建表、找数、图表见解等能力。我们在数据开发和治理链路中开发了许多Tools，如针对不同语言类型的代码补全和纠错、元数据补全、自动ETL流程等，通过WeData MCP Server提供给WeData Agent，以提升用户的数据代码工程效率。

04 应用实践与效果验证

1. 国际商业化平台案例

某国际商业集团使用ADF和Databricks进行数据分析及ML应用的一体化开发（如销量预测）。目前已迁移到腾讯云大数据平台，整体成本相比原来在Databricks上降低了70%。在一体化平台上完成数据分析和ML训练与推理的同时，还实现了全域数据资产的统一视图和治理。

2. 新能源汽车行业案例

某新能源汽车企业原先采用云端大数据处理和IDC机器学习平台分离的架构。随着车辆交付数量不断激增，企业希望建立Data+AI一体化的架构，以降低两套系统的维护成本。迁移到腾讯云大数据平台后，一体化平台得以完成车辆数据处理与机器学习，有效解决了架构割裂带来的痛点。

05 结论

面向Data+AI的新一代数智开发平台，通过架构创新与技术突破，有效解决了传统数据平台的核心痛点。该平台在提升数据开发效率、降低运营成本、拓展数据价值等方面展现出显著优势，为企业数字化转型提供了真正可落地的技术解决方案。未来，随着AI技术的持续演进，该平台有望在更多行业场景中发挥关键作用。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：新一代数智开发平台专注Data+AI要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题