数据科学中AI应用优化数据处理提升效率应对未来

AI 如何重塑数据科学工作？——Snap 数据科学家揭秘实战应用

随着人工智能（AI）技术的飞速发展，尤其是大语言模型的爆发式增长，AI 已深入渗透到数据科学工作的方方面面。本文由 Snap 公司 Core Data Science 组数据科学家徐萌老师分享，从数据科学家的日常工作出发，详细介绍如何利用 AI 优化数据处理、建模流程，提升工作效率，并探讨 AI 时代的职业发展新思路。内容涵盖数据收集与清理、建模、代码编写、可视化、写作沟通等多个模块，并包含丰富的实战技巧和常见问题解答。

一、背景介绍

1. 数据科学家的核心工作模块

数据科学家的日常工作通常包括以下关键步骤：

• 问题转化：将商业问题转化为描述性问题、预测性问题或因果推论问题，并选择合适的方法（如实验或观测性数据分析）。
• 数据准备：收集并清理数据。
• 建模分析：使用统计和机器学习方法进行建模。
• 沟通汇报：借助可视化方法和沟通技巧，将结论与决策层有效沟通。
• 代码实现：上述所有步骤均依赖代码编写与调试。

小提示： 在将商业问题转化为数据科学问题时，建议先明确问题的类型（描述、预测或因果），再选择对应的方法，这一步对后续工作至关重要。

2. 人工智能的基本概念

在讨论 AI 应用之前，需要明确几个核心概念：

• 深度学习：机器学习的一个子集，使用神经网络处理结构化数据以及非结构化信息（如文本、图片、视频、音频），是 AI 算法的基础。
• 生成式人工智能：指根据自然语言提示自动生成文本、图像、音频、代码等内容的 AI。
• 大语言模型：通过深度学习训练出的能理解和生成自然语言的大规模文本生成模型，是生成式 AI 在文本领域的代表。

重要： 这三者的关系是：深度学习是模型基础，生成式 AI 是深度学习的一种应用，大语言模型则是生成式 AI 在文本领域的典型代表。

二、AI 在数据收集与清理中的应用

1. 文本向量表示（Text Embedding）

文本向量表示是将文字转化为数字向量，让计算机能处理自然语言中的语义信息。其发展经历了两个阶段：

• 稀疏向量表示（前 AI 时代）：直接将词汇转换为数字，不考虑含义或上下文，生成包含大量零的长向量。
• 稠密向量表示（深度学习时代）：使用几百维的连续数字向量表示文本含义，而非单个词汇。

例如，Google BQML 中的 Text Embedding 功能可以一行代码将文本转换为 768 维向量。“我爱猫”和“I love cat”转换后的向量结果非常相似，说明它基于语义而非具体文字。

2. 利用向量距离量化文本相似度

将文本转换为向量后，可通过计算向量距离（如点积）来量化相似度。以下是一个品牌相似度计算的例子：

• 丰田与本田（同为传统日本车品牌）相似度为 0.59
• 丰田与特斯拉相似度为 0.56
• 丰田与 Lululemon（运动品牌）相似度仅为 0.4
• 丰田与可口可乐相似度仅为 0.42
• 耐克与 Lululemon（同为运动品牌）相似度为 0.554

小提示： 向量相似度计算非常适合用于推荐系统、内容去重、语义搜索等场景。

3. 预训练模型与微调模型

使用大语言模型时，通常有两种类型：

• 预训练模型：在大规模数据集上提前训练，如 BERT（理解型）和 GPT 系列（生成型）。优势是即取即用，通用性强。
• 微调模型：在预训练模型基础上，使用特定任务数据继续训练。适合用户情感分析、企业私有知识问答、多语言适配等场景。

重要： 预训练模型好比“不偏科的高中学霸”，微调模型则让这位学霸进一步学习特定专业知识。例如，“一种新的苹果产品”在科技新闻中指的是苹果公司，而在水果电商中指的是水果，预训练模型无法区分，需要微调来适应具体语境。

微调的基本步骤：

• 收集训练内容，按需求标注正负样本
• 使用不同预训练模型进行预测，理解准确度
• 选择适当的损失函数（loss function）
• 运行微调，使用验证集提高准确度
• 使用评估数据集评估模型准确度

推荐工具： Python 库 sentence-transformers 提供了常见预训练模型和损失函数指南。

4. 语义搜索

语义搜索使用 AI 或自然语言处理理解查询的含义，而非仅匹配关键词。例如搜索“如何让广告更有效”，传统搜索会找包含“广告”“有效”的内容，而语义搜索会理解用户想了解“提高广告效率的方法”，即使内容中没有这些关键词也能匹配。

实现步骤：

• 将待搜索内容转换为向量
• 将搜索查询转换为向量
• 计算查询向量与每条内容向量的距离（如点积）
• 按距离从小到大排序，最接近的即为最符合需求的内容

注意： 语义搜索计算成本高，对大规模数据直接向量转换会很昂贵。实践中可先用关键词搜索缩小范围，再用语义搜索精准筛选，达到效率与精度平衡。

5. 利用生成式 AI 进行文本分类

除了传统机器学习分类和语义搜索分类，还可以使用生成式 AI 进行文本分类。其特点是输入非数字化资料（文字、图像等），用自然语言提示词要求 AI 分类，通过调整提示词而非参数来提升效果。

以从标签中识别品牌为例，语义搜索分类步骤：

• 将所有标签转换为向量
• 将“品牌”转换为向量
• 计算距离并设阈值分类

生成式 AI 分类效果更佳，但提示词设计至关重要：

• 初始提示词：“Is the following tag a brand name? The tag is X.” → AI 会解释而非直接回答
• 改进提示词：“...Only answer yes or no.” → 仍会将“yogurt”等具体事物错误归类为品牌
• 最佳提示词：加入例子，如“Yogurt is not a brand, but Nike is a brand.” → 准确率极高

经验总结：

• 提示词不要过于复杂，复杂任务应分步给出
• 问答式提示词优于完形填空式
• GPT-4o 和 GPT-4 优于 GPT-4 Turbo；GPT-4o mini 表现较差；Claude 比 GPT 稍差
• 仅解码器的语言理解模型（如 BERT）比生成式模型计算更便宜高效
• 使用评估样本测试不同模型和提示词，降低过拟合风险

三、AI 在建模中的应用

1. 将向量表示转化为模型特征

• 机器学习模型：将文本、图像等转化为向量作为新特征加入模型；也可利用生成式 AI 的分类结果作为预测性更强的特征。
• 因果推论模型：利用向量相似度作为特征（如计算广告与内容相似度对广告表现的影响）。
• 推荐系统模型：将用户评价和物品描述转化为向量，分别作为用户特征和物品特征。

优势： 向量表示能将内容深层含义数字化，且生成的稠密向量维度低，便于后续模型处理。

2. 利用 AI 辅助特征工程

• 让 AI 建议基于现有特征生成新特征（例如从日期判断节假日、计算特征间的比值，特别适合线性模型解释性提升）。
• 使用 AI 清洗离散变量，修正空格、乱码、拼写错误。
• 利用自然语言让 AI 判断缺失值、多重共线性、数据重复等问题。

四、AI 提高数据科学工作效率的其他应用

1. 代码编写与处理

AI 在代码任务上的表现因复杂度而异：

• 简单直接的任务：表现出色
• 多步骤复杂任务：容易出错，需要不断调整提示词，且需要专业知识辅助调试
• 固执输出错误代码时：建议放弃使用 AI

其他有用场景：

• 理解他人代码，辅助学习
• 跨语言代码转换（如 R 转 Python）
• 本地代码转云端处理代码（如转为 SQL）
• 优化代码计算效率

2. 数据可视化

AI 在数据可视化方面表现出色，可根据自然语言描述生成 R 或 Python 绘图代码，创建美观、符合要求的图表。

3. 写作与沟通

• 英语写作：对于非英语母语者，AI 能显著提升写作质量，达到“信、达、雅”标准。
• 职场沟通：AI 可指导如何与上下级沟通、开展团队协作，帮助内向型数据科学家提升软技能。例如，向上级反映问题时，AI 可帮助组织语言、预测回应并准备应对策略。
• 文献阅读：AI 能概括文献主要内容，便于快速了解；但让 AI 做文献综述效果仅及格，且对前沿知识的了解有限。
• 代码实现新方法：AI 可将论文中的算法描述转化为代码，但需人工理解逻辑并协助调试。

注意： AI 对成熟概念总结出色，但对前沿概念的解释可能存在不准确之处。

五、AI 的局限、人机协作及职业发展思考

1. AI 的局限性

• “懂王”倾向：提供看似合理但可能有误的答案，需要专业人士判断。
• 难以处理复杂多步骤问题：容易顾此失彼，需要将问题分解为小步骤，类似指导实习生。
• 缺乏创新能力：大致相当于大学生水平，而非博士层次。人类专家更善于综合多种方法提出创新解决方案。
• 隐私问题：企业应限制员工使用公开 AI 平台，设置公司专用 AI 系统，禁止上传数据至大语言模型后台。
• 前沿知识有限：对最新研究了解不足，无法全面思考或提供创新思路。

2. 人机协作与职业发展

AI 与数据科学家是互补关系：

• 低端数据分析工作正被 AI 取代（如 ChatGPT 的 Advanced Data Analysis），但 AI 难以取代真正的专业技术人员。
• 专家可利用 AI 提高效率，形成“强者通吃”格局——数据科学家若具备创新能力并熟练使用 AI，职场价值将更高。
• 研究显示，与 AI 互补的岗位收入增加，但可能更内卷，工作时间增加。
• 企业招聘应转向评估：代码逻辑理解、AI 协作、识别 AI 错误及调试能力，以及商业问题转化能力。
• 终身学习：追求前沿知识，善用 AI 成为全栈发展的数据科学家，同时提升职场软技能。

六、常见问题（Q&A）

Q1：在结构化数据的小样本建模中，将结构化数据 XML 或 JSON 化后送入大语言模型（LLM），通过提示词优化或参数高效微调（PEFT）进行分类建模，与传统机器学习（ML）建模的差距有多大？有相关的论文研究吗？

A1： 我没有细读相关研究文献，但可能有一些相关研究。对于结构化数据，我没有实践经验。不过对于非结构化数据，AI 模型能达到较高准确度。不一定需要将其输入 LLM，可以尝试深度学习方法，但实际应用需视具体情况而定。根据经验，如果数据结构规范清晰，基于树的模型（tree-based models）可能比深度学习模型表现更优，且计算成本更低。

Q2：小样本数据可以考虑谷歌开源的预训练模型，据说效果不错，您尝试过吗？

A2： 是的，我使用的是谷歌的开源模型，效果确实很好。但如之前提到的，当数据量非常大时，处理速度会显著降低。例如几万条数据可能 30 分钟内完成，但几千万条则效率极低。因此建议结合关键词搜索和语义搜索，先通过关键词筛选缩小样本规模，再交由谷歌模型处理。

Q3：对于数据质量有什么好的评估方式？设计数据一直是痛点。

A3： 这个问题与 AI 关联度不高。数据质量评估方法取决于具体数据类型。不过，可以利用 AI 提高部分数据质量，例如分类编码（category code）中存在的乱码、空格或拼写错误（typo）等问题，可以让 AI 协助改进。

Q4：有什么垂直领域（垂类）大模型的评估体系？特定行业的模型，例如医学、金融等领域的专业模型。

A4： 这实际上是从预训练通用模型到专业模型的转化。专业模型需要特定领域知识进行训练，以提高在该领域的表现。评估体系通常包括领域任务准确率、术语理解能力等，具体可参考相关领域论文的基准测试。

以上就是本次分享的全部内容。希望你能善用 AI 工具，成为数据科学领域的“强者”。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：数据科学中AI应用优化数据处理提升效率应对未来要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题