知识库优化第二篇：AI最爱的JSON数据格式

探索AI优化知识库的高效路径，揭秘JSON格式的魅力所在。
核心内容：
1. JSON格式在知识库优化中的重要性
2. JSON的简洁性和对AI友好的特性
3. 适合转换为JSON格式的资料类型

知识库优化之路（二） 终于来了，让大家久等了，我们继续深入探讨知识库优化。 这是《知识库优化之路》系列的第二篇文章。本系列的定位非常清晰——面向普通小白用户，在条件有限的情况下，从用户视角出发，开展一些基础的知识库优化工作，希望能给大家带来实用的启发。 上一篇已经介绍过，在使用CherryStudio知识库的过程中，为了让AI更好地理解资料，可以借助工具将PDF文件转换为Markdown格式。但问题在于，并非所有资料都适合转成Markdown。某些类型的资料，如果转换成JSON格式，效果会好得多。

什么是JSON？

你可能没听过这个名称，但你的日常生活绝对离不开它。 JSON是一种轻量级的数据交换格式，它的应用范围极其广泛——当今互联网上，但凡涉及数据传输的地方，几乎都会用到它。当你在网上查资料、看视频、购物、转账、聊天、看直播、发弹幕时，背后都有无数信息以JSON的格式在飞速传输。毫不夸张地说，JSON是构成当代互联网的基石之一。 它到底长什么样？举个例子就一目了然了。 假设你要记录一个人的信息，最直接的写法是这样的：

张三，男，汉族，32岁，70公斤，175厘米。

如果想让信息更清晰，你可能会写成：

姓名：张三
性别：男
民族：汉族
年龄：32
体重：70公斤
身高：175厘米

恭喜你——你已经自己摸索出了JSON格式的核心思路！ 如果用正式的JSON格式来表示，上面那条信息是这个样子的：

{
    "姓名"："张三",
    "性别"："男"
    "民族"："汉族"
    "年龄"：32,
    "体重"：70,
    "身高"：175
}

和你刚才写的结构是不是很相似？

为什么AI更喜欢JSON？

JSON的核心，就是上面例子中那种一一对应的“键值对”——前面是“键”，后面是“值”。比如“姓名”对应“张三”，“性别”对应“男”。它通过这种简单的结构化方式，在记录数据的同时，也保留了数据的属性，让接收方——无论是人还是机器——都能快速理解。 更重要的是，JSON是一种独立于编程语言的数据格式，几乎所有编程语言都支持它的解析和生成。相比XML等其他格式，JSON的语法更简洁、文件体积更小、传输效率更高。 对AI和大模型来说，JSON同样是最受欢迎的数据格式，原因在于大模型天生擅长处理结构化数据。在大模型的训练过程中，大量资料本身就是JSON格式。它能清晰地表达数据之间的关联，方便模型理解和利用，从而更好地学习和预测。此外，JSON的简洁性和广泛的语言支持，使得解析和生成的效率很高，能显著降低大模型的计算负担。 因此，在与大模型交互时，JSON格式被广泛用于数据交换、Prompt工程和结果输出等环节。

哪些资料适合转成JSON？

了解了上面的内容，你应该能大致判断出，什么样的资料更适合转成JSON了。 上一期提到的长文本资料就没有必要转。可能有人已经发现，上次介绍的转Markdown工具MinerU，也能直接把PDF转换成JSON格式——但仔细看过之后，效果并不理想，所以当时没有多提。 适合转成JSON的资料，通常具有明确且固定的结构。大致包括但不限于以下类型：

1. 试卷题目：这是很多人都会遇到的需求。可以把题目逐道拆分出来，每道题作为一个JSON对象，将问题、答案、题目类型、相关知识点、解题思路等信息都整合在一起。
2. 客服问答：非常经典的使用场景，整体结构和试卷题目类似，可以直接参考。
3. 产品目录：电商网站或企业的产品目录通常包含大量结构化信息，如产品名称、描述、价格、规格等。转成JSON后，嵌入模型可以更准确地理解产品的特征和属性。
4. 法律文档：某些法律文档（如合同、条款），如果关键信息能被结构化提取——比如当事人、标的、生效日期等——就适合转成JSON。
5. 电子病历：病人的电子病历通常包含诊断、处方、检查结果等结构化信息，转成JSON后有助于模型理解病史和病情。
6. 数据库导出数据：从关系型数据库导出的数据，本身就具备清晰的表结构和字段定义。每行数据可以转换成一个JSON对象，每个字段对应一个键值对。
7. API返回的数据：大多数API都以JSON格式返回数据，这些数据通常已经结构良好，可以直接作为嵌入模型的输入。
8. 举一反三，与上面这些类型相似的资料，都可以考虑转成JSON格式。

如何转换成JSON格式？

这个问题看起来有点复杂，但并非无法解决。 说它复杂，是因为上面提到的资料类型多种多样，文件格式各不相同，使用场景也千差万别。想找一个万能工具，用户丢进去就能自动转成完全符合要求的JSON文件，几乎不太可能。 说它不难解决，是因为我们有最强大的工具——AI。 既然没有现成的万能工具，那就让AI根据我们的需求，打造许多个专用的工具。方法主要有两种：让AI生成一个网页版工具，或者生成Python代码来处理。

1 让AI生成网页版转JSON工具

如何用AI生成网页版工具，之前专门写过一篇教程，这里不再赘述。至于眼下这个需求——让AI结合你的实际情况生成一个网页工具，可以参考下面的提示词（以CSV文件为例）：

根据用户创建本地知识库的需求，你需要帮用户生成一个网页版的工具，可以批量将用户提供的资料转成JSON格式，确保更适合嵌入模型的解析和理解。

具体功能要求：
1. 上传功能：提供文件上传功能界面，支持批量上传文件。
2. 格式识别：自动识别文件的格式，例如[CSV文件，以逗号分隔，第一行为标题行]。
3. 数据提取：从文件中提取数据，并根据以下规则转换为JSON格式：
   - 将每一行数据转换为一个JSON对象，使用标题行作为JSON对象的键。
   - 数据清洗和转换规则，例如：将年龄转换为整数类型。
   - 如果某个字段为空，则在JSON中设置为null。
4. JSON输出：每个输入文件转换成一个JSON文件；显示生成后的文件列表；提供下载JSON文件的功能；支持单个下载和打包下载。
5. 用户界面：
   简洁直观的用户界面。
   提供上传进度显示。
   提供错误提示信息。
   允许用户预览转换后的JSON数据。
6. 技术要求：
   生成单网页工具，可以使用HTML, CSS, Ja vaScript，但只有一个html文件。
   可以使用现成的库来处理文件解析和JSON转换（例如csv-parser, pdfminer, docx2txt）。

其他要求：
   考虑处理大文件的性能优化。
   请提供完整的代码。

需要特别提醒几点：

1. 不要直接照搬上面的提示词，仅作为思路和方法参考。
2. 每份资料的内容格式都可能不同，需要针对不同类型调整提示词，才能生成更有针对性的工具。
3. 如果不太确定提示词怎么写，可以把需求说清楚，让AI来帮你生成提示词。
4. 用AI生成的工具转换出的JSON文件，可以用记事本打开查看内容，发现问题就让AI继续优化工具。

用上面的提示词生成的工具大概长这样：支持添加多个CSV文件，转换后可以直接预览，支持打包下载，基本满足了提示词的要求。

2 用AI生成Python代码转JSON

用Python的整体思路和上面一致，只是实现方式不同。把提示词稍加修改就能使用。 相比网页版，Python的门槛略高一些，需要本地先安装Python环境。如果嫌麻烦、不太熟悉的话，可以不必尝试这种方式。Python的优势在于适合大批量、自动化的处理方式——当然前提是你已经反复测试，确认AI生成的代码能够产出符合要求的JSON文件。

转化效果如何

说一个自己的实际案例。之前收集了2000多个中国古代笑话，原本存放在一个数据库文件中。 最初建知识库的时候，是用Python把它们导出成一个TXT文件，格式比较随意。结果在知识库里搜索时，发现搜出来的片段经常把完整的故事从中间截断，体验很不好。 后来把资料换成JSON格式再看搜索结果——每个片段都是一个完整的故事，也就是一个完整的JSON对象。除了故事本身，出处、作者、译文、编号等相关数据也都整合在一起。 当AI拿到这样的数据片段，它不仅能理解故事内容，还能知道故事的来源、作者、译文等上下文信息。想象一下，如果你的知识库里都是这样完整、结构清晰的数据片段，AI生成内容的质量一定会明显提升。 这就是JSON格式最核心的好处。 当然，想把各种不同类型、不同格式的资料都转换成JSON，并不是一件容易的事。但考虑到这种格式带来的效果提升，确实值得去尝试。