德黑兰大学揭示波斯语音频理解面临的实际挑战与难点

这项由德黑兰大学电气与计算机工程学院与基础科学研究院合作完成的研究，已入选2026年的Interspeech会议。对技术细节感兴趣的读者，可通过论文编号arXiv:2603.14456v1查阅全文。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

想象这样一个场景：一位伊朗友人正为你朗诵一首优美的波斯古诗。即便不解其意，你也能被那独特的韵律和节奏所打动。然而，一旦将诗句转为文字，那份声韵之美便瞬间消散。这个简单的对比，恰恰点出了语言理解中的一个关键盲区——文本，往往无法承载声音所传递的全部信息。

这正是德黑兰大学研究团队切入的视角。他们发现，当前在英语等主流语言上表现卓越的AI语音理解技术，一旦面对波斯语这类承载着深厚文化传统的语言，便显得力不从心。波斯语远不止是一种交流工具，它内嵌了古典诗歌的严谨韵律、传统音乐的独特调式，以及现代生活中波斯语与英语频繁交织的“语码转换”现象。

问题在于，现有的音频语言模型评测基准，几乎完全建立在英语和西方文化的语境之上，全然忽视了像波斯语这样的“低资源语言”所面临的独特困境。这无异于用西餐的尺子去丈量中餐的滋味。为了填补这一巨大空白，研究团队构建了“PARSA-Bench”——首个专门针对波斯语音频理解的综合性评测基准。

一、波斯语音频理解的独特挑战

要理解这项研究的价值，首先得看清波斯语所处的特殊境地。作为一种使用人口过亿的语言，它在人工智能的浪潮中却长期处于边缘。

首要的挑战，源自波斯语深厚的古典诗歌传统。波斯古诗遵循一套称为“vazn”的严格韵律模式，其美感完全依靠语音的抑扬顿挫来呈现。棘手之处在于，波斯语的书写系统并不标注短元音。这意味着，仅从文字根本无法还原诗歌的韵律。好比拿到一份只有骨架、没有血肉和呼吸的乐谱，自然无法奏出原曲的神韵。唯有通过实际的朗诵，那些被省略的短元音才会浮现，诗歌的韵律之美才得以完整释放。

第二个挑战，来自波斯传统音乐体系。其核心是名为“Dastgah”的调式系统，这套体系与西方音乐理论截然不同。这就好比让一个只熟悉西方七声音阶的人，去理解中国传统的五声音阶，需要完全不同的听觉训练与文化背景。当前的主流音频模型多在西方音乐数据上训练，对这套东方音乐体系几乎一无所知。

第三个现实挑战，则是现代伊朗社会普遍存在的“语码转换”现象。尤其在都市和受教育群体中，人们在波斯语对话中夹杂英语词汇和表达已成常态，这在技术讨论、学术交流中尤为明显。这种自然的语言混合，给语音理解模型带来了额外的复杂度——模型不仅需要识别两种语言，还得理解这种切换背后的语用意图。

二、PARSA-Bench：一套前所未有的评测体系

直面这些挑战，研究团队搭建了一个层次分明、覆盖全面的评测基准。PARSA-Bench包含了16个不同的任务，总计超过8000个音频样本，从三个核心维度审视模型的能力。

第一个维度是基础语音理解，涵盖10个任务共5000个样本，测试模型对波斯语基本内容的把握能力。其中，自动语音识别任务采用了来自Common Voice和ParsVoice的高质量数据，确保了说话者背景与声学环境的多样性。双向语音翻译任务则基于CoVoST2数据集，考验模型的跨语言转换能力。

更有趣的是一些为波斯语“量身定制”的新任务。例如，正式与非正式语域的检测任务，就捕捉了波斯语在不同社交场合下，通过用词、语调乃至韵律所体现的微妙差异。而语码转换检测任务，则结合了自然发生的混合语料与YouTube上的真实技术对话视频，极具现实意义。

第二个维度是副语言信息分析，包含3个任务共1500个样本，旨在评估模型从声音中推断说话者特征的能力，如年龄、性别和情感。情感识别任务尤为关键，它使用了专业的波斯语情感语音数据集SHEMO，覆盖六种基本情感。

第三个，也是最富创新性的维度，是波斯文化音频理解。这部分直指当前AI的“文化盲区”。诗歌韵律检测任务从Ganjoor数字图书馆中选取了最常见的十种韵律类别，其随机基线准确率极低，足见难度。诗歌风格分类则涵盖了Ghazal（抒情诗）、Masna vi（叙事诗）等六种经典体裁。音乐理解任务则深入波斯古典音乐的核心，要求模型识别不同的“Dastgah”调式、传统乐器乃至演奏节拍。

三、八大前沿模型的同台竞技

为了全面评估，研究团队选取了八款支持波斯语文本生成的顶尖大型音频语言模型。开源阵营包括阿里巴巴的Qwen2.5-Omni、Qwen3-Omni系列（3B至30B参数）和Google的Gemma-3n系列（2B、4B参数）。专有模型则涵盖了OpenAI的GPT-4o、GPT-4o-mini以及Google的Gemini-2.5-Flash。

评测主要采用“零样本”设置，即模型在未经任何波斯语示例训练的情况下直接处理任务。此外，团队还对比了“少样本”、思维链推理以及纯文本输入下的表现。其中，纯文本基线至关重要，它能清晰地将“音频处理失败”与“语言理解失败”区分开来。

一个值得注意的插曲是，GPT-4o-audio在实际测试中频繁拒绝处理音频问题，回应“无法听取音频”等声明。这种行为可能源于其安全或指令调优机制。对于这些情况，研究团队均将其记录为错误回应。

四、评测揭示的意外发现

结果出炉，几个趋势出乎意料。首先，任务难度呈现出清晰的阶梯：模型在依赖词汇内容的语音理解任务（如阅读理解）上表现最佳，在语用分类任务（如语域检测）上表现中等，而在与文化紧密相关的音频任务上则普遍挣扎。

在开源模型中，Qwen3-Omni-30B综合表现最强，在波斯语自动语音识别上已接近业界先进水平。专有模型，特别是Gemini-2.5-Flash，在翻译和意图检测上优势明显。然而，一个令人惊讶的发现是：所有模型，无论规模大小、开源与否，在波斯诗歌韵律检测任务上的表现都近乎随机猜测。这强烈暗示，当前的技术路径在应对特定文化挑战时存在根本性局限。

另一个关键发现是“音频-文本性能差距”的存在。对比模型接收音频和纯文本输入后的表现，差距因任务而异。在阅读理解和语码转换检测上差距较小，说明答案很大程度上由词汇内容决定。而在命名实体识别和波英翻译上差距最大，这表明，精确转录波斯语专有名词并进行流畅的跨语言转换，是当前模型的主要失败点。

有趣的是，诗歌风格分类是唯一一项音频表现反超纯文本表现的任务。这证实了朗诵时的韵律、声调等特征，确实携带了文本无法记录的、至关重要的风格判别信号。

五、副语言分析：已解决、半解决与未解决

三个副语言任务清晰地划出了AI能力的边界：

性别识别基本已解决：Qwen系列模型无论参数大小都接近完美，仅Gemma-E2B例外，其表现跌至随机水平，暗示在极小模型规模下存在陡峭的能力阈值。

情感识别处于“半解决”状态：最佳模型在六分类任务上超越了随机基线，展现出一定识别能力，但距离人类水平或理论上限仍有巨大差距，表明细粒度的波斯语情感感知仍是开放难题。

年龄识别实则“未解决”：所有模型的表现都接近随机猜测。这并不意外，因为仅凭声音估算年龄对人类而言也极为困难，人们通常需要依赖视觉线索和语境信息。

六、文化理解：暴露根本性挑战

波斯文化音频任务，暴露了当前模型一种“质的不同”的失败模式。

诗歌韵律检测是整个基准中最艰难的任务。所有模型的表现都徘徊在随机水平附近。这是因为“vazn”韵律的感知，依赖于对现场朗诵中细微节奏和韵律模式的捕捉——这需要对语言本身有深入理解。由于短元音在文本中缺失，模型无法从纯文本预训练中习得此知识，而现有的训练语料显然缺乏足量的波斯韵律音频数据。

诗歌风格分类则相对容易。Qwen系列取得了不错的零样本准确率，这可能得益于其预训练语料中包含的波斯文学文本知识。值得注意的是，这是全基准中音频性能唯一稳定超越文本性能的任务，再次印证声音特征携带了独特的风格信号。

波斯音乐理解在所有模型中表现平平，没有模型显著胜出。这个融合了调式分类、乐器识别和节拍检测的任务，代表了对波斯古典音乐传统的基础音频推理。结果表明，当前模型对这个存在于西方音乐语料库之外的体系，理解仍然非常有限。

七、提示策略的微妙影响

通过对Qwen3-Omni-30B进行详细的提示策略分析，研究团队发现了三个有趣模式：

首先，思维链提示对命名实体识别、意图检测这类复杂提取任务持续有益，但对代码转换检测、语域检测等二元或结构性任务反而有害，多余的推理步骤可能引入了噪声。

其次，少样本提示通常会降低性能。这可能因为音频示例在计算上成本高昂，且容易引发格式混淆，其负面影响盖过了示例带来的好处。

第三，纯文本输入几乎总是性能的天花板。这明确证实，在PARSA-Bench中，主要的瓶颈在于“音频处理”环节，而非模型的语言理解能力本身。

八、模型规模：并非万能钥匙

规模大小，并非性能的绝对保证。虽然Qwen3-Omni-30B是综合最强的单一模型，但其优势并不均衡。

在Qwen系列内部，性能随着参数从3B增至30B而稳步提升。然而，这一规律在不同架构间并不成立：参数仅4B的Gemma-E4B，在文化音频任务上匹配甚至超越了参数7B的Qwen2.5-Omni-7B，且在波英翻译上表现更优。这表明，对于严重依赖清晰音频转录的任务，编码器的质量可能比解码器的规模更重要。

相反，在文化相关和语用任务上，Qwen系列的优势可能源于其更广泛的多语言预训练语料（可能包含更多波斯文本），这是Gemma系列仅靠扩大规模难以复制的。此外，Gemma-E2B在副语言任务上的“崩溃”，也暗示在极小的模型规模下，能力可能存在断崖式下跌的阈值。

九、各语音理解任务的细致表现

自动语音识别方面，Qwen3-Omni-30B展现了最强的波斯语转录能力，证明大规模多语言预训练可以有效迁移。较小模型的表现则大幅下降，Gemma模型的词错误率比最佳模型高出一个数量级，暗示可靠的波斯语ASR能力可能在7B参数左右存在一个临界点。

语音翻译呈现出方向性不对称：英译波持续优于波译英，这反映了当前训练语料中英语目标数据的压倒性丰富度。一个意外发现是，参数少一半的Gemma-E4B在波译英任务上优于Qwen2.5-Omni-7B，说明其在此特定方向上的架构或数据优势，并不能推广到其他任务。

命名实体识别任务揭示了基准中最大的音频-文本差距。最佳模型的零样本表现也仅属中等，远逊于纯文本基线。进一步分析发现，模型经常能正确识别实体的类型和边界，却无法精确转录其波斯语原文——这确认了错误主要源于“听不清”（转录错误），而非“不理解”（推理错误）。

阅读理解任务中，基于维基百科段落的问答对顶级模型而言已非常轻松，这与它们拥有海量世界知识预训练的背景相符。而基于构造性故事（TinyStories）的任务更具诊断性，一旦音频能被成功转录，即使较小的模型也表现出竞争力，说明此类理解任务的主要限制在于前端音频解码的质量。

十、超越技术的深远意义

这项研究的意义，远不止于一份模型性能排行榜。它首次系统性地揭示了当前人工智能在理解非西方文化音频内容时存在的根本性局限。结果清晰地表明，单纯地扩大模型规模或改进通用音频处理技术，并不足以解决文化特定的挑战。

对于波斯诗歌韵律检测这类任务，所有模型无论大小都接近随机表现，这指向了一个结论：需要根本性的方法创新。这可能包括构建专门的波斯韵律音频语料库、开发能够检索并融合文化相关知识的增强系统，或者训练专为波斯语语音特性优化的音频编码器，而非仅仅依赖为其他语言预训练的模型。

研究中最具启发的发现之一——诗歌风格分类是唯一音频表现超越文本的任务——强有力地证实，声音的朗诵方式确实携带了文本无法捕捉的、决定性的风格信息。这一发现不仅深化了我们对口语文化传统的认识，也为未来开发更具文化感知力的音频模型指明了方向。

PARSA-Bench的发布，为这一研究议程提供了坚实的评估基础。它不只是一个测试工具，更是推动整个领域关注语言多样性与文化包容性的催化剂。研究团队希望，这项工作能激发更多针对其他拥有丰富口语传统的“低资源”语言的类似研究。

归根结底，这项研究提醒我们，真正智能的、普适的人工智能，不应是“西方中心”的。当我们致力于打造能够理解人类语言的机器时，必须确保它们能够理解全人类语言的丰富光谱——不仅仅是字面含义，更包括其中承载的文化底蕴、历史记忆与审美价值。波斯语只是一个起点，还有无数种语言，正等待着被AI真正地“听见”与尊重。这项研究，为我们打开了一扇窗，让我们瞥见了一条通往更包容、更文化敏感的人工智能未来的道路。

Q&A

Q1：PARSA-Bench是什么？为什么需要专门为波斯语创建这个评测基准？

A：PARSA-Bench是首个全面评估大型音频语言模型波斯语理解能力的综合基准，包含16个任务、超过8000个样本。其必要性在于，现有评测基准几乎全部以英语为中心，完全忽略了波斯语的三大独特挑战：诗歌韵律必须通过音频感知、传统音乐采用与西方迥异的调式系统、以及现代对话中频繁的波斯语-英语混用现象。这些深植于文化的特性，无法通过翻译英语测试来评估。

Q2：为什么所有AI模型在波斯诗歌韵律检测上都表现不佳？

A：核心原因在于，波斯诗歌的韵律高度依赖音频中短元音的发音和整体的节奏模式，而这些关键信息在书面文字中被省略了。当前AI模型的训练数据以文本为主，极度缺乏标注好的波斯语韵律音频数据。这就好比让一个只见过简谱骨架的人，去识别一首交响乐的完整韵律，难度可想而知。即便是最大的模型，表现也接近随机猜测，这说明解决此问题需要针对性的文化和韵律理解训练。

Q3：这项研究对普通人有何实际意义？

A：这项研究揭示了当前AI技术存在的“文化盲区”，对普通人的意义体现在几个层面：首先，如果你使用波斯语相关的AI应用（如语音助手、翻译工具），现在能更清楚地了解其能力边界在哪里。其次，它提醒我们，AI的发展不应只聚焦于英语等主流语言，保护和促进各种文化在数字时代的表达至关重要。最后，它为波斯语使用者未来获得更精准、更懂文化的AI服务奠定了基础，同时也为全球其他“小语种”的类似研究提供了可借鉴的范本。