摘要
本报告介绍了FunAudioLLM，这是一个旨在增强人类与大型语言模型（LLMs）之间自然语音交互的模型家族。其核心包括两个创新模型：SenseVoice，负责处理多语言语音识别、情感识别和音频事件检测；以及CosyVoice，促进具有多种语言、音色、说话风格和说话人身份控制的自然语音生成。SenseVoice-Small为五种语言提供了极低延迟的自动语音识别（ASR），而SenseVoice-Large支持超过50种语言的高精度ASR。CosyVoice在多语言语音生成、零样本情境学习、跨语言声音克隆以及指令跟随能力方面表现出色。
与SenseVoice和CosyVoice相关的模型已经在Modelscope和Huggingface上开源，相应的训练、推理和微调代码也在GitHub上发布。通过将这些模型与LLMs集成，FunAudioLLM使诸如语音到语音翻译、情感语音聊天、互动播客和富有表现力的有声书朗读等应用得以实现，从而推动了语音交互技术的边界。演示可在https://fun-audio-llm.github.io访问，代码可在https://github.com/FunAudioLLM获取。
引言
近年来，人工智能（AI）的飞速进步极大地改变了人类与机器的交互方式，诸如GPT-4o（OpenAI，2023）、Gemini-1.5（Reid等人，2024）等模型便是其中的代表（Bai等人，2023b；Chu等人，2023）。这一转变在语音处理领域尤为显著，高精度的语音识别（Radford等人，2023）、情感识别（Ma等人，2024b）及语音生成（Wang等人，2023a；Du等人，2024a）技术正引领着更直观、更人性化的交互体验。在此报告中，我们介绍FunAudioLLM，一个创新框架，旨在促进人类与大型语言模型（LLMs）之间的自然语音交互（Team，2023；Bai等人，2023a；Touvron等人，2023）。FunAudioLLM的核心是我们两大突破性模型：用于语音理解的SenseVoice和用于语音生成的CosyVoice。
SenseVoice是我们的尖端语音理解模型，擅长于语音处理的多个领域。我们提供SenseVoice-Small和SenseVoice-Large两种变体。我们已经开源了SenseVoice-Small，它支持中文、英语、粤语、日语和韩语的多语言识别，通过采用非自回归端到端架构，实现了极其低的推理延迟。这一设计使得其性能比Whisper-small快5倍以上，比Whisper-large快15倍以上（Radford等人，2023）。另一方面，SenseVoice-Large支持超过50种语言的语音识别，在识别中文和粤语方面具有显著优势。除了语音识别，SenseVoice还提供业界领先的情感识别和音频事件检测（Mesaros等人，2021）功能，使其成为构建低延迟、类人语音交互系统的理想选择。
我们的应用套件进一步由CosyVoice（Du等人，2024a）丰富，这是一系列基础语音生成模型，设计用于为各种场景产生自然流畅的语音。CosyVoice在为特定说话人生成多语言语音、零样本适应新说话人（Wang等人，2023a）、跨语言声音克隆（Zhang等人，2023）、创造情感共鸣的语音（Shin等人，2022）以及通过指令文本对语音输出进行精细控制（Ji等人，2024）等方面表现出色。CosyVoice支持五种语言：中文、英语、日语、粤语和韩语。CosyVoice包含三种开源模型：CosyVoice-base300M，专注于准确表达说话人身份、零样本学习和跨语言声音克隆；CosyVoice-instruct300M，侧重于生成情感丰富的语音，并允许通过指令文本进行细致调整，扩展其在说话人身份（Shimizu等人，2023）、说话风格（Ji等人，2024）和精细副语言特征（Kanda等人，2024）等方面的可控性；CosyVoice-sft300M，已在七个多语言说话人上进行微调，可立即部署。
通过整合SenseVoice、CosyVoice和类似Qwen（Team，2023）的LLMs，FunAudioLLM提供了一系列丰富的应用示例。其中包括语音到语音翻译（Berard等人，2018），让用户可以用自己的声音说外语；情感语音聊天（Xue等人，2024），使模型能理解和回应情感，实现更人性化的交互；互动播客（Laban等人，2022），用户可以与多个大型模型进行实时讨论；有声书（Chalamandaris等人，2014），让模型能为有声书进行生动、多角色的叙述。
总的来说，FunAudioLLM借助SenseVoice和CosyVoice的优势，推动了语音交互技术的边界，实现了人类与大型语言模型之间更加自然和无缝的沟通。
FunAudioLLM 模型
2.1 FunAudioLLM概览
FunAudioLLM 包含两个基础模型，分别用于语音理解和生成，命名为 SenseVoice 和 CosyVoice。SenseVoice 支持多语言语音识别，训练数据超过 30 万小时。具体而言，SenseVoice-Small 在推断方面高效，识别延迟少于 80 毫秒，分别比 Whisper Small 和 Whisper Large 快 5 倍和 15 倍以上。而 SenseVoice-Large 则支持超过 50 种语言的高精度自动语音识别（ASR）。此外，SenseVoice 提供丰富的转录功能，包括行业领先的情感识别、音频事件检测、逆向文本规范化和标点符号。
CosyVoice 是我们的语音生成模型，能够生成多语言演讲，训练数据超过 17 万小时，覆盖五种语言：中文、英文、日文、粤语和韩语。CosyVoice 生成的样本可以达到不到 2% 的词错误率（WER）和超过 75% 的说话者相似度，达到了人类水平的质量。CosyVoice 支持零样本情境学习，即使只有 3 秒的提示语音也能实现声音克隆。音色、情感、韵律和风格可以在同一种语言内或跨语言复制。我们还发布了一个指令模型，可以通过自然文本指令控制说话者身份、说话风格（例如情感）和其他精细的副语言特征。FunAudioLLM 模型的概览如图 1 所示。
2.2 语音理解模型：SenseVoice
图 2：SenseVoice 是一个全面的声音基础模型，旨在执行各种声音理解任务，包括自动语音识别（ASR）、语言识别（LID）、语音情感识别（SER）和音频事件检测（AED）。SenseVoice-Small [上]：一个仅编码器模型，优化用于快速语音理解。它在支持5种语言的同时提供高速处理。SenseVoice-Large [下]：一个编码器-解码器模型，旨在实现更精确的声音理解，覆盖更广泛的语言范围。它在准确性方面表现出色，并支持广泛的语言能力。
SenseVoice 是一个具备多种语音理解能力的语音基础模型，包括自动语音识别（ASR）、口语语言识别（LID）、语音情感识别（SER）和音频事件分类/检测（AEC/AED）。提出了两种不同大小和架构的模型来满足不同的需求：快速语音理解的 SenseVoice-Small，仅编码器的语音基础模型；以及 SenseVoice-Large，编码器-解码器架构的语音基础模型，适用于更多语言的更准确语音理解，如图 2 所示。
SenseVoice-Small 是一个多语言多风格 ASR 和多个语音理解任务的非自回归仅编码器模型。给定输入波形，首先计算 80 维的 log-mel 滤波器组，然后堆叠连续帧并下采样 6 倍。提取的特征随后映射到编码器维度 D，记为 ，其中 T 是下采样特征的长度。编码器实现为带有内存的自注意力网络（SAN-M）。为了指定任务，我们在语音特征前添加四个嵌入作为输入到编码器的组成部分：
其中 V’ 是包含 ASR 和其他任务令牌的词汇表，eLID, eSER, eAEC, eITN/NoITN 分别是四种特殊令牌的嵌入：
- ＜LID＞指示 LID 任务，如果添加此标记，模型被训练预测相应位置的语言令牌。
- ＜SER＞指示 SER 任务，如果添加此标记，模型被训练预测相应位置的语音情感标签。
- ＜AEC＞指示 AEC 任务，如果添加此标记，模型被训练预测相应位置的音频事件标签。
- ＜ITN＞或＜NoITN＞指定转录样式，＜ITN＞表示模型被训练进行逆向文本规范化和标点符号转录，＜NoITN＞表示模型被训练不带逆向文本规范化和标点符号进行转录。
在训练阶段，LID、SER 和 AEC 任务使用交叉熵损失优化，ASR 任务使用 CTC 损失优化。
SenseVoice-Large 是一个多语言 ASR 和多个语音理解任务的自回归编码器-解码器模型。类似于 Whisper，SenseVoice-Large 通过向解码器输入一系列令牌来指定任务。具体而言，我们通过包含 ＜LID＞、＜SER＞、＜AED＞ 令牌来指定是否预测语言、语音情感和音频事件的时间戳。与 SenseVoice-Small 相比，SenseVoice-Large 的优势在于转录准确性和支持大量语言（50+）。
2.3 语义语音分词器
一个语音分词器将声学信号转换为离散的令牌，使自回归变换器能够对这些令牌进行建模和预测，从而实现语音生成。初步实验表明，选择哪种语音分词器对于整个系统性能至关重要，并且影响着所需的数据质量和数量要求。我们评估了三类语音分词器：
- 基于残差量化的方法，如 SoundStream (Zeghidour 等人, 2022)，Encodec (Defossez 等人, 2022) 和 FunCodec (Du 等人, 2024b)；
- 利用多组量化技术的方法，如 Hificodec (Yang 等人, 2023)；
- “语义”语音令牌，特别地指 HuBERT (Hsu 等人, 2021)。
所有上述分词器都是以无监督或自我监督的方式进行训练的。因此，它们与语义内容的关联往往较弱，这可能导致合成过程不稳定，并对清洁训练数据有大量需求。此外，无监督分词器容易受到数据噪声的影响，需要精心准备的清洁数据集。
基于 SenseVoice 模型的成功，我们引入了一个监督式语义语音分词器，记为 S³ (Du 等人, 2024a)。利用预训练的 SenseVoice-Large 模型作为基础，我们在编码器的前六层之后加入了一个向量量化器，如图 3 中所示。重要的是，在量化后加入额外的位置嵌入，增强了时间信息。由 Encoder1 和向量量化器组成的组合被视为语音分词器，使用最接近代码向量的索引作为语音令牌。向量量化器使用单一的代码本，包含一个庞大的字典，有 4096 个条目。得到的令牌序列具有 50 Hz 的频率，从而减少了语言模型中从文本到令牌生成的计算负担。
由于语音分词器被训练成以端到端的方式最小化丰富文本的识别错误，提取出的令牌与文本和副语言信息之间有着强烈的语义关系。此外，我们的 S³ 分词器得益于监督训练，提高了其对数据噪声的鲁棒性，并减少了对完美数据收集的依赖。因此，可以利用更广泛的数据范围来训练模型。
S³ 分词器的设计和训练策略确保了其能够更有效地捕捉语音中的语义和非语义特征，同时降低了对高质量数据的需求，使得模型在实际应用中更加稳健和灵活。通过结合 SenseVoice-Large 的强大语音理解能力，S³ 能够在语音生成任务中提供更高质量的输出。
2.4 语音生成模型：CosyVoice
CosyVoice 是一系列基本的语音生成模型（Du 等人, 2024a），它利用 S³ 令牌来合成适用于多种应用的自然声音。作为一个多功能模型，CosyVoice 在生成针对特定说话人的多语言声音、无需训练即可适应新说话人（零样本上下文学习）、跨语言复制声音、创建情感共鸣的声音以及通过指令文本对语音输出进行细微控制等方面表现出色。CosyVoice 支持五种语言，包括中文（ZH）、英语（EN）、日语（JP）、粤语（Yue）和韩语（KO）。
我们发布了三个开源模型：
- CosyVoice-base-300M：在准确表示说话人身份、无需微调即能适应上下文以及跨语言克隆声音方面表现优异。
- CosyVoice-instruct-300M：擅长生成情感丰富的声音，并允许通过指令文本进行细致调整。
- CosyVoice-sft-300M：已经在七个多语言说话人上进行了微调，可立即部署。所有模型都共享相同的架构和学习框架。
2.4.1 系统概览
CosyVoice 包含一个基于自回归变换器的语言模型（LM），用于生成输入文本的语音令牌。基于常微分方程（ODE）的扩散模型，即流匹配（Lipman 等人, 2023），从生成的令牌重建梅尔谱。随后，基于 HiFTNet 的 vocoder（Li 等人, 2023）用于从重建的梅尔谱合成波形。对于某些应用，如跨语言克隆和说话人微调推理，一些模型组件是可选的。
2.4.2 模型训练
在训练阶段，自回归语言模型（LM）采用教师强迫（teacher-forcing）范式进行训练。在这个过程中，标记后的文本和左移版本的语音令牌被提供给模型以预测后续的语音令牌。
流匹配模型用于估计条件概率 P(S|X, v, Sref)，其中 X 和 v 分别表示语音令牌和说话人嵌入（Wang 等人, 2023b）。S 和 Sref 分别代表目标语音和参考语音的梅尔谱。使用卷积变换器 U-Net（Mehta 等人, 2023）来确定先验分布与所需分布之间的向量场，该向量场源自最优传输 ODE。解决 OT-ODE 的直接性质允许在推理阶段显著减少迭代次数，通常只需要五到十次迭代即可产生满意的梅尔谱。此外，我们还采用了无分类器指导（CFG）技术，并屏蔽了 70%~100% 的前置特征条件，以增强上下文学习能力。
为了从预测的梅尔谱合成波形，我们使用基于 HiFTNet 的 vocoder。HiFTNet 已经经过修改以支持流式生成，包括替换和重新设计某些组件。
2.4.3 零样本上下文学习
CosyVoice 模型具备零样本上下文学习的能力，仅需短暂的参考语音样本就能复制任意声音。这一过程涉及为令牌语言模型（LM）仔细构建输入序列。对于同语言的提示语音和输入文本，我们将它们合并成统一的输入，将提示语音令牌视为预先生成的。使用此输入序列，自回归 LM 迭代预测后续令牌直到遇到“序列结束”令牌 E。然而，当提示语音和输入文本在语言上不同时，我们省略与提示相关的文本和令牌，以避免原语言的韵律特性影响目标语言。
2.4.4 指令微调
为了增强 CosyVoice 的可控性，我们尝试整合附加的指令微调。CosyVoice-instruct 扩展了 CosyVoice-base 的指令跟随能力，具体支持对说话人身份、说话风格（包括情绪、性别、语速和音高）以及精细的副语言特征的控制。这些特征包括插入笑声、呼吸、边笑边说以及强调某些词语的能力。表 3 显示了一些关于说话人身份、说话风格和精细副语言特征的例子。
3 数据集
3.1 SenseVoice 训练集
图 6 提供了用于训练 SenseVoice 模型的数据集概览。SenseVoice-Small 模型是在大约 30 万小时的音频数据语料库上训练的，涵盖 5 种语言，包括中文、粤语、英语、日语和韩语。为了进一步增强 SenseVoice-Large 的多语言能力，额外集成了 10 万小时的多样化多语言数据到训练语料库中。为了从语音数据中获得丰富的转录标签，我们利用开源模型进行音频事件检测（AED）和语音情感识别（SER）来生成伪标签，从而产生了庞大的丰富转录数据集。具体而言，AED 数据量达到了 1.5 亿条记录，而 SER 数据包含 3 千万条记录。
3.2 CosyVoice 训练集
为了训练 CosyVoice 模型，我们收集了一个包含多种语言的庞大数据库。在收集过程中，我们使用了专门的内部工具进行语音检测、信噪比（SNR）估计、说话者日记化（diarization）和分离。之后，使用 SenseVoice-Large 和 Paraformer 生成伪文本标签。这些标签通过强制对齐（FA）模型的帮助进行精炼，有助于剔除低质量数据并提高标点符号的准确性。不同语言训练数据的时长细分情况在表 4 中呈现。
对于 CosyVoice-instruct 模型，我们在没有将说话人嵌入纳入自回归语言模型的情况下，使用指令训练数据对 CosyVoice-base 进行了微调。表 5 列出了不同类型指令训练数据的时长。
4 实验结果
4.1 多语言语音识别
度量标准：我们使用字符错误率（CER）来评估五种语言的模型性能：中文、粤语、日语、韩语和泰语，并使用单词错误率（WER）评估所有其他语言。在计算错误率之前，所有的真值转录和识别输出都经过了文本标准化处理，与 Whisper 所采用的方法一致。所有的汉字被转换为简体中文版本，并通过额外的文本规范化管道进行处理。
结果：表 6 显示了 Whisper、SenseVoice 和 Paraformer 在流行的开放语音识别基准数据集上的对比，如 AISHELL-1、AISHELL-2、WenetSpeech、Librispeech 和 Common Voice。可以看出，在大多数测试集上，SenseVoice-S 和 SenseVoice-L 在 CER 和 WER 上显著优于对应的 Whisper 模型，除了在 Librispeech 上表现相当。
图 7 展示了 SenseVoice-Large 和 Whisper-Large-V3 在更广泛语言范围内的比较性能，无论是否输入真值语言识别（LID）。尽管总体上 SenseVoice-Large 的表现与 Whisper-Large-V3 相当，但在一些特定语言如粤语（Yue）、加泰罗尼亚语（CA）和马拉地语（MR）上，SenseVoice-Large 表现得更好。
推理效率评估：表 7 展示了推理效率的评估，包括实时因子（RTF，转录时间与音频长度的比例）和 10 秒音频延迟（转录 10 秒音频的平均时间成本）。在 A800 机器上进行基准测试，解码批次大小为 1。对于基于编码器-解码器的模型（Whisper-S、Whisper-L-V3 和 SenseVoice-L），我们在解码时执行带有束大小为 5 的束搜索。由于其非自回归架构，SenseVoice-S 达到了极低的推理延迟——相比 Whisper-small 快了 5 倍以上，相比 Whisper-L-V3 快了 15 倍以上。SenseVoice-L 的性能接近 Whisper-L-V3。
4.2 语音情感识别
我们评估了 SenseVoice 在 7 个流行情感识别数据集上的 SER 能力，包括 CREMA-D、MELD、IEMOCAP、MSP-Podcast、CASIA、MER2023 和 ESD。这些数据集涵盖了中文和英文以及像戏剧表演、电视剧和日常对话等多种场景。我们报告了未加权平均准确度（UA）、加权平均准确度（WA）、宏 F1 分数（F1）和加权平均 F1（WF1），并与文献中最近发表的一些 SER 基准进行了比较，如 EmoBox、Emo-Superb 和 MerBench。即使没有在目标领域进行微调，SenseVoice 在所有测试集和所有指标上都取得了良好的性能。
我们进一步将 SenseVoice 与一些开源的 SER 模型进行比较。结果展示在图 8 中。XLSR-SER 是 HuggingFace 上最流行的 SER 模型，Qwen-Audio 和 SALMONN 是两个可以使用自然语言提示识别语音情感的音频大语言模型。EmoBox 的结果也被作为参考包含在图表中。SenseVoice-Large 几乎在所有数据集上都取得了最佳结果，而 SenseVoice-Small 在大多数数据集上也超过了其他基线模型。
4.3 音频事件检测
SenseVoice-Small 和 SenseVoice-Large 模型都能够对语音中的音频事件进行分类，包括音乐、掌声和笑声。SenseVoice-L 可以进一步预测音频事件的起始和结束位置，而 SenseVoice-Small 只能预测音频中发生的事情，每段话最多一种事件。SenseVoice-Small 能够检测更多种类的事件，如咳嗽、打喷嚏、呼吸和哭泣，这些事件可能在人机交互中出现。
我们将在不同的任务上比较 SenseVoice 与最先进的音频事件检测模型 BEATs 和 PANNs，包括环境声音分类（ESC-50）、婴儿哭/笑检测、咳嗽检测（Coswara）和家庭谈话节目事件检测。由于 SenseVoice 只预测我们感兴趣的事件，可能不包括其他模型中的事件类别，因此我们使用每个事件的 F1 分数进行评估。Qwen-audio 也被用于比较。
我们发现 SenseVoice 是一个良好的音频事件分类或检测模型，尽管 BEATs 和 PANNs 可能有更好的 F1 分数。这可能归因于两个原因：首先，BEATs 和 PANNs 可以通过修改检测阈值来权衡准确性和召回率，以获得更高的 F1 分数，但对 SenseVoice 和 Qwen-Audio 进行阈值修改要困难得多；其次，SenseVoice 是使用带有 AED 伪标签的 ASR 数据训练的，而不是使用特定于 AED 的数据。
4.4 S³ 令牌保留语义信息
为了评估 S³ 令牌保留语义信息的能力，我们将带有量化器增强的 SenseVoice-L 与原始版本以及 Whisper Large V3 模型的识别性能进行了比较。这些模型使用 Common Voice zh-CN 和 en 基准进行了评估，详细结果见表 9。
从表中我们可以看到，我们的 S³ 令牌在中文和英文测试集上都显示出强大的识别性能。值得注意的是，在 common voice zh-CN 集合上，S³ 令牌的性能超过了 Whisper-Large V3 模型，实现了相对误差率降低 4.14%。这表明 S³ 令牌与语义内容之间存在显著的相关性。
4.5 CosyVoice 生成质量评估
我们通过检查内容一致性和说话人相似性来评估 CosyVoice 语音合成的质量。我们使用 LibriTTS 的“test-clean”子集和 AISHELL-3 的测试集分别构建英语和中文的评估集。对于这些集合中的每段文本，我们随机选择一段提示语音。内容一致性使用 Whisper-Large V3 对英语和 Paraformer 对中文进行识别。说话人相似性通过计算生成语音和提示语音的说话人嵌入之间的余弦相似度来量化，这些嵌入使用 ERes2Net 提取。
类似于其他的自回归语言模型，我们对我们的令牌 LM 使用随机采样解码策略，并使用五个不同的随机种子值：0、7、42、123 和 1337 来评估合成过程。最终的评估指标被平均以确定均值和标准差。此外，我们进行了 ASR 重排序，以展示离线模式下潜在的性能提升。
表 10 和表 11 分别展示了英语和中文的结果。在英语数据集上，CosyVoice 达到了人类水平的性能，具有类似的内容识别和更高的说话人相似性。ASR 重排序显著提高了内容一致性，将单词错误率（WER）降低至 1.51%。CosyVoice 在 WER 和插入删除错误的数量上优于 ChatTTS，表明内容一致性更佳。
对于中文结果，CosyVoice 生成的发音与原始发音相比，实现了相当的 CER 以及插入和删除错误的数量。看起来 ChatTTS 在中文的 CER 方面比英语具有更好的生成能力。虽然 ChatTTS 和 CosyVoice 的 CER 相似，但 ChatTTS 产生的插入和删除错误更多，这是由于另一个说话人的语气词意外生成的问题（说话人泄露）。相反，CosyVoice 并没有这个问题，插入和删除错误要少得多。借助 ASR 重排序，CosyVoice 达到了非常低的 CER 1.84%，并且与英语一样，CosyVoice 也显示出了比原始发音更大的说话人相似性，展现了其有效的语音克隆能力。
4.6 CosyVoice 情感可控性评估
为了验证情感可控性，我们使用公开的语音情感识别模型 emo2vec。我们为六种情感——快乐、愤怒、悲伤、惊讶、恐惧和厌恶——各生成并评估了100条英语发音。合成文本的内容设计与目标情感相匹配。然后，我们测量从合成语音中预测出的情感准确性。
表 12 显示了 CosyVoice-base 和 CosyVoice-instruct 在情感控制准确性方面的比较。对于 CosyVoice-instruct，输入包含内容文本伴随说话风格指令（例如，“Happy.<endofprompt>Content Text”）。相比之下，CosyVoice-base 只接收内容文本作为输入。结果显示，带有情感指令的 CosyVoice-instruct 在所有情感类别上都比不含情感指令的 CosyVoice-base 和 CosyVoice-instruct 有显著改进。
4.7 CosyVoice 作为数据生成器
CosyVoice 的一个直接应用是作为数据生成器来增强其他任务的训练数据，比如自动语音识别（ASR）、语音到语音翻译（S2ST）。以 ASR 任务为例，我们在 Librispeech 语料库上进行实验，评估 CosyVoice 生成高质量数据的能力。实验结果如表 13 所示，其中“Librispeech”代表原始的 960 小时数据。“Syn on LS text”和“Syn on MLS text”分别代表使用来自 Librispeech 和 MLS 训练集的文本生成的数据。
从表中可以看出，仅使用合成数据进行训练，ASR 模型可以达到与原始 Librispeech 训练集相当的结果。当将它们结合起来时，观察到识别准确性的显著提高。有趣的是，使用 MLS 文本合成的数据显著提高了识别性能。这可能表明，对于 ASR 任务而言，文本多样性比语音本身的持续时间更为关键。这种改善可归因于 CosyVoice 合成样本引入的多样的语言内容。我们的评估结果凸显了 CosyVoice 生成样本的高质量。
表 13 中的人类发音测试集上的字错误率（%）被用作评价指标。
5 应用程序
FunAudioLLM 是一个创新框架，旨在促进人类与大型语言模型（LLMs）之间的自然语音交互。通过整合 SenseVoice、CosyVoice 和 LLMs，FunAudioLLM 提供了一系列丰富的应用演示，包括语音到语音翻译（S2ST）、情感语音聊天、互动播客以及富有表现力的有声书叙述。这些演示可在 https://fun-audio-llm.github.io 上找到。
语音到语音翻译（S2ST）
结合 SenseVoice、LLMs 和 CosyVoice，可以轻松实现 S2ST 功能，如图 10 所示。SenseVoice 用于识别原语言的输入语音，LLM 将源语言翻译为目标语言，而 CosyVoice 则使用跨语言声音克隆技术合成目标语音。这让用户能够用自己的声音说外语。
情感语音聊天
通过集成 SenseVoice、LLMs 和 CosyVoice，可以开发情感语音聊天应用程序，如图 11 所示。SenseVoice 识别输入语音及其情感和音频事件，LLM 生成响应内容并附带说话风格描述，CosyVoice 遵循给定的说话风格描述生成情感语音。
互动播客
利用 SenseVoice、基于 LLM 的多代理系统（具有实时世界知识）以及 CosyVoice，可以创建互动播客，如图 12 所示。我们可以使用 LLM 插件获取实时日常知识，内容生成代理将其转换为播客脚本。多代理系统匹配播客角色，CosyVoice 合成声音。用户还可以将自己加入播客中，与多代理系统进行互动对话。
表现力增强的有声书
借助 LLMs 的分析能力，对书籍中的结构和情感进行识别，并与 CosyVoice 结合，我们实现了表现力增强的有声书，如图 13 所示。LLM 用于叙事和对话分析、人物分析以及精细的情感分析，而 CosyVoice 以增强的表现力合成语音。
6 局限性
SenseVoice 存在一些需要解决的局限性。首先，对于资源匮乏的语言，ASR 性能通常远低于主流语言。其次，SenseVoice 并非设计用于流式转录。未来工作可能集中在基于 SenseVoice 开发可流式的语音理解模型上。
CosyVoice 也有几个局限。它目前只支持有限数量的语言。虽然它可以基于明确的指令表达情感和说话风格，但无法根据文本的语义内容推断适当的情感或风格。此外，CosyVoice 在歌唱任务上表现不佳。在保持声音音色的同时实现富有表现力的情感变化方面，还有提升空间。
另一个限制是 FunAudioLLM 内的两个创新模型并未与 LLMs 进行端到端的联合训练。这种管道方法可能会引入误差传播，影响整体性能。
