浅谈音乐生成：HeartMuLa与ACE-Step1.5

1.前言

简单对HeartMuLa和ACE-Step1.5近期两个开源的文生音乐工作进行分析对比。

本人才疏学浅，欢迎各位交流指正～后续也将不定时更新正文内容

本文主要分为7部分。1为前言，2为整体对比总结，3个人对HeartMuLa的一些问答，4个人对ACE-Step1.5的一些问答, 5是希望进一步探讨的问题。

【6、7分别是个人对两个模型论文/技术报告的摘读情况，用于整体浏览全文，只适用于个人学习】。

2.整体对比总结

①生成效果方面

HeartMuLa稳定性不错（极少出现漏词漏唱现象），但是缺乏音乐美感（听起来不好听）

ACE-Step1.5生成的音乐质量听起来比HeartMula好，美感强。但是在生成歌词方面，存在词不达意、掺杂有其他语言（非英语，而且唱出来听着含混不清）问题；并且漏唱的现象也比较频繁

②功能/性能方面

HeartMuLa只支持文本生成音乐，可以添加参考音频，文本包括tag/captions/lyrics）

语种支持英语、中文、韩语、日语和西班牙语，tag 支持流派音色性别情绪乐器场景区域主题

生成速度大约达到RTF=1.0（生成音乐所用时间 = 音乐时长）

——————————————————————————————————————-

ACE-Step1.5还额外支持翻唱cover/重新生成repaint/音乐轨道任务，文本包括元数据(metadata)/captions/lyrics

语种覆盖50多种，metadata支持bpm keyscale timesignature vocal_language duration captions支持 风格、乐器、情绪、氛围、音色、演唱者性别、起承转合等描述。

生成速度极快：under 2 seconds per full song on an A100 and under 10 seconds on an RTX 3090！

并且支持Gradio和python命令行的使用，提供了详细的用户指南，还支持Lora微调。

③论文/报告方面

HeartMuLa的论文长达35页，内容很丰富。重点介绍了文生音乐的Pipeline，包括自研的音乐编解码器HeartCodec、音乐语言模型HeartMuLa，以及对应的训练策略。

ACE-Step1.5的技术报告只有10页。重点介绍了数据集的构建Pipeline，以及生成模型各组件。

④技术方面

主流的文生音乐一般遵循：文本语义–>音乐语义–>音乐声学波形生成

在文本到音乐语义生成的过程中，大多是基于LLM 实现音乐语义离散token的自回归生成。

在音乐语义到音乐声学波形生成的过程中，

一部分工作基于LLM 实现音乐声学离散token的自回归生成，最后由Codec还原波形（MusicGen， MusicLM， Yue， Muse）；

另一部分工作基于LDM 实现音乐声学的连续Latents 非自回归生成，最后由VAE-GAN等模型还原波形 (Melody， MusiCoT， Stable Audio Open)。

而这次的两个模型在上述模式的基础上又有各自的特点：

HeartLuMa 整体是基于LLM的大路线，在codec融合了音乐语义、音乐声学、语音表示，全局大规模LLM预测音乐语义tokens，局部LLM预测音乐声学tokens，但最后在codec中采用了Flow Matching生成。

ACE-Step1.5 整体是基于LDM的大路线，LLM通过思维链的方式实现从“输入主题”到“元数据+歌词+声学代码”的全流程输出，实现文本语义 –>音乐语义–>音乐声学token 的学习。在音乐波形生成部分，除了音乐语义作为cross-attention条件注入，还有以离散声学token反量化为latents作为DiT的输入。

3.HeartMuLa问答

问1：潜空间为什么采用SQ Decoder，比较了Mel VAE和1D VAE，为什么没有比较VAE-GAN

答1：VAE-GAN是基础组件，这些高保真重建解码器模型都用了这个思想：

由于量化引起的信息丢失，直接从离散表示重建波形通常会导致保真度低于连续对应的波形。遵循最近的混合方法：

MelVAE先重建Mel谱图，再通过HiFi-GAN合成波形（RTF最高，推理速度极慢）；1D VAE直接从连续的一维潜空间向量重建波形(RTF最低，推理速度快)；

SQ-Codec采用标量量化 (Scalar Quantization) 技术的潜空间表示，直接重建波形.

问2： HeartMuLa的美学评价分不低，为什么听起来缺乏美感。

答2：

首先，解码器能力存在不足：为了长序列生成，HeartCodec 将帧率压低到了 12.5 Hz 。虽然 Flow Matching 尝试还原细节，但极低的信息密度可能导致某些复杂的音频纹理（如高频泛音、细腻的歌手换气声）无法完全还原。

其次，Flow Matching的源输入（用于加噪的）取自SQ-Codec量化前的潜在表示特征。由于SQ-Codec是针对语音数据的，并且整个过程只微调了SQ-Decoder，所以会导致与音乐生成的美学质量存在上限。

最后， DPO构建对与评估指标的“不准”问题：这两个模型AudioBox和SongEval对“美感”的定义与人类直觉有偏差（例如它们可能更偏向于录音的清晰度而非旋律的艺术性），因此DPO构建时会与人类主观感受存在偏差

问3：音素PER错误率与其他模型相比达到最低（效果最好），原因可能是什么？

答3：HeartCodec 同时提取了 Whisper（擅长语音识别）和 WavLM（擅长捕捉音素/语义）的特征，并且在训练时进行显式对齐。HeartMuLa在训练的第4阶段，采用DPO中构建了针对音素错误率的偏好对。训练数据引入了高质量TTS，在推理时，模型输入的歌词带有明确的结构化标记（如 `[intro]`, `[verse]`, `[chorus]`）

问4：训练时，数据细粒度风格注释如6.4所述，但是在推理时只有歌词和标签，没有这种细粒度注释

答4：在训练阶段，细粒度注释被放置在结构标记（如 `[Chorus]`）之后的方括号内。

推理时，如果你在歌词中手动加入类似的方括号描述，模型就会切换到“精细控制模式”；如果不加，模型则根据全局标签 {tag} 进行自主发挥。以上是基于微调后的 Qwen-2.5-Omni实现。

4. ACE-Step1.5问答

问题1：缺少LLM训练的介绍，怎么实现用户输入主题，LLM自动实现音乐描述、元数据、歌词生成（虽然说用思维链的方式，但是没具体介绍）

回答1：LLM作为一个统一框架，通过不同的任务指令（Planner/Listener/Co-Pilot/Refiner）实现从“主题”到“元数据+歌词+声学代码”的全流程输出。具体模型基于Qwen

问题2：ACE-Step1.5生成的音乐质量听起来比HeartMula好，听感好，美学强。但是在生成歌词方面，存在词不达意、掺杂有其他语言（非英语，而且唱出来听着含混不清）问题。此外也存在漏唱现象。

回答2：

词不达意+掺杂有其他语言的问题：

1 随机罗曼化策略的副作用（为了让模型掌握 50 多种语言的发音，论文对非罗马脚本（如中、日、泰语）实施了50% 的随机罗曼化转换，即在训练时将一半的歌词转为拼音或罗马音等音素表示。导致存在混合输出的问题）

2奖励模型的权重取向。论文在通过强化学习（GRPO）优化 LM 时，使用的奖励函数存在明显的倾向性。LM 的奖励模型基于逐点互信息（PMI），其核心目的是惩罚平庸的描述，奖励与音频高度匹配的特异性词汇。最终奖励的权重分布为：艺术氛围 (50%) > 歌词内容 (30%) > 元数据约束 (20%) 。由于模型更看重“艺术氛围”的匹配度，它可能会为了营造某种音乐风格而允许歌词文本偏离严谨的语法或语义，导致生成的歌词在文学性上表现不佳。

漏唱的问题：

这通常源于 DiT 在注意力机制上的不稳定性。尽管论文引入了 AAS（Attention Alignment Score）来优化歌词与音频的同步，但模型目前的上限仍受限于参数量级（2B）。table1也显示了像 Suno-v5 这样的商业模型在风格/歌词对齐 (46.8⁄34.2) 方面保持优势。作者在结尾也承认“精确的歌词对齐”是未来改进的重点。

问题3：先前LLM+DIT的做法是：文本（caption、歌词）语义生成音乐语义（SSL获得）【通过LLM】，由音乐语义指导音乐声学生成【通过DIT、cross-attention】。但在ACE-Step1.5中，文本（caption、歌词）语义生成音乐表示（像是声学表示而不是语义表示）（1D VAE获得的并经过有限标量量化-FSQ -分词器压缩后的token）【通过LLM】，由音乐声学表示与加噪后的潜在表示拼接作为DIT输入，歌词与caption作为条件经过cross-attention注入。 那么相当于LLM实现文本语义到音乐声学的表示，而不是文本语义到音乐语义的表示，这是否增加了LLM学习难度？

回答3：

1是增加了LLM学习难度，因为声学表示比纯语义表示更复杂，包含音乐结构规律（旋律、和弦、节奏、配乐等）。

2为了减轻LLM学习难度，LLM不直接预测1D VAE的latents（25Hz），而是预测经过 FSQ 量化后的 5Hz 离散代码。在模型中，5Hz 的离散代码（Audio Codes）被称为 “结构性源潜在表示（Structural Source Latent）”。

通过将Audio Codes压缩至极低的 5Hz 来降低 LLM 的拟合压力。

5Hz 的信息密度更接近自然语言的 Token 流速，如果使用高频 Token（如 50Hz），生成一首 3 分钟的歌需要处理近万个 Token，这会让 LLM 的注意力机制崩溃。5Hz 使得序列长度缩短了 10 倍，让模型能够“思考”长达 10 分钟的复杂作品而不会逻辑断层。因此，5Hz的离散代码只捕捉宏观结构，只负责记录音乐的骨架，包括旋律走向、节奏框架（BPM）和大致的动态起伏。

3那么极致的压缩必然带来声学信息的丢失，如何恢复声学细节？

DiT 模型被定位为专门的“声学渲染器（Acoustic Renderer）” 。它并不只是重复 LM 的输出，而是以 5Hz 代码为“路标”，在扩散（Diffusion）过程中，利用其 2B 参数规模中存储的声学先验知识，自动“脑补”出 48kHz 高保真音频所需的纹理、音色细节和乐器分离度。跨注意力（Cross-Attention）注入：歌词编码器和音色编码器提供的信息，会直接通过 Cross-Attention 注入 DiT，绕过了 5Hz 的限制，确保了音色和发音的精细度。

4如何解决“听感发虚”？对抗性增强策略

为了防止由于过度压缩导致的音质平淡，ACE-Step 1.5 引入了判别器强化：

动态偏移蒸馏（Adversarial Distillation）：通过 ConvNeXt 判别器在潜在空间进行对抗性训练。

纹理锐化：这个判别器专门负责“锐化声学纹理（Sharpening Textures）”，强制模型生成具有高频瞬态（如鼓点的打击感、拨弦的清脆感）的音频，从而弥补离散 Token 的精度不足。

5小总结

：文本（caption、歌词）语义生成音乐结构性潜在表示（1D VAE获得的并经过有限标量量化-FSQ -分词器压缩后的token）【通过LLM】，

由音乐结构性潜在表示反量化与加噪后的潜在表示在通道维度拼接作为DIT输入，歌词与caption作为条件经过cross-attention注入。

与之前方法相比，ACE-Step 1.5 选择了 “极低频 Token (5Hz) + 单码本 (FSQ) + 强大的 DiT 渲染器”。这种做法将原本属于 LLM 的“声学拟合压力”转移给了 DiT，利用对抗动态偏移蒸馏（Adversarial Distillation）在 4-8 步内生成高质量波形，从而在消费级显卡（<4GB VRAM）上跑出商用级的音质。 ==与之前方法相比，减轻了DIT对于音乐声学的优化难度，但增加了音乐语义理解的难度，即DIT不负责由音乐语义生成音乐声学，而是负责将文本语义、声学结构表示生成音乐声学。== 将 “音乐逻辑的复杂性（LLM 负责）” 与 “声音美学的复杂性（DiT 负责）” 彻底分开了。

5Hz 确实压缩了极多信息，但这正是 ACE-Step 1.5 的工程美学所在：它承认 LLM 预测高频声学特征的低效性，转而让 LLM 只做全局规划框架（5Hz 信息），而让 DiT 从扩散噪声中恢复声学细节。这种“粗干预、细渲染”的方案，是其能在消费级显卡上实现商业级音质的关键。

6. HeartMuLa摘读

1 HeartCodec

HeartCodec：一种低帧率 (12.5 Hz)、高保真音乐编解码器，可捕获远程结构和声学细节。其紧凑的离散表示可实现高质量的重建和高效的自回归建模。

最长6分钟歌曲

==语义丰富编码器：==

音乐固有的复杂性促使之前的工作证明，利用跨多个抽象级别的表示，而不是仅仅依赖低级声学特征，可以带来更强的下游建模性能。

BEST-RQ损失微调的MuEncoder，

第11层特征作为==音乐语义表示==，捕获高级音乐属性，例如音色、乐句和旋律结构，

第2层特征用作编码细粒度音色和频谱细节的==声学表示==。

WavLM第6层至第9层的输出平均和Whisper编码器嵌入，作为==语音表示phonetic==

==超低帧率压缩器：==

这些表示通过基于查询的量化策略进行量化，获得超低帧速率离散codes.

在 $y_h$ (将不同层级特征序列重采样25hz,然后通道级融合)的每两个连续帧之后，插入一个可学习的 **查询 Token**。然后将改变后的完整token序列送入Transformer编码器，此时，查询 Token 会通过注意力机制“吸收”它前面那两帧的信息。最后，模型丢弃所有原始特征帧，只保留查询 Token 位置的输出嵌入。

==高保真重建解码器：==

我们利用来自三个不同模型（Mel VAE、1D VAE 和 SQ-Codec）的==瓶颈特征==作为流匹配模型的目标潜在特征。

离散token经过Flow Matching获得Latent连续潜在表示，通过SQ Decoder还原为音乐波形

==训练细节：==

我们首先从头开始对 HeartCodec 进行预训练Pretraining和微调Finetuning，从而建立其基本的建模和重建功能。

接下来，我们执行 ReFlow 蒸馏以加速推理，同时保持生成质量。

最后，我们在蒸馏模型的基础上对 SQ-Codec 进行微调，以进一步提高重建保真度。 MuEncoder、WavLM 和 Whisper 模块的参数在所有阶段都保持冻结.

最后对SQ-Codec微调是只微调SQ-Decoder：对大约 20k 样本的经过过滤的高质量子集进行训练，这些样本是使用 AudioBox Aesthetics Tjandra 等人的客观指标进行选择的。 [2025] 和 SongEval Yao 等人。 [2025]。

2 HeartMuLa

==分层架构：==

采用了建模过程的分层分解，首先捕获粗略的长距离音乐结构，然后合并细粒度的声学细节。

通过序列分解提高效率；大规模全局transformer的任务仅是预测第 0 层的基本标记，而不是整个多层层次结构。该策略显着减轻了与预测多流码本相关的计算开销和建模复杂性。

此外，该架构利用全局transformer来捕获跨帧的粗粒度语义和结构模式，同时将复杂的声学细节的合成卸载到局部变压器。这些组件协同工作，协同提升生成音频的整体质量

3 HeartCLAP

弥合音乐音频和各种文本描述之间的差距。它包括两个主要组件：文本编码器 ET 和音乐编码器 EM 。两个主干网均使用MuQ-MuLan Zhu 等人的预训练权重进行初始化。

在训练期间，每次迭代都会随机采样一种描述格式tag/captions，以提高模型的语言灵活性。为了增强针对不完整用户提示（音乐生成中的常见情况）的鲁棒性，我们实施了两种屏蔽策略：属性屏蔽和标签屏蔽

==tag==: “mood: soft, warm, genre: pop, …”, “soft, warm, pop, …”,

==captions==: “The music features a male gender, with hiphop genre, the instrument is drum, suitable for dance and workout scene”.

4 HeartTranscriptor

英语、中文、韩语、日语和西班牙语

5 数据集

我们的数据集由三部分组成：==歌词音乐、器乐和 TTS== 数据集（LJSpeech Ito and Johnson [2017]、LibriTTS Zen et al. [2019] 和 GigaSpeech Chen et al. [2021]）。

为了考虑音乐性，我们采用了 Audiobox-Aesthetic Tjandra 等人。 [2025] 和 SongEval Yao 等人。 [2025]过滤数据集。为了确保歌词和音乐之间的一致性，我们利用 HeartTranscriptor 进行自动语音识别 (ASR)，以消除不匹配的音乐-歌词对。此外，我们使用整个数据集（例如，能够生成连贯声音的音乐模型）训练基线模型，并根据其困惑度（PPL）过滤训练数据。最终，我们保留了大约 ==100,000== 小时的高质量训练数据。

音乐风格：流派音色性别情绪乐器场景区域主题

音乐结构：在==预训练阶段==对音乐进行结构分析并将其合并到歌词中可以显着增强推理过程中音乐的结构连贯性。[chorus] [verse]等

数据细粒度样式注释：

该管道以 6.3 中生成的结构化歌词作为输入为基础，采用我们经过微调的 Qwen-2.5-omni 多模态大语言模型作为其核心分析引擎。在标注过程中，秉承音频接地原则——原始音频信号25作为最终的接地真相——模型整合文本结构信息，对每个结构单元进行多维特征解构。具体来说，分析涵盖三个正交维度==：动力与能量、声音与技术以及风格与氛围==。

7. ACE-Step1.5摘读

1.数据基础设施

==数量优先到对齐优先==

LLM和DiT的结合方式，DiT的条件注入（描述、歌词、参考音频；交叉注意力）LLM输出1D VAE的量化token，这些token经过反量化作为source （与加噪的target 潜在表示拼接）

01元数据

（ `bpm` 速度。常见分布：慢歌 60–80，中速 90–120，快歌 130–180

`keyscale` | 调性 | 如 `C Major`、`Am`、`F# Minor`。影响整体音高和情绪色彩

`timesignature` | 拍号 | `4/4`（最常见）、`3/4`（华尔兹）、`6/8`（摇摆感）

`vocal_language` | 语言 | 人声的语言。LM 通常能根据歌词自动识别

`duration` | 秒 | 目标时长。实际生成可能略有偏差）

02音乐描述Caption(专注于风格、情绪、乐器、音色等音乐特征)

03歌词

带结构

自我进化注释系统：

我们最初设计了精确提示，利用 Gemini 2.5 Pro [2]（因其世界一流的推理能力和最小的固有偏差而选择）来注释 500 万个音频样本的黄金集。

利用这些高质量的种子数据，我们对 Qwen2.5-Omni 进行了微调，以创建我们专有的专业模型：ACE-Captioner 和 ACE-Transcriber。

为了进一步消除幻觉并提高依从性，我们在 400 万个合成的负对上训练了特定的奖励模型，并应用强化学习来完善字幕。

最后，这个 RL 增强的管道对我们的整个 2700 万样本语料库进行了注释，然后进行了严格的过滤步骤。

==为什么使用GRPO:

由于 2700 万条原始数据的规模庞大，人工标注是不可能的，而传统的 AI 自动标注存在严重的“幻觉”和“描述过于笼统”的问题。==

### 2.1 RL驱动的注释Pipeline

为了弥合声学细节和文本描述之间的差距，我们构建了一个多级管道，可以在描述 ==2,000 多种音乐风格和 50 多种语言==时实现精细粒度。

第 1 阶段（Foundation SFT）利用 500 万个 Gemini 注释样本来监督微调 Qwen2.5-Omni [3]，产生基本的 ACE-Captioner 和 ACE-Transcriber。

第 2 阶段（奖励建模）涉及通过双轨启发式语义增强策略构建 400 万个对比对( Qwen3-30B-A3B )。我们通过巧妙地==破坏语义元素==（例如，交换乐器或情绪标签）来生成硬否定，并通过==语义重写==来生成稳健肯定。这迫使奖励模型区分表面文本模式之外的细粒度语义差异。

在第 3 阶段（RL 细化）中，我们应用 GRPO [4] 来针对这些奖励模型优化字幕。

第 4 阶段部署这些模型来注释完整的 2700 万数据集，重用奖励模型来过滤掉低对齐配对。

### 2.2 语义声学过滤和增强 [2阶段]

为了减轻之前迭代中观察到的生成不稳定性，我们实施了由 ACE-Reward 模型驱动的严格过滤和增强协议。我们应用基于度量的过滤策略，其中表现出低音频文本相关性的样本被积极丢弃，从而消除导致模式崩溃的噪声。同时，认识到我们==密集的训练标题和通常稀疏的用户提示之间的分布变化==，我们采用 Qwen3-30B-A3B [5] 进行查询重写。通过使用各种输入变化（从单一样式关键字到概括描述）来扩充数据集，我们确保模型在不同的提示复杂性和长度下保持稳健

### 2.3 多语言和音色预处理

为了促进全局通用性和精确控制，我们引入了针对语言和声学特征的专门预处理策略。

对于非罗马文字（例如中文、日文、泰文），我们实施随机罗马化策略，==在训练期间将 50% 的歌词转换为音素表示==。这种方法使模型能够跨语言共享语音表示，从而在不扩大词汇量的情况下显着提高稀有标记的发音准确性。

对于音色建模，我们通过==应用语音掩蔽来隔离vocal或器乐声==的流，构建专用的参考数据集。这些片段被连接成连续流，并通过循环填充处理成固定的 30 秒上下文窗口，使模型能够学习强大的零样本音色克隆功能。

2 Model

### 3.1High-Fidelity 1D VAE

摒弃ACE-Step1.0的 2D 梅尔谱图（相位损失和高频瞬态分辨率不足），采用stable audio open的1D VAE(GAN)。

SongBloom [7]，将48kHz音频压缩至25Hz的64维表示，1920的压缩率

最后 10 万步中，我们消除了 KL 散度惩罚，并将对抗性损失权重从 0.1 增加到 0.5。该策略显着锐化了声学纹理，使 1D VAE 在重建指标方面优于 2D DCAE 基线，特别是在声音清晰度和乐器分离度方面。

==？？过强的 KL 约束会导致模型在重建时出现“平均化”倾向，即为了满足分布的平滑而牺牲了音频中的高频瞬态细节（如打击乐的锐度、乐器的齿音）.

舍弃一部分分布的规范性（KL），换取了声学纹理的极致清晰度==

### 3.2 DiT backbone

我们声学合成管道的核心是一个可缩放至大约 2B 参数的扩散变压器 (DiT)。该骨干网被设计为通用条件生成器，平衡了计算效率和多任务多功能性。

为了协调长序列建模与结构连贯性，我们采用了==混合注意力机制==：奇数层利用滑动窗口注意力来捕获局部声学细微差别和瞬态，而偶数层利用全局组查询注意力（GQA）来保持长期节奏和旋律的一致性。该模型在统一的条件堆栈上运行，其中 ==Qwen3-0.6B 字幕嵌入与专用音色和歌词编码器连接，并通过交叉注意力注入==。

为了将连续潜在空间与我们的离散 LM 规划器连接起来，我们实现了有限标量量化（FSQ [9]）分词器。该模块==利用注意力池将 25Hz 潜在信息压缩为 5Hz 离散代码（Codebook ≈ 64k），作为结构源潜在信息==。最后，该模型通过 patchify 层处理复合输入张量（将源、噪声目标和掩模组合在一起），有效地将序列长度减半至 12.5Hz，以获得最佳吞吐量。

==LLM生成的5Hz code 经过反量化为25Hz，相当于给模型提供了一个时间对齐的“声学骨架”，DiT负责填补细节。==

### 3.3 全任务

我们将音乐生成统一到一个灵活的 Masked 生成框架中，其中操纵 Source Latent 和 Mask 配置允许单个模型支持六种不同的模式。

==除了标准的文本到音乐之外，该架构还可以通过重新合成音色来实现cover翻唱生成，同时通过量化潜在保留旋律骨架，并通过重新绘制实现无缝片段再生。==

此外，它还可以推广到复杂的结构任务，包括曲目提取、分层（向曲目添加补充乐器）和完成（围绕单个主题编排完整的安排）。这种方法不仅通过利用共享潜在空间简化了训练过程，而且还提高了效率，因为该模型可以适应不同的输入，而不需要针对特定任务进行微调。通过合并量化潜在值，该框架可确保在转换过程中高保真地保留旋律和节奏等音乐元素，使其成为创意混音应用的理想选择。

3 训练策略

我们采用==渐进式训练范式==，从基础生成先验发展到复杂的多任务微调，最终形成对抗性蒸馏，使学生模型超越老师。

初始生成预训练阶段使用 20M 样本基础数据集（src= Silence）来建立音乐结构和声学分布的稳健先验。==Foundation Pre-training==

随后的全任务混合阶段==Omni-Task Fine-tuning==引入了具有 1700 万个样本(前 50% 的质量样本并通过 600 万个主干分离轨道进行扩充来)的全任务协议，使用不同的源src和掩码条件将风格属性与旋律内容解耦，以实现精确的编辑任务。

最终的高保真监督微调 (SFT) 阶段采用精心策划的 2M 样本高对齐子集，将目标从多样性转变为最大化控制信号和输出之间的相关性，以实现稳健的初始化。

### 4.1 对抗性动态移位蒸馏

为了在不降低质量的情况下实现亚秒级推理，我们采用了基于解耦 DMD2 [10, 11] 的蒸馏框架，并通过 GAN 目标和基于 ConvNeXt 的鉴别器 [12] 通过流匹配目标在潜在空间中运行进行了增强。

为了克服固定时间步长偏移限制去噪轨迹多样性的限制，我们提出了一种动态偏移策略，其偏移参数从 {1,2,3} 中随机采样。这使代理模型暴露于不同的去噪状态，防止过度拟合并确保稳定的对抗性反馈。在没有无分类器指导的情况下，经过提炼的模型将推理步骤从 50 步减少到 8 步 (Shift=3)，在 NVIDIA A100 上实现了 200 倍的加速，在 1 秒内生成 240 秒的轨迹。学生通过判别器减轻离散化错误和锐化纹理，促进自主生成的测试时间缩放以及使用内在奖励对候选批次重新排序，从而优于教师。

### 4.2 自监督内在对齐

为了在没有外部偏差的情况下增强可控性，我们建立了一个统一的内在强化学习框架，将 DiffusionNTF [13] 应用于 DiT 主干，将组相对策略优化（GRPO）应用于语言模型，从内部几何和概率一致性中获得奖励。

==对于 DiT 对齐==，我们假设低保真度生成与交叉注意力图中的高熵相关，并开发注意力对齐分数（AAS），衡量令牌到帧和帧到令牌注意力图之间的一致性。 AAS通过动态时间规整（DTW）聚合了三个属性：（1）覆盖率，具有显着能量峰值的歌词标记的比例；（2）单调性，惩罚注意力质心的非前向对齐； (3)路径置信度，沿对准轨迹的平均能量密度。优化 AAS 可以减少幻觉，并实现与人类对歌词音频同步判断的 95% 以上相关性。

==对于 LM 对齐==，我们将模型视为“编写器”（文本到代码）和“监听器”（代码到文本），使用逐点互信息（PMI）构建奖励模型以实现语义遵守。与原始可能性不同，PMI 会惩罚通用描述并奖励特定于生成的音频代码的字幕。最终奖励是动态加权总和，强调风格氛围（50%）、抒情内容（30%）和元数据约束（20%），指导LM优先考虑艺术细微差别，同时保持结构有效性。