VibeVoice实现90分钟、多角色播客生成,拓展语音合成新边界
编者按:AI 自动生成播客早已不是新鲜事,但常见的 AI 播客只局限于几分钟的双人对话,这是因为传统语音生成模型大多基于离散化方法,更擅长生成短句、单一音色、结构规整的语音内容。近日,微软亚洲研究院提出了一种全新的语音生成模型 VibeVoice。...
编者按:AI 自动生成播客早已不是新鲜事,但常见的 AI 播客只局限于几分钟的双人对话,这是因为传统语音生成模型大多基于离散化方法,更擅长生成短句、单一音色、结构规整的语音内容。近日,微软亚洲研究院提出了一种全新的语音生成模型 VibeVoice。...
快速导读:谷歌发布Gemini Embedding 2,一个能将文本、图像、视频、音频、PDF统一编码的“怪物”。关键是,它原生理解音频视频,不再需要先转录成文字。对于构建RAG或多模态应用的团队来说,这意味着大量复杂的“管道工程”一夜之间被废弃了。 ...
摘要 本报告介绍了FunAudioLLM,这是一个旨在增强人类与大型语言模型(LLMs)之间自然语音交互的模型家族。其核心包括两个创新模型:SenseVoice,负责处理多语言语音识别、情感识别和音频事件检测;以及CosyVoice,...
Gradio界面超友好,点点鼠标完成语音分析 你有没有过这样的经历:录了一段会议录音,想快速知道里面说了什么、谁在笑、谁语气激动、背景有没有音乐?以前可能得先转文字,再人工标注情绪,最后还要听好几遍确认。现在,这一切只需要点几下鼠标——上传音频,选个语言,点击识别,结果就出来了,...