CosyVoice:零样本克隆声音的开源语音合成,覆盖九种语言与十八种中文方言

多数开源语音合成模型的宣传点都落在「像不像人」上,CosyVoice 的路线略有不同:它把重心放在覆盖面——九种语言、十八种以上中文方言与口音,再加上跨语言的零样本声音克隆。项目由 FunAudioLLM 团队维护,仓库简介写得很直接:一个多语言大语音生成模型,提供推理、训练与部署的全栈能力。

代码以 Apache 2.0 许可证开源,最新一代是 Fun-CosyVoice 3.0,官方说明它是基于大语言模型的语音合成系统,在内容一致性、说话人相似度与韵律自然度上都比上一代 CosyVoice 2.0 更强。

CosyVoice 官方仓库 Highlight 与 Key Features 一节

先看覆盖范围:九种语言加十八种中文方言

官方列出的九种语言是中文、英语、日语、韩语、德语、西班牙语、法语、意大利语和俄语。对国内使用者来说,更值得关注的是方言那一栏:十八种以上中文方言与口音,官方举例里能看到广东、闽南、四川、东北、陕西、山西、上海、天津、山东、宁夏与甘肃。

方言支持的难度不在于「能不能念」,而在于语料稀缺、发音规律和普通话差别大。把这一块单独列进核心特性,说明这个项目在中文语境下的投入是有意为之的。

零样本克隆,以及用指令调语气

声音克隆方面,官方把「多语言」与「跨语言」的零样本克隆放在同一条说明里——意味着你可以用一种语言录的样本,去合成另一种语言的语音,不需要为每个语种重新准备数据。

另一个实用功能是指令控制:语言、方言、情感、语速、音量都可以通过指令指定。对做有声内容的人来说,这比反复重新生成碰运气要可控。官方还单独列出发音修正能力,支持中文拼音与英文 CMU 音素的干预,遇到多音字或者外文专有名词时可以手工纠正。

流式推理:延迟最低约 150 毫秒

官方在特性里写明支持文本输入流式与音频输出流式的双向流式,延迟最低可达 150 毫秒,同时维持音频质量。这个数字的意义在于实时对话场景——如果要把语音合成接进客服机器人或者语音助手,延迟是能不能用的分水岭。

CosyVoice 官方仓库 Roadmap 中的版本发布记录

版本与模型怎么选

项目目前有三代:CosyVoice 1.0、CosyVoice 2.0 与 Fun-CosyVoice 3.0,官方分别给出了论文与模型仓库入口。可下载的预训练模型不止一个:三百兆参数规模的 CosyVoice-300M,以及它的微调版 300M-SFT 和指令版 300M-Instruct,再往上还有 CosyVoice2-0.5B 与最新的 Fun-CosyVoice3-0.5B。

官方在文档里明确推荐用 Fun-CosyVoice3-0.5B,理由是效果更好。如果你的场景偏重指令控制,选带 Instruct 的版本;如果只是快速跑通流程,三百兆的版本体积更小、显存压力也更低。

装起来:Conda 一条环境加模型下载

CosyVoice 官方仓库的克隆安装说明与预训练模型下载列表

官方给出的路径是先克隆仓库并拉取子模块,然后用 Conda 建一个 Python 3.10 的环境装依赖,最后按需下载预训练模型。模型可以从 ModelScope 或者 HuggingFace 拉取,国内用户走前者会顺一些。

有一个细节值得留意:文本归一化默认走 wetext,如果你另外解压并安装了 ttsfrd 资源包,会得到更好的数字与符号读法。官方也说明这一步不是必需的,可以跳过。

跑起来,以及需要更快的推理时

CosyVoice 官方仓库的 Basic Usage 与 vLLM 使用说明

最简单的验证方式是跑官方示例脚本,或者起一个网页演示,指定模型目录和端口就能在浏览器里试听。如果对吞吐或延迟有更高要求,CosyVoice 2 与 3 支持用 vLLM 加速推理,但版本有讲究:官方说明支持 0.11 以上的新版引擎与 0.9.0 的旧版,低于 0.9.0 的版本无法推理,而两者之间的版本没有得到验证。

它适合谁

如果你的需求集中在中文,尤其是需要方言、需要可控的语气与发音修正,CosyVoice 的能力组合比通用英文 TTS 更对得上。加上代码开源、可本地部署,对数据不出内网有要求的场景也比较友好。

需要提前确认的仍是两件事。一是模型权重的许可条款——仓库里的代码是 Apache 2.0,但把生成结果用于商业用途前,建议再核对一遍模型本身的授权说明。二是声音克隆的合法性:用别人的声音、尤其是公众人物的声音制作内容,可能涉及人格权与声音权,权利来源要落到纸面上。

开源语音模型这两年进步很快,覆盖的语言和方言越来越全。技术层面的选择变多了,剩下的问题反而回到人身上:你想让机器用谁的声音、说什么话。

CosyVoice下载地址
支持的操作系统: Windows Linux macOS