语音与音色
统一入口选择本地模型、模型服务或云端 API,再做克隆、设计与试音。
图中为软件实际界面,配置和会话使用示例内容。请按你自己的模型、服务和录音填写。
第一次使用?按场景开始从安装、模型下载到完成操作,查看新手图解教程 →选择运行方式
打开「语音工具 → 模型配置」。本地模型、模型服务、云端 API 是三个来源。不同来源保存各自表单草稿,切换不会自动生成或上传录音。云端来源可选择相应提供商;云端创建音色需要账户具有权限。
CosyVoice3 和 Fish Speech S2 Pro 的服务接入是可选方式。选择「模型服务」时,需要已启动且协议匹配的本机或远程服务,模型由服务加载;默认地址只是示例。无需单独启动服务的实验路径在「本机模型」中,要求完整 audio.cpp GGUF 包,不能直接加载官方原始权重目录,实际生成与音质仍待验证。
在服务试音区点击「本机 GGUF 配置」,可转到对应模型的本机配置。配置引导中也提供此按钮。它只切换配置入口,不复制服务密钥或参考音,不自动准备模型、生成音频或启用同传。
- 1选择与你下载的模型一致的家族。
- 2选择完整模型目录。
- 3选择清晰的单人参考录音。
- 1不使用独立服务时,打开对应模型的本机 GGUF 配置;实际生成待验。
- 2选择已在服务中加载的模型。
- 3填写已启动的本机或远程服务地址,默认地址只是示例。
- 4选择参考录音,点击生成才发送到所填服务。
本地模型能力与输入
| 功能/提示 | 使用说明 |
|---|---|
| Index-TTS2 / 2.5 | 参考音克隆、模型支持的情感控制;原始目录需准备为原生包。2.5 为实验适配,需实际生成复核。 |
| Qwen3-TTS | Base 使用参考音克隆;VoiceDesign 使用文字描述设计;CustomVoice 使用预置音色,不等同参考音克隆。需要匹配任务的模型包。 |
| VoxCPM2 | 参考音克隆;原生组件需要配套权重,缺少 audiovae.safetensors 时先准备模型。 |
| 提前加载 | 新版 Index-TTS2 和 VoxCPM2 组件可在检查通过后点击「提前加载模型」,无需填写试音文字,也不会生成或播放声音。连续同传会在录音前自动执行。准备时可取消;修改参考音或模型后需重新准备,空闲约60秒会释放。首句仍需处理参考音。此操作加载已有原生包,不是转换权重。 |
| CosyVoice3 | 原生入口需要完整 audio.cpp GGUF 包,或使用适配的模型服务;零样本、跨语言与指令模式输入不同。原生实际生成与音质尚未验证,请先试音确认。 |
| Fish Speech S2 Pro | 原生入口需要完整 audio.cpp GGUF 包,或使用适配服务;参考原文和模型支持的表达标签按界面填写。请先试音,确认当前模型的音质。 |
- 1选择 VoxCPM2,检查模型与参考录音。
- 2点击提前加载模型;完成后不生成或播放音频。
Index-TTS2 / 2.5 准备与试音
- 选择下载后的原始模型根目录,点击「检查模型」(旧版本称「检查组件与参考音」)。待准备提示和缺少原生文件不等于原始权重全部丢失。
- 点击「准备原生模型」。转换写入同一目录的 .boundless-flow/native;保留原文件,尽可能关联已有大权重。该位置固定复用,不按时间创建多份;不会失败后自动转存 C 盘。
- 等待完成和路径自动切换,再重新检查。转换产生的新文件仍需要源磁盘空间和写入权限;不要准备中手动移动原始权重。
- 导入合格参考音并填写合成文本,生成后试听、下载,确认结果后再保存音色或用于同传。
- 1确认原始模型目录。
- 2先检查模型,再按提示准备。
- 3需要转换时点击准备原生模型。
参考录音与音色库
多数本机克隆入口要求参考音为 1–60 秒,建议 3–10 秒;FireRed 须 1–10.24 秒,建议 3–5 秒清晰单人讲话。用「导入参考录音」显式导入支持的音频;转换后的单声道 16 kHz WAV 与来源记录一起保存,原文件保留。不用补静音把过短录音伪装为合格。声纹工作台的输入要求另见声纹页。
按模型要求填写与参考音一致的原文。音色库可搜索、重命名、归档、恢复、用作参考;归档仅隐藏,不删除录音,也不释放磁盘空间。应用到当前参考需明确操作。
- 1选择要导入的原始录音。
- 2为录音填写便于查找的名称。
- 3点击导入,原录音会保留。
设计、情感和 A/B 试听
音色设计填写声音特征和试音文本,使用支持设计的模型/服务。情感参数、指令和表达标签只对所选后端支持的能力生效;控制合成情绪与识别输入情绪不是同一功能。
可从本机和服务生成结果保留 A/B 对比,尽量使用相同文本与语言。试听结果的请求总耗时不等于首音延迟;本次会话的对比结果需下载或保存才能长期留存。
- 1选择声音设计,并使用对应模型。
- 2描述音色、语速和表达方式。
- 3填写用于试听的文字。
VibeVoice Realtime 0.5B 服务试音
- 在「模型服务」选择 VibeVoice Realtime 0.5B。先自行启动官方服务,填写 ws://127.0.0.1:3000 等实际地址;软件不会下载模型或启动 Python。
- 填写服务已提供的准确预设音色,例如 en-Carter_man。连接会检查服务音色清单,不会在名称错误时悄悄换成其他音色。
- 点击生成,完成后播放试听;修改文字或参数后须重新生成。只有当前参数的成功试音可「用于持续同传」,保存失败可重试。取消或关闭声音面板会取消当前试音。
| 功能/提示 | 使用说明 |
|---|---|
| 能力边界 | 整句文本输入、流式 PCM 输出、预设音色;不提供参考音克隆、声音设计、独立情绪参数或增量译文输入。 |
| 试用提示 | 先用目标语言短文本试音;中文效果与实际设备表现尚未确认。 |
- 1在模型服务中选择 VibeVoice。
- 2填写已启动的服务地址。
- 3使用服务提供的准确预设音色名称。
检查未接入的模型包
MOSS-TTS、FireRedTTS3 Base 和 dots.tts 等模型目前不能在这里合成声音。MOSS 和 FireRed 可先检查模型包,找出缺失文件或架构不匹配的问题。文件检查通过仍不表示可以运行模型;FireRed Instruct 的离线试音操作见下节。
- 在「语音工具 → 模型配置」展开「正在接入的模型」,选择 MOSS-TTS 或 FireRedTTS3,再选择模型根目录或单个模型目录。
- MOSS 的编解码器可放在模型根目录的 MOSS-Audio-Tokenizer 或 MOSS-Audio-Tokenizer-v2 子目录内,也可在可选字段中选择独立目录。同时存在两个版本时,需要明确选择;模型和编解码器声明的采样率不同会提示。
- 点击「检查模型包」,分别查看模型和依赖组件。MOSS 缺 Audio Tokenizer 时检查依赖路径;FireRed 只找到下载暂存权重时先完成下载。不要把暂存文件直接当作正式模型。
- 修改路径或切换模型后重新检查。检查不会下载、转换、启用模型或保存配置,也不会改动原文件。
| 功能/提示 | 使用说明 |
|---|---|
| 文件已检查 | 仅核对本次检查范围中的配置、权重头或组件文件。音质、真实合成与实时性能仍须另外验证。 |
| 准备流程 | 不要将这些模型的权重改名为其他模型文件,也不要使用 Index 的准备流程。 |
- 1选择模型家族。
- 2选择模型根目录或单个模型目录。
- 3编解码器放在其他位置时,在这里选择。
- 4开始只读检查。
- 1核对依赖缺项和目录,不将文件检查当作合成成功。
- 1选择 FireRedTTS3。
- 2选择完整模型目录。
- 3只找到暂存权重时,先完成模型下载。
FireRedTTS3 Instruct 离线试音
此入口仍属实验,完整音质和持续实时性能尚未验收。FireRed 已接入同传的生成中播放实验,操作见同传章;当前没有此模型的音色设计或独立情绪参数。加载较大的模型可能需要较长时间,可查看任务状态并取消。
- 在「语音工具 → 模型配置」选择「本机模型」,再选择 FireRedTTS3 Instruct 和 CPU。当前 Windows 安装包不提供 FireRed 的 CUDA 组件。先用一句短文本试音,确认速度与音质符合需要。
- 选择原始模型根目录,其中应包含 fireredtts3_instruct、redae 和 text_tokenizer。也可选择 fireredtts3_instruct 子目录。此模型无需 Index 的权重准备流程,也不使用 GGUF。
- 点击「检查模型」。检查通过后,可点「提前加载模型」;这一步只加载模型,不生成声音,也不需要参考录音或文本。首句仍需处理参考音。
- 选择1–10.24秒清晰单人 WAV,建议3–5秒,并填写录音中实际说出的原文。导入或更换参考音后重新点击「检查模型」,再生成短试音;不要沿用旧参考音的检查。合格的单声道24 kHz录音保持原样;其他支持的PCM采样率会生成24 kHz参考副本,保留原文件。参考过长时,请换一段较短录音。
- 填写合成文本,生成后等待音频出现,再试听或保存;“正在核验试音”仍不表示生成已经完成。修改模型路径或后端后须重新检查。
- 满意后保存音频或加入音色库。音色库保留原始生成音频,并派生单声道16 kHz参考,同时记录生成来源和版本。
| 功能/提示 | 使用说明 |
|---|---|
| 连续试音 | 相同模型与运行配置可复用已加载模型,成功处理的相同参考音也可复用。空闲约60秒后释放;切换模型、取消、超时或任务失败也会释放。已完成的音频仍可试听与保存。 |
旧截图用于说明控件位置,图中的 CUDA 是较早参数;当前 Windows 安装包使用 FireRed 时请选择 CPU。需要 NVIDIA GPU 时,请选择已支持的 Index-TTS2、Qwen3-TTS 或 VoxCPM2,并先通过组件与设备检查。
- 1选择 FireRed Instruct 离线试音。
- 2选择包含 Instruct、RedAE 与分词器的原始目录。
- 3可提前加载模型;此步骤不生成声音。
- 4填写参考录音中实际说出的原文。
- 5填写将要生成的文本,再检查和生成。
云端克隆与声音设计
在「语音工具 → 模型配置」选择云端 API,再选择 MiniMax,填写服务地址与 API Key。使用前确认账户具有创建音色的权限。下面分别展示克隆和设计表单。
- 克隆:先将参考录音导入音色库,再打开克隆页,选择参考音并填写音色 ID。录音要求以当前服务提示为准。点击创建后才会上传录音。
- 设计:打开设计页,描述希望听到的音色、语速与表达方式,再填写试音文本。无需把参考录音当作声音描述上传。
- 完成后试听并检查返回的音色 ID,再应用到语音配置。失败时先查看任务状态;确认上一次没有完成后再重试,避免重复创建。
- 1选择音色库中的参考录音。
- 2填写本次克隆的音色 ID。
- 1写出你希望听到的声音特征。
- 2填写试听文字。
- 3确认描述后创建音色。
Qwen3-TTS:克隆与声音设计
先在「配置引导页」登记模型。克隆选择 Base 0.6B 或 1.7B,声音设计选择 1.7B VoiceDesign;它们使用不同权重。日常使用在声音面板选择已配置模型,无需重复填写目录。普通克隆与声音设计走本机原生组件。
- 克隆:选择音色库中的参考音,并核对参考原文。原文必须与录音实际说出的内容一致;缺少时先补充。填写要生成的话,点击「生成语音」,等待音频出现后试听。
- 设计:选择声音设计用途,描述音色与表达,如「成年女性,声音温暖,语速适中」,再填写试音文字。此步骤不需要参考录音。
- 满意的设计可保存到音色库,记录试音原文。以后选择 Base 模型,以该音色作为参考进行克隆。
第一次生成包含加载模型和处理参考音,通常更慢;同一模型连续生成可复用已加载组件。CustomVoice 预置音色、先设计后克隆的自动流程及部分高级参数仍使用兼容组件,不能把它们当作普通原生克隆。
Qwen 云声音:这段音频是哪个连接生成的?
本节来源标注需 Windows r512 或后续安装预览。
打开语音工具 → 模型配置 → 云端 API → Qwen Audio 3.1 · TTS,选择在配置引导中保存的连接。上方显示的服务用于下一次生成;生成后,结果区的这段音频的来源显示本段声音生成时使用的连接、服务域名和模型。
已保存的连接改变后,已有结果可能显示来自此前配置。这段声音仍来自结果区标明的原配置,可以继续试听、下载 WAV,或保留至 A/B;每条对比音频保留各自来源。重新生成时,使用当前保存的连接。
- 1上方连接用于下一次生成,不会改写旧音频的来源。
- 2结果保留生成时的服务与模型;出现「来自此前配置」时,仍以这里为准。
- 3可继续试听、下载这段音频;修改配置或重载界面前,先下载需要保留的声音。
较早版本的试听与 A/B 仅保留在当前界面会话,重新加载前需要下载。支持下节恢复流程的更新可在本窗口重载后找回已完成暂存的音频;需要长期保留的声音仍请下载。
如果提示服务、认证信息不可用,或连接已经更改,请回配置引导检查并重新保存,再选择连接。取消生成后,等待收尾完成再切换服务。音色与表达效果需要试听判断;请求成功不代表克隆准确率或实时同传延时已经达标。
完成配置引导后,继续试听
本节流程需要 r480 或更新的 Windows 候选安装版;r475 安装包不含本节改进。
- Qwen Audio 3.1 试音成功后,等待本地暂存完成。要做对比,可把生成结果保留至 A 或 B;共享 A/B 支持本机模型、模型服务和云端结果,也保留 MP3。试听暂存尚未写完时,配置引导不会重载界面。
- 在同一个应用窗口中完成并保存配置引导。界面重新加载后,打开「语音工具」;进入对应工作台时,找回最近暂存的 Qwen 试听和 A/B 音频,无需在软件启动时加载音频。
- 先核对恢复音频的原来源。修改连接或停用提供商,不会把旧音频改归新来源,也不会恢复已停用的提供商。来源标注记录原请求,不表示当前 API Key 仍有效;再次生成仍须选择当前可用的已保存连接。
- 点击播放才会试听。恢复不会自动播放、请求提供商或上传参考录音。可以继续试听、下载原来的声音,再选择其他连接生成下一段。
- 1当前保存的服务用于下一次生成,可能与找回音频的原来源不同。
- 2「从本机恢复」与「来自此前配置」描述的是这段旧音频;来源记录不表示当前认证信息仍有效。
- 3点击播放才试听;也可下载 WAV 或保留至 A/B。恢复本身不会执行这些操作。
暂存范围与长期保留
需要保留的声音请下载。这项缓存用于当前窗口的界面重载衔接,不提供永久保存或关机重启后恢复。浏览器禁用存储、手动清理数据、过期或容量清理,都可能使音频无法恢复。若看到本地暂存失败提示,当前音频仍可试听、下载;请先下载,再重载或关闭界面。
| 暂存内容 | 上限 |
|---|---|
| 最近一次 Qwen 试听 | 8 MiB,一段音频 |
| 共享 A/B | 每槽 32 MiB,保留原 Blob 与格式,包括 MP3 |
| 所有窗口合计 | 96 MiB 音频,最多 12 条记录 |
| 过期与清理 | 12 小时过期;下一次写入缓存时清理过期记录,容量不足时按最早记录淘汰。 |
本机暂存保留什么?
IndexedDB 保存音频 Blob、SHA-256 完整性校验值和选定的生成元数据,不保存认证凭据或带签名的服务地址。Session Storage 只保存随机窗口 UUID 与各槽版本标记,不包含文本、音频或凭据。这里的清理只针对浏览器试听暂存,不表示其他原生合成输出文件已被清理。
