本地模型与开放权重生态
模型与 API 目录
先按用途找模型,查看支持方式,再到配置引导保存一次。使用时选择已保存的记录。
本目录按 Boundless Flow 0.5.0 已实现的入口整理。列出的模型不一定随安装包提供,也不代表已安装或账户可用。下载或配置前,先展开卡片查看要求。
使用魔搭下载?查看 13 个快捷项的地址与图解步骤 →
01先完成一次短测试
中文转录可先用 SenseVoice。本地克隆可选已准备的 Index、Qwen Base 或 VoxCPM2;文字设计音色选 Qwen VoiceDesign。先确认一种目标语言正常,再在同传工作台组合识别、翻译与译声。
查看配置引导教程 → - 1在配置引导登记模型或 API
- 2用短录音、短文本检查识别或生成
- 3保存后,在对应工作台选择已配置记录
本地模型:选择 CPU 还是 NVIDIA GPU?
模型文件需另行准备。在配置引导检查所选模型的组件与设备,再选择 CPU 或 NVIDIA GPU;不同引擎的设备支持不同。检查通过后,先生成一段短语音。
Windows r469 的原生 CUDA 组件包含计算能力 7.5、8.0、8.6 和 8.9 的代码,并提供 PTX 前向兼容路径。已在 RTX 4090 完成 VoxCPM2 生成验证;其他显卡和模型仍需短句试音,不能据此推定全部兼容。软件会在加载模型前检查显卡、驱动与组件;检查未通过时,可在配置引导改用 CPU。FireRed 当前使用 CPU。
Windows 本机可用 NSIS 安装包,或当前 r475 本地测试签名 MSIX。旧 r468/r469 未签名预览包不能直接安装;本地 MSIX 测试需先明确导入并信任与包匹配的公开 CER,不表示已获 Microsoft Store 认证。查看本地 MSIX 安装步骤 →查看安装与首次配置说明 →
怎样看支持标记
- 原生可用
- 本地推理入口已实现,仍需匹配的模型文件和原生组件。
- 兼容路径
- 使用专用或旧运行组件,部分高级功能仍保留在这里。
- 服务接入
- 连接已启动的服务或云端 API,模型与权限由服务提供。
- 实验入口
- 已接入入口,完整产品验收尚未完成。
- 仅文件检查
- 识别目录或检查文件,此入口不执行模型推理。
- 仅配置模板
- 可以保存配置字段,对应语音协议尚未接通。
已实现协议仍需要有效地址和账户权限。本目录不表示每个提供商账户都已完成实测。
没有找到对应条目。可以换个模型名,或清除筛选。
02
语音转文字
4
SenseVoice Small · ONNX
中文录音转文字,可同时得到模型给出的语言、情绪和声音事件标签。
配置与使用限制
- 准备文件
- 目录内放 model.onnx,以及 tokens.json 或 tokens.txt。
- 开始使用
- 在配置引导中登记 ONNX 模型目录,保存后在录音设置选择。
- 使用边界
- 情绪标签用于辅助查看;未知标签保留为未知,不代表情绪强度。
SenseVoice Small · GGUF
通过原生语音组件转录,选择一个完整的模型文件。
配置与使用限制
- 准备文件
- SenseVoice.cpp 配套 GGUF 单文件。已验证 gguf-fp16-sense-voice-small.bin;.bin 后缀中的内容仍是 GGUF。
- 运行方式
- native-stt 原生组件。配置中选择模型文件,不能选择原始权重目录。
- 使用边界
- 原生组件须包含 SenseVoice 后端。自动语言当前偏向中文,固定语言时请明确选择源语言。
Whisper · whisper.cpp
使用本地 Whisper 文件做多语言语音转文字。
配置与使用限制
- 准备文件
- whisper.cpp GGML 格式的单个 ggml-*.bin 文件,须兼容软件的原生组件。
- 运行方式
- 在配置引导中选择模型文件。GGUF、Hugging Face 原始目录和 safetensors 不能直接用于此入口。
- 使用边界
- 识别语言由录音设置指定;仅英语模型不能用于中文。可用计算设备取决于安装的组件。
Fun-ASR-Nano · 2512
本地 Rust 识别录音片段,支持中文、英语和日语。
配置与使用限制
- 准备条件
- 需要启用 FunASR 的专用构建及配套模型目录。
- 使用边界
- 以识别卡片的组件状态为准;缺少 FunASR 时使用包含该后端的安装包。保留根 model.pt、config.yaml 与 Qwen3-0.6B 配置和分词器,无需另下 Qwen 权重。检查文件后仍需试转录;此入口不是持续输出 token 的原生流式识别器。
03
语音生成与音色
12
Qwen3-TTS · Base / VoiceDesign
Base 用于参考音克隆,VoiceDesign 用文字描述设计音色。
配置与使用限制
- 已验证变体
- 12Hz Base 0.6B、1.7B 与 VoiceDesign 1.7B 已完成本地离线生成验证。
- 准备文件
- 完整模型目录与 speech_tokenizer 子目录,包括各自的配置和 safetensors 权重。保存为不同名称后可分别选择。
- 开始使用
- 在配置引导登记模型,在声音面板选择 Base 克隆或 VoiceDesign 设计。两类权重对应不同任务。
Qwen3-TTS · CustomVoice / 高级流程
预置音色和部分高级流程仍走专用兼容运行路径。
配置与使用限制
- 包括的流程
- CustomVoice、设计后克隆及高级 x-vector 条件。英文界面中名称仍使用 CustomVoice。
- 使用边界
- 这些流程尚未全部并入统一原生适配器。可能需要旧语音运行组件;请先确认组件和模型类型匹配。
Index-TTS2 / 2.5
从参考音克隆声音,可使用文字情绪提示。
配置与使用限制
- 准备模型
- 在配置引导选择原始模型目录并准备原生模型。原文件保留,准备结果放在该目录的 .boundless-flow/native 中,使用时选择已准备的记录。
- 模型文件
- 准备后的目录包括 gpt.safetensors、s2mel.safetensors、声学特征、语义编码器及 BigVGAN / W2V-BERT 配套文件。按检查结果补齐文件。
- 参考音与语言
- 从音色库导入参考音。原生参考音要求单声道 16 kHz PCM16 WAV,1 至 60 秒;Index 当前可先选自动语言。
Index-TTS2 · 高级情绪条件
部分高级情绪调节保留在传统声音面板。
配置与使用限制
- 使用边界
- 参考情绪音频、情绪向量等高级条件尚未全部迁移到统一原生接口,仍可能需要兼容组件。原生文字情绪提示与这些条件是不同入口。
VoxCPM2
用原生运行组件从参考音生成克隆语音。
配置与使用限制
- 准备文件
- 完整模型目录,包含主权重、配置、分词器和 audiovae.safetensors。缺少 AudioVAE 时先在配置引导检查或准备。
- 使用边界
- 配套 Runtime 可在配置引导登记。此入口不提供独立的情绪强度或 VoiceDesign 能力。
CosyVoice3 · 原生 GGUF
本地原生入口需要专用 GGUF 配套文件。
配置与使用限制
- 准备条件
- 选择当前原生引擎认可的完整 GGUF 包及配套组件。上游原始训练权重不能直接替代。
- 使用边界
- 入口和文件检查已接入,当前版本尚未完成完整生成质量验收。需要稳定使用时可选择已运行的模型服务。
Fish Speech S2 Pro · 原生 GGUF
本地原生入口需要当前引擎配套的 GGUF 模型包。
配置与使用限制
- 准备条件
- 选择检查器认可的完整 GGUF 文件及配套组件,不能只将原始权重改名为 .gguf。
- 使用边界
- 完整生成质量验收尚未完成。模型属于开放权重生态,使用许可请查看官方模型说明。
CosyVoice3 · 模型服务
连接已启动的本地或远程模型服务,发送参考音试音。
配置与使用限制
- 准备条件
- 由服务加载模型。软件填写服务地址,试音成功后再用于同传;软件不会自动启动这个服务。
- 使用边界
- 服务克隆接口已实现。参考音将发送到填写的地址,服务须匹配适配器协议;不能填任意网页地址。
Fish Speech S2 Pro · 模型服务
连接已启动的 Fish 模型服务,可使用参考音与表达标签。
配置与使用限制
- 准备条件
- 在配置引导保存模型服务地址,先完成试音。运行由服务方负责,软件不自动加载服务端模型。
- 使用边界
- 服务克隆接口已实现,实际模型版本、标签能力和速度由服务决定。参考音会发送到指定服务。
VibeVoice Realtime 0.5B
连接官方形态的实时语音服务,用预置音色合成。
配置与使用限制
- 接口
- 服务需提供 /config 与 /stream WebSocket;返回 24 kHz 音频。
- 使用边界
- 当前适配器使用完整文本与预置音色,不提供参考音克隆、音色设计或速度控制。模型文件检查不能代替运行服务。
FireRedTTS3 · Instruct / RedAE
实验性本地 CPU 语音生成;当前 Windows 安装包不含此引擎的 CUDA 运行组件。
配置与使用限制
- 准备条件
- 需要匹配的 Instruct / RedAE 模型和专用原生运行组件,计算设备请选择 CPU。仅下载模型目录不足以运行。
- 使用边界
- 当前不提供独立的音色设计或情绪调节,完整产品验收尚未完成。可先用 Index、Qwen Base 或 VoxCPM2 完成短试音。
MOSS-TTS · OpenMOSS
可以登记并检查模型文件,尚不能通过此入口原生生成语音。
配置与使用限制
- 使用边界
- MOSS 模型系列的目录识别与文件检查已加入。检查通过不代表推理已支持,也不能据此用于声音克隆或同传译声。
04
翻译模型
3
HY-MT2 · 本地托管
启动本地翻译服务,让字幕和同传使用本机模型。
配置与使用限制
- 准备文件
- 当前托管路径使用经过校验的 HY-MT2 1.8B Q4_K_M GGUF 文件和配套 llama-server 服务组件。
- 开始使用
- 在配置引导选择模型文件、服务组件与计算设备,启动后试译短文本,再选用于翻译并保存。
- 使用边界
- 原始权重目录不能替代 GGUF。首次加载可提前完成;多种字幕语言会增加翻译请求。
HY-MT2 / HY-MT1.5 · 服务接入
使用 Ollama 或 OpenAI 兼容服务提供的翻译模型。
配置与使用限制
- 模型选择
- 可填写服务实际提供的 HY-MT2 / HY-MT1.5 模型 ID。1.8B、7B 和量化变体需要各自正确的服务记录。
- 使用边界
- 软件提供翻译提示词、有限上下文和目标语言检查。模型、硬件与服务决定速度;检查不能保证语义完全正确。
Index-Translate
连接兼容翻译服务,或使用实验性本地托管路径。
配置与使用限制
- 模型选择
- 服务可配置 Index-Translate 2B、9B、35B-A3B 等实际模型 ID。
- 本地运行
- 实验性托管入口需要检查器认可的 GGUF、正确模型元信息和配套服务组件。不是所有原始模型目录都能启动。
- 使用边界
- 公共服务的可用性与限额由服务方决定。保存配置后仍须试译,不能把保存成功当作服务已可用。
05
声纹、情绪与分段
5
CAM++ / ERes2NetV2 / 兼容声纹 ONNX
提取声纹特征,建立音色档案并比较录音。
配置与使用限制
- 准备文件
- 选择 sherpa-onnx 声纹提取器兼容的单个 ONNX 文件。已使用 CAM++、ERes2NetV2 及 embedding.onnx 路径验证。
- 使用边界
- 模型格式和特征维度须匹配,文件名相同不能保证兼容。相似度用于辅助比较,不是身份认证或可靠概率。
Pyannote · 分离说话人
使用配套 ONNX 模型给会议片段分配说话人标签。
配置与使用限制
- 准备文件
- 需要 sherpa-onnx 兼容的 segmentation ONNX 与 embedding ONNX 两个模型;不能直接填 Pyannote 原始训练目录。
- 使用边界
- 通过独立原生辅助组件运行。标签表示会话中的说话人分组,确定姓名仍需用户关联。
emotion2vec+ · Base / Seed
分析录音片段的情绪类别,在会议与声纹工作台中辅助查看。
配置与使用限制
- 准备文件
- 使用当前适配器认可的 Base / Seed ONNX 包及配套元信息。模型版本与结构会校验,不能仅凭同名文件替换。
- 使用边界
- 提供九类标签;短音、轻声、重叠语音可能不可靠。分类分数不代表情绪强度,也不是心理诊断。
Silero VAD
判断哪些片段包含讲话,用于分段和挑选声纹参考音。
配置与使用限制
- 准备文件
- 模型文件夹内需要 silero_vad_16k.safetensors。此入口使用 audio.cpp 适配权重。
- 运行方式
- 监督原生工作器支持 16 kHz、每块 512 样本的流式检测;声纹工作台也可检查参考音。
- 使用边界
- 通用 Silero ONNX 或 JIT 文件不能直接替代。检测不到讲话时请试听原音,避免误丢轻声片段。
MarbleNet VAD
在声纹工作台中检查语音活动,并选择参考音片段。
配置与使用限制
- 准备文件
- 同一目录内放 marblenet_vad.safetensors、marblenet_vad_config.json、marblenet_vad_labels.txt。
- 使用边界
- 已接通本地检查与选段。当前实时录音分段使用 Silero,MarbleNet 不承担该流式入口。
06
云端与实时 API
14
OpenAI / 兼容 TTS
通过云端或兼容接口把文本转成语音。
配置与使用限制
- 已实现接口
- /audio/speech,使用 PCM 输出;默认模型模板为 gpt-4o-mini-tts。
- 使用边界
- 模型和音色 ID 必须由接口实际提供。通用兼容接口不自动获得参考音克隆或音色设计能力。
MiniMax · TTS / 音色
接入语音生成,以及账户音色克隆和设计。
配置与使用限制
- 已实现接口
- TTS SSE 与双向流式接口,模型模板包括 speech-2.8-turbo;账户音色列表、克隆和设计入口已实现。
- 使用边界
- 账户权限、模型与参考音要求由服务决定。云端克隆参考音路径要求 10 至 300 秒,不能沿用本地的 1 至 60 秒规则。
阿里云 · CosyVoice TTS
使用云端双向语音生成与音色注册。
配置与使用限制
- 已实现接口
- CosyVoice 双向流式 TTS 与 voice enrollment。音色注册须对应受支持的目标模型。
- 使用边界
- 云端 CosyVoice 与本地 CosyVoice3 服务分别配置。账户可用模型、注册限制和费用由服务决定。
ElevenLabs · TTS / Voice Design
接入双向语音生成和云端音色设计。
配置与使用限制
- 模型与接口
- 流式适配支持 eleven_flash_v2_5、eleven_turbo_v2_5、eleven_multilingual_v2;设计入口支持 multilingual_ttv_v2 / ttv_v3。
- 使用边界
- 当前双向流式入口不接受 eleven_v3。音色与权限由账户提供,不能将所有模型都视作互换。
火山引擎 · 豆包语音
通过流式接口生成译声或普通语音。
配置与使用限制
- 已实现接口
- V3 SSE 与双向流式 TTS,包含 seed-tts-2.0 资源配置。
- 使用边界
- 应用凭据、资源 ID、模型和音色须对应,不能只填写 API Key。克隆能力不能从 TTS 接口名称推断。
Qwen Audio 3.1 · TTS Next
使用 Model Studio 的 HTTP 语音生成接口。
配置与使用限制
- 已实现接口
- qwen-audio-3.1-tts-next 的专用 HTTP 适配,使用北京区域工作空间配置。
- 使用边界
- 这是云端接口,不会加载本地 Qwen3-TTS 权重。模型权限与请求字段以账户可用服务为准。
音频文件 ASR · OpenAI / Qwen
上传音频文件到已配置的识别服务。
配置与使用限制
- 已实现接口
- OpenAI 兼容文件转录,以及 qwen-audio-3.1-asr-flash 的专用适配。Qwen 文件请求按最多 180 秒分块。
- 使用边界
- 文件识别与实时 WebSocket 是不同入口。使用云端服务会发送音频,先用短文件验证语言和模型。
讯飞 · 实时语音转写大模型
按名称选择中英与方言自动识别,或需要单独权限的多语种模式。
配置与使用边界
- 一次配置
- 在配置引导 → API 保存此产品的 App ID、API Key、API Secret 与完整 /ast/communicate/v1 地址,选择模式并保存;录音时只选择已保存的服务,模式只能查看。
- 语言与旧配置
- 中英与方言模式需自动源语言、空语言提示;多语种模式支持官方 37 个语种,需另行申请权限。经典 RTASR/IAT 的旧值仍可见,迁移必须主动修改并保存。
- 收尾与可用版本
- 停录继续提交尾段,等待最终确认;失败不自动重连重发。正常存储时会议会话保留原音供重转写,出现存储提示先检查磁盘。此连接将在下一次源码更新提供,当前 Windows r475 安装包尚未包含。真实账户准确率和延时仍需测试。
豆包语音 · 实时识别
持续发送语音,接收服务端分句和最终确认;独立于方舟文本连接。
配置与使用边界
- 一次配置
- 配置引导 → API 保存 openspeech.bytedance.com、语音控制台 Key 和已开通的 volc.seedasr.sauc.duration / volc.seedasr.sauc.concurrent 资源;录音设置选实时 API → Doubao,复用已保存凭据。
- 语言与收尾
- 源语言须自动,提示留空;不支持强制语言。服务端自动分段,停止仍等待确认。断线保留原音,不自动重试或重发,不将草稿补成最终结果。
- 可用版本
- r468 候选版包含此功能;模型在配置引导保存,使用页选择服务,更换时点击「管理服务」。账号权限、计费、实际识别、实体设备与性能仍需验收;不是完整同传或克隆,不承诺固定延时。
Aliyun · Paraformer
持续发送语音,接收临时文字与服务端确认句。
配置与使用边界
- 配置入口
- 配置引导 → API:保存北京域名、Key 和 paraformer-realtime-v2;录音设置选「实时 API」→「Aliyun · Paraformer」,复用凭据。
- 处理方式
- 16 kHz 单声道 PCM;服务端约 400 ms 停顿分句。停止后继续等待 task-finished;失败保留原音,不自动重连或重发。
- 版本与验收
- r466 预览版已包含实时转写;r468 候选版支持统一管理模型,使用页选择已保存的服务。协议与本地模拟连接已检验,付费账号与实体麦克风尚未验收。不是文件转写、克隆或完整同传。
OpenAI · 实时转录
通过实时 WebSocket 发送 PCM 音频并接收转录。
配置与使用限制
- 已实现接口
- GA 实时转录协议,包含 gpt-live-transcribe、gpt-transcribe、gpt-realtime-whisper 的模型与语言约束。
- 使用边界
- 接通转录协议不等于接通所有实时语音对话或翻译模型。请选择本入口认可且账户可用的模型。
OpenAI · 连续同传
持续输入麦克风声音,接收一种目标语言的译声和字幕。
配置与使用限制
- 已实现接口
- 同传工作台使用 gpt-realtime-translate 的专用 /v1/realtime/translations 接口。源语言自动判断,提供 13 种目标语言;可选来源字幕。
- 使用边界
- 需要已保存的 OpenAI 连接及账户权限。声音风格随来源语音变化,不保证精确声纹克隆,不支持固定音色或自定义提示词。速度和质量须按自己的网络与语言组合试用。
Qwen Audio 3.1 · Realtime Plus
接入实时音频 API,使用独立的云端会话。
配置与使用限制
- 已实现接口
- qwen-audio-3.1-realtime-plus WebSocket,16 kHz 输入与 24 kHz 输出;支持北京和新加坡区域配置。
- 使用边界
- 与本地 STT → 翻译 → TTS 组合分别配置。云端权限、网络和可用音色会影响结果,不能当作本地离线模型。
其它 API 配置项
有些服务可以登记参数,当前尚未接通对应语音协议。
配置与使用限制
- 仅配置模板
- 经典讯飞 RTASR/IAT 与 TTS、MiniMax ASR、火山 ASR,以及 gpt-realtime-2 配置项。
- 使用边界
- 本行不代表可生成或可识别。若要现在使用语音,请选择上方已实现的接口;同一提供商的其它已实现功能不受影响。
07
会议与灵录 LLM
3
Ollama · 会议与灵录
把本地转录整理成纪要或主题报告。
配置与使用限制
- 准备条件
- 先启动 Ollama,配置地址与实际已安装的文本模型 ID,测试后用于会议或灵录。
- 使用边界
- 软件调用文本接口,不随安装包附带 LLM 权重。文本摘要能力不能替代 STT 或 TTS 模型。
会议 LLM · 兼容聊天接口
可选 OpenAI、DeepSeek、Kimi、MiniMax、火山与 GLM。
配置与使用限制
- 已实现接口
- 会议及灵录文本请求使用各提供商对应的兼容聊天接口。填写有效地址、凭据与服务实际提供的模型 ID。
- 使用边界
- 这些是文本报告提供商。列出提供商不代表它的所有音频模型均已接入;云端处理会发送待整理的文字。
Claude / Gemini · 会议与灵录
使用各自专用文本接口生成会议报告。
配置与使用限制
- 已实现接口
- Anthropic Messages 与 Gemini generateContent 文本请求已实现;模型 ID 由可用账户决定。
- 使用边界
- 先测试文本报告。这里不提供 Claude / Gemini 的语音转录、声音克隆或实时音频接口。
08
自建兼容服务
1
自建兼容服务 · vLLM / MLX / SGLang / LlamaEdge
已经运行的服务可按它实际提供的兼容协议接入。
配置与使用限制
- 接入方式
- 使用 OpenAI 兼容配置填写地址与模型 ID,先完成文本或对应音频测试。标识用于识别部署工具。
- 使用边界
- 软件不自动安装或启动这些引擎。服务必须匹配所选入口;提供聊天接口并不代表也提供语音接口。
选择条目不会自动下载模型权重。请从官方项目取得文件,选空间充足的存储盘,再登记实际路径。本页面也不会触发模型下载。
项目与标识归属
图中标识用于识别项目维护方、服务提供商或部署工具,不代表合作或背书。少数模型使用明确的文字标记。开放权重模型各有使用条件,请查看官方项目说明。
以下链接对应页面中的项目或提供商。标识和链接不增加软件的协议支持范围。
标识来源记录
选好模型后,统一登记一次
打开配置引导页的「本地模型库」,选择用途与模型家族,填写易辨认的名称、可选的大小/量化,以及已有文件夹或文件位置。识别、声音、同传、声纹和情绪工具按名称选择已保存条目。需要下载时,从当前家族的「下载准备」核对来源和目标磁盘,再明确开始下载。先检查文件并试一个短任务,最后完成并保存配置。
软件配置示例;图中未运行模型推理。