Skip to content

feat(parakeet): 支持 Parakeet TDT 0.6B v3 #413

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
buxuku merged 3 commits into from
Aug 3, 2026
Merged

feat(parakeet): 支持 Parakeet TDT 0.6B v3 #413

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
3 commits
Select commit Hold shift + click to select a range
467e840
feat(parakeet): add TDT 0.6B v3 transcription support
nightt5879 Jul 30, 2026
d2a5914
fix(parakeet): harden model installation
nightt5879 Jul 30, 2026
37b411f
Merge remote-tracking branch 'upstream/main' into nightt5879/feat-187…
nightt5879 Aug 3, 2026
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
25 changes: 13 additions & 12 deletions README.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -56,8 +56,8 @@
### 字幕生成（转写）

- 多种视频 / 音频格式批量生成字幕，并发任务数可调
- 7 类转写引擎逐任务切换：内置 `whisper.cpp`、`faster-whisper`、`FunASR`、`Qwen3-ASR`、`FireRedASR`、本地 `Whisper CLI`，以及免 GPU 的云端听写（8 家服务商）
- 本地引擎完全离线，无需联网上传；中文场景可直接选用 FunASR / FireRedASR
- 8 类转写引擎逐任务切换：内置 `whisper.cpp`、`faster-whisper`、`FunASR`、`Qwen3-ASR`、`FireRedASR`、`NVIDIA Parakeet`、本地 `Whisper CLI`，以及免 GPU 的云端听写（8 家服务商）
- 本地引擎完全离线，无需联网上传；中文场景可选 FunASR / FireRedASR，英文与欧洲语言可选 Parakeet
- AI 字幕精修（可选）：大模型语义断句 + 批量校正——断句按语义重组且时间轴仍精确到词（连接词不吊行尾、数字不被停顿劈开），校正修同音字、去语气词、规范标点；服务商默认跟随 AI 翻译配置（本地 Ollama 零成本），失败自动回退规则断句
- 简繁转换、自定义字幕文件名（方便不同播放器挂载识别）、可选中文字幕去标点

Expand Down Expand Up @@ -107,13 +107,13 @@

对价格敏感的用户，下面这条路线不花一分钱，也不需要注册任何服务：

| 环节 | 免费方案 | 说明 |
| -------- | ----------------------------------------------------------------------- | ---------------------------- |
| 视频下载 | yt-dlp / lux 开源引擎 | 应用内一键安装，免费使用 |
| 语音转写 | whisper.cpp / faster-whisper / FunASR / Qwen3-ASR / FireRedASR 本地模型 | 模型下载一次，离线可用 |
| 字幕翻译 | 内置免费翻译（必应 / 谷歌接口，自动回退）、Ollama 本地大模型、DeepLX | 免费翻译开箱即用，零配置 |
| TTS 配音 | 本地 Kokoro / VITS / ZipVoice 声音克隆；Edge TTS 免费档 | 本地模型离线合成，无用量限制 |
| 字幕烧录 | 内置 ffmpeg | 本地合成 |
| 环节 | 免费方案 | 说明 |
| -------- | ---------------------------------------------------------------------------------- | ---------------------------- |
| 视频下载 | yt-dlp / lux 开源引擎 | 应用内一键安装，免费使用 |
| 语音转写 | whisper.cpp / faster-whisper / FunASR / Qwen3-ASR / FireRedASR / Parakeet 本地模型 | 模型下载一次，离线可用 |
| 字幕翻译 | 内置免费翻译（必应 / 谷歌接口，自动回退）、Ollama 本地大模型、DeepLX | 免费翻译开箱即用，零配置 |
| TTS 配音 | 本地 Kokoro / VITS / ZipVoice 声音克隆；Edge TTS 免费档 | 本地模型离线合成，无用量限制 |
| 字幕烧录 | 内置 ffmpeg | 本地合成 |

付费云服务（OpenAI、ElevenLabs、火山引擎、腾讯云等）全部是可选增强，按需选用。

Expand Down Expand Up @@ -160,10 +160,11 @@ brew upgrade --cask smartsub # 升级
| **FunASR** | SenseVoice（中 / 英 / 日 / 韩 / 粤）与 Paraformer-zh，中文表现优秀 | 内置 sherpa-onnx 原生库 |
| **Qwen3-ASR** | 通义千问语音识别（qwen3-asr-0.6b / 1.7b） | 内置 sherpa-onnx 原生库 |
| **FireRedASR** | FireRedASR-AED large（中英），中文表现优秀 | 内置 sherpa-onnx 原生库 |
| **NVIDIA Parakeet** | Parakeet TDT 0.6B v3，支持 25 种欧洲语言及标点、大小写 | 内置 sherpa-onnx 原生库 |
| **本地 Whisper CLI** | 调用你自行安装的 whisper 兼容命令 | 使用系统已装命令 |
| **云端听写（在线 ASR）** | 8 家在线服务商，免 GPU、支持多服务商多实例 | 在线服务（音频上传到你配置的端点） |

FunASR / Qwen3-ASR / FireRedASR 均通过内置的 sherpa-onnx 原生库运行，无需额外环境；faster-whisper 会在应用内下载一个自包含运行时。
FunASR / Qwen3-ASR / FireRedASR / Parakeet 均通过内置的 sherpa-onnx 原生库运行，无需额外环境；faster-whisper 会在应用内下载一个自包含运行时。

</details>

Expand Down Expand Up @@ -280,7 +281,7 @@ AI 翻译的结果受模型和提示词影响较大，可以尝试不同的模

导入步骤：在「引擎与模型」页面点击「导入模型」，选择下载好的模型文件确认导入；或直接复制到模型目录。

FunASR / Qwen3-ASR / FireRedASR 等引擎的模型可在「引擎与模型」页面内按需下载（支持 ModelScope / GitHub 等多源）。
FunASR / Qwen3-ASR / FireRedASR / Parakeet 等引擎的模型可在「引擎与模型」页面内按需下载（支持 ModelScope / GitHub 等多源）。

</details>

Expand Down Expand Up @@ -361,7 +362,7 @@ yarn dev
## 致谢

- [whisper.cpp](https://github.com/ggerganov/whisper.cpp) — 本地转写引擎基础
- [sherpa-onnx](https://github.com/k2-fsa/sherpa-onnx) — FunASR / Qwen3-ASR / FireRedASR 与本地 TTS 的运行时
- [sherpa-onnx](https://github.com/k2-fsa/sherpa-onnx) — FunASR / Qwen3-ASR / FireRedASR / Parakeet 与本地 TTS 的运行时
- [FFmpeg](https://ffmpeg.org/) — 音视频处理与字幕烧录
- [Bob](https://bobtranslate.com/) — 翻译服务申请文档

Expand Down
25 changes: 13 additions & 12 deletions README_EN.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -56,8 +56,8 @@ Online video **download** / local media → **transcribe** → **translate** →
### Subtitle generation (transcription)

- Batch subtitle generation for a wide range of video / audio formats, with configurable concurrency
- 7 engine families, switchable per task: built-in `whisper.cpp`, `faster-whisper`, `FunASR`, `Qwen3-ASR`, `FireRedASR`, your local `Whisper CLI`, plus GPU-free Cloud ASR (8 providers)
- Local engines are fully offline — nothing gets uploaded; FunASR / FireRedASR shine on Chinese content
- 8 engine families, switchable per task: built-in `whisper.cpp`, `faster-whisper`, `FunASR`, `Qwen3-ASR`, `FireRedASR`, `NVIDIA Parakeet`, your local `Whisper CLI`, plus GPU-free Cloud ASR (8 providers)
- Local engines are fully offline — nothing gets uploaded; FunASR / FireRedASR shine on Chinese, while Parakeet targets English and European languages
- Optional AI subtitle refine: LLM semantic segmentation + batch correction — lines are regrouped by meaning while timing stays word-accurate (no dangling connectives, numbers never split by pauses); correction fixes homophones, removes fillers and normalizes punctuation. Defaults to your AI translation provider (free with local Ollama) and falls back to rule-based segmentation on failure
- Simplified/Traditional Chinese conversion, custom subtitle file naming (for player auto-loading), optional punctuation removal for Chinese subtitles

Expand Down Expand Up @@ -107,13 +107,13 @@ Online video **download** / local media → **transcribe** → **translate** →

If you're cost-conscious, this route costs nothing and requires no sign-ups:

| Step | Free option | Notes |
| -------------- | --------------------------------------------------------------------------------- | ----------------------------------------- |
| Video download | yt-dlp / lux open-source engines | Installed in-app with one click, free |
| Transcription | whisper.cpp / faster-whisper / FunASR / Qwen3-ASR / FireRedASR local models | Download a model once, works offline |
| Translation | Built-in free translation (Bing / Google endpoints with fallback), Ollama, DeepLX | Free translation works with zero setup |
| TTS dubbing | Local Kokoro / VITS / ZipVoice voice cloning; Edge TTS free tier | Local synthesis is offline, no usage caps |
| Burn-in | Bundled ffmpeg | Fully local |
| Step | Free option | Notes |
| -------------- | -------------------------------------------------------------------------------------- | ----------------------------------------- |
| Video download | yt-dlp / lux open-source engines | Installed in-app with one click, free |
| Transcription | whisper.cpp / faster-whisper / FunASR / Qwen3-ASR / FireRedASR / Parakeet local models | Download a model once, works offline |
| Translation | Built-in free translation (Bing / Google endpoints with fallback), Ollama, DeepLX | Free translation works with zero setup |
| TTS dubbing | Local Kokoro / VITS / ZipVoice voice cloning; Edge TTS free tier | Local synthesis is offline, no usage caps |
| Burn-in | Bundled ffmpeg | Fully local |

Paid cloud services (OpenAI, ElevenLabs, Volcengine, Tencent Cloud, and others) are optional upgrades — use them only if you want them.

Expand Down Expand Up @@ -160,10 +160,11 @@ The engine is a per-task choice. Manage runtimes and models from the "Engines &
| **FunASR** | SenseVoice (zh/en/ja/ko/yue) and Paraformer-zh; great for Chinese | Bundled sherpa-onnx native library |
| **Qwen3-ASR** | Qwen speech recognition (qwen3-asr-0.6b / 1.7b) | Bundled sherpa-onnx native library |
| **FireRedASR** | FireRedASR-AED large (zh-en); great for Chinese | Bundled sherpa-onnx native library |
| **NVIDIA Parakeet** | Parakeet TDT 0.6B v3; 25 European languages with punctuation/casing | Bundled sherpa-onnx native library |
| **Local Whisper CLI** | Calls a whisper-compatible command you installed yourself | Uses your system command |
| **Cloud ASR (online)** | 8 providers, no GPU needed, multi-provider and multi-instance | Online service (audio uploaded to your endpoint) |

FunASR / Qwen3-ASR / FireRedASR all run on the bundled sherpa-onnx native library with no extra setup; faster-whisper downloads a self-contained runtime inside the app.
FunASR / Qwen3-ASR / FireRedASR / Parakeet all run on the bundled sherpa-onnx native library with no extra setup; faster-whisper downloads a self-contained runtime inside the app.

</details>

Expand Down Expand Up @@ -280,7 +281,7 @@ On Apple Silicon, also download the model's `encoder.mlmodelc` file and unzip it

To import: on the "Engines & Models" page click "Import Model" and pick the downloaded file — or copy it straight into the model directory.

Models for FunASR / Qwen3-ASR / FireRedASR download on demand inside the "Engines & Models" page (multiple sources: ModelScope, GitHub, and more).
Models for FunASR / Qwen3-ASR / FireRedASR / Parakeet download on demand inside the "Engines & Models" page (multiple sources: ModelScope, GitHub, and more).

</details>

Expand Down Expand Up @@ -361,7 +362,7 @@ If this project helps you, a star is appreciated — or buy the author a coffee
## Acknowledgements

- [whisper.cpp](https://github.com/ggerganov/whisper.cpp) — the foundation of local transcription
- [sherpa-onnx](https://github.com/k2-fsa/sherpa-onnx) — runtime for FunASR / Qwen3-ASR / FireRedASR and local TTS
- [sherpa-onnx](https://github.com/k2-fsa/sherpa-onnx) — runtime for FunASR / Qwen3-ASR / FireRedASR / Parakeet and local TTS
- [FFmpeg](https://ffmpeg.org/) — media processing and subtitle burn-in
- [Bob](https://bobtranslate.com/) — documentation on translation service signup

Expand Down
12 changes: 6 additions & 6 deletions docs/docs/advanced/ai-refine.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -38,12 +38,12 @@ keywords: [AI 断句, 语义断句, 字幕校正, LLM 字幕, 词级时间戳,

## 引擎适配说明

| 转写引擎 | 断句时间轴 |
| ------------------------------------------ | ---------------------------------- |
| 内置 whisper.cpp | 词级精确（真实词时间戳） |
| faster-whisper | 词级精确 |
| 云端听写（whisper-1 等词级服务商） | 词级精确 |
| FunASR / Qwen3-ASR / FireRedASR / 本地 CLI | 近似（条内按比例插值），界面会提示 |
| 转写引擎 | 断句时间轴 |
| ----------------------------------------------------- | ---------------------------------- |
| 内置 whisper.cpp | 词级精确（真实词时间戳） |
| faster-whisper | 词级精确 |
| 云端听写（whisper-1 等词级服务商） | 词级精确 |
| FunASR / Qwen3-ASR / FireRedASR / Parakeet / 本地 CLI | 近似（条内按比例插值），界面会提示 |

内置引擎与 faster-whisper 还会把低置信度的词标注给校正模型（「这些词可能识别错」），定点修正更有把握。

Expand Down
2 changes: 1 addition & 1 deletion docs/docs/development.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -14,7 +14,7 @@ keywords: [SmartSub 开发, Electron, 源码构建, 贡献指南, whisper.cpp ad
- **Electron**（v30）+ **Next.js**（nextron）：跨平台桌面应用与界面
- **TypeScript** + **Tailwind CSS**
- **whisper.cpp**：内置转写引擎的 C++ 实现（Node addon 形式集成，支持 CUDA / Vulkan / CoreML / Metal）
- **sherpa-onnx**：FunASR / Qwen3-ASR / FireRedASR 与本地 TTS 的原生运行库
- **sherpa-onnx**：FunASR / Qwen3-ASR / FireRedASR / Parakeet 与本地 TTS 的原生运行库
- **FFmpeg**：音视频处理与字幕烧录

## 本地开发
Expand Down
7 changes: 4 additions & 3 deletions docs/docs/features/subtitle-generation.md
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,7 +1,7 @@
---
sidebar_position: 1
title: 字幕生成（语音转写）
description: 用妙幕把视频和音频批量转写成 SRT 字幕：7 类转写引擎可选（whisper.cpp、faster-whisper、FunASR、Qwen3-ASR、FireRedASR、Whisper CLI、云端听写），支持 GPU 加速、效果档位与精细断句控制。
description: 用妙幕把视频和音频批量转写成 SRT 字幕：8 类转写引擎可选（whisper.cpp、faster-whisper、FunASR、Qwen3-ASR、FireRedASR、NVIDIA Parakeet、Whisper CLI、云端听写），支持 GPU 加速、效果档位与精细断句控制。
keywords:
[视频转字幕, 语音转文字, whisper 字幕, FunASR, SRT 生成, 批量转写, 字幕断句]
---
Expand All @@ -22,7 +22,7 @@ keywords:

支持常见的视频（mp4 / mkv / mov / avi …）与音频（mp3 / wav / m4a / flac …）格式；并发任务数可在任务设置中调整。

## 七类转写引擎
## 八类转写引擎

转写引擎可以**逐任务切换**，在「引擎」页面统一安装与管理：

Expand All @@ -33,11 +33,12 @@ keywords:
| **FunASR** | SenseVoice（中 / 英 / 日 / 韩 / 粤）与 Paraformer-zh，中文表现优秀 | 内置 sherpa-onnx，无需额外环境 |
| **Qwen3-ASR** | 通义千问语音识别（qwen3-asr-0.6b / 1.7b） | 内置 sherpa-onnx，无需额外环境 |
| **FireRedASR** | FireRedASR-AED large（中英），中文表现优秀 | 内置 sherpa-onnx，无需额外环境 |
| **NVIDIA Parakeet** | Parakeet TDT 0.6B v3，英文与 25 种欧洲语言，自动标点及大小写 | 内置 sherpa-onnx，无需额外环境 |
| **本地 Whisper CLI** | 调用你自行安装的 whisper 兼容命令 | 使用系统已装命令 |
| **云端听写** | 8 家在线服务商，免 GPU 免模型，部分有免费额度 | 在线服务（音频上传到配置的端点） |

- 引擎选型与逐个安装说明见[转写引擎总览](/guides/engines/overview)
- 中文内容推荐 FunASR / FireRedASR；没有显卡推荐[云端听写](/guides/cloud-asr/overview)
- 中文内容推荐 FunASR / FireRedASR；英文与欧洲语言可试 Parakeet；没有显卡且不想下载模型时推荐[云端听写](/guides/cloud-asr/overview)
- whisper 系模型怎么选（tiny 到 large、量化版本）见[模型选择与导入](/guides/engines/models)

## 字幕效果档位
Expand Down
4 changes: 2 additions & 2 deletions docs/docs/guides/engines/models.md
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,5 +1,5 @@
---
sidebar_position: 8
sidebar_position: 9
title: 模型选择与手动导入
description: whisper 模型怎么选：tiny 到 large-v3-turbo 各档位建议、量化版本说明、国内镜像手动下载与导入方法、Apple 芯片 CoreML 文件说明。
keywords:
Expand Down Expand Up @@ -46,7 +46,7 @@ Apple 芯片走 CoreML 加速时，非量化模型需要配套的 `<模型名>-e
## 其它引擎的模型

- **faster-whisper**：模型在引擎页内按需下载（HuggingFace / 镜像源），同样支持导入
- **FunASR / Qwen3-ASR / FireRedASR**：在「本地多模型引擎」分组内下载，支持 ModelScope / GitHub 多源
- **FunASR / Qwen3-ASR / FireRedASR / Parakeet**：在「本地多模型引擎」分组内下载，支持应用内选择下载源或从文件夹导入
- 所有模型的存放位置由[统一存储目录](/advanced/storage)管理，可迁移到大容量磁盘

---
Expand Down
7 changes: 5 additions & 2 deletions docs/docs/guides/engines/overview.md
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -1,8 +1,9 @@
---
sidebar_position: 1
title: 转写引擎选型总览
description: 妙幕 7 类转写引擎怎么选：whisper.cpp、faster-whisper、FunASR、Qwen3-ASR、FireRedASR、本地 Whisper CLI 与云端听写的对比表与按需求推荐路径。
keywords: [转写引擎对比, whisper 选择, FunASR, 语音识别引擎, ASR 引擎选型]
description: 妙幕 8 类转写引擎怎么选：whisper.cpp、faster-whisper、FunASR、Qwen3-ASR、FireRedASR、NVIDIA Parakeet、本地 Whisper CLI 与云端听写的对比表与按需求推荐路径。
keywords:
[转写引擎对比, whisper 选择, FunASR, Parakeet, 语音识别引擎, ASR 引擎选型]
---

# 转写引擎选型总览
Expand All @@ -22,13 +23,15 @@ keywords: [转写引擎对比, whisper 选择, FunASR, 语音识别引擎, ASR
| [FunASR](./funasr) | ✅ | ✅ | **优秀** | 内置原生库 | 中文/中英混合内容 |
| [Qwen3-ASR](./qwen3-asr) | ✅ | ✅ | 优秀 | 内置原生库 | 中文，轻量模型 |
| [FireRedASR](./firered-asr) | ✅ | ✅ | **优秀** | 内置原生库 | 中文精度优先 |
| [NVIDIA Parakeet](./parakeet) | ✅ | ✅ | 不适用 | 内置原生库 | 英文与欧洲语言精度优先 |
| [本地 Whisper CLI](./whisper-cli) | ✅ | ✅ | 好 | 自装命令 | 已有 whisper 环境的高级用户 |
| [云端听写（8 家）](/guides/cloud-asr/overview) | 部分有免费额度 | ❌ | 好 | API Key | 无 GPU / 低配电脑，省心起步 |

## 按需求推荐

- **开箱即用**：用内置 whisper.cpp + 推荐模型，零依赖，下载一个模型即可离线转写
- **中文内容最佳**：FunASR（SenseVoice）或 FireRedASR，中文准确率通常高于同级 whisper 模型
- **英文 / 欧洲语言精度优先**：NVIDIA Parakeet TDT 0.6B v3，支持自动标点与大小写
- **速度优先（NVIDIA）**：faster-whisper + CUDA
- **没有显卡 / 不想下模型**：云端听写，腾讯云每月赠 5 小时、Gladia 每月赠 10 小时，见[云端听写总览](/guides/cloud-asr/overview)
- **完全免费 + 离线**：任意本地引擎均满足
Expand Down
Loading
Loading