會議逐字稿工具

音檔進,分好講者的逐字稿出。中文會議專用,逐句都能改講者、改字。

全程在你自己的電腦上跑 — 音檔不會離開這台機器。

這個網頁本身不會幫你轉逐字稿。它只是說明與安裝指引。

工具是裝在你自己電腦上跑的,用你的 CPU 和顯示卡運算。音檔、逐字稿都留在本機,不會上傳到任何地方,也不需要註冊或連網服務。

它做什麼

丟一段會議錄音進去,得到一份標好「誰在什麼時候說了什麼」的逐字稿,然後在瀏覽器裡把認錯的地方改掉。

講者分離

講者分離與語音辨識分開算再交集,所以一句話中間換人講也會被切開,能逐句指定講者。

改起來順手

改一次名字就全篇更新,可以切句、合併、批次指定講者。改過的句子會標記,之後的自動修正不會蓋掉你的字。

輸出六種格式

純文字、Markdown、SRT、WebVTT、CSV、JSON。字幕檔可以直接拿去配影片。

繁體中文輸出

多數模型只吐簡體,工具會用 OpenCC 轉成繁體與台灣用詞。標點、詞語修正表也能事後再套一次。

安裝

Windows 10/11,其他系統看下面的 bash 版本。第一次安裝約需 3–5 分鐘,大部分時間在下載模型。

  1. 取得程式

    用 Git,或直接在 GitHub 上按 Code → Download ZIP 解壓縮。

    git clone https://github.com/Joseph-tsai415/Voice_to_words.git
    cd Voice_to_words
  2. 執行

    就這一行,沒有第二步。第一次會自己把環境準備好 — 找 Python(沒有就用 winget 裝)、建立虛擬環境、裝套件、偵測到 NVIDIA 顯示卡就順便開 GPU 加速、下載約 220 MB 的模型,然後啟動並打開 http://127.0.0.1:7860。

    .\run.ps1

    之後每次都只是啟動,幾秒鐘。中途斷線沒關係 — 再跑一次會從沒做完的地方接下去,已經抓好的不會重抓。不想開 PowerShell 就直接雙擊 run.cmd。

需要什麼

GPU 加速是自動的

只要機器上有 NVIDIA 顯示卡,第一次執行就會一併裝好 CUDA 版套件,不需要 3 GB 的 CUDA Toolkit。裝好後會實際載入一個模型試跑,確認真的能用才回報成功 — 光看套件名稱會騙人。

裝不起來也不會讓安裝失敗,只是退回 CPU,功能完全一樣,只有辨識那一段慢一點。

筆電的獨顯可以隨時開關(Optimus/MUX),所以用哪個裝置是每次啟動重新實測的,不是裝好就定死。把獨顯切回來之後直接再跑一次就會用到 GPU,不用重裝,也不用改設定。

速度

以下都是實測值,測試機是 RTX 3070 Ti Laptop(8 GB)加 20 核心 CPU,錄音長度 5 分鐘。

階段CPUCUDA實際採用
語音辨識12.6 秒0.9 秒GPU,快 14 倍
講者分離55.3 秒91.7 秒CPU,GPU 反而慢
整條流程60.7 秒約 92 秒混合 44.8 秒

GPU 不是每一段都比較快。講者分離每次丟給模型的音訊長度都不一樣,而 CUDA 遇到新的輸入尺寸就要重新規劃一次,光這個成本就吃掉全部好處。所以工具讓辨識走 GPU、講者分離和 VAD 走 CPU,兩邊各取所長 — 這個組合比全 CPU 快、也比全 GPU 快得多。

同時處理多個會議是有效的:跑一個要 104 秒,同時跑兩個變成 78 秒。瓶頸在 CPU 而不是顯示卡,所以預設會同時跑 3 個。

支援的格式與模型

音訊格式

m4a、mp3、wav、flac、mp4、mov、wma、opus、webm、aac、amr、ogg、3gp 等。內建 FFmpeg 函式庫,不需要另外安裝 ffmpeg。

辨識模型

預設是 X-ASR Zipformer 中英,安裝時就一併裝好(176 MB),開箱即用。會選它是實測的結果:拿一場 69 分鐘的中英混說研討會,讓每個模型重跑同一批時間區間,數 13 個確定講過的技術名詞 —— X-ASR 認出 9 個,SenseVoice 只有 5 個,而且英文常糊掉。

其餘模型(SenseVoice 多語、FireRedASR2、Qwen3-ASR、Cohere Transcribe、Paraformer)都可以在介面裡下載,換模型重跑一次就能比較。需要日/韓/粵時再抓 SenseVoice。

模型清單裡的排名、WER 和下載數是執行時直接向 Hugging Face 取得的,不是寫死的數字。沒抓到資料時就不顯示,不會用猜的。

常見問題

音檔會上傳到哪裡嗎?

不會。所有運算都在你自己的電腦上完成,程式只在本機的 127.0.0.1 上聽,沒有雲端服務、沒有帳號。唯一會連網的時候是下載模型,還有抓模型排行榜資料。

沒有顯示卡可以用嗎?

可以。GPU 只加速辨識那一段,而那一段只佔整體約 2% 的時間。純 CPU 跑 5 分鐘錄音大約 60 秒。

安裝時模型下載失敗

再執行一次 .\setup.ps1。已經完成的檔案會跳過,只重抓沒下載完的。每個檔案都會驗證大小,抓到一半的檔案不會被當成正常的用。

可以放到網路上給別人用嗎?

目前的設計是單人本機使用,沒有登入機制,任何連得到那個連接埠的人都能看到全部逐字稿。要讓別人用之前,請先處理身分驗證與加密連線。