繁體中文全雙工語音對話完成驗證！APMIC Speech-to-Speech 模型研發實錄

• APMIC 完成繁體中文全雙工 Speech-to-Speech 模型 Moshi 技術驗證

• 資料建置：自建數千小時等級的繁體中文語音訓練資料

• Moshi 模型訓練：從最初的單輪語音問答逐步擴展到多輪情境式語音對話

• 階段性成果：已實現特定情境下的多輪繁體中文語音互動

隨著生成式 AI 從文字互動逐步走向更自然的語音介面，如何讓 AI 不只是「聽懂後回答」，而是能直接以語音進行即時且連續的互動，正成為下一階段人機互動的重要研究方向。

APMIC 投入端到端 Speech-to-Speech 技術研發，由主要研發工程師 Ethan（郭柏甫）負責資料處理、模型訓練與技術驗證，以 Kyutai Moshi 全雙工（Full-Duplex）Speech-to-Speech 對話模型為基礎，探索如何透過預訓練 (Pretraining) 以及 監督式微調（Supervised Fine-Tuning, SFT），讓原先以英文能力為主的語音模型，逐步具備繁體中文語音生成與特定情境下的多輪語音對話能力。

全雙工語音對話是什麼？下一代人機互動的關鍵技術

所謂全雙工語音互動，指的是 AI 不需要像傳統語音系統一樣，必須等使用者完整說完一句話後才開始處理與回答，而是能夠在持續接收使用者語音的同時進行理解與語音生成。換句話說，使用者與 AI 的「聽」與「說」可以同時進行，讓系統進一步具備更即時的回應、自然的對話輪替，以及處理使用者插話等互動的可能性，更接近人與人實際交談的方式。

有別於傳統語音 AI 常見的 ASR → LLM → TTS 串接式流程，傳統架構會先將使用者語音透過 ASR 轉成文字，再交由大型語言模型理解與生成回覆，最後再透過 TTS 將文字轉回語音。這種方式雖然成熟且容易整合，但通常必須依序完成「聽完、轉文字、產生答案、合成語音」等步驟，多個獨立模組之間也可能帶來額外的處理延遲；同時，語音中的節奏、停頓、語氣與對話時機，也較難在單一模型中共同學習。

Moshi 語音模型則採用 端到端 Speech-to-Speech 架構，直接以語音 token 處理使用者與 AI 之間的互動，讓模型能在同一套架構中同時學習語言內容、聲學資訊與對話時間關係。搭配 Full-Duplex 架構後，語音互動不再只是「一句輸入、一句輸出」的輪流問答，而是進一步朝向更即時、更自然、更接近真人對話節奏的連續語音互動發展。

值得注意的是，在這波全雙工語音 AI 技術發展中，NVIDIA 也於 2026 年 1 月推出 PersonaPlex 7B v1。PersonaPlex 延續 Moshi 所代表的 Full-Duplex Speech-to-Speech 技術路線，讓模型能在聆聽使用者語音的同時持續產生語音回應，並進一步加入 Voice Prompt 與 Text Prompt，讓開發者可以控制 AI 的聲音特徵、角色與對話情境。

目前 NVIDIA 官方釋出的 PersonaPlex 7B v1，主要使用情境仍是英文語音輸入與英文語音回覆。這也反映出，即時、全雙工 Speech-to-Speech 正逐漸成為國際 AI 研究的重要方向，而如何進一步支援繁體中文與在地應用情境，仍有相當大的研究與應用空間。

建立繁體中文雙人對話語音資料

為了進一步打造繁體中文 Speech-to-Speech 語音對話能力，研發團隊著手建立繁體中文雙人語音訓練資料。

由於符合 Speech-to-Speech 模型需求的繁體中文雙人對話資料相對有限，APMIC 因此選擇自行建立繁體中文語音訓練資料生成流程，並搭配緯創、緯謙及 Zettabyte 平台所提供的 GPU 算力資源，進行大規模語音資料批量生成與前處理。

不同於一般單句式語音合成資料，Speech-to-Speech 訓練資料需要模擬實際雙人互動：一方作為使用者，另一方作為 AI 助理，依照設計好的特定應用情境進行多輪對話，並保留不同說話者及完整的語音互動結構。

透過這套流程，團隊逐步建立數千小時等級的繁體中文語音訓練資料，再轉換成 Moshi 多串流架構所需要的訓練格式。

訓練繁體中文 Moshi 語音模型

完成資料建置後，進一步進行 Moshi 的繁體中文 SFT 與訓練流程調整。

研發過程導入繁體中文 tokenizer，並針對中文文字與語音 token 對齊、多輪雙人對話資料、使用者與模型語音串流，以及多 GPU 訓練流程持續進行調整，同時修改原生Moshi訓練框架，使用 DeepSpeed 等技術完成模型訓練。

實驗也從最初的單輪語音問答逐步擴展到多輪情境式語音對話，讓模型不只是「產生中文語音」，而是能在設定的情境中與使用者持續進行繁體中文互動。

階段性成果：讓 Moshi 具備數輪繁體中文語音對話能力

經過繁體中文資料生成與多階段模型訓練，APMIC 已完成本階段 Moshi Speech-to-Speech 模型的技術驗證。

本次研發的重要成果，是團隊不僅完成模型 Fine-tuning，更從資料端建立完整能力，自行設計符合台灣在地情境的雙人對話內容、建置繁體中文語音資料生成流程，並以自行產製的資料實際完成 Speech-to-Speech 模型訓練。

最終實驗結果顯示，經過自行生成的繁體中文語音資料訓練後，原先以英文為主的 Moshi 基座模型，已能在設定的特定情境中進行數輪繁體中文 Speech-to-Speech 語音對話。

從資料生成、資料前處理、繁體中文 tokenizer、Speech-to-Speech SFT、模型訓練，到最終繁體中文多輪語音推論，本次研發完整走過一輪端到端語音模型的研發流程。

Next Step：從技術驗證走向實際應用

目前這項研究已完成階段性任務並暫時告一段落。隨著 NVIDIA 等國際 AI 團隊持續投入 Full-Duplex Speech-to-Speech 技術，APMIC 也透過本次研發，完成從繁體中文語音資料生成、資料處理、模型訓練到推論驗證的完整技術流程，累積端到端語音模型訓練與繁體中文語音互動的實作經驗。

這些技術成果也為未來進一步探索企業語音助理、智慧客服、金融服務、服務型機器人，以及其他需要自然、即時語音互動的應用場景奠定基礎。未來若有明確的企業需求或合作情境，團隊可進一步依據實際應用場景，探索領域資料訓練、模型優化與應用整合，持續驗證 Speech-to-Speech 技術在不同產業中的應用可能性。

若您對 Moshi Speech-to-Speech 、繁體中文語音模型，或相關企業應用與技術合作有興趣，或希望進一步了解未來的應用可能性，歡迎與我們聯繫交流。