小編精選 - 技術文章翻譯 · 09月20日

使用 Gemini 3.8 Live 和 3.5 Transcribe 建立即時語音應用程式

昨天，我們在 Gemini API 與 Google AI Studio 發布了全新的 Gemini Live 模型，擴展我們用於打造即時、以語音為先的產品體驗的開發者套件：

Gemini 3.8 Live 與 3.8 Live Extended Thinking：Gemini 3.8 Live 為我們原生的語音轉語音模型帶來了跨越式提升，能在維持對話的同時執行任務。對於複雜請求，3.8 Live Extended Thinking 可提供更深層的推理，在 Artificial Analysis 的 Speech-to-Speech 排行榜中名列第 1。

Gemini 3.5 Transcribe：我們專用的語音轉文字模型，能在 85 種以上語言中提供高精準度轉錄。此模型於上月發布，平均字錯誤率（WER）達到 4.0%（串流）與 2.6%（非串流）。

https://youtu.be/3CyW24Pkz4o

Gemini 3.8 Live 與 3.8 Live Extended Thinking：打造更智慧的對話式代理程式

我們的新模型，Gemini 3.8 Live 與 3.8 Live Extended Thinking，可讓開發者打造能在維持對話流暢度的同時進行推理並執行任務的語音代理程式。主要能力包括：

非同步函式呼叫：在背景執行 API 與工具呼叫，同時持續向使用者串流音訊回應
視覺脈絡：以即時視覺輸入作為對話依據，幫助代理程式理解使用者所說的內容，也能看見使用者所見
字母數字精準度：準確解析驗證碼、申請編號與技術資料
多語言支援：支援 97 種以上語言並維持口音一致性，觸及全球受眾
增量內容更新：將即時音訊與結構化資料無縫整合，回傳具脈絡感知的回應

3.8 Live Extended Thinking 也支援可設定的思考，可在背景處理複雜的多步驟推理，同時在主對話中回應或敘述其進度。這些模型相較於我們先前的 Live 模型，是一次跨越式升級，並提供了比級聯式架構更精簡的替代方案。

Ambr AI Testimonial

Gemini 3.8 Live 與 Gemini 3.8 Live Extended Thinking 可透過 Live API 使用。它們具備具競爭力的價格：音訊輸入每分鐘 0.005 美元、音訊輸出每分鐘 0.018 美元*，讓開發者能以業界領先的效能擴展語音應用程式。

AA Speech to Speech Index

開發者也可以透過 Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel 與 Vision Agents 存取這些模型；這些都是我們的 Live API 整合夥伴，負責處理實際部署所需的媒體串流基礎架構。

Integration Partner logos

Gemini 3.5 Transcribe：將串流語音轉為文字

即時語音理解對於以語音為先的介面至關重要。上個月，我們發布了 Gemini 3.5 Transcribe，提供低延遲、高精準度的轉錄，並具備以下實用功能：

自動語碼轉換：可處理句內與句間的語碼轉換與語言切換，無需手動設定
自訂詞彙偏置：透過傳入最多 1,000 個詞彙的 custom_vocabulary 清單，引導語音辨識更傾向領域專有名詞、罕見術語、公司名稱與專有名詞
智慧轉錄模式：產出更精緻、可直接閱讀的逐字稿，包含結構化格式、自我修正與去除口語贅詞，移除填充詞

3.5 Transcribe 支援 85 種以上語言，並為語音體驗與無狀態任務提供強大的聽辨引擎，例如秒級字幕、客服中心代理程式與即時音訊分析。你也可以透過 Interactions API 存取此模型，將長度最長 1 小時的音訊檔轉錄為包含結構化時間戳記與說話者標記的內容。請閱讀我們的開發者指南以了解更多資訊。