VoxBento:以瀏覽器提供即時口譯,依需求替換 AI 模型
Voxbento: When 2 Seconds Matter — Building Real-Time AI Captions and Live Interpretations
場次摘要
Arnav Angarkar 指出,多語活動若以英語進行,部分聽眾仍希望用母語參與;傳統口譯配置則涉及多人、線材與口譯間,部署複雜且昂貴。他介紹開源的 VoxBento,以瀏覽器作為口譯員與聽眾的入口,支援人工口譯、人工智慧(AI)或兩者協作,並可整合活動管理軟體與直播。 他表示,團隊將 Python 移出即時音訊傳輸路徑,由 MediaMTX 處理音訊,FastAPI 承接 AI 工作,並更換串流協定以改善延遲。語音轉文字、翻譯與文字轉語音可選用不同模型,也提供完全本機處理的選項。不過,會議術語與多義詞仍需補足語境;詞彙處理、安全性、可靠性與本機 AI,都是團隊持續改善的方向,演講未提供延遲實測數值。
值得記下的 5 件事
- [2:20]
以瀏覽器簡化多語口譯配置 Angarkar 指出,傳統口譯配置涉及多人、線材與口譯間,成本與設置都不輕
VoxBento 採開源、瀏覽器優先設計,讓口譯員與聽眾透過網頁參與,並依活動需求選擇人工、AI 或協作模式。
- [5:00]
音訊傳輸與 AI 工作分開處理 他表示,團隊已將 Python 移出即時音訊傳輸路徑,由 MediaMTX 處理音訊,FastAPI 負責 AI 工作
原先使用的 HLS 串流因片段快取產生延遲,後來改用 WHEP 傳輸協定,以改善播放延遲。
- [7:20]
依語言與隱私需求替換模型 Angarkar 認為,沒有適合所有情境的單一最佳模型,選擇取決於語言、隱私配置等因素
他表示,VoxBento 各階段可替換模型,語音轉文字預設使用 Whisper,翻譯與文字轉語音也能另行配置。
- [9:00]
提供不將資料送往雲端的本機選項 他表示,VoxBento 可下載至自己的電腦,在本機完成翻譯,讓私人會議資料不必送到外部伺服器或雲端
這是講者介紹的部署選項,而改善本機 AI 仍是團隊後續工作的方向。
- [6:40]
會議術語與多義詞仍是待解問題 Angarkar 以英文的 speaker 為例,指出同一詞彙可能有不同意思,翻譯需要會議語境
他說團隊正嘗試以本機大型語言模型補足脈絡,並改善專有名詞與詞彙表處理,並未宣稱問題已解決。
更多來自 DEVCON 8
Arrow 的硬體 DAO 實驗:AI 協作、在地製造與責任分工
A DAO Shipped an Aircraft: What It Takes to Coordinate Atoms with Tokens
Thomas Garrison
Kohaku:以 SDK 將隱私與安全功能帶入以太坊錢包
Kohaku : privacy for everyone, by default
Nico、Vitalik
私密區塊鏈的取捨:隱私、去中心化與合約協作
Private State, Public Network: The Tradeoffs Behind Privacy
Zachary Williamson