← 回到 DEVCON 8

Visdom 加入原生實驗追蹤,支援多次訓練結果比較

Watch your LLM live with Visdom: Release v0.3.1

場次摘要

機器學習實驗累積後,只有損失曲線,往往不足以回答用了哪些參數、為何失敗,或某次訓練為何表現較好。Vedansh Saini 介紹視覺化工具 Visdom,說明團隊如何從瀏覽單次實驗的圖表,擴展到保存實驗背景、搜尋與比較多次執行結果。他也指出,事後回看曲線時,使用者可能已忘記異常變化的原因。 Saini 展示實驗追蹤、超參數儀表板與 Optuna 整合,並介紹非同步傳送、圖表註記及匯出功能。自架版本讓資料留在使用者的機器或基礎設施;另有仍處早期階段的 Visdom Dev 代管服務,以工作區、角色與金鑰管理團隊存取。他表示展示功能將納入下一版,現場也進行發布倒數,但逐字稿未明確確認版號或發布成功狀態。

值得記下的 5 件事

  1. [2:40]
    實驗追蹤補上圖表缺少的背景 Saini 表示,Visdom 把參數、指標、標籤與狀態存進實驗紀錄,協助理解不同執行結果

    使用者可依準確率、學習率及完成狀態篩選,不必逐一打開實驗環境尋找資料。

  2. [3:40]
    儀表板協助比較參數設定與實驗結果 超參數儀表板可排序、篩選多次實驗,並以不同圖表探索參數設定與結果的關係

    Saini 也介紹 Optuna 自動調整參數工具的整合:每次試驗都會成為 Visdom 實驗,可查看調整歷程、參數重要性及提前終止的試驗。

  3. [6:00]
    非同步傳送減少等待視覺化請求的情況 傳統 Python 客戶端會等待同步請求完成,可能讓呼叫它的程式暫停

    新增的 AsyncVisdom 可搭配 Python 的 asyncio,同時傳送多個視覺化請求;更新視窗也省去事先確認視窗是否存在的一次往返,但演講未提供效能測試資料。

  4. [7:20]
    圖表註記保留變化原因,匯出方便製作報告 Saini 示範在曲線資料點加上註記,例如記錄曾調整學習率

    註記儲存在伺服器,重新載入頁面仍會保留;圖表可匯出為圖片或 PDF,表格則可匯出為 CSV 或 JSON 資料檔,不必只靠截圖保存結果。

  5. [11:20]
    代管工作區提供另一種團隊分享方式 Saini 表示,自架 Visdom 不需外部帳號,資料留在自己的基礎設施

    另行提供的 Visdom Dev 代管服務,以專案工作區、成員角色與 API 金鑰管理存取;他稱服務已可試用,但仍在早期階段,邀請使用者回饋需求。

下載摘要 下載 Word 摘要(.docx)

更多來自 DEVCON 8

訂閱