Visdom 加入原生實驗追蹤,支援多次訓練結果比較
Watch your LLM live with Visdom: Release v0.3.1
場次摘要
機器學習實驗累積後,只有損失曲線,往往不足以回答用了哪些參數、為何失敗,或某次訓練為何表現較好。Vedansh Saini 介紹視覺化工具 Visdom,說明團隊如何從瀏覽單次實驗的圖表,擴展到保存實驗背景、搜尋與比較多次執行結果。他也指出,事後回看曲線時,使用者可能已忘記異常變化的原因。 Saini 展示實驗追蹤、超參數儀表板與 Optuna 整合,並介紹非同步傳送、圖表註記及匯出功能。自架版本讓資料留在使用者的機器或基礎設施;另有仍處早期階段的 Visdom Dev 代管服務,以工作區、角色與金鑰管理團隊存取。他表示展示功能將納入下一版,現場也進行發布倒數,但逐字稿未明確確認版號或發布成功狀態。
值得記下的 5 件事
- [2:40]
實驗追蹤補上圖表缺少的背景 Saini 表示,Visdom 把參數、指標、標籤與狀態存進實驗紀錄,協助理解不同執行結果
使用者可依準確率、學習率及完成狀態篩選,不必逐一打開實驗環境尋找資料。
- [3:40]
儀表板協助比較參數設定與實驗結果 超參數儀表板可排序、篩選多次實驗,並以不同圖表探索參數設定與結果的關係
Saini 也介紹 Optuna 自動調整參數工具的整合:每次試驗都會成為 Visdom 實驗,可查看調整歷程、參數重要性及提前終止的試驗。
- [6:00]
非同步傳送減少等待視覺化請求的情況 傳統 Python 客戶端會等待同步請求完成,可能讓呼叫它的程式暫停
新增的 AsyncVisdom 可搭配 Python 的 asyncio,同時傳送多個視覺化請求;更新視窗也省去事先確認視窗是否存在的一次往返,但演講未提供效能測試資料。
- [7:20]
圖表註記保留變化原因,匯出方便製作報告 Saini 示範在曲線資料點加上註記,例如記錄曾調整學習率
註記儲存在伺服器,重新載入頁面仍會保留;圖表可匯出為圖片或 PDF,表格則可匯出為 CSV 或 JSON 資料檔,不必只靠截圖保存結果。
- [11:20]
代管工作區提供另一種團隊分享方式 Saini 表示,自架 Visdom 不需外部帳號,資料留在自己的基礎設施
另行提供的 Visdom Dev 代管服務,以專案工作區、成員角色與 API 金鑰管理存取;他稱服務已可試用,但仍在早期階段,邀請使用者回饋需求。
更多來自 DEVCON 8
Arrow 的硬體 DAO 實驗:AI 協作、在地製造與責任分工
A DAO Shipped an Aircraft: What It Takes to Coordinate Atoms with Tokens
Thomas Garrison
Kohaku:以 SDK 將隱私與安全功能帶入以太坊錢包
Kohaku : privacy for everyone, by default
Nico、Vitalik
私密區塊鏈的取捨:隱私、去中心化與合約協作
Private State, Public Network: The Tradeoffs Behind Privacy
Zachary Williamson