ETH Evals：用重複測試檢驗以太坊 AI 代理的實作能力

值得記下的 5 件事

1. [11:42]
   評估代理必須固定條件，並重複執行

   同一代理處理相同任務，仍可能走出不同路徑，單次通過不足以判斷可靠性。團隊要求各次測試使用相同題目與環境，每次建立全新容器，並保存執行紀錄與鏈上狀態變化，方便追查失敗原因、比較代理表現。

2. [8:49]
   技能指引的價值要靠任務驗證，不是看篇幅長短

   團隊針對 19 項技能設計 97 個任務，檢驗知識與實作表現。講者報告，改寫後指引縮短 63%，成功率從無指引的 72%、舊版的 85% 升至 94%；效果仍限於這組測試，不代表所有技能指引都有幫助。

3. [11:05]
   評分器也要受測，不能把回答當成完成操作的證據

   團隊曾發現代理只因嘗試作答就獲得自評分數；另一項尋找最低費用鏈的任務，代理根本沒量測交易所需的 gas。修正檢查後，後者從 3 次全過變成全敗。講者建議優先用程式驗證，做不到時再用 AI 裁判。

4. [13:19]
   知識、建置與鏈上行動能力應分開比較

   ETH Evals 分成純模型、代理及代理加技能指引 3 種模式，任務則涵蓋概念、建置與鏈上操作。純模型不使用網路或工具；講者展示部分模型答題與實作分數的落差，強調應依實際任務選擇，而非只看單一總分。

5. [24:35]
   新模型推出後，技能指引是否仍有幫助必須重測

   技能指引可能隨模型進步而失去價值，甚至拖累表現。講者認為不能一概而論，每次更新都要重新比較成功率，才能判斷效果。他也提醒，代理處理專門工作時仍可能出錯，將成果用於正式環境前，務必檢查實際產出。