開發管線實驗:誘導審查代理輸出文字,觸發自動合併
Red-Team Your Own AI Pipeline: A Hands-On Prompt-Injection & Supply-Chain Lab
場次摘要
Gustavo Dutra 以持續整合與持續部署(CI/CD)管線為實驗場景,將能讀取外部文字、寫入程式碼儲存庫的 AI 代理視為新的高權限使用者。風險不只在模型是否遭破解,也在管線如何使用其輸入與輸出。他示範誘導審查代理產生允許合併的文字,讓機器人自動合併程式碼合併請求(PR),並以記分板記錄攻擊及假機密資訊。 參與者使用提供代理操作指引的「技能檔」,盤點儲存庫與代理的輸入、輸出,也檢查模型拒絕請求後是否仍可能誤導其他代理。修補說明著重合併判斷,以及避免模型輸出直接代入自動化流程的執行參數,但逐字稿未呈現修補後重測結果。他另提醒,技能檔也可能成為供應鏈攻擊入口,模型輸入與輸出都應視為不可信。
值得記下的 5 件事
- [5:00]
代理成為開發管線的新高權限使用者 Dutra 指出,傳統攻擊可能針對執行機器或工程師,代理則會讀取攻擊者提供的自然語言
在這個實驗中,代理同時能寫入儲存庫,因此外部文字可能影響後續開發操作。
- [13:40]
審查文字被當成自動合併的依據 實驗中的 MergeBot 會依審查代理的文字判斷是否合併
Dutra 表示,經過幾次嘗試,代理輸出了允許合併的措辭,機器人隨即合併請求。這是實驗中的結果,不代表所有審查工具都會如此。
- [30:20]
模型拒絕請求不等於整條管線安全 Dutra 將重點放在管線如何使用模型的輸入與輸出,而非只測試能否破解模型
實驗也盤點遭拒絕的內容,檢查這些回應是否仍可能誤導其他代理;這是測試方向,並非宣稱每次拒絕都能被利用。
- [39:20]
修補也要處理模型輸出如何進入自動化流程 Dutra 說明,修補除了更正合併判斷,也調整模型輸出的傳遞方式,避免直接透過環境變數或代入執行參數使用
他主張應假設模型可能遭入侵,將其輸入、輸出視為不可信;逐字稿未呈現修補後重測結果。
- [40:00]
攻防技能檔本身也可能成為供應鏈入口 Dutra 提醒,從技能庫取得的操作指引也可能遭竄改,讓工程師安裝帶有惡意提示的內容
他將這描述為攻擊者可能轉向的路徑,並未展示技能檔已被植入惡意內容,或工程師已因此遭入侵。
更多來自 DEVCON 8
Arrow 的硬體 DAO 實驗:AI 協作、在地製造與責任分工
A DAO Shipped an Aircraft: What It Takes to Coordinate Atoms with Tokens
Thomas Garrison
Kohaku:以 SDK 將隱私與安全功能帶入以太坊錢包
Kohaku : privacy for everyone, by default
Nico、Vitalik
私密區塊鏈的取捨:隱私、去中心化與合約協作
Private State, Public Network: The Tradeoffs Behind Privacy
Zachary Williamson