OPML: 基於樂觀方法的機器學習

OPML(Optimistic機器學習)是一種新型技術，它利用樂觀方法在區塊鏈系統上進行AI模型推理和訓練/微調。與ZKML相比，OPML能夠以更低成本、更高效率提供機器學習服務。OPML的門檻較低，即使普通PC無需GPU也能運行包括7B-LLaMA(約26GB)在內的大型語言模型。

OPML採用驗證遊戲機制確保機器學習服務的去中心化和可驗證共識。其流程包括:

1. 請求者發起ML服務任務
2. 服務器完成任務並將結果提交到鏈上
3. 驗證者檢查結果，如有異議則啓動驗證遊戲
4. 最後在智能合約上進行單步仲裁

單階段驗證遊戲

單階段OPML的工作原理類似於計算委托(RDoC)。它包含以下關鍵要素:

• 用於鏈下執行和鏈上仲裁的虛擬機(VM)
• 爲AI模型推理專門設計的輕量級DNN庫
• 將AI模型推理代碼編譯爲VM指令的交叉編譯技術
• 用默克爾樹管理的VM鏡像,只上傳默克爾根到鏈上

二分協議用於定位爭議步驟,並將其發送到鏈上仲裁合約。在PC上測試一個基本AI模型(MNIST分類DNN)時,VM中推理用時2秒,整個挑戰過程在本地以太坊測試環境中可在2分鍾內完成。

多階段驗證遊戲

爲克服單階段協議的局限性並提高性能,OPML提出了多階段協議擴展。這種方法只在最後階段在VM中計算,其他階段可靈活執行,從而利用CPU、GPU、TPU甚至並行處理的能力。

多階段OPML的工作原理:

• 將ML/DNN計算過程表示爲計算圖
• 在計算圖上進行第二階段驗證遊戲,可使用多線程CPU或GPU
• 第一階段將單個節點計算轉換爲VM指令

多階段設計顯著提高了性能,計算加速可達α倍。同時Merkle樹大小也從O(mn)減小到O(m+n),提升了系統效率和可擴展性。

一致性與確定性

爲確保ML結果的一致性,OPML採用了兩種方法:

1. 定點算法(量化技術):使用固定精度替代浮點數
2. 基於軟件的浮點庫:跨平台保持功能一致性

這些技術有助於克服浮點變量和平台差異帶來的挑戰,增強OPML計算的完整性和可靠性。

當前OPML框架主要聚焦於ML模型推理,但也支持訓練過程,是一種通用的機器學習解決方案。OPML項目仍在開發中,歡迎感興趣的人士參與貢獻。