OPML: 楽観的アプローチに基づく機械学習

OPML(楽観的機械学習)は、新しい技術であり、楽観的アプローチを利用してブロックチェーンシステム上でAIモデルの推論とトレーニング/ファインチューニングを行います。ZKMLと比較して、OPMLはより低コストでより高効率に機械学習サービスを提供できます。OPMLの敷居は低く、通常のPCでもGPUなしで7B-LLaMA(を含む約26GB)の大規模言語モデルを実行できます。

OPMLは、機械学習サービスの分散化と検証可能なコンセンサスを確保するために、検証ゲームメカニズムを採用しています。そのプロセスには:

1. リクエスターはMLサービスタスクを開始します
2. サーバーはタスクを完了し、結果をチェーンに提出します
3. バリデーターは結果を確認し、異議がある場合は検証ゲームを開始します。
4. 最後にスマートコントラクト上でステップバイステップの仲裁を行う

! OPML:楽観的ロールアップによる機械学習

シングルステージ検証ゲーム

単段階OPMLの動作原理は、計算委託(RDoC)に似ています。それには以下の重要な要素が含まれています:

• チェーン外実行とチェーン上仲裁のための仮想マシン(VM)
• AIモデル推論のために特別に設計された軽量DNNライブラリ
• AIモデル推論コードをVM命令にコンパイルするクロスコンパイル技術
• メルクルツリーで管理されたVMイメージ、メルクルルートのみをチェーンにアップロードします。

二分協定は、争いのステップを特定し、それをチェーン上の仲裁契約に送信するために使用されます。PC上で基本的なAIモデル(MNIST分類DNN)をテストする際、VMでの推論には2秒かかり、全体の挑戦プロセスはローカルのEthereumテスト環境で2分以内に完了できます。

! OPML:楽観的ロールアップシステムによる機械学習

マルチステージ検証ゲーム

単段階プロトコルの限界を克服し、パフォーマンスを向上させるために、OPMLは多段階プロトコルの拡張を提案しました。このアプローチでは、最終段階でのみVM内で計算を行い、他の段階は柔軟に実行できるため、CPU、GPU、TPU、さらには並列処理の能力を活用します。

マルチステージOPMLの仕組み:

• ML/DNN計算プロセスを計算グラフとして表す
• 計算グラフ上で第二段階の検証ゲームを行うには、マルチスレッドCPUまたはGPUを使用できます。
• 第一段階では、単一ノードの計算をVM命令に変換します。

多段階設計は性能を著しく向上させ、計算加速はα倍に達することができます。同時に、MerkleツリーのサイズもO(mn)からO(m+n)に減少し、システムの効率とスケーラビリティが向上しました。

! OPML:楽観的ロールアップによる機械学習

! OPML:楽観的ロールアップによる機械学習

一貫性と確実性

ML結果の一貫性を確保するために、OPMLは2つの方法を採用しています。

1. 定点アルゴリズム(量子化技術): 固定精度を使用して浮動小数点数を代替する
2. ソフトウェアベースの浮動小数点ライブラリ: クロスプラットフォームでの機能の一貫性を保持

これらの技術は、浮動小数点変数やプラットフォームの違いによる課題を克服し、OPML計算の完全性と信頼性を高めるのに役立ちます。

現在のOPMLフレームワークはMLモデル推論に主に焦点を当てていますが、トレーニングプロセスもサポートしており、汎用の機械学習ソリューションです。OPMLプロジェクトはまだ開発中であり、興味のある方々の参加を歓迎します。

! OPML:楽観的ロールアップシステムによる機械学習