オプティミスティック機械学習：効率的で低コストのブロックチェーンAIサービス

Optimistic機械学習(OPML)は、ブロックチェーンシステム上でAIモデルの推論と訓練/微調整を行う新しい技術です。ZKMLと比較して、OPMLはより経済的で効率的なMLサービスを提供し、参加のハードルも低くなっています。現在、普通のPCはGPUなしで、26GBの7B-LLaMAのような大規模言語モデルを実行できます。

! OPML:楽観的ロールアップによる機械学習

OPMLは、MLサービスの非中央集権化と検証可能なコンセンサスを確保するために、検証ゲームメカニズムを採用しています。そのプロセスは以下の通りです:

1. リクエスターがMLサービスタスクを開始します
2. サーバーはタスクを完了し、結果をブロックチェーンに提出します
3. バリデーターの審査結果、異議がある場合は検証ゲームを開始します
4. スマートコントラクトによる最終仲裁

! OPML:楽観的ロールアップシステムによる機械学習

OPMLの単段階検証ゲームは、計算委託(RDoC)に類似しています。それは、オフチェーン実行とオンチェーン仲裁のための仮想マシンを構築し、AI推論効率を向上させるために特別な軽量DNNライブラリを実装しています。仮想マシンイメージはメルクルツリーによって管理され、ルートハッシュのみがオンチェーンにアップロードされます。

単一段階検証ゲームの主な制限は、すべての計算が仮想マシン内で実行されなければならず、GPU/TPUの加速を十分に利用できないことです。この問題を解決するために、OPMLは多段階検証プロトコルを提案しました。多段階プロトコルでは、最後の段階のみがVM内で計算され、他の段階はローカル環境で柔軟に実行できるため、パフォーマンスが大幅に向上します。

! OPML:楽観的ロールアップによる機械学習

LLaMAモデルを例にとると、二段階OPMLの作業フローは以下の通りです:

1. 第二段階は計算グラフ上で検証ゲームを行い、マルチスレッドCPUまたはGPUを利用することができます。
2. 第一段階では、単一ノードの計算をVM命令に変換して検証します。

! OPML:楽観的ロールアップによる機械学習

多段階OPMLは単段階に比べてα倍の計算加速を実現することができ、ここでαはGPUまたは並列計算の加速比を示します。さらに、多段階OPMLのマルケルツリーのサイズは単段階よりも大幅に小さいです。

MLの結果の一貫性を確保するために、OPMLは定点アルゴリズムとソフトウェアベースの浮動小数点ライブラリを採用しています。これらの技術は浮動小数点の丸め誤差の影響を軽減し、プラットフォーム間の結果の一貫性を確保します。

総じて、OPMLはブロックチェーン上のAIサービスに対して効率的で低コストかつスケーラブルなソリューションを提供します。それはモデル推論をサポートするだけでなく、モデル訓練にも使用できる汎用の機械学習フレームワークです。

! OPML:楽観的ロールアップシステムによる機械学習