8160億パラメータのAIをMac Studioで。Muse Spark Openを動かす条件と、2台・4台の違い

大きなAIを使うには、いつもクラウドへデータを送らなければならない。そんな前提が、少しずつ変わってきています。Metaが公開した「Muse Spark Open」は、総パラメータ数8160億のモデル。Appleは、複数のMac Studioをつなぎ、MLXでこのモデルを動かす測定結果を公開しました。

Mac Studio 2台でも動作しますが、約36.7トークン／秒は4台構成の結果です。必要な機材、測定条件、利用許諾まで含めて見ることが大切です。

「8160億」と「420億」は何を数えている？

Muse Spark Openは、モデル全体では8160億のパラメータを持ち、各トークンの処理で使うのは420億という構成です。総量と、その都度計算に参加する部分の大きさは同じではありません。使う部分が420億でも、その重みだけを読み込めば動くという意味ではありません。画像なども扱うマルチモーダルモデルで、Metaは最大100万トークンのコンテキストを案内しています。

モデルの重みが公開され、手元の環境へ配置して利用できる「オープンウェイト」のモデルです。利用にはMeta独自のライセンスが適用されます。

Mac Studio 2台と4台では、速度も条件も違う

Appleの測定は、M5 Ultraと512GBのユニファイドメモリを備えるMac Studioを、Thunderbolt 5のRDMAで接続した環境です。複数台のメモリや計算資源を使い、1台の512GB Macには収まらないモデルを分散して実行します。

Muse Spark OpenのNVFP4形式を用い、入力側のコンテキストを8,192トークン、生成を128トークン、バッチサイズを1とした測定では、次の結果でした。

これはAppleによる特定条件の測定です。同じ2台でも処理の分け方で結果が変わり、最大100万トークンの長い入力でも同じ速度が出ることを示す数字ではありません。普段使っているMacにそのまま入れれば、同等に動くという話でもありません。

Appleの製品発表では、512GB構成の提供は10月下旬に予定されています。今回の測定結果は、その構成を今すぐ一般購入できるという案内ではありません。

企業での利用には、ライセンスと運用の確認が必要

利用許諾には表示義務やUsage Policyがあり、商用利用にも条件があります。モデルをサービスとして提供する事業者では、対象となる売上規模などによってMetaとの別契約が必要になる場合があります。社内利用や、自社製品への組み込みなどを一律に同じ条件で考えることはできません。

ローカル実行は、入力データを外部の推論サービスへ送らずに処理する選択肢を増やします。ただし、使うアプリや外部ツール、ログの保存先、ネットワーク接続まで自動的に安全になるわけではありません。機密情報を扱うなら、それらを含めた運用設計が必要です。

手元に置けるAIの規模が広がる

今回の大きな変化は、巨大なモデルを複数のMacで扱う具体的な方法と測定結果が示されたことです。高いメモリ容量や複数台の機材が必要で、導入費用も用途次第。それでも、外部へ送れない資料を扱う企業や研究現場には、クラウドとは別の選択肢として関心を集めそうです。