Mac
MacのローカルAI、動くことと実用性は別。MLXとメモリの関係
Apple SiliconとMLXによるローカルAIの仕組みを整理。複数Macの分散処理と、16GBのMacで試したりんご親父の実感を紹介します。
りんご好きringozuki.comMacの中でAIモデルを動かす選択肢が広がっています。9to5Macの11月14日付「Apple @ Work」は、Apple SiliconとMLXを組み合わせたAI環境を取り上げました。新しいApple製品の発表ではなく、既存の技術を使う可能性を論じた記事です。
MLXは、Macのメモリ構造を生かす仕組み
MLXはApple Silicon向けの機械学習フレームワークです。公式資料では、CPUとGPUが共有メモリ上のデータを扱い、処理のたびにデータを移し替えずに済む点を特徴として説明しています。
大容量のユニファイドメモリを備えるMacが注目されるのは、AIモデルを載せる余地が大きくなるためです。ただし、メモリ容量だけで回答の品質や応答速度まで決まるわけではありません。
複数台のMacにも役割を分担できる
MLXの公式資料は、学習や推論の計算を複数のマシンに分担するための分散通信に対応すると説明しています。対応する通信方式には、Thunderbolt経由の低遅延通信もあります。
これは、Macをつなげればどんなアプリでも自動的に全台のメモリを利用できる、という意味ではありません。分散実行に対応したプログラムと通信設定が必要です。
Osaurusを使う場合も、実行先は確認したい
オープンソースのOsaurusは、MLXを使ったローカルモデルの実行に加え、クラウドのAIにも対応しています。そのため、アプリを使っていることだけで、すべての処理がMac内で完結すると考えることはできません。
ローカルモデルを選ぶのか、外部サービスにつなぐのかは別の設定です。自分のデータを端末内で扱いたい場合には、モデルと実行先の両方を見ることになります。
「動いた」の先に、用途に合うかどうかがある
小さなモデルを起動できることと、普段の作業に十分な結果を得られることは別です。以下は、りんご親父が自分の環境で試したときの実感です。モデル名や測定条件をそろえた比較試験ではなく、16GBのMacすべての性能を示すものではありません。