Aleph Alpha「Kolibri」は約781億パラメーター。MoEの計算量と、動かすメモリーは別の話

ドイツのAleph Alphaが、オープンウェイトのAIモデル「Kolibri」を公開しました。英語とドイツ語を中心に、推論やツールの利用に対応するモデルです。公式発表は10月3日付です。公開時刻は確認できていません。

目を引くのは、全体では約781億パラメーターを持ちながら、計算時に有効になる部分は約34.6億という構成です。ただ、この小さいほうの数字だけを見て、普通のノートパソコンでも手軽に動くと考えるのは早そうです。

約781億の全体から、計算に使う部分を選ぶ

KolibriはMoE（Mixture of Experts）という構成を採用しています。モデルの中にある複数の処理部分のうち、入力に応じて一部を選んで使う仕組みです。

公式モデルカードにある総パラメーター数は78.1B、計算時に有効になるパラメーター数は3.46Bです。日本語の桁では、それぞれ約781億と約34.6億になります。

計算に参加する部分を絞れることと、モデル全体の重みを保持するためのメモリーが小さくなることは同じではありません。

重みだけでもFP8版で約78GB

公開されているFP8版は重みだけで約78GB、BF16版では約156GBあります。実際に動かすには、これに加えて処理中のデータなどを保持する領域も必要になります。

公式モデルカードには、FP8版の最低構成例として、H200を1基、あるいは80GBメモリーを搭載したA100を2基といった構成が示されています。GPUの台数や必要メモリーは、精度、コンテキストの長さ、同時処理数などにも左右されます。約34.6億という有効パラメーター数だけで、手元のPCに収まるかどうかは判断できません。

「最大約100万」と、普段の推奨値を分けて読む

モデルカードでは、最大1,048,576トークンのコンテキスト長が検証されています。一方、ネイティブ長は262,144トークンで、効率や複雑な課題では262,144トークン以下を推奨しています。

大きな数字は、長い文書や多くの情報を扱う可能性を示します。ただし、最大長をすべての利用場面で常に推奨しているわけではありません。長く入力するほど、実行環境やメモリーへの要求も含めて考える必要があります。

公開されているものと、公開されていないもの

Kolibriの重みと設定は、Apache 2.0ライセンスで公開されています。自分たちの環境でモデルを動かす際、利用条件を確かめながら検討できる点は、API経由だけで使うモデルとの違いです。

ただし、重みを入手できることは、学習データや学習方法のすべてが公開されたことを意味しません。モデルの公開範囲と、開発過程全体の透明性は分けて見る必要があります。

ドイツ発のモデルが、選択肢に加わる

Aleph Alphaは、データや運用を自分たちで管理する「主権」を打ち出しています。Kolibriのように重みを公開するモデルは、どこで動かし、どの情報を扱わせるかを自分たちで設計したい企業や開発者にとって、一つの選択肢になります。

そのうえで、実際の選定では英語・ドイツ語以外の品質、自分たちの業務での応答、実行費用なども確かめたいところです。公開された規模の数字だけで、自分の用途に向くかどうかまでは決まりません。

Kolibriは約781億パラメーターのMoEモデル。計算に使う部分を絞る工夫と、重みを保持するメモリーの条件を分けて見ることが、利用環境を考える出発点になります。