Kimi K3.1 Proの独立評価を読む。67％は実際の開発成功率ではない

独立ベンチマークと実案件の成功率は別。重みの公開もこれからです。

Kimi K3.1 Proの独立評価では、答えを一度返すだけでなく、道具を使いながら手順を進める作業で改善が示されています。数字の意味と、実際に試す際の選択肢を分けて見ていきます。

コマンドを使う試験と、業務アプリを動かす試験

Artificial Analysisの10月23日の評価では、Terminal-Bench 4.0がKimi K3（max）の13％から67％へ、AutomationBench-AAが58％から73％へ向上しました。

同社の評価方法では、Terminal-Bench 4.0は66課題を各3回実行し、全テストを通過したかを採点します。mini-swe-agentを使い、各実行の成功率を平均する方式です。コマンドを実行し、エラーを見て修正し、テストを通すような作業を測ります。

AutomationBench-AAは模擬業務アプリをAPIで操作する657課題を各1回実行し、最大50ターンで評価します。禁止条件への違反は0点、それ以外は目標達成の割合で採点するため、73％を全案件の完全成功率とは読めません。

AutomationBenchの原論文が扱うのは、CRM、メール、予定表などをまたぎ、APIを探し、業務規則を守ってデータを更新する課題です。端末上の作業と、複数の業務サービスを整合的に操作する作業では、求められる力が違います。原論文時点の数値を10月のAA版の結果と混ぜることもできません。

67％が、自分の案件の成功率にならない理由

Terminal-Bench 4.0では課題だけでなく、時間・CPU・メモリなどの条件も改訂されています。別バージョンの数字をそのまま並べると、モデル以外の違いまで性能差に見えてしまいます。

集計値だけでは、個々の失敗理由や実行条件の差まで分かりません。試験結果から実案件の完了率や他モデルへの全面的な優位を推定することはできません。試す候補としては、テストで正否を確認できるコード修正や、操作履歴を追える業務更新が考えられますが、実務での成果を保証する用途一覧ではありません。

どこで使えて、APIにはいくらかかるか

公式案内ではKimi、Kimi Work、Kimi Code、APIから利用できます。WorkはWindowsとApple silicon Mac向けの3.1.0以降、Codeでは/modelで選択します。

以下は10月26日12:58時点の公式案内です。標準APIの料金は100万トークンあたり入力2ドル、出力10ドル、キャッシュ命中分0.20ドル。Highspeed版の料金とは別です。

APIは従量課金で、Kimi会員やCodeの料金とは分かれています。税別で、キャッシュの書き込みには保存期間に応じた課金もあるため、入力と出力の単価だけで総額が決まるとは限りません。

開始には最低1ドルのチャージが必要で、累計チャージに応じて並列数や毎分のリクエスト・トークン数の上限が変わります。小さな試行から大量処理へ進む際は、料金だけでなくこの上限も確認する必要があります。

API提供と重み公開は別の段階

APIは提供元のサーバーで動くモデルを、自分のアプリから呼び出す方法です。一方、重みの公開はモデルの数値データを入手する話で、自分で動かす環境や利用条件の確認が別に必要になります。

Kimiは重みを11月4日までに公開する予定としていますが、現時点では未公開です。公開後のライセンスや、個人のMacで快適に動くことを先取りして保証するものではありません。

仕事のデータを使う場合は、契約区分と保存条件も確認したい点です。公式のZero Data Retentionは企業向けの申請制で、全利用者へ自動適用される制度ではありません。利用窓口・費用・データ条件を分けて判断することが大切です。