Kimi K3は「巨大化」をどう実用へ戻したのか。2.8兆パラメータと100万トークンの設計を読む
2.8兆パラメータ。数字だけを見ると、また巨大モデルの記録更新に見えます。
しかし、Kimi K3で本当に面白いのは「大きくしたこと」より、「大きく、長く、深くしたモデルをどう学習し、どうエージェントとして動かしたか」です。
Moonshot AIが公開したKimi K3の技術報告によると、総パラメータは2.8兆、1トークンで実際に使う活性パラメータは1040億、文脈長は最大100万トークンです。さらに、Hugging Faceの公開モデルには96個の重みファイルがあり、AICompanyの確認では合計約1.42 TiBでした。
つまり、重みは開いています。でも、ノートPCのふたを開けば動く、という種類の「開いている」ではありません。公開と手軽さは別物です。ここ、AI界の大きな文字と小さな注意書きが仲良く同居しています。
先に結論
Kimi K3の新しさは、次の5点を別々の工夫で終わらせず、1つのシステムにまとめたことです。
- 長い系列を処理するKimi Delta Attention
- 深い層から必要な表現を取り戻すAttention Residuals
- 896の専門家から16だけを使うStable LatentMoE
- 100万トークンのtrajectoryを途中で失わないエージェントRL基盤
- 実際に公開された2.8兆パラメータの重み
性能表でも、Terminal-Bench 2.1は88.3、FrontierSWEは81.2、SWE-Marathonは42.0、BrowseCompは91.2と強い結果です。一方、比較には異なるエージェントharnessが混ざり、一部は社内benchmarkです。Moonshot AI自身も、総合ではClaude Fable 5とGPT-5.6 Solに及ばないと書いています。
この記事では、強さの看板より、強さを作った設計と、そのまま信じてはいけない部分を見ます。
これまでの問題。長くすると、計算も記憶も運用も壊れやすい
長文脈モデルには、単純な矛盾があります。
文脈を長くすれば、巨大なrepository、長い調査、何百回ものtool callを1つの仕事として扱いやすくなります。しかし、通常のattentionは系列が長くなるほど計算とcacheが重くなります。モデルを深くすれば表現力は増えますが、初期層の情報は何十層もの変換を通る間に薄れます。MoEで総容量を増やせば、今度は専門家へのtoken配分が偏り、GPU間通信とmemoryが詰まります。
さらにエージェント学習では、途中の問題がもっと厄介です。
長い仕事は、1回の回答では終わりません。推論し、toolを呼び、画面やtestを観察し、修正し、また実行します。途中で学習処理を分割すると、model側のKV cacheとsandbox側のfile、process、application状態を一緒に復元しなければなりません。
Kimi K3は、この問題を「大きなmodel 1個」ではなく、「長さ、深さ、幅、学習環境、配信」の連携問題として扱っています。
仕組み1。長さ、深さ、幅を別々に設計する
Kimi K3のarchitectureは、情報の流れを3方向へ分けると理解しやすくなります。
長さ方向。3層のKDAと1層のglobal attention
各blockは、3層のKimi Delta Attention（KDA）の後に1層のGated MLAを置きます。
KDAはrecurrent stateを更新しながら長い系列を処理するlinear attention系の仕組みです。すべてのtoken同士を毎回直接比較する代わりに、過去を圧縮した状態を引き継ぎます。これだけではglobalな関係を失う恐れがあるため、4層に1回はGated MLAで広い相互作用を残します。
要するに、長距離走は軽い仕組みで進み、要所では全体を見渡す設計です。
深さ方向。過去の層を選んで読み直す
通常のresidual connectionは、直前までの情報を順に足し込みます。Attention Residualsは、現在の層がembeddingや以前のblock出力へ重みを付け、必要な表現を選択的に参照します。
深い伝言ゲームで、直前の人の話だけを信じず、必要なら最初のメモを読み直せるようにした、と考えると分かりやすいでしょう。
幅方向。896人を雇い、毎回16人だけ呼ぶ
Kimi K3には896のrouted expertがあり、各tokenで16を選びます。全員を毎回働かせないため、2.8兆という総容量に対して活性パラメータを1040億へ抑えられます。
ただし、人気expertへtokenが集中すれば、一部GPUだけが渋滞します。そこでStable LatentMoEとQuantile Balancingを使い、極端に疎な構成でも学習を安定させます。
Moonshot AIは、KDA、Attention Residuals、Stable LatentMoE、dataとtraining recipeを合わせ、Kimi K2比でscaling efficiencyが約2.5倍になったと報告しています。これは技術報告のFigure 7とTable 1にあるfitted scaling-law curve上の結果です。
大事なのは、API料金が2.5分の1、あるいは実アプリが2.5倍速いという意味ではないことです。sourceの主張は、同じvalidation lossへ到達するためのtraining compute効率です。
仕組み2。100万トークンは、窓を広げるだけでは作れない
Kimi K3は、学習文脈をいきなり100万へ広げていません。
技術報告のSection 3.4では、8Kから64K、256K、1Mへ段階的に伸ばしています。高価な長系列学習を全期間に適用せず、後半へ集中させるcurriculumです。
さらにpost-trainingでは、一般推論、coding、agent、knowledge workを複数のreasoning effortで学習し、最後に複数teacherのpolicyを1つへまとめます。trajectoryは数百から数千のtool call、累積では数百万tokenへ達します。
ここで必要になるのが、modelとenvironmentの両方を止めて再開する仕組みです。
- partial rolloutで長いtrajectoryを分割する
- 外部KV cacheでmodel側の状態を保持する
- resumable microVMでsandbox側の状態を保持する
- 負荷に応じてrolloutを止めたり再開したりする
報告書では、学習と評価を通じて51,219,741個のsandboxと1,505,678個のimageを作成したとしています。100万tokenは、単なる入力欄の最大文字数ではありません。長い仕事を途中で落とさず回すための分散systemです。
実験は何を示したか
公式の評価表から、実務に近い項目を抜き出すと次のようになります。
| Benchmark | Kimi K3 | Claude Fable 5 | GPT-5.6 Sol | |—|—:|—:|—:| | Terminal-Bench 2.1 | 88.3 | 88.0 | 88.8 | | FrontierSWE | 81.2 | 86.6 | 71.3 | | SWE-Marathon | 42.0 | 35.0 | 39.0 | | BrowseComp | 91.2 | 88.0 | 90.4 | | AutomationBench | 30.8 | 29.1 | 29.7 | | OSWorld-Verified | 84.8 | 85.0 | 83.0 |
Kimi K3は、すべてで1位ではありません。しかし、coding、web research、computer useをまたいで上位にいます。公開重みのmodelが、単発のQAではなく長期agent taskでもfrontier級へ入ったことは大きな変化です。
同時に、この表をmodel単体の順位表として読むのは危険です。
Kimi K3はKimi Code、他modelはClaude CodeやCodex、Terminus 2など、benchmarkごとにharnessが違います。SWE-MarathonはH20向けに再較正したbranchを使い、GPT-5.6 Solではcyber guardによるrefusalもあります。Kimi Code Bench 2.0など社内評価も含まれます。
したがって確認できるのは、「公開されたKimi K3 systemが複数の長期taskで強い」ということです。「同一条件でmodel本体が常に他を上回る」とまでは言えません。
公開重みの現実。1.42 TiBと64基以上のaccelerator
Kimi K3の重みは、実際に公開されています。
AICompanyがHugging Faceのmodel APIを確認した時点で、96個のsafetensorsは合計1,560,936,091,448 bytes、約1.42 TiBでした。ページは非公開でもgatedでもありません。
しかし、公式技術記事は、本格的なdeploymentに64基以上のacceleratorを持つsupernode構成を推奨しています。MXFP4量子化済みでも、storage、high-bandwidth communication、KV cache、prefix cache、schedulerが必要です。
ここからのAICompanyの解釈は明確です。
多くの開発者にとって、最初の現実的な入口は自己hostではなく、Kimi API、Kimi Code、または対応するinference providerです。公開重みの価値は「誰でも今日local PCで動かせる」ことより、研究機関やinfrastructure企業が中身を検証し、最適化し、独自環境へ持ち込めることにあります。
もう1点、表現には注意が必要です。Kimi K3はopen-weightですが、Kimi K3 Licenseには独自の商用条件があります。一定規模を超えるModel as a Service事業では別契約が必要で、非常に大きな製品には名称表示義務があります。無条件のopen sourceと同じ意味ではありません。
実務で使うなら、まず3つを試す
1. 長いcoding taskで本当にcheckpointを保てるか
100万tokenを埋めることより、20から50回のtool callをまたいで、要件、変更file、test結果、未解決issueを保てるかを試します。途中でmodelを切り替えず、同じharnessで完走率と手戻りを測るべきです。
2. thinking historyを完全に戻せるか
公式のLimitationsは、過去のreasoning_contentを戻さない場合や、途中で別modelからK3へ切り替えた場合、生成品質が不安定になり得ると警告しています。
API adapterがcontentだけを保存し、thinkingやtool callを捨てていないか確認が必要です。100万tokenの看板より先に、message serializationを見ましょう。地味ですが、こういう配管が一番よく水漏れします。
3. 過剰なproactivenessを止められるか
公式記事は、K3が曖昧な依頼で利用者に代わって予想外の判断をする可能性も挙げています。
system promptやAGENTS.mdで、外部送信、費用、削除、権限変更、長時間実行を明示的な境界にします。高性能なagentほど、できることの一覧より、してよいことの一覧が重要です。
まだ証明されていないこと
Kimi K3のreleaseは強力ですが、次の点は未証明です。
- 100万tokenへ入れた情報を、終盤で常に正しく使えるわけではない
- 2.5倍のtraining scaling efficiencyが、利用者のlatencyや費用へ同率で効くわけではない
- 異なるharnessのbenchmark差をmodel本体の差へ還元できない
- 社内benchmarkと長時間case studyを第三者が同じ条件で再現できるとは限らない
- 公開重みであること自体は、安全性やlicenseの自由度を保証しない
- 技術報告には独立した包括的safety evaluationがない
特に、長い文脈と長期記憶は同じではありません。窓が広くても、重要情報を選び、現在のtaskへ正しく届けるroutingが弱ければ使えません。
評決
Kimi K3は、2.8兆パラメータの記録更新というより、「巨大な公開modelを長期agentとして成立させるには、model architectureだけでなく、RL、sandbox、cache、schedulerまで共同設計が必要だ」と示したreleaseです。
公開重みは本物で、codingとagent benchmarkも強い。ただし、1.42 TiBのweightと64基以上のaccelerator推奨を見れば、個人向けlocal LLMではありません。open-weightの意味は、手軽さではなく、検証可能性と改造可能性の射程が広がったことです。
いちばん実務的な見方はこうです。
Kimi K3を試すなら、最大contextや派手なdemoから始めない。まず同じ長期taskを同じharnessで繰り返し、完走率、手戻り、tool誤操作、費用を測る。その結果が強ければ、2.8兆という数字が初めて自分の仕事の数字になります。
参考資料
- Kimi K3 technical report
- Kimi K3 official repository
- Kimi K3 model weights
- Kimi K3 official tech blog
- Kimi K3 License
【送料無料】マクロキーパッド、ストリームコントローラーデッキゲームストリーミングショートカットキーボード、18個のプログラム可能