自動運転AIは「走る」だけでは足りない。NVIDIA Alpamayo 2 Superが統合した4つの仕事

自動運転AIに必要なのは、ハンドルを切る方向を当てることだけではない。

なぜ止まるのか。どの車を警戒したのか。次の6秒でどこへ進むのか。その判断を学習用データへ戻せるのか。開発現場では、走行modelの前後に説明、評価、label作成のsystemが必要になる。

NVIDIAが2026年8月4日に公開したAlpamayo 2 Superは、この分業を34Bの一つのfoundation modelへ寄せた。最大7台のcamera映像と車両状態から、将来軌跡だけでなく、判断理由、meta-action、質問応答、2D grounding、学習用labelまで出す。

ただし、「これで自動運転が完成した」と読むのは早い。むしろ面白いのは、実車controlの前段で使えるoffline teacher、critic、data engineとしての設計だ。

古い問題は、運転modelの周りに別systemが増え続けること

一般的な運転modelは、camera画像や車両状態を受け取り、steeringやtrajectoryを出す。Vision-Language-Action modelなら、映像と言語の意味理解をactionへつなげられる。

それでも開発工程には別の仕事が残る。

走行clipのどの物体が重要だったかをlabel付けする
modelの判断理由をreviewerが読める形にする
yield、lane change、stopなどの高水準actionを分類する
生成したtrajectoryをopen-loopとclosed-loopで評価する
失敗sceneを探し、次の学習dataへ戻す

これらを別model、別prompt、別pipelineで作ると、出力同士の整合性が崩れやすい。trajectoryは右へ避けているのに、説明文は前方車両の減速しか触れない、といったズレだ。modelが増えるほどversion管理と評価条件も増える。自動運転の前に、管理表が渋滞する。

Alpamayo 2 Superは何を一つにしたのか

公開model cardによると、Alpamayo 2 Superは34B parametersのmulti-task foundation modelだ。入力は最大7 camerasの映像、ego vehicleのmotion history、task prompt。出力は大きく4系統に分かれる。

1. 将来軌跡とChain-of-Causation

modelは将来trajectoryと同時に、scene内の重要要素、起こり得る変化、選んだactionのつながりを言語化する。NVIDIAはこれをChain-of-Causationと呼ぶ。

ここで大事なのは「説明が付いた」こと自体ではない。同じ入力から連続値のtrajectoryと言語のreasoningを出すため、二つの整合性を検査対象にできることだ。

2. Meta-action

細かな座標列だけでなく、yield、change lane、stopなどの高水準actionを出す。これは大量のtrajectoryを人間がreviewするときのindexになる。

3. VQAと2D grounding

複数cameraのsceneについて質問し、自然言語で答える。さらに回答対象を画像上の座標へgroundingできる。単に「歩行者がいる」と答えるだけでなく、どのcameraのどこを指しているかを確認できる。

4. Reasoning auto-label

収集済みclipへ、critical component、ego motion、trajectory analysis、Chain-of-Causationを含む構造化labelを生成する。公開repositoryには、この4 fieldをJSONで出すnotebookがある。

複数カメラと車両状態を一つのAIへ入力し、軌跡、理由、行動、labelへ分岐する構成図 — Alpamayo 2 Superのmulti-task workflowをAICompanyが再構成した図

仕組みは、言葉と軌跡を別の出口から出す

Alpamayo 2 SuperはCosmos 3 Superを基盤にする。映像、車両のmotion、promptをencoderへ入れ、reasonerがsceneの意味と因果関係を扱う。その表現をaction expertへ渡し、diffusionでfuture trajectoryを生成する。

ざっくり言えば、同じscene understandingから二つの出口を持つ。

discreteな出口: reasoning、meta-action、VQA、label
continuousな出口: future trajectory

従来のVLAが「見て、考えて、actionを出す」構成なら、Alpamayo 2 Superは「見て、考えて、言葉とactionを並行して出す」構成だ。

ただし、言葉が出たから説明可能性が完成するわけではない。生成された理由がmodel内部の真の因果を忠実に表すとは限らない。必要なのは、説明文の流暢さではなく、trajectory、対象物、meta-action、実際のsceneが矛盾していないかを機械的に検査することだ。

実験結果は、4種類の数字を分けて読む

Trajectory predictionは0.911m

NVIDIA公式記事は、Physical AI AV Datasetの1,434 challenging samplesで、6.4秒先のminADE_6が0.911mだったと報告する。低いほどground truth trajectoryへ近い。

比較対象のAlpamayo 1.5 Nanoは0.916mで、差は0.005mだ。数字だけを見ると大差ではない。Alpamayo 2 Superの価値は、このtrajectory性能だけでなく、reasoningやlabelingを同じmodelへ統合した点にある。

AV reasoningは0.433

Physical AI AV Reasoning Benchmarkでは0.433。公式記事の比較欄ではAlpamayo 1.5 Nanoの0.414を上回る一方、GPT-5.5の0.502には届いていない。

この結果は重要だ。NVIDIA自身の表でも、Alpamayo 2 Superがすべてのreasoning比較で最高ではない。専門modelの強みは、単発の言語scoreだけでなく、multi-camera入力とtrajectory生成を同じworkflowで扱えることにある。

LingoQAは79.2

LingoQAでは79.2。公式記事は37 model中1位と報告し、Qwen3-VL 32Bの72.2より7.0 point、Gemini 2.5 Proより15.1 point、GPT-4oより23.2 point高いとする。

ただし、LingoQAは運転sceneへの言語応答を測る。実車で安全に停止できる確率ではない。言語benchmarkをsafety certificateへ変換してはいけない。

Closed-loopは1.50 ± 0.13

AlpaSimでは1.50 ± 0.13。open-loopが記録済みの未来と予測を比べるのに対し、closed-loopはmodelのaction後にsceneが変化する。collision、road departure、close encounterのように、最初のactionが後続へ与える影響を見られる。

ここにも注意点がある。これはsimulation scoreであり、公道走行の承認ではない。

固定された未来と比べるopen-loop評価と、行動後の世界変化を戻すclosed-loop評価の比較図 — open-loopとclosed-loopの違いをAICompanyが再構成した図

一次資料には、無視できない母数のズレがある

研究監査で最も気になったのは、公式記事とmodel cardの評価母数が一致しないことだ。

指標値は一致している。しかし同じsubsetなのか、公開直前の更新差なのか、一次資料だけでは確定できない。

そこで本記事では、数字を勝手に一つへ丸めない。公式記事の結果を説明するときは公式記事の母数、model cardを説明するときはmodel cardの母数を使う。地味だが、benchmark記事で一番大事なのは、この「数字の引っ越しで荷物をなくさない」作業だったりする。

AICompanyの解釈。最初の導入先は実車ではなくdata loop

Alpamayo 2 Superを実務へ持ち込むなら、いきなりvehicle controlへ接続するより、次の順が安全で効果を測りやすい。

既存の走行clipを固定する
auto-labelとmeta-actionを生成する
人手labelとの差分を測る
trajectoryとreasoningの矛盾を抽出する
reviewerが採否を決める
採用labelだけを次のtraining setへ入れる

この使い方なら、modelは判断者ではなく候補作成者だ。human reviewを残したまま、長いclipから重要sceneを探す時間を短縮できる。

小さな検証では、100 clipほどを用意し、次の4指標を取るとよい。

重要物体のgrounding一致率
meta-actionのmacro F1
reasoningとtrajectoryの矛盾率
reviewer一人あたりの確認時間

精度だけでなく、誤りの種類も分ける。存在しない物体を理由にするhallucination、正しい物体を見ているがactionが違う判断誤り、actionは正しいが説明が違う説明誤り。この3つは修正方法が異なる。

公開物は揃っている。ただしlocal modelではない

公開物の厚みは強い。

model weightはOpenMDW-1.1
source codeとnotebookはApache 2.0
trajectory、meta-action、VQA、auto-labelingのnotebookがある
model cardに実行memory条件がある

一方、実行条件は軽くない。model cardの測定では、H100 80GB、BF16、7 cameras、各4 frames、batch size 1、10 diffusion stepsでdevice memory peakが72,115 MiBだった。PyTorchのallocation peakは69.316 GiB。

つまり、weightが公開されていることと、手元のGPUで気軽に動くことは別だ。公開model界の「玄関は開いています。ただし階段が72GBあります」である。

さらにPhysical AI AV Datasetは公開pageを持つが、file accessにはlicense agreementへの同意が必要だ。notebookもdataset access済みのHugging Face accountを前提にする。

限界。reasoningは安全証明ではない

今回の一次資料から確認できないことも多い。

AICompanyはH100でmodelを動かし、結果を独立再現していない
評価母数が公式記事とmodel cardで一致しない
open-loopの0.911mは介入後の世界変化を測らない
closed-loopはsimulationであり、real-world deploymentを保証しない
LingoQAは言語評価で、collision回避率ではない
auto-labelは人手reviewを不要にする証拠がない
reasoning textが内部因果へ忠実である保証はない
地域、天候、sensor構成、長尾sceneのcoverageを一つのscoreから判断できない

特に危険なのは、もっともらしいreasoningを安全の根拠にしてしまうことだ。自然な文章と正しい運転は別物である。trajectoryが正しくても説明が誤ることがあり、説明が正しくてもtrajectoryが危険なことがある。二つを別々に採点し、最後に整合性を測る必要がある。

Verdict

Alpamayo 2 Superの本当の新しさは、34Bというmodel sizeではない。trajectory、reasoning、meta-action、VQA、auto-labelを一つのdata loopへまとめ、同じsceneから出る複数の判断を相互検査できる形にしたことだ。

実車へ直結する完成品として見ると、証拠は足りない。offline teacher、critic、data engineとして見ると、公開weight、code、notebook、evaluationが揃った実用的な基盤である。

持ち帰るべき設計原則は単純だ。AIにactionだけを出させない。根拠、対象、high-level intent、次の学習dataまで同じ評価loopへ入れる。そして説明が上手いことを、安全であることと混同しない。

一次資料

【送料無料】マクロキーパッド、ストリームコントローラーデッキゲームストリーミングショートカットキーボード、18個のプログラム可能

自動運転AIは「走る」だけでは足りない。NVIDIA Alpamayo 2 Superが統合した4つの仕事

自動運転AIは「走る」だけでは足りない。NVIDIA Alpamayo 2 Superが統合した4つの仕事

古い問題は、運転modelの周りに別systemが増え続けること