対象読者

この記事は、次のような方を対象としています。

  • 複数の画像から点群データを作成したり、3Dモデルを構築したりする技術に興味がある方
  • 2つの画像間の特徴点マッチング、位置合わせ、差分検知などの画像処理技術に興味がある方
  • SfM、NeRF、3D Gaussian Splatting、SLAMと、深層学習による最新の3D復元技術との関係を理解したい方

要約

  • VGGTの本質は、従来のSfMで推論時に実行していた複数の幾何計算や反復最適化の多くを、学習済みTransformerによる統合的な予測に移したことです。
  • SfM/MVS、VGGSfM、DUSt3R、MASt3Rなどの研究を背景に、VGGTは複数画像からCamera、Depth、Point Map、Point Trackを一括推定できるようになりました。
  • VGGTは単なるCOLMAPの代替ではなく、NeRF、3D Gaussian Splatting、SLAM、ロボティクスなどに利用できるGeometry Backboneとして位置づけられます。
  • 一方で、入力画像が同じ3Dシーンを表していること、学習した幾何知識が未知の環境にも通用することなど、重要な前提があります。3Dを予測できることは、その3Dが物理的に正しいことの保証ではありません。
  • 2026年現在、VGGT-Ω、MapAnything、VGGT-SLAMなどによってGeometry Foundation Modelの研究が進む一方、幾何的一貫性、不確実性、外れ値検出、動的シーン対応などが重要な研究課題となっています。

1. VGGTは3D画像処理の研究史の中で、どこに位置づけられるのでしょうか

VGGT（Visual Geometry Grounded Transformer）は、画像から3D空間の構造を推定するためのTransformerモデルです。

2025年に発表され、CVPR 2025のBest Paper Awardを受賞しました。[1]

VGGTを研究史の中で見ると、非常に重要な転換点に位置する研究です。

端的に言えば、

「3D幾何を、特徴点マッチング・幾何計算・反復最適化によって求める」方法から、「大量の3Dデータで学習したTransformerに、シーンの幾何構造を直接推定させる」方法への移行を象徴する研究

と捉えることができます。

ただし、この表現には重要な補足が必要です。

VGGTは、幾何学そのものを不要にしたわけではありません。また、従来のSfMが担っていたすべての処理を、数学的に等価な形で置き換えたわけでもありません。

従来、画像から3Dモデルを構築するには、特徴点検出、画像間の対応付け、カメラ姿勢推定、三角測量、Bundle Adjustmentなどの処理を組み合わせる必要がありました。

VGGTは、これらの処理に関係する幾何学的な規則性を大規模な学習によって獲得し、推論時には共通のTransformerから複数の幾何情報を出力します。

その結果、3D点群の生成だけでなく、画像間の対応付け、カメラ位置推定、3D Gaussian Splatting、SLAMなどへの応用が可能になりました。

一方で、VGGTの登場によって、新たな問いも生まれています。

「学習済みモデルが出力した3D構造は、本当に観測画像に裏付けられた正しい3Dなのでしょうか？」

古典的なSfMでは、画像間の対応点や射影幾何の制約を利用して3Dを復元します。

VGGTでは、それらの制約を明示的な最適化として毎回解かなくても、3Dを予測できるようになりました。

しかし、予測できることと、観測から正しさを確認できることは別の問題です。

この記事では、VGGTに至る研究史を振り返りながら、次の観点から技術の本質を整理します。

  • 従来のSfMから何が変わったのでしょうか
  • VGGTは何を学習し、何を推論しているのでしょうか
  • NeRF、3D Gaussian Splatting、SLAMとどのような関係にあるのでしょうか
  • VGGTはどのような前提に依存しているのでしょうか
  • その前提が破れた場合、何が起こるのでしょうか
  • 2026年現在、どのような課題が残っているのでしょうか

2. 従来は画像からどのように3Dを作っていたのでしょうか

2.1 SfMとMVSによる3D復元

古典的な3D復元の代表的な技術として、SfM（Structure from Motion）とMVS（Multi-View Stereo）があります。

SfMは、複数の画像からカメラの位置や向きと、シーンの3D構造を同時に推定する技術です。

MVSは、推定されたカメラ情報などを利用して、より密な3D形状を復元します。

代表的な実装がCOLMAPです。[2]

COLMAPのようなSfM/MVSでは、大まかに次のパイプラインで処理します。

画像 → 特徴点 → 画像間マッチング → カメラ姿勢推定 → 三角測量 → Bundle Adjustment → Dense MVS → 3D

それぞれの役割は次のとおりです。

  1. 特徴点抽出：画像中から、別の画像でも見つけやすい特徴的な位置を検出します。
  2. 特徴点マッチング：異なる画像に写っている同じ場所を対応付けます。
  3. カメラ姿勢推定：画像間の対応関係を使って、撮影時のカメラの位置と向きを推定します。
  4. 三角測量：複数の視点から観測された点の3D座標を計算します。
  5. Bundle Adjustment（BA）：カメラ姿勢と3D点の位置をまとめて最適化します。
  6. Dense MVS：より密な3D形状を復元します。

実際のCOLMAPでは、画像登録、局所的・大域的なBA、外れ値除去など、さらに多くの処理を組み合わせています。

この方法には、非常に重要な利点があります。

カメラモデル、射影幾何、エピポーラ幾何などの制約が明示的なので、推定した3D構造が画像上の観測とどの程度一致しているのかを、数学的に評価できます。

2.2 Bundle Adjustmentは何を保証するのでしょうか

Bundle Adjustmentは、3D復元の中心的な技術の一つです。

例えば、画像内で観測された点の座標と、推定した3D点をカメラへ再投影した座標との差を考えます。

この差を再投影誤差と呼びます。

簡略化すると、BAは次のような誤差を最小化する問題です。

[ E_{\mathrm{BA}} = \sum_{(i,j)\in\mathcal{O}} \rho\left( \left| \pi(K_i,T_i,X_j)-x_{ij} \right|^2 \right) ]

ここで、

  • (K_i)：カメラの内部パラメータ
  • (T_i)：カメラの位置と向き
  • (X_j)：3D空間内の点
  • (x_{ij})：画像上で観測された対応点
  • (\pi)：3D点を画像上に投影する関数
  • (\rho)：外れ値の影響を抑えるためのロバスト損失
  • (\mathcal{O})：有効な観測の集合

を表します。

つまり、複数画像から得られた観測に対して、カメラ姿勢と3D点ができるだけ矛盾しないように調整します。

この仕組みは、推定結果の幾何的一貫性を高めるうえで重要です。

ただし、BAにも限界があります。

画像間の対応点自体が誤っていれば、最適化によって正しい3Dが得られるとは限りません。

また、再投影誤差が小さいことだけで、実世界の絶対的な距離や形状が正しいと保証されるわけでもありません。

それでも、観測と推定結果の不一致を明示的に計算できるという点は、古典的なSfMの重要な特徴です。

2.3 古典的なSfMの強みと弱み

古典的なSfMは、十分な画像間対応が得られる環境で強力です。

一方、次のような条件では難しくなります。

  • 画像中に特徴点が少ない
  • テクスチャが乏しい
  • 画像間の視点差が大きい
  • 反射や透明な材質が含まれる
  • 視点間の重なりが少ない
  • 動的な物体が多数存在する

また、各工程を注意深く組み合わせる必要があります。

特徴点のマッチングに失敗すると、その後のカメラ姿勢推定や三角測量にも影響します。

このような問題を改善するために、深層学習が徐々に導入されていきました。

2.4 深層学習による各工程の置き換え

2010年代後半から2020年代前半にかけて、深層学習がSfMの各工程に導入されました。

最初は、SfMそのものを捨てるのではなく、既存のパイプラインの一部分をニューラルネットワークに置き換える方向が中心でした。

例えば、次のようなものです。

  • 特徴点抽出をニューラルネットワークで実行する
  • 特徴点マッチングをニューラルネットワークで実行する
  • 深度推定をニューラルネットワークで実行する

つまり、古典的な3D復元パイプラインの部品を、学習器によって高度化するという発展です。

2.5 VGGSfMによるEnd-to-End化

VGGSfM（CVPR 2024）は、この流れをさらに進めた研究です。[3]

VGGSfMでは、点の追跡、カメラ推定、微分可能なBundle Adjustmentを組み合わせ、SfM全体をEnd-to-Endで学習可能にしました。

これは従来の手法から大きく進歩したものですが、依然として「SfMという問題設定」と「Bundle Adjustmentという幾何最適化」は残しています。

つまり、VGGSfMは、従来のSfMパイプラインを深層学習によって統合・高度化する研究と位置づけられます。

ここから、3D復元の問題設定そのものを見直す研究が登場します。

その代表例がDUSt3Rです。

3. DUSt3Rが変えた「画像から3Dを求める」という考え方

VGGTを理解するうえで、最も重要な先行研究の一つがDUSt3R（CVPR 2024）です。[4]

DUSt3Rの発想は、それまでの3D復元とは大きく異なります。

従来は、概念的には次のような流れでした。

カメラを求める → 対応点を求める → 三角測量して3Dを作る

これに対してDUSt3Rは、

画像を2枚入力し、各ピクセルが3D空間のどこにあるかをTransformerに直接予測させる

という考え方を採用しました。

3.1 Point Mapという表現

DUSt3Rが採用した重要な表現が、Point Mapです。

Point Mapは、画像の各ピクセルに3D座標を割り当てるものです。

通常のDepth Mapは、各ピクセルまでの奥行きを表します。

一方、Point Mapは各ピクセルに対応する3D位置を直接表します。

DUSt3Rは、カメラ姿勢やキャリブレーション情報が未知の画像ペアから、Point Mapを直接予測します。

さらに、予測したPoint Mapから、深度、対応点、焦点距離、カメラ姿勢などを導くことができます。[4]

従来はカメラ姿勢を推定してから3Dを求めていました。

DUSt3Rでは、逆に3Dを直接予測することで、カメラ姿勢や画像間の対応情報を求めることが可能になりました。

これは、3D復元における情報の求め方を大きく変える研究でした。

3.2 なぜ直接3Dを予測できるのでしょうか

この考え方の背景には、深層学習によって獲得した3Dの事前知識があります。

例えば、一般的な室内画像に対して、人間は1枚の画像からでも、おおよその奥行きや物体の形状を推測できます。

ただし、1枚の画像だけで実際の奥行きが数学的に一意に決まるとは限りません。

私たちは、過去の経験から、壁、床、机、椅子などの形状や配置を知っているため、3D構造を推測できます。

DUSt3Rのような学習ベースのモデルも、大量のデータから画像と3D構造の関係を学習します。

そのため、従来の三角測量に必要な情報が十分でない場合でも、もっともらしい3D構造を推定できる可能性があります。

ただし、ここには重要な違いがあります。

画像から3Dを予測できることと、その3Dが観測によって一意に確定していることは同じではありません。

この問題は、後にVGGTの限界を考える際にも重要になります。

3.3 DUSt3Rの制約

DUSt3Rには大きな制約がありました。

基本的な処理単位が画像ペアであることです。

例えば、10枚、100枚の画像からシーン全体を復元したい場合、多数の画像ペアを処理し、それぞれのPoint MapをGlobal Alignmentによって整合させる必要があります。

画像が増えると、ペアごとの処理と統合作業が重要な課題になります。

また、個別の画像ペアで得られた3Dが、それぞれ異なる座標系やスケールを持つ場合、全体を一つの3D空間として整合させなければなりません。

3.4 MASt3Rへの発展

MASt3R（ECCV 2024）は、DUSt3Rの考え方を画像マッチングへ発展させた研究です。[5]

MASt3Rは、3DにGroundingされた特徴量を利用することで、視点差の大きな画像間でも高精度に対応点を求められるようにしました。

ここで重要なのは、画像マッチングと3D復元が、必ずしも独立した問題ではなくなってきたことです。

従来は、特徴点マッチングによって3Dを復元するという関係でした。

DUSt3RやMASt3Rでは、学習した3D表現を利用して画像マッチングを実現するという、逆方向の考え方も可能になりました。

画像間の位置合わせや差分検知を考えるうえでも、この変化は重要です。

例えば、撮影位置の異なる2枚の画像を比較する場合、単純なピクセル差分では、視点の違いと物体そのものの違いを区別することが難しくなります。

3D構造を考慮して対応関係を求めることができれば、視点差を考慮した画像比較への応用が考えられます。

ただし、DUSt3RやMASt3R自体が、あらゆる差分検知を直接実行するモデルというわけではありません。

4. VGGTは具体的に何を変えたのでしょうか

VGGTは、DUSt3RやMASt3Rで進んだ学習ベースの幾何推定と関連しながら、複数画像の統合処理をさらに発展させた研究です。

同時に、VGGSfM、Deep SfM、PoseDiffusion、CoTrackerなど、学習ベースのカメラ推定や点追跡の研究系列からも影響を受けています。[1][10]

したがって、VGGTをDUSt3RやMASt3Rだけの直接的な後継モデルとして捉えるのは、やや単純化しすぎです。

むしろ、複数の研究潮流が合流した成果として位置づけるのが適切です。

VGGTでは、1枚から数百枚の画像を入力すると、一つのネットワークが複数の幾何情報を同時に予測します。[1][6]

4.1 一つのTransformerから複数の幾何情報を出力

VGGTが出力する主な情報は、次の4種類です。

出力 内容 関連する用途
Camera Parameters カメラの内部パラメータと外部パラメータ カメラ姿勢推定、3D復元
Depth Maps 各画像のピクセルごとの深度 距離・奥行きの推定
Point Maps 各ピクセルに対応する3D座標 点群生成、3Dモデル構築
Point Tracks 複数画像間で対応する点の追跡情報 画像間対応、位置合わせ、追跡

従来は、これらをそれぞれ別のアルゴリズムで求める必要がありました。

VGGTでは、共通のTransformer表現から複数の出力ヘッドを使って、これらを予測します。

つまり、カメラ姿勢推定、深度推定、3D復元、点の追跡を、それぞれ独立した問題として扱うのではなく、一つの3Dシーンを理解するための関連した問題として統合しているわけです。

4.2 Frame-wise AttentionとGlobal Attention

VGGTのネットワーク構造も重要です。

画像はDINO系のEncoderによってToken化され、その後、Frame-wise AttentionとGlobal Attentionを交互に実行します。[1][6]

概念的には、次のような構成です。

画像 → Encoder → Frame-wise Attention → Global Attention → Frame-wise Attention → Global Attention → … → 幾何情報の出力

Frame-wise Attentionでは、個々の画像内の情報を処理します。

Global Attentionでは、複数の画像を横断して情報を交換します。

これによって、同じ3D空間を異なる視点から撮影した画像同士の関係を学習できます。

従来のSfMでは、特徴点マッチング、エピポーラ幾何、三角測量などを明示的に処理していました。

VGGTのGlobal Attentionは、これらの処理が担っていた画像間の関係の一部を、ネットワーク内部で暗黙的に表現していると考えられます。

ただし、Attentionが画像間の関係を学習できることと、その関係が射影幾何の制約を厳密に満たしていることは別です。

Global Attentionは、幾何的一貫性を学習する仕組みにはなりますが、一貫性を数学的に保証する仕組みではありません。

4.3 Over-complete Predictionという考え方

VGGTの特徴的な設計の一つが、Over-complete Predictionです。

Depth Mapとカメラ姿勢が分かれば、Point Mapを計算できます。

また、Point Mapからカメラに関する情報を復元することもできます。

つまり、これらの出力には数学的な冗長性があります。

従来のアルゴリズム設計では、同じ情報を複数の形式で予測するのは無駄だと考えられるかもしれません。

ところがVGGTでは、この冗長性を積極的に利用します。

Camera、Depth、Point Map、Trackを同時に教師あり学習させることで、ネットワーク内部の表現そのものを3D GeometryにGroundingします。

言い換えると、単に画像の特徴を理解するだけではなく、カメラ、深度、3D座標、画像間対応という複数の観点から、幾何構造を学習するわけです。

ここが、Visual Geometry Grounded Transformerという名前の核心です。

4.4 Over-complete Predictionは幾何的一貫性を保証するのでしょうか

ここで注意したいのは、複数の関連する情報を同時に予測することと、それらが数学的に完全に整合していることは異なるという点です。

例えば、VGGTはDepth MapとCamera Parametersを予測します。

これらから3D点を計算することもできます。

一方で、VGGTはPoint Map自体も直接予測します。

理想的には、次の2つは一致するはずです。

  • DepthとCamera Parametersから計算した3D点
  • Point Mapとして直接予測した3D点

しかし、両者が常に完全一致するようにモデル構造上保証されているわけではありません。

実際、VGGTの原論文では、直接予測したPoint Mapだけを利用する場合よりも、予測されたDepthとCamera Parametersから3D点を構成した方が高精度となる結果も報告されています。[16]

つまり、Over-complete Predictionは学習を改善する有効な設計ですが、出力間の整合性や、どの出力をどの用途に利用すべきかは、別途検証する必要があります。

この点は、VGGTを計測、3Dモデル構築、画像間の位置合わせに利用する場合に特に重要です。

5. SfMからVGGTまでの研究の流れを整理する

ここまでの研究を比較すると、次のようになります。

世代 基本思想 推論時に何をするか 幾何的な正しさを支える仕組み
SfM / COLMAP 幾何を数式で解く Matching → Camera Estimation / PnP → Triangulation → BA 対応点、射影幾何、再投影誤差、BA
Deep SfM / VGGSfM SfMの各工程を学習可能にする Neural Network + 幾何最適化 学習した特徴・追跡と明示的な最適化
DUSt3R 3D Point Map自体をニューラルネットワークで予測 画像ペア → Point Maps → Global Alignment 学習した3D Priorとペア間の幾何整合
MASt3R 3Dを考慮したマッチングへ発展 画像ペア → 3D-aware Matching 3D表現にGroundingされた対応関係
VGGT シーン全体の幾何をTransformerが一括推論 複数画像 → Cameras + Depth + Points + Tracks 大規模な3D教師あり学習による統合表現
VGGT以降 Geometry Foundation Model化 SLAM、3DGS、RoboticsなどのBackbone 学習済みモデルと必要に応じた幾何検証・最適化

研究の方向性は、大きく次のように変化してきました。

5.1 第1段階：幾何学的な計算で3Dを復元する

特徴点マッチングと射影幾何によって、カメラ姿勢や3D座標を求めます。

この段階では、幾何学的な制約を明示的に解くことが中心です。

5.2 第2段階：従来の幾何計算の各工程に深層学習を導入する

特徴抽出、マッチング、深度推定などをニューラルネットワークに置き換えます。

VGGSfMでは、SfM全体をEnd-to-Endで学習可能にする方向へ発展しました。

5.3 第3段階：3D座標そのものを直接予測する

DUSt3Rによって、画像からPoint Mapを直接予測する考え方が登場しました。

カメラ姿勢を求めて三角測量するという従来の順序に必ずしも依存せず、学習した3D表現から各種の幾何情報を求められるようになりました。

MASt3Rでは、その表現を画像マッチングへ応用しました。

5.4 第4段階：複数画像を統合して幾何情報を一括推論する

VGGTでは、画像ごとの深度だけでなく、複数画像の関係やカメラ姿勢なども共通のモデルから予測します。

また、Fast3RやCUT3Rなども同時期に登場し、画像ペアの処理から多数の画像を扱う方向への発展が進みました。

Fast3Rは2025年1月、VGGTは2025年3月にarXivで公開されています。[7][1]

そのため、この発展を単一の研究グループによる一方向の系列として捉えるべきではありません。

複数の研究グループが、ほぼ同時期に多視点画像のFeed-forwardな3D復元へ取り組んでいました。

VGGTは、その研究潮流を代表する成果の一つです。

5.5 第5段階：Geometry Foundation Modelへ発展する

SLAM、3Dモデル構築、Neural Renderingなど、さまざまな3Dタスクの基盤となるモデルを目指す方向です。

ここで重要なのは、単に3D復元の精度を高めるだけではありません。

汎用的な3D表現を事前学習し、その表現を複数のタスクに利用するという考え方への移行です。

6. VGGTは3D版Foundation Modelへの転換を示しています

VGGTの研究史的な意義は、単なる3D復元アルゴリズムの改善にとどまりません。

画像認識の分野では、次のような発展がありました。

ImageNet Classifier → ViT → DINO / CLIP → 汎用Visual Foundation Model

個別の画像認識タスクに専用モデルを作るのではなく、大量の画像を使って学習した汎用的な視覚モデルを、さまざまな用途に転用する方向です。

VGGTが示したのは、3D Geometryにも同様の発展が起こる可能性です。

従来、SfM、MVS、Camera Pose Estimation、Depth Estimation、Point Trackingは、それぞれ専用のアルゴリズムとして研究されてきました。

これに対してVGGTは、大量の3Dデータから幾何構造を学習したTransformerを作り、その内部表現を複数の3Dタスクに利用する方向を示しています。

実際、VGGTの論文では、学習済みの特徴を非剛体Point TrackingやFeed-forward Novel-view Synthesisに転用した場合にも、性能が向上することが報告されています。[1][8]

LLMの発展に例えると、複数の専用解析器を組み合わせる構成から、Transformer自体に言語の構造を学習させる構成への変化に近いものです。

もちろん、言語と3D幾何では対象も制約も異なります。

特に、3Dには射影幾何、座標系、物理的なスケール、空間的一貫性など、数学的に定義できる制約があります。

したがって、言語モデルとの類似性だけから、3D Foundation Modelが同じように発展すると断定することはできません。

それでも、個別のアルゴリズムを高度化する研究から、大規模に事前学習された汎用モデルを作る研究へという方向性には共通点があります。

6.1 Geometry Foundation Modelは何を基盤化するのでしょうか

従来の3D復元システムでは、カメラ姿勢、深度、点群、特徴点対応などを、それぞれ異なる方法で求めることが一般的でした。

Geometry Foundation Modelでは、これらの情報を一つの共通表現から得ることを目指します。

例えば、次のような構成が考えられます。

画像 → Geometry Foundation Model → 共通の3D表現 → 複数の下流タスク

下流タスクには、カメラ位置推定、点群生成、3Dモデル構築、Novel-view Synthesis、SLAM、ロボットの環境認識などがあります。

この構成では、3D復元モデル自体を一つの汎用的な部品として扱えます。

ただし、共通表現が多くのタスクに有効であることと、各タスクで必要とされる精度や安全性が保証されることは異なります。

特に、ロボティクスや実寸計測のように物理空間との対応が重要な用途では、幾何的な検証や外部基準との位置合わせが必要になります。

7. 現在の3Dモデル構築技術にはどうつながっているのでしょうか

VGGTの登場によって、NeRFや3D Gaussian Splattingなどの技術との組み合わせも進んでいます。

7.1 NeRFとの関係

NeRF（Neural Radiance Fields）は、複数の画像から3Dシーンを学習し、新しい視点からの画像を生成する技術です。

元祖NeRFでは、入力画像に加えて既知のカメラ姿勢が必要でした。[9]

つまり、NeRFでシーンを学習する前に、SfMなどを使ってカメラ姿勢を推定する必要があります。

従来は、おおむね次のような流れでした。

画像 → COLMAPなどによるカメラ姿勢推定 → NeRF → 新しい視点からの画像生成

VGGTを使うと、カメラ姿勢推定の部分を学習済みモデルによって実行できます。

画像 → VGGT → Camera Parameters + Depth + Point Cloud → NeRF

ここで重要なのは、VGGTとNeRFが競合技術ではないことです。

VGGTは、画像から3D Geometryを推定する技術です。

一方、NeRFは、3Dシーンを表現し、新しい視点からの画像を生成するための技術です。

両者は、目的と役割が異なります。

また、VGGTが出力したカメラ姿勢を使えば、必ずNeRFの品質が向上するというわけではありません。

カメラ姿勢の誤差が残っていれば、その誤差がNeRFの学習結果に影響する可能性があります。

7.2 3D Gaussian Splattingとの関係

3D Gaussian Splatting（3DGS）でも、カメラ姿勢や初期点群が重要になります。

従来の実用的な3DGS構築パイプラインでは、COLMAPなどを使用してカメラ姿勢や初期Point Cloudを用意することが多くあります。

ここにVGGTを組み込むと、次のような流れになります。

未校正画像 → VGGT → Cameras + Depth + Point Cloud → 3D Gaussian Splatting

VGGTの公式実装では、予測結果をCOLMAP形式で保存し、gsplatなどのNeRF / Gaussian Splattingライブラリへ渡せる機能が提供されています。[10]

また、AnySplat（SIGGRAPH Asia 2025）は、未校正画像からFeed-forwardで3D Gaussianを生成するモデルです。

AnySplatでは、学習時のGeometry Priorとして、事前学習済みVGGTを利用しています。[11]

役割を簡潔に整理すると、次のようになります。

  • VGGT：画像から3D Geometryを推定するモデル
  • 3D Gaussian Splatting：3Dシーンを表現・描画するための技術

つまり、VGGTは3Dを「見る・推定する」ためのモデル、3DGSは3Dを「表現・描画する」ための仕組みとして、相互補完的に利用できます。

この関係は、画像から3Dモデルを構築したい人にとって特に重要です。

ただし、見た目が美しい3DGSを生成できたからといって、内部の3D形状や距離が正確であるとは限りません。

Novel-view Synthesisの画質と、幾何的な計測精度は、分けて評価する必要があります。

8. SLAM・ロボティクスへの応用

VGGTの重要な応用先の一つが、SLAM（Simultaneous Localization and Mapping）です。

SLAMは、カメラや各種センサーの情報から、周囲の地図を作成すると同時に、自分自身の位置を推定する技術です。

ロボット、自律移動システム、ARなどで利用されています。

8.1 VGGT-SLAM

MITのVGGT-SLAMは、VGGTをSLAMへ応用した研究です。[12]

長い動画を小さなSubmapに分割し、それぞれをVGGTで3D化します。

そして、Submap同士を幾何的な最適化によって結合します。

例えば、概念的には次のような構成です。

最初の30フレーム → VGGT → Local 3D Map

次の30フレーム → VGGT → Local 3D Map

さらに次の30フレーム → VGGT → Local 3D Map

これらをSLAMのBackendで整合させ、大規模なGlobal Mapを構築します。

ここでの30フレームは構成を説明するための例であり、実際のフレーム分割数や処理方式はシステム設計によって異なります。

このようなSubmapベースの処理は、長いシーケンスを扱うための基本的な考え方です。

8.2 なぜSubmapを結合するだけでは不十分なのでしょうか

VGGT-SLAMが扱う問題は、単に入力画像数が多いことだけではありません。

局所的に推定された複数の3Dマップが、それぞれ完全に同じ幾何構造を表しているとは限らないことも重要です。

例えば、Submapごとにスケールやカメラ姿勢の推定誤差が異なる可能性があります。

さらに、未校正カメラを扱う場合には、通常の回転・並進・スケールの調整だけでは説明できない射影的な歪みが残る場合があります。

VGGT-SLAMでは、この問題に対して、より一般的な射影変換を利用する方法が提案されています。[12]

これは、VGGTの出力を複数つなぎ合わせるだけで、必ず正しい大域的な3Dマップが得られるわけではないことを示しています。

8.3 VGGT-SLAM++への発展

2026年には、VGGT-SLAM++も登場しています。[13]

VGGTの予測結果に対して、Local Bundle AdjustmentやLoop Closureなどの技術を組み合わせています。

VGGT-SLAM++では、VGGTによって生成したSubmapを利用しながら、局所的な最適化を高い頻度で実行することにより、短時間のカメラ姿勢ドリフトを抑える構成が提案されています。

ここには、VGGT以降の研究の重要な方向性が表れています。

それは、AIが古典的な幾何計算を完全に置き換えるのではなく、両者を組み合わせるという方向です。

VGGTは、3D構造の初期推定を高速に出します。

古典的な幾何最適化は、複数の推定結果の整合性を高めたり、長期間の追跡で生じる誤差を補正したりする役割を担います。

つまり、

  • VGGT：良い3D初期値やGeometry Priorを高速に出します
  • Classical Geometry：長期的・大域的な幾何的一貫性を高めます

という役割分担です。

この組み合わせは、ロボティクスのように長い時間にわたって3D空間を扱う用途に適しています。

9. 画像間の特徴点マッチングや差分検知との関係

画像間の特徴点マッチングや差分検知に興味がある場合、VGGTの位置づけを理解することには実用的な意味があります。

ただし、研究で直接実現されていることと、その技術を利用して考えられる応用を区別する必要があります。

9.1 従来の特徴点マッチング

従来の特徴点マッチングでは、2枚の画像のそれぞれから特徴点と特徴記述子を取り出し、それらを照合します。

その後、幾何的な制約を使って誤対応を除去したり、画像間の位置関係を推定したりします。

この方法では、見た目が似ている点を照合したうえで、その対応が幾何的に妥当かを確認することが重要になります。

9.2 DUSt3R、MASt3R、VGGTによる変化

DUSt3Rでは、画像ペアから直接Point Mapを推定します。

MASt3Rでは、その3DにGroundingされた表現を利用して画像間の対応点を求めます。

VGGTでは、複数画像を同時に処理し、Point Tracksを含む幾何情報を予測します。

このため、画像間対応を、単なる2D特徴量の類似性だけではなく、3Dシーンの構造との関係から扱う方向へ発展しています。

ただし、VGGTがPoint Tracksを出力できることは、その対応点が常に正しいことや、すべての動的物体を正確に追跡できることを意味しません。

9.3 差分検知への応用可能性

例えば、異なる時刻や異なる位置から撮影した2枚の画像について、変化した場所を検出したいとします。

単純なピクセル差分では、次のような違いが問題になります。

  • カメラの位置や向きが違う
  • 撮影された物体の見え方が違う
  • 奥行きによって画像内の移動量が異なる
  • 実際には変わっていない場所も、画像上では異なって見える

このような場合、画像間の対応関係や3D構造を利用して位置合わせを行うことが考えられます。

VGGTのようなモデルが出力するCamera Parameters、Point Maps、Point Tracksは、こうした処理の基盤情報として利用できる可能性があります。

例えば、3D構造を考慮して画像を対応付けた後に、整合しない部分を変化候補として扱う構成が考えられます。

ただし、VGGTは直接的な差分検知モデルではありません。

特に、照明変化、物体の移動、遮蔽、推定誤差などを、実際の構造変化と区別するには、追加の処理が必要になります。

したがって、VGGTは差分検知そのものを完成させる技術というより、異なる画像を3D空間の情報に基づいて対応付けるための基盤技術として位置づけられます。

9.4 3Dを使った差分検知で注意すべきこと

例えば、ある部品の位置が画像上で数ピクセル異なっていた場合を考えます。

その違いには、複数の原因が考えられます。

  • 部品そのものが移動した
  • カメラの撮影位置が異なる
  • カメラ姿勢の推定に誤差がある
  • 深度の推定に誤差がある
  • 照明や反射によって見え方が変化した
  • 遮蔽によって、一部が見えなくなった

このような問題に対しては、VGGTで3D情報を推定するだけでは不十分です。

例えば、次のような処理を組み合わせる必要があります。

画像群 → VGGT → 3D Geometry推定 → 幾何検証・座標系の整合 → 3D対応付け → 差分検知 → 信頼性評価

これはVGGTそのものの機能ではなく、VGGTを利用したシステム構成の一例です。

特に重要なのは、3D復元の誤差と、実際に物体が変化したことによる差分を区別することです。

3Dの推定結果が誤っていれば、その誤差を構造変化として誤検出する可能性があります。

したがって、差分検知においては、3D復元精度だけでなく、変化検出のPrecision、Recall、誤検出率などを独立して評価する必要があります。

10. VGGTからGeometry Foundation Modelへの発展

2025年から2026年にかけて、VGGTと近い考え方をさらに一般化する研究が登場しています。

10.1 MapAnything

MetaとCMUによるMapAnythingは、3D Geometryを扱う汎用的なTransformerモデルを目指した研究です。[14]

VGGTの考え方をさらに広げると、入力は必ずしも画像だけである必要はありません。

例えば、次のような情報も利用できます。

  • 画像
  • 既知のCamera Intrinsics
  • Camera Pose
  • Depth
  • 部分的な3D情報

MapAnythingは、こうした情報を任意に与えながら、Metric 3Dを復元する方向に発展しています。

一つのFeed-forward Modelで、SfM、MVS、Metric Monocular Depth、Localization、Depth Completionなど、多数のタスクを扱います。

これは、従来の「3D Reconstruction Algorithm」という枠組みから、3D Geometryを入出力する汎用モデルへの変化と見ることができます。

ここで興味深いのは、VGGTでは主に画像から幾何情報を推定していたのに対し、MapAnythingでは、利用可能な幾何情報を追加条件として与えられることです。

すべてを画像から推測するのではなく、既知のカメラ情報や深度を利用することで、復元問題に含まれる曖昧さを減らす方向と捉えられます。

10.2 VGGT-Ω

VGGT自身も、2026年にVGGT-Ω（VGGT-Omega）へ発展しています。

VGGTの公式リポジトリでは、VGGT-Ωを「the next step of VGGT」と位置づけています。[10]

VGGT-ΩはCVPR 2026の研究であり、元のVGGTと比較して、再構成精度、効率、Dynamic Sceneへの対応能力を改善しています。[15]

さらに、モデルサイズや学習データを増やすと、3D Reconstructionの性能が予測可能な形で向上することも報告しています。

これは重要な結果です。

従来は、特定の3D問題に対して、どのような幾何アルゴリズムを設計するかが研究の中心でした。

一方、VGGT-Ωの方向性では、十分に大きなGeometry Modelを、十分に大きな3D DatasetでPretrainすること自体が、性能向上の重要な軸となります。

LLMの発展で注目されたScalingの考え方が、3D Visionにも入ってきたと見ることができます。

ただし、モデルを大きくして学習データを増やせば、あらゆる環境で正しい3Dが得られるわけではありません。

特に、教師データ自体に幾何的な誤差が含まれている場合、その誤差を学習してしまう可能性があります。

VGGT-Ωの研究でも、教師データの品質がモデルの予測に及ぼす影響が論じられています。[15]

また、Dynamic Sceneへの対応が改善されたとしても、強いモーションブラー、大きな画角変化、レンズ歪みなどの条件では課題が残ります。

10.3 VGG-T³による大規模化

2026年のVGG-T³は、VGGT型のモデルをより多数の画像に適用する際の計算量やメモリの問題に取り組んだ研究です。[17]

VGGTのGlobal Attentionは、複数画像間の情報を統合するうえで強力ですが、入力するView数が増えると計算負荷が大きくなります。

VGG-T³は、この問題に対して、より大規模な画像集合を扱えるFeed-forward 3D Reconstructionを目指しています。

これは、VGGTが実現した複数画像の統合推論を、実際の大規模なシーン再構築へ拡張する研究として位置づけられます。

10.4 Geometry Foundation Modelの発展方向

MapAnything、VGGT-Ω、VGG-T³を比較すると、Geometry Foundation Modelの研究が複数の方向へ発展していることが分かります。

研究 主な発展方向 解決しようとする問題
VGGT 複数の3Dタスクの統合 カメラ、深度、点群、追跡の一括推定
MapAnything 入出力情報の一般化 既知の幾何情報を利用した多目的な3D推定
VGGT-Ω モデル・データのScalingと動的シーン対応 精度、効率、汎化能力の改善
VGG-T³ 大規模な入力画像への対応 多数のViewを扱う際の計算量・メモリ
VGGT-SLAM 長時間・大規模な地図構築 局所マップ間の幾何的一貫性
VGGT-SLAM++ 局所最適化と長期安定性 カメラ姿勢のドリフトとGlobal Mapの安定化

これらの研究は、VGGTが単なる3D復元手法ではなく、さまざまな3Dタスクに利用できる基盤モデルへ発展していることを示しています。

一方で、次に見るように、モデルが高度化するほど、その出力をどこまで信頼できるのかという問題も重要になります。

11. VGGTが暗黙に置いている前提とは何でしょうか

ここまで、VGGTの技術的な進歩を見てきました。

しかし、VGGTを正しく理解するためには、何ができるようになったかだけではなく、何を前提として3Dを予測しているのかを考える必要があります。

VGGTの原論文と後続研究から、重要な前提を整理すると次のようになります。

前提 内容 前提が破れた場合の問題
同一シーン性 入力画像が共通の3Dシーンを観測している 無関係な画像を統合してしまう可能性
静的な幾何構造 複数画像間でシーンの3D構造がおおむね変わらない 動く物体や変形物体で整合性が崩れる
カメラモデル 入力画像が想定する射影モデルで表現できる 魚眼・パノラマなどで精度が低下する
学習した3D Priorの汎化 学習データから得た幾何知識が未知の環境でも通用する 未知の物体や撮影条件で誤推定する
観測不足時の推定 十分な情報がなくても、学習したPriorで3Dを推定できる 観測に裏付けられていない形状を生成する
出力の共同学習 Camera、Depth、Point Mapなどの共同学習が幾何理解を改善する 出力間の数学的整合性は保証されない
幾何最適化の代替可能性 学習済みモデルによって多くの推論時最適化を省略できる 厳密な整合性が必要な用途では追加最適化が必要
Confidenceの信頼性 予測されたConfidenceが出力の品質を判断する手がかりになる 高Confidenceでも大きな誤差を含む可能性

これらの前提のうち、一部はVGGT原論文で明示されている問題設定です。

一方、学習した3D Priorの汎化やConfidenceの信頼性などは、モデルの学習方式から生じる研究上の論点です。

以下では、それぞれを詳しく見ていきます。

11.1 前提①：入力画像は同じ3Dシーンを観測している

これはVGGTの最も重要な前提の一つです。

VGGTの原論文では、入力される複数のRGB画像が同じ3Dシーンを観測しているという問題設定が採用されています。[16]

例えば、同じ部屋を異なる位置から撮影した画像であれば、共通の3D構造を復元することができます。

しかし、入力画像の一部が別の部屋を撮影したものであった場合はどうでしょうか。

あるいは、同じ部屋であっても、家具の配置が大きく変化していた場合はどうでしょうか。

VGGTは、入力画像の同一シーン性を厳密に証明してから3Dを復元するモデルではありません。

そのため、互いに関係のない画像が入力された場合でも、何らかの3D構造を予測してしまう可能性があります。

この問題は、2026年の研究でも重要な課題として指摘されています。[18]

11.2 前提②：シーンの3D構造はおおむね静的である

VGGTの元々の問題設定は、基本的には静的な3Dシーンの復元です。

例えば、建物、室内空間、机、家具などを異なる視点から撮影する場合には、各画像が同じ3D構造を観測していると考えられます。

一方、歩行者、車両、風で動く木々、変形する布などが含まれる場合には、時間によって3D構造が変化します。

この場合、同じ3D点がすべての画像で同じ位置に存在するとは限りません。

VGGTはPoint Tracksを予測できますが、それだけでカメラ運動と物体運動を完全に分離した4D構造を得られるわけではありません。

元のVGGTでは大きな非剛体変形が課題として報告されており、VGGT-ΩではDynamic Sceneへの対応が改善されています。[15][16]

ただし、静的な3D復元と、時間変化を含む4D理解は異なる問題です。

11.3 前提③：カメラの射影モデルが適切に表現できる

VGGTは、未校正画像からカメラパラメータを予測できます。

しかし、任意のカメラ光学系に対応できるわけではありません。

原論文のカメラ表現では、回転、並進、画角などを推定する一方、Principal Pointが画像中心にあることを仮定しています。[16]

また、元のVGGTでは、魚眼画像やパノラマ画像などへの対応に制約があります。

極端に回転した画像でも、性能低下が報告されています。

したがって、「未校正画像からカメラパラメータを推定できる」という説明だけでは不十分です。

実際には、想定するカメラモデル、レンズ歪み、撮影方式、画像補正などに関する制約があります。

11.4 前提④：学習した3Dの一般則が未知の環境でも通用する

これはVGGTの最も根本的な仮説です。

VGGTは、大量の教師データから画像と3D構造の関係を学習します。

ただし、モデルが学習するのは、数学的に厳密な射影幾何の規則だけではありません。

学習データに含まれる物体の形状、空間配置、撮影パターン、センサー特性、教師データの誤差なども、学習に影響します。

例えば、一般的な室内画像に対して高い精度を示したとしても、特殊な工場設備、透明な部品、極端な近接撮影、未知の光学系に対して同じ精度が得られるとは限りません。

このような未知の条件に対する性能は、別途検証する必要があります。

11.5 前提⑤：観測が不十分でも3Dを推定できる

これはVGGTの強みであると同時に、信頼性上の課題でもあります。

例えば、物体を正面から1枚だけ撮影した画像を考えます。

その画像から物体の背面形状を一意に決定することはできません。

また、複数画像があっても、ほとんど同じ視点から撮影されている場合には、奥行きを推定するための視差が不足することがあります。

従来のSfMでは、こうした状況で復元が難しくなります。

一方、VGGTのような学習ベースのモデルは、学習した事前知識に基づいて3Dを予測できます。

しかし、その予測は必ずしも観測によって確定された唯一の正解ではありません。

観測から求めた3Dと、学習済みの知識から補完した3Dを区別することが、今後の重要な研究課題です。

11.6 前提⑥：複数の幾何情報を同時に学習すれば、3D理解が改善する

VGGTのOver-complete Predictionは、複数の関連する3D情報を共同で学習することで、幾何理解を改善する設計です。

この考え方は、原論文の実験結果によって支持されています。[1]

しかし、複数の出力を同時に学習することは、それらの出力が常に数学的に一致することを意味しません。

例えば、CameraとDepthから計算した3D点と、直接予測したPoint Mapが一致するとは限りません。

そのため、出力の冗長性を学習に利用することと、出力間の整合性を保証することは、区別して考える必要があります。

11.7 前提⑦：学習によって推論時の幾何最適化を代替できる

VGGTは、従来のSfMが必要とした複雑なテスト時最適化を大幅に削減することを目指しています。

ただし、これは幾何学の制約が不要になったという意味ではありません。

幾何関係の一部を、推論時の明示的な計算から、学習済みモデルのパラメータへ移したと理解するのが適切です。

実際、VGGTの原論文では、Bundle Adjustmentを追加することによる性能改善も報告されています。[1]

つまり、VGGT単体の推定能力が高いことは示されていますが、推論時の幾何最適化があらゆる場面で不要になることまでは示されていません。

11.8 前提⑧：Confidenceから予測の品質を判断できる

VGGTは、DepthやPoint Mapなどに対するConfidenceも予測します。

しかし、このConfidenceが、そのまま現実世界の測量誤差や失敗確率を意味するわけではありません。

例えば、Confidenceが高い点の実際の3D誤差は、どの程度小さいのでしょうか。

未知の撮影環境や無関係な画像に対しても、Confidenceは適切に低下するのでしょうか。

そもそも入力画像から正しい3Dを求められない場合に、モデルは「分からない」と判断できるのでしょうか。

これらは、Confidenceを実運用上の信頼性指標として扱うために、独立して検証する必要がある問題です。

12. VGGTの課題と限界：原論文から分かること

ここでは、VGGTの原論文で示されている制約を中心に整理します。

12.1 魚眼画像、パノラマ画像、極端な回転への対応

元のVGGTでは、魚眼画像やパノラマ画像など、通常のカメラモデルと大きく異なる撮影条件への対応に制約があります。

また、極端に回転した画像でも性能低下が報告されています。[16]

これらは、画像の内容そのものだけでなく、カメラモデルや撮影方式に関する問題です。

12.2 大きな非剛体変形

歩行者や変形する物体など、画像間で形状が大きく変わるシーンでは、静的な3D構造を前提とした復元が難しくなります。

元のVGGTでは、このような大きな非剛体変形が課題として挙げられています。[16]

VGGT-ΩではDynamic Sceneへの対応が改善されていますが、すべての動的シーンが解決されたわけではありません。[15]

12.3 絶対的な距離スケールの問題

通常のVGGTが推定する3D空間のスケールは、必ずしも現実世界の「1.00 m」のような絶対的なMetric Scaleに対応するわけではありません。

VGGTの学習時には、Point Mapの距離を使って3D量を正規化しています。[16]

これは、多視点画像の復元にスケールの不定性が存在するためです。

例えば、シーン全体の大きさとカメラ移動量を同じ割合で変化させても、画像上の投影関係が変わらない場合があります。

そのため、相対的な3D形状が正しくても、そのまま実世界の測定値として利用できるとは限りません。

現実の距離や大きさを必要とする用途では、既知の基準長、外部センサー、カメラ情報などを利用してスケールを確定する処理が重要になります。

12.4 多数の画像を処理する際の計算量

VGGTでは、Global Attentionによって複数画像間の情報を統合します。

この構造は強力ですが、入力画像数が増加すると計算量やGPUメモリが課題になります。

原論文では、NVIDIA H100上で336×518の画像を処理した場合の、Transformer Backboneの推論時間とGPUメモリが報告されています。[16]

入力画像数 推論時間 ピークGPUメモリ
10枚 0.14秒 3.63 GB
50枚 1.04秒 11.41 GB
100枚 3.12秒 21.15 GB
200枚 8.75秒 40.63 GB

これらは、論文で指定された条件におけるBackboneの計測値です。

画像の読み込み、出力変換、点群生成、Bundle Adjustment、NeRFや3DGSの構築など、システム全体の処理時間を示したものではありません。

また、その後の実装改善によって、実際のメモリ使用量や処理性能が変わる可能性があります。

VGGT-SLAMでは、長いシーケンスをSubmapに分割することで、大規模な入力に対応しています。[12]

また、VGG-T³は、VGGT型のAttentionが入力View数に対してスケールしにくいことを課題として扱っています。[17]

つまり、VGGTによって複数画像を直接処理する方向が開かれたものの、大規模な画像集合を効率的に扱う問題は、依然として研究対象です。

12.5 幾何的一貫性の問題

VGGTは、学習した知識を利用して、もっともらしい3D Geometryを高速に予測できます。

一方で、その出力が射影幾何の制約を数学的に厳密に満たすことが、自動的に保証されるわけではありません。

例えば、複数画像に対するカメラ姿勢や3D点群の予測結果には、幾何的な不整合が含まれる可能性があります。

このような場合、Bundle Adjustmentなどの最適化によって、複数の観測結果をより整合的にすることが有効です。

実際、VGGTの公式実装にも、COLMAP形式へ出力した後にOptional Bundle Adjustmentを行う機能があります。[10]

ここに、現在の研究と実用技術の重要な方向性が見えます。

Foundation Modelで3Dを高速に推定 → 必要に応じて幾何最適化で整合性を改善 → 3Dモデルの構築や表示へ利用する

というハイブリッドな構成です。

13. 2026年の研究が示した新たな問題：3Dのハルシネーション

VGGTの限界を考えるうえで、特に重要なのが、2026年の研究「Can These Views Be One Scene? Evaluating Multiview 3D Consistency when 3D Foundation Models Hallucinate」です。[18]

この研究は、VGGTを含む学習ベースの3Dモデルが、必ずしも整合した3Dシーンを構成しない画像集合に対しても、3D構造を予測してしまう問題を調査しています。

13.1 3Dを出力できることは、3Dが正しいことを意味しません

例えば、まったく別の場所で撮影した画像を組み合わせた場合を考えます。

通常、これらの画像は、同一の静的な3Dシーンを異なる視点から観測したものではありません。

しかし、学習ベースの3Dモデルは、このような入力に対しても3D構造を予測する場合があります。

同研究では、VGGT、MASt3R、DUSt3R、Fast3Rなどが、無関係な画像、繰り返された画像、ランダムノイズなどに対しても、密な3D Geometryや画像間の支持関係を生成する場合があると報告されています。[18]

これは、モデルが学習した3Dの事前知識に基づいて、観測から十分に支持されていない幾何構造を作り出してしまう問題です。

このような現象は、3Dのハルシネーションと呼ばれます。

ただし、VGGTが通常の入力に対して常に誤った3Dを生成するという意味ではありません。

重要なのは、モデルが3Dを出力したという事実だけでは、その3Dの正しさを確認できないという点です。

13.2 なぜ古典的なSfMとの違いが重要なのでしょうか

古典的なSfMでは、画像間の対応点が不足していたり、幾何的な整合性が得られなかったりすると、復元が失敗する場合があります。

この失敗は不便ですが、入力画像が3D復元に適していないことを示す手がかりにもなります。

一方、VGGTのようなFeed-forwardモデルは、入力が不適切な場合でも予測を返せることがあります。

これは、従来のSfMでは難しかった条件で3Dを推定できるという強みにつながります。

しかし同時に、予測結果の存在と、予測結果の信頼性を区別しにくくする要因にもなります。

つまり、古典的なSfMとVGGTでは、失敗の現れ方が異なります。

観点 古典的SfM VGGTなどのFeed-forwardモデル
3Dを求める仕組み 対応点と幾何制約による計算・最適化 学習済みモデルによる直接予測
観測が不足する場合 復元に失敗する場合がある 事前知識を使って予測できる場合がある
無関係な画像の混入 幾何検証や外れ値除去で排除できる場合がある 明示的な外れ値除去なしでは誤推定する可能性
出力の検証 再投影誤差や登録成功率などを利用できる 出力とは独立した検証が重要
主な利点 幾何的な制約を明示的に利用できる 観測が難しい条件でも高速に3Dを予測できる
主な課題 対応点不足や初期化失敗に弱い 学習したPriorによる誤った予測を検出する必要がある

両者には異なる強みと弱みがあります。

重要なのは、どちらか一方が完全に優れているということではありません。

学習ベースの推定能力と、古典的な幾何検証の能力をどのように組み合わせるかが重要になります。

13.3 Geometry Foundation Model自身を評価器に使うことの問題

さらに興味深いのは、VGGTのようなモデルを利用して、画像集合の3D整合性を評価する場合です。

例えば、複数画像から得られた3D構造が互いに一致しているかを調べたいとします。

その際、3D構造を予測したモデル自身が誤った共通構造を生成していた場合、見かけ上の整合性が高く評価される可能性があります。

この問題は、学習ベースの3D整合性評価における重要な課題です。

前述の研究では、学習ベースの評価指標に対して、古典的な幾何検証を用いた評価方法も比較しています。

そして、画像間のマッチング、登録成功率、密な3Dの支持関係、復元失敗などを利用する評価の有効性が報告されています。[18]

この結果から分かるのは、3Dを生成するモデルと、その3Dが正しいかを検証する仕組みを分けて考える必要があるということです。

14. 外れ画像を検出する研究：Robust VGGT

VGGTの入力画像が同じ3Dシーンを観測しているという前提は、実際の画像集合では必ずしも満たされません。

例えば、大量の写真を収集した場合、その中には関係のない画像や、他の画像との視点の重なりがほとんどない画像が含まれることがあります。

このような画像は、Outlier ViewやDistractor Imageと呼ばれます。

2026年の「Emergent Outlier View Rejection in Visual Geometry Grounded Transformers」は、この問題に取り組んだ研究です。[19]

14.1 VGGTの内部表現に外れ画像の情報が含まれている

この研究では、VGGTの内部Attentionや特徴表現を分析しています。

その結果、VGGTには明示的な外れ画像除去機構がないにもかかわらず、特定の内部表現に外れ画像を識別するための情報が現れていることが報告されています。

研究では、この性質を利用して、追加のFine-tuningや教師あり学習なしに、外れ画像を除去する方法が提案されています。[19]

これは興味深い結果です。

VGGTは、必ずしも明示的な幾何検証を実装していません。

しかし、その内部表現には、画像間の幾何的な関係を判断するための情報が含まれている可能性があります。

14.2 外れ画像の検出は解決されたのでしょうか

Robust VGGTは、外れ画像の検出に有効な方法を示しています。

ただし、これによってあらゆる不適切な入力を完全に検出できるようになったわけではありません。

例えば、次のような問題は別途検証する必要があります。

  • 外れ画像が大多数を占める場合
  • 非常によく似た別のシーンが混入する場合
  • 同じ場所でも時間によって構造が大きく変化している場合
  • 入力画像すべてがノイズや不適切な画像である場合

そのため、外れ画像除去の性能と、生成した3Dの正しさは分けて評価する必要があります。

それでも、Robust VGGTは、VGGTの内部表現を単なる3D予測だけでなく、予測の信頼性を高めるためにも利用できる可能性を示しています。

15. VGGTについて、まだ十分に検証されていないこと

ここまでの研究から、VGGTが非常に高い3D推定能力を持つことが分かります。

一方で、原論文や主要な後続研究の結果だけでは、十分に確認できない問題も残っています。

ここでいう「十分に検証されていない」とは、研究がまったく存在しないという意味ではありません。

一般的な環境や、実際の運用条件にまで成立することを、独立した評価によって確認する必要があるという意味です。

研究課題 具体的な問い 実用上の重要性
幾何的一貫性 Camera、Depth、Point Mapは同一の3D構造として整合しているか 3Dモデル構築、計測
不確実性の校正 Confidenceと実際の3D誤差は対応しているか 品質管理、失敗検出
入力の妥当性 無関係な画像や不適切な画像集合を検出できるか 自動3D復元
未知環境への汎化 未知の物体、材質、撮影条件でも精度を維持できるか 現場適用
観測と推測の分離 3Dのどこまでが画像から支持され、どこからがPriorによる補完か 信頼性評価
実測精度 メートル・ミリメートル単位の誤差をどこまで評価・保証できるか 測量、設備管理
長期安定性 同じ空間を異なる時刻に撮影しても整合した3Dを得られるか SLAM、差分検知
画像集合への頑健性 画像枚数、順番、重複、視点選択で結果がどう変わるか 自動化
動的な3D理解 カメラの動きと物体の動きを正しく分離できるか ロボティクス、4D復元
下流タスクへの有効性 3D復元精度の改善が差分検知や制御の性能改善につながるか 実システムへの適用

特に、次の3つは重要な研究課題だと考えられます。

15.1 幾何的一貫性は、本当に学習されているのでしょうか

VGGTはCamera、Depth、Point Map、Point Tracksを共同で予測します。

しかし、それらの出力がどの程度まで厳密な幾何的一貫性を持っているかは、独立して評価する必要があります。

例えば、次のような評価が考えられます。

  • 予測された3D点を各画像へ再投影し、観測点との誤差を測定します。
  • DepthとCameraから計算した3D点を、直接予測したPoint Mapと比較します。
  • 複数画像から予測された3D構造を比較します。
  • Bundle Adjustmentを実行する前後で、幾何的な整合性がどの程度改善されるかを測定します。

ただし、再投影誤差が小さいことだけで、実世界の3Dが正しいとは限りません。

誤った対応点に対しても、内部的に整合した3Dが得られる可能性があるためです。

したがって、内部整合性の評価だけでなく、独立したGround Truthとの比較も重要です。

15.2 Confidenceは実際の誤差を予測できるのでしょうか

実用上、精度の高い予測を得ることと同じくらい重要なのが、予測が失敗したときにそれを検出できることです。

例えば、VGGTがある3D点に高いConfidenceを与えたとして、その点の実際の3D誤差が小さいことを、どの程度期待できるのでしょうか。

検証方法としては、Confidenceの大きさごとに3D誤差の分布を測定する方法が考えられます。

また、Confidenceが低い点を除去した際に、残った3D点の誤差がどの程度改善するかも重要です。

ここで必要なのは、単なる平均精度の評価ではありません。

モデルが自分自身の予測の不確実性を、どの程度正しく表現できているかを調べることです。

15.3 VGGTは「分からない」と判断できるのでしょうか

画像が極端にぼけている場合や、ほとんど視差がない場合には、3Dを正確に推定するための観測情報が不足している可能性があります。

また、入力画像が互いに無関係であれば、そもそも一つの3Dシーンとして復元することが不適切です。

それでもモデルが3Dを出力する場合、その結果を利用するシステムは「予測できた」と「信頼できる」を区別する必要があります。

重要なのは、すべての入力に対して何らかの3Dを生成することではありません。

正しい推定を行うための情報が不足している状況を認識し、信頼できない予測を検出できるかが、次の研究課題になります。

16. VGGTの信頼性を検証するには、どのような実験が必要でしょうか

VGGTの性能を評価する場合、COLMAPなどとの平均精度比較だけでは十分ではありません。

特に、VGGTが暗黙に置いている前提が破れたときに、どのような失敗が起こるかを調べることが重要です。

以下は、原論文の実験結果そのものではなく、これまでの研究から考えられる検証実験の提案です。

16.1 同一シーン性の検証

同じ3Dシーンを撮影した画像集合に、無関係な画像を混入させます。

例えば、外れ画像の割合を0〜50%の範囲で変化させ、復元結果がどう変わるかを調べます。

評価項目には、カメラ姿勢の誤差、再投影誤差、3D復元精度、外れ画像の検出率などを利用できます。

これによって、VGGTが不適切な入力集合にどの程度頑健かを調べられます。

16.2 観測不足と3D推定の関係

入力画像間の視点差を段階的に変化させます。

ほぼ同一視点から撮影した画像と、十分な視差がある画像を比較します。

また、画像枚数を減らした場合に、DepthやPoint Mapの精度がどう変化するかを測定します。

これによって、VGGTが実際の観測情報と学習したPriorのどちらに、どの程度依存しているかを分析する手がかりが得られます。

16.3 Camera、Depth、Point Mapの内部整合性

VGGTの各出力を独立に比較します。

例えば、CameraとDepthから逆投影した3D点と、直接予測したPoint Mapを比較します。

また、複数画像で同じ3D点を観測した場合に、それぞれの予測がどの程度一致しているかを測定します。

さらに、BA前後の誤差を比較することで、Feed-forward予測と幾何最適化の役割を分析できます。

16.4 未知の撮影条件への汎化

魚眼、反射、透明物体、低照度、モーションブラー、特殊な工場環境などを対象に評価します。

重要なのは、単に平均精度を比較することではありません。

どのような撮影条件で精度が低下し、そのときConfidenceが適切に変化するかを調べることです。

これによって、実際のシステムで使用できる条件を明確にできます。

16.5 時間変化と動的物体

同じ環境を時間を変えて撮影し、物体の追加、削除、移動などを段階的に発生させます。

そして、カメラ位置の違いと、実際の3D構造の変化をどの程度分離できるかを調べます。

この実験は、画像間の差分検知や長期間の環境監視への応用で重要です。

16.6 独立した幾何検証器の有効性

VGGT単体と、幾何検証やBundle Adjustmentを組み合わせた構成を比較します。

例えば、次のような構成が考えられます。

  • VGGT単体
  • VGGT + 外れ値除去
  • VGGT + Bundle Adjustment
  • VGGT + 幾何検証 + Bundle Adjustment

これらについて、3D復元誤差、失敗検出率、計算時間などを比較します。

このような評価によって、VGGTと古典的な幾何計算を組み合わせる実質的な価値を明らかにできます。

評価に際しては、VGGTだけでなく、COLMAP、DUSt3R、MASt3R、VGGT-Ω、MapAnythingなども比較対象として考えられます。

ただし、入力解像度、画像枚数、カメラ校正条件、Bundle Adjustmentの有無などをそろえなければ、公平な比較にはなりません。

17. 研究史を振り返ると、何が変わり、何が残っているのでしょうか

ここまでの流れを時系列で整理すると、次のようになります。

17.1 Classical SfM / MVS

特徴点と射影幾何を使い、カメラ姿勢と3D構造を計算します。

COLMAPは、その代表的な実装です。[2]

17.2 Deep Feature / Matching / Depth

特徴抽出、マッチング、深度推定など、SfMの各工程をニューラルネットワークによって高度化します。

17.3 VGGSfM（2024）

SfMパイプライン全体をEnd-to-Endで学習できるようにします。

ただし、Bundle Adjustmentなどの幾何最適化は残します。[3]

17.4 DUSt3R（2024）

画像ペアからPoint Mapを直接予測します。

カメラ姿勢を先に求めてから三角測量するという、従来の処理順序を変えました。[4]

17.5 MASt3R（2024）

3D-awareな特徴量を利用して、画像マッチングを高度化します。[5]

17.6 Fast3R / CUT3R / VGGTなど（2025）

画像ペアだけでなく、多数のViewを直接処理する方向へ進みます。

VGGTは、複数画像からCamera、Depth、Point Map、Point Trackを統合的に推論します。[1][7]

17.7 Geometry Foundation Model（2025〜2026）

VGGT-SLAM、AnySplat、MapAnything、VGGT-Ωなどが登場します。[11][12][14][15]

VGGT型のモデルを3D GeometryのBackboneとして利用し、SLAM、3DGS、Roboticsなどの分野へ応用します。

17.8 信頼できるGeometry Foundation Modelへの発展

2026年には、VGGT-SLAM++、Robust VGGT、3D Foundation Modelのハルシネーションを調査する研究なども登場しています。[13][18][19]

これらの研究は、単に3D復元精度を高めるだけではなく、次のような問題にも取り組んでいます。

  • 外れ画像を検出すること
  • 幾何的一貫性を改善すること
  • 長時間の地図構築で生じる誤差を補正すること
  • 予測した3Dが、本当に同一シーンを表しているかを検証すること

ここから、研究の方向性は次のように整理できます。

Feed-forward Learned Geometry + Classical Optimization + Neural Rendering

そして、これに加えて、

Geometric Verification + Uncertainty Estimation + Failure Detection

も重要になってきています。

すなわち、学習済みモデルで高速に3Dを推定し、必要に応じて古典的な幾何最適化を適用し、NeRFや3D Gaussian Splattingなどを使って3Dを表現・描画する構成です。

さらに、その3Dが信頼できるかどうかを検証する仕組みが重要になります。

18. VGGTの本質は、3Dを「計算する」から「学習して推論する」へ変えたことです

VGGTの研究上の重要性は、単に既存のSfMより高速な3D復元手法が登場したということではありません。

従来は、画像から3Dを復元するために、特徴点マッチング、カメラ姿勢推定、三角測量、Bundle Adjustmentなどの工程を、推論時に順番に実行していました。

VGGTでは、これらの問題に関係する幾何学的な規則性を、大量の3Dデータを使った学習によって、モデル内部に取り込みます。

そして推論時には、一つのTransformerから複数の幾何情報をまとめて出力します。

つまり、従来の手法との大きな違いは、推論時に明示的な計算や最適化で解いていた問題の一部を、事前学習へ移したことです。

ただし、幾何学そのものが不要になったわけではありません。

むしろ、学習済みモデルが高速に出力したGeometryを、古典的な最適化で補正したり、NeRFや3DGSと組み合わせたりすることで、さらに実用的なシステムを構築できます。

点群データ作成、3Dモデル構築、特徴点マッチング、画像間の位置合わせ、差分検知といった用途を考える場合にも、VGGTはそれぞれの処理をすべて置き換える完成品というより、3D空間に関する情報を統合的に取得するための基盤として理解できます。

この意味で、VGGTはCOLMAPの単純な代替というより、COLMAP、SLAM、3D Gaussian Splattingなどの前後に組み込める、新しいGeometry Backboneを提案した研究と位置づけられます。

一方で、VGGTの限界を考えると、もう一つ重要な変化が見えてきます。

それは、3Dを推定することと、推定した3Dの正しさを検証することが、別々の問題として重要になっているという点です。

古典的なSfMでは、観測画像から得られる対応関係や幾何的制約に基づいて3Dを計算していました。

VGGTでは、学習した3D Priorによって、従来の手法では難しかった条件でも3Dを予測できるようになりました。

しかし、その予測が本当に観測に裏付けられているかどうかは、必ずしも明らかではありません。

特に、観測が不足している場合や、入力画像が同一シーンを構成していない場合には、もっともらしい3Dが生成されても、それが正しいとは限りません。

この点は、VGGTを実際のシステムへ組み込む際に重要です。

例えば、3Dモデルを見た目よく生成することが目的であれば、ある程度の幾何誤差が許容される場合があります。

一方、実寸計測、設備管理、ロボット制御、画像間の精密な差分検知などでは、幾何誤差がそのまま判断の誤りにつながる可能性があります。

そのため、利用目的に応じて、絶対スケールの校正、幾何的一貫性の検証、Confidenceの評価、失敗検出などを組み合わせる必要があります。

VGGT-ΩやMapAnythingなどの登場は、研究が個別の3D復元アルゴリズムの改善から、汎用的なGeometry Foundation Modelの構築へ進んでいることを示しています。

そして、VGGT-SLAM++やRobust VGGTなどの研究は、そのFoundation Modelを実際のシステムで安定して利用するために、古典的な幾何計算や信頼性評価が依然として重要であることを示しています。

研究史全体を振り返ると、次のようにまとめられます。

「3D復元を、複数のアルゴリズムの組み合わせで実行する」時代から、「事前学習されたモデルが3D Geometryを直接推論する」時代へ。

そして、その先には、

「推論された3Dが、本当に正しいのかを検証できる」Geometry Foundation Modelへの発展

という研究課題があります。

VGGTは、この転換を理解するうえで重要な論文の一つです。

そして、VGGT以降の研究を考えるうえでは、次の問いが重要になると考えられます。

「VGGTは3Dを予測する能力を大きく前進させました。しかし、その3Dが正しいと判断するための根拠を、どこまでモデル自身が提供できるのでしょうか？」

3Dを予測する能力の向上と、その予測の信頼性を確認する技術の進歩。

今後のGeometry Foundation Modelの発展では、この両方が重要になると考えられます。

参考文献

[1] Jianyuan Wang et al., “VGGT: Visual Geometry Grounded Transformer,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5294–5306, 2025.
https://openaccess.thecvf.com/content/CVPR2025/html/Wang_VGGT_Visual_Geometry_Grounded_Transformer_CVPR_2025_paper.html

[2] COLMAP, “COLMAP Documentation,” Project Documentation.
https://colmap.github.io/

[3] Jianyuan Wang et al., “VGGSfM: Visual Geometry Grounded Deep Structure From Motion,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024.
https://openaccess.thecvf.com/content/CVPR2024/html/Wang_VGGSfM_Visual_Geometry_Grounded_Deep_Structure_From_Motion_CVPR_2024_paper.html

[4] Shuzhe Wang et al., “DUSt3R: Geometric 3D Vision Made Easy,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024.
https://openaccess.thecvf.com/content/CVPR2024/html/Wang_DUSt3R_Geometric_3D_Vision_Made_Easy_CVPR_2024_paper.html

[5] Vincent Leroy et al., “Grounding Image Matching in 3D with MASt3R,” Proceedings of the European Conference on Computer Vision (ECCV), 2024.
https://www.ecva.net/papers/eccv_2024/papers_ECCV/html/9080_ECCV_2024_paper.php

[6] VGGT Authors, “VGGT: Visual Geometry Grounded Transformer,” Official Project Page, 2025.
https://vgg-t.github.io/

[7] Yang et al., “Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass,” arXiv:2501.13928, 2025.
https://arxiv.org/abs/2501.13928

[8] Visual Geometry Group, University of Oxford, “Publications,” Research Publications.
https://www.robots.ox.ac.uk/~vgg/publications/index.php?idAuthor=131&pg=2

[9] Ben Mildenhall et al., “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis,” Proceedings of the European Conference on Computer Vision (ECCV), 2020.
https://www.ecva.net/papers/eccv_2020/papers_ECCV/html/1473_ECCV_2020_paper.php

[10] Meta Research, “VGGT: Visual Geometry Grounded Transformer,” GitHub Repository, 2025–2026.
https://github.com/facebookresearch/vggt

[11] AnySplat Authors, “AnySplat,” SIGGRAPH Asia, 2025, GitHub Repository.
https://github.com/OpenRobotLab/AnySplat

[12] VGGT-SLAM Authors, “VGGT-SLAM,” arXiv:2505.12549, 2025.
https://arxiv.org/abs/2505.12549

[13] Avilasha Mandal, Rajesh Kumar, Sudarshan Sunil Harithas, and Chetan Arora, “VGGT-SLAM++,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp. 1008–1018, 2026.
https://openaccess.thecvf.com/content/CVPR2026W/VOCVALC/html/Mandal_VGGT-SLAM_CVPRW_2026_paper.html

[14] MapAnything Authors, “MapAnything,” arXiv:2509.13414, 2025.
https://arxiv.org/abs/2509.13414

[15] VGGT-Ω Authors, “VGGT-Ω,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, Official Project Page.
https://vggt-omega.github.io/

[16] Jianyuan Wang et al., “VGGT: Visual Geometry Grounded Transformer,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025, Paper PDF.
https://robots.ox.ac.uk/~vgg/publications/2025/Wang25/wang25.pdf

[17] Elflein et al., “VGG-T³: Offline Feed-Forward 3D Reconstruction at Scale,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026.
https://openaccess.thecvf.com/content/CVPR2026/papers/Elflein_VGG-T3_Offline_Feed-Forward_3D_Reconstruction_at_Scale_CVPR_2026_paper.pdf

[18] Soumava Paul, Prakhar Kaushik, and Alan Yuille, “Can These Views Be One Scene? Evaluating Multiview 3D Consistency when 3D Foundation Models Hallucinate,” arXiv:2605.18754, 2026.
https://arxiv.org/abs/2605.18754

[19] Jisang Han, Sunghwan Hong, Jaewoo Jung, Wooseok Jang, Honggyu An, Qianqian Wang, Seungryong Kim, and Chen Feng, “Emergent Outlier View Rejection in Visual Geometry Grounded Transformers,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 427–437, 2026.
https://openaccess.thecvf.com/content/CVPR2026/html/Han_Emergent_Outlier_View_Rejection_in_Visual_Geometry_Grounded_Transformers_CVPR_2026_paper.html