対象読者

この記事は、次のような技術や研究に興味がある方を対象としています。

  • SfM、MVS、DUSt3R、MASt3R、VGGTなど、画像から3D空間を復元する技術の発展に興味がある方
  • VGGTの仕組みを理解した上で、暗黙の前提、技術的限界、失敗する条件をさらに深掘りしたい方
  • 点群生成、3Dモデル構築、画像間の位置合わせ、差分検知、SLAMなどへの応用を検討している方

要約

  • VGGTは、従来のSfMが推論時に実行していた複雑な幾何計算や最適化の多くを、学習済みTransformerによる統合的な予測へ移した重要な研究です。
  • 一方で、入力画像が同じ3Dシーンを観測していること、適切なカメラモデルで表現できること、学習した幾何知識が未知の環境にも通用することなど、複数の前提があります。
  • VGGTが3D構造を出力できることと、その3D構造が実際の物理空間と正しく一致することは同じではありません。幾何的一貫性、絶対距離、動的シーン、大規模処理などには課題が残されています。
  • 2025〜2026年の後続研究では、無関係な画像からもっともらしい3Dを生成する問題、外れ画像の検出、教師データ品質、長期的な幾何的一貫性などが研究されています。
  • 今後は、3Dを高精度に予測するだけでなく、推定結果の正しさを検証し、信頼できない場合にはそれを検出できるGeometry Foundation Modelが重要になると考えられます。

1. VGGTは何を解決し、何を解決していないのでしょうか

VGGT（Visual Geometry Grounded Transformer）は、複数の画像からカメラ姿勢、深度、3D点群、点の追跡情報を統合的に推定するTransformerモデルです。

2025年に発表され、CVPR 2025のBest Paper Awardを受賞しました。[1]

VGGTの大きな特徴は、従来のSfM（Structure from Motion）が必要としていた特徴点マッチング、カメラ姿勢推定、三角測量、Bundle Adjustmentなどの複雑な処理の多くを、学習済みネットワークによるFeed-forward推論に置き換えたことです。

この成果は、3D復元の研究史において重要な転換点となりました。

しかし、VGGTの本質を理解するためには、何が実現されたのかだけでなく、何が解決されていないのかを考える必要があります。

最も重要なのは、次の違いです。

VGGTは「画像から一貫した3D構造を学習によって推定できる」ことを示しましたが、「推定した3D構造が、現実の物理空間と常に正しく一致する」ことを証明したわけではありません。

この違いは、VGGTを研究成果として評価する場合にも、実際のシステムに組み込む場合にも重要です。

VGGTが実現した進歩と、それでも残されている問題を整理すると、次のようになります。

VGGTの進歩 残されている本質的な問題
3D幾何を一括推定できる 各出力が幾何学的に整合している保証はありません
少数画像でも3Dを予測できる 観測されていない形状を正しく復元できるとは限りません
学習済みの幾何知識を活用できる 未知の環境や撮影条件にも一般化するとは限りません
カメラ姿勢と深度を推定できる 絶対距離や測量精度は保証されません
複数画像を統合できる 入力画像が本当に同一シーンを表すかは保証されません
Point Tracksを予測できる 物体の動きとカメラの動きを正しく分離できるとは限りません
高速なFeed-forward推論を実現した 長時間・大規模環境での一貫性は別の問題です

特に注目したいのは、VGGTを含む学習ベースの3Dモデルが、互いに無関係な画像やノイズに対しても、もっともらしい幾何構造を予測してしまう場合があるという問題です。

2026年の研究では、このような挙動が報告されています。[10]

これは、VGGTが学習した幾何知識の強さと、その予測の信頼性を区別する必要があることを示しています。

この記事では、VGGTの研究史的な位置づけを踏まえながら、次の3つの観点から掘り下げます。

  1. VGGTが暗黙に置いている前提は何でしょうか。
  2. 原論文と後続研究で、どのような限界が確認されているのでしょうか。
  3. まだ十分に検証されていないことは何で、今後どのような研究が重要になるのでしょうか。

なお、以下では、原論文や後続研究で報告された事実と、それらを踏まえた考察を区別して説明します。

2. 研究史から見るVGGTの本質的な位置づけ

VGGTを理解するためには、従来のSfMから現在のGeometry Foundation Modelに至る研究の流れを振り返る必要があります。

2.1 古典的なSfMは、幾何学的な整合性を利用して3Dを求めていました

従来の3D復元では、SfMやMVS（Multi-View Stereo）が中心的な技術として使われてきました。

代表的な実装がCOLMAPです。[2]

古典的なSfMでは、大まかに次のような処理を行います。

画像 → 特徴点抽出 → 画像間マッチング → カメラ姿勢推定 → 三角測量 → Bundle Adjustment → 3D復元

この方法の重要な特徴は、画像間の対応関係や射影幾何を明示的に利用することです。

例えば、ある3D点が複数の画像に写っている場合、その3D点を各カメラから投影した位置と、実際に観測された画像上の位置が一致するように最適化します。

このとき、カメラ姿勢や3D点の位置が不適切であれば、再投影誤差が大きくなります。

つまり、古典的なSfMには、幾何学的な整合性を評価する仕組みが組み込まれています。

ただし、この方法には制約があります。

特徴点が十分に検出できない場合や、画像間で正しい対応関係を求められない場合には、3D復元が失敗することがあります。

また、処理全体が複数の工程から構成されており、各工程の結果が後続の処理に影響します。

2.2 VGGSfMは、SfMのパイプラインを学習可能にしました

VGGSfM（Visual Geometry Grounded Deep Structure From Motion）は、SfM全体をEnd-to-Endで学習可能にする方向を進めた研究です。[3]

特徴点追跡、カメラ推定、微分可能なBundle Adjustmentなどを組み合わせることで、従来のSfMパイプラインをニューラルネットワークによって高度化しました。

ただし、VGGSfMでは、SfMという問題設定やBundle Adjustmentという幾何最適化の仕組みは残されています。

これは、従来の幾何アルゴリズムを学習によって改善する方向の研究と位置づけられます。

2.3 DUSt3RとMASt3Rは、3Dの直接予測という考え方を進めました

DUSt3Rは、2枚の画像からPoint Mapを直接推定する研究です。[4]

Point Mapとは、画像の各ピクセルに対応する3D座標を表すものです。

従来は、カメラ姿勢を推定してから三角測量によって3D点を求めていました。

一方、DUSt3Rでは、画像から3D座標そのものを予測します。

これにより、従来のようにカメラ姿勢やキャリブレーション情報を先に確定しなくても、3D構造を推定できるようになりました。

MASt3Rは、この考え方を画像間マッチングへ発展させた研究です。[5]

3DにGroundingされた特徴表現を利用し、画像間の対応関係を求めます。

ただし、DUSt3RやMASt3Rの基本的な処理単位は画像ペアです。

多数の画像からシーン全体を復元するためには、画像ペアごとの推定結果を統合し、大域的に整合させる必要があります。

2.4 VGGTは、複数画像の幾何情報を統合的に推定します

VGGTは、カメラ姿勢、深度、Point Map、Point Tracksを共通のTransformerから予測します。[1]

これにより、従来は別々のアルゴリズムで扱われてきた複数の問題を、共通の幾何表現から解く方向へ発展しました。

研究の流れを整理すると、次のようになります。

研究系列 3Dの正しさを支える仕組み 主な課題
古典的SfM / COLMAP 射影幾何、対応点、再投影誤差、Bundle Adjustment 対応点が少ないと復元できません
VGGSfM 学習した特徴・追跡と幾何最適化 最適化への依存が残ります
DUSt3R 学習されたPoint Mapと画像ペア間の幾何整合 多画像の大域的な整合が必要です
MASt3R 3Dを利用した特徴対応 画像間対応と全体整合が必要です
VGGT 大量の3D教師データから学習した統合表現 推定結果の正しさを保証する仕組みが十分ではありません
VGGT以降 学習モデルと幾何検証・最適化の組み合わせ 信頼性、汎化、大規模性をどう両立するかが課題です

ここで注意したいのは、VGGTがDUSt3RやMASt3Rだけから直接発展したわけではないことです。

VGGTの公式GitHubでは、Deep SfM Revisited、PoseDiffusion、CoTrackerからVGGSfMを経てVGGTに至る研究の流れも紹介されています。[6]

つまり、VGGTは、SfMのEnd-to-End化、Point Mapによる直接予測、Point Tracking、汎用Transformerなど、複数の研究の流れが合流した成果と見るのが適切です。

2.5 VGGTによって、3D復元の失敗の仕方も変わりました

VGGTが突破したのは、推論するたびに複雑な幾何最適化を実行しなくても、複数画像から高精度な3D情報を得られるという点です。

原論文では、カメラ姿勢、深度、点群、点追跡に関して強い性能が報告されています。[1]

さらに、幾何最適化を後処理として追加することで性能が改善することも示されています。

ここには、研究史的に興味深い逆説があります。

古典的なSfMでは、正しい対応関係が十分に得られなければ復元に失敗します。

この失敗は不便ですが、幾何学的な情報が不足していることを認識する手がかりにもなります。

一方、VGGTは、幾何的な観測情報が不十分な画像からも3Dを予測できる場合があります。

これは大きな強みです。

しかし、従来は復元できなかった状況でも結果が得られるため、本当に観測から支持される3Dなのか、学習済みの知識から補完された3Dなのかが区別しにくいという新たな問題が生じます。

この問題は、VGGT以降の研究を考える上で非常に重要です。

3. VGGTが暗黙に置いている8つの前提

ここからは、VGGTの問題設定、モデル構造、学習方法を踏まえ、重要な前提を8つに整理します。

これらの前提の中には、原論文で明示されているものと、モデルの設計思想から読み取れる研究上の仮説があります。

3.1 前提①：入力画像は、同じ3Dシーンを観測している

これは最も重要な前提の一つです。

VGGTは、入力された複数のRGB画像が同じ3Dシーンを観測しているものとして、共通座標系で3D情報を推定します。

この条件は、原論文のSection 3.1でも問題設定として明示されています。[1]

しかし、実際の画像集合では、この条件が必ず満たされるとは限りません。

例えば、次のような状況があります。

  • 同じ部屋を撮影しているものの、家具の配置が変わっている場合
  • 撮影中に人や車両が移動している場合
  • 画像集合に別の場所で撮影した画像が混入している場合
  • 撮影時刻が大きく異なり、シーンの構造が変わっている場合

重要なのは、VGGTが入力画像の同一シーン性を厳密に証明してから復元するモデルではないという点です。

この前提が破れた場合でも、何らかの3D出力が生成される可能性があります。

2026年の研究「Can These Views Be One Scene?」では、VGGTなどの3D Foundation Modelが、無関係な画像やランダムノイズに対しても、見かけ上の3D構造や画像間整合を生成する場合があることが報告されています。[10]

つまり、VGGTが3D構造を生成したからといって、入力画像が本当に同じ3Dシーンを観測していると結論づけることはできません。

3.2 前提②：シーンの幾何構造は、おおむね静的である

元のVGGTの問題設定は、基本的に静的な3Dシーンの復元です。

小さな動きが含まれていても対応できる場合がありますが、大きな非剛体変形は難しく、原論文でも限界として挙げられています。[1]

例えば、次のようなものです。

  • 歩行者や車両
  • 風で動く木々
  • 変形する布
  • 動く機械部品
  • 人体の姿勢変化

静的な3Dシーンでは、同じ3D点が時間を通じて同じ位置に存在すると考えられます。

しかし、動的なシーンでは、この条件が成立しません。

ここで注意したいのは、Point Trackingが可能であることと、物理的な運動を正しく復元できることは別だという点です。

VGGTは点の画像間対応を予測できます。

しかし、それだけで静的背景と動的物体を完全に分離し、時間とともに変化する4D構造を復元できるわけではありません。

2026年のDynamicVGGTも、従来のFeed-forward 3Dモデルが動的シーンの運動表現に課題を残していることを研究動機としています。[16]

3.3 前提③：カメラの射影モデルが適切に表現できる

VGGTは未校正画像からカメラパラメータを推定できます。

ただし、任意のカメラ光学系に対応できるわけではありません。

原論文のカメラ表現では、回転、並進、画角を推定し、主点（Principal Point）が画像中心にあると仮定しています。[1]

また、魚眼画像やパノラマ画像は元のVGGTの対応範囲外であり、極端な画像回転でも性能低下が報告されています。

例えば、次のような撮影条件では注意が必要です。

  • 魚眼レンズ
  • 360度パノラマカメラ
  • 強いレンズ歪み
  • 主点が画像中心から大きくずれたカメラ
  • 特殊な画像補正が行われた画像

「カメラ内部パラメータを予測できる」という説明だけでは、この制約を十分に表現できません。

実際には、レンズ歪み、撮影方式、画像補正などについて、モデル上の仮定があります。

3.4 前提④：大量の教師データから、3D幾何の一般則を学習できる

これはVGGTの最も根本的な仮説です。

VGGTは、画像中の特徴と3D幾何の関係を、大規模な教師あり学習によって獲得します。

そして、学習した関係を未知の画像にも適用します。

しかし、モデルが学習するのは、数学的に厳密な射影幾何だけではありません。

学習データに含まれる次のような情報も、モデルの予測に影響する可能性があります。

  • 物体の典型的な形状
  • 室内や屋外の空間配置
  • 撮影時のカメラ位置や向きの分布
  • センサー固有の特性
  • 教師データに含まれる誤差やアノテーションの癖

そのため、一般的な室内画像に強いモデルであっても、特殊な工場設備、極端な近接撮影、透明な部品、未知の光学系などに対して、同じ精度が得られるとは限りません。

2026年のVGGT-Ωでは、教師データのノイズが特定の失敗パターンとしてモデルに現れ、標準的なベンチマークでは検出されない場合もあると論じられています。[7]

つまり、VGGTの性能はモデル構造だけでなく、教師データの分布や品質にも依存しています。

3.5 前提⑤：観測が不十分でも、学習済みの知識で推定できる

これはVGGTの強みであると同時に、信頼性上の弱点にもなります。

単眼画像や少数画像では、観測から3D形状を一意に決定できない場合があります。

例えば、物体の正面画像だけでは、背面形状は分かりません。

また、カメラの移動量が小さく、十分な視差が得られない場合には、奥行きやカメラ移動量を正確に推定することが困難です。

VGGTは、このような場合でも、学習した事前知識（Prior）に基づいて3Dを予測できます。

しかし、そこで得られる答えは、必ずしも唯一の物理的な正解ではありません。

「3Dを推定できる」ことと、「観測によって3Dが確定している」ことは異なります。

VGGTは、この違いを明示的に説明するモデルではありません。

そのため、観測に基づく情報と、学習済みのPriorによる補完をどのように区別するかが、重要な研究課題になります。

3.6 前提⑥：冗長な出力を共同学習すれば、幾何理解が改善する

VGGTの特徴的な設計の一つが、Over-complete Predictionです。

VGGTは、Camera Parameters、Depth Map、Point Map、Point Tracksなど、互いに関連する情報を同時に予測します。

例えば、カメラ姿勢とDepth Mapが分かれば、各ピクセルに対応する3D座標を計算できます。

つまり、これらの出力には数学的な冗長性があります。

VGGTでは、この冗長性を積極的に利用し、複数の関連タスクを共同学習することで、共通の幾何表現を改善しようとしています。[1]

この効果は、原論文の実験でも支持されています。

しかし、ここで注意すべき点があります。

複数の出力を同時に予測することは、それらの出力が数学的に完全に一致することを意味しません。

原論文では、直接予測したPoint Mapよりも、予測されたDepthとCameraから計算したPoint Mapの方が高精度になることが報告されています。[1]

これは、各出力の品質や、それらをどのように組み合わせるべきかが、独立した研究課題であることを示唆しています。

3.7 前提⑦：学習による推定が、テスト時の幾何最適化を代替できる

VGGTは、従来のSfMで必要とされてきた複雑なテスト時最適化を、大幅に削減することを目指しています。

ただし、厳密に言えば、VGGTは幾何学的な制約そのものを不要にしたわけではありません。

従来、推論時に明示的な計算で求めていた幾何関係の一部を、学習済みモデルのパラメータへ移したと理解するのが適切です。

実際、VGGT原論文では、Bundle Adjustment（BA）を追加することで性能が改善することが示されています。[1]

つまり、VGGT単体の予測能力が高いことは示されていますが、推論時の幾何最適化をあらゆる場面で不要にできることまでは示されていません。

3.8 前提⑧：学習済みのConfidenceから、出力品質を判断できる

VGGTは、Depth MapやPoint Mapなどに対してConfidenceを予測します。

しかし、そのConfidenceが、そのまま現実の測量誤差や失敗確率を意味するわけではありません。

ここには、いくつかの重要な問いがあります。

  • 高いConfidenceでも、幾何的に誤っている場合があるのでしょうか。
  • 学習時に見ていない画像に対して、Confidenceは適切に低下するのでしょうか。
  • 入力画像全体が不適切な場合に、推定そのものを拒否できるのでしょうか。

実運用では、単に予測結果を出すだけでは不十分です。

予測が間違っている可能性を、どの程度正確に判断できるかも重要になります。

そのため、VGGTのConfidenceがどの程度校正されているのか、未知環境での失敗を適切に検出できるのかを、独立に検証する必要があります。

4. VGGT原論文で明示されている課題と限界

ここでは、VGGT原論文で報告されている制約を中心に整理します。

4.1 魚眼・パノラマ・極端な回転・非剛体変形

VGGT原論文のSection 5では、いくつかのFailure Casesが明示されています。[1]

限界 具体的な状況 想定される影響
魚眼・パノラマ非対応 広角カメラ、360度カメラ カメラモデルや3D推定が不適切になる可能性があります
極端な画像回転 大きく回転した画像、特殊なカメラ姿勢 復元精度が低下する可能性があります
大きな非剛体変形 人体、布、変形する物体 3Dの整合が崩れる可能性があります
大量入力時の計算負荷 数百〜数千フレーム GPUメモリや処理時間が増加します

特に、大きな非剛体変形は、単にモデルの精度を改善すれば解決する問題とは限りません。

静的な3D構造を前提とした問題設定そのものを拡張する必要があるため、動的シーンへの対応は独立した研究テーマになっています。

4.2 入力画像数が増えると、計算コストが大きくなります

VGGTは、Global Attentionを使って複数画像間の情報を統合します。

これは複数視点の情報を利用する上で強力ですが、入力画像数が増えると、計算量とGPUメモリが課題になります。

VGGT原論文のTable 9では、NVIDIA H100上で336×518の画像を処理した場合の計測結果が示されています。[1]

入力画像数 推論時間 ピークGPUメモリ
10枚 0.14秒 3.63 GB
50枚 1.04秒 11.41 GB
100枚 3.12秒 21.15 GB
200枚 8.75秒 40.63 GB

これらは、原論文で示されたTransformer Backboneの計測値です。

全処理の所要時間ではなく、また、2026年5月の公式実装におけるメモリ改善を反映した現在の実測値でもありません。[6]

この結果から分かるのは、少数画像では非常に高速でも、入力画像が増えると計算コストが急速に大きくなるということです。

実際の3D構築システムでは、さらに次のような処理も必要になります。

  • 画像の読み込み
  • 予測結果の変換
  • 幾何最適化
  • 点群処理
  • 3Dモデルの構築や描画

したがって、論文に示された推論時間を、そのままシステム全体の処理時間として扱うことはできません。

4.3 絶対距離と座標系には不定性があります

VGGT原論文では、最初のカメラを基準座標系とし、3D点の平均距離に基づいて学習データのスケールを正規化しています。[1]

これは、画像からの3D復元にスケールの不定性があるためです。

例えば、カメラの移動距離とシーン全体の大きさを同じ割合で変更しても、画像上の投影関係が変わらない場合があります。

そのため、VGGTが推定した3D構造の相対的な形状が正しくても、そのスケールが実世界の「1.00 m」に対応しているとは限りません。

また、推定された3D空間を実際の地図座標や現場座標へ対応付けることも、別の問題です。

実寸計測、設備管理、ロボット位置推定などに利用する場合は、次のような処理が重要になります。

  • スケール校正
  • 外部基準との位置合わせ
  • 独立したGround Truthによる誤差評価

VGGTが3D形状を予測できることと、実際の距離を測定できることは、区別して考える必要があります。

4.4 幾何的一貫性は数学的に保証されません

VGGTは、学習した知識を利用して3D構造を高速に予測します。

しかし、各出力が射影幾何の制約を厳密に満たすことが、自動的に保証されるわけではありません。

例えば、予測されたカメラ姿勢、Depth Map、Point Mapが、完全に同一の3D空間を表現しているとは限りません。

そのため、Bundle Adjustmentなどの幾何最適化を追加することで、複数画像間の整合性を改善できる場合があります。

VGGTの公式実装にも、予測結果をCOLMAP形式へ出力し、必要に応じてBundle Adjustmentを実行する機能が提供されています。[6]

ここから、VGGTと古典的な幾何計算は、必ずしも競合する技術ではないことが分かります。

むしろ、次のような役割分担が重要になります。

VGGT：3D構造の良い初期推定を高速に出します。

Classical Geometry：再投影誤差や複数視点の整合性を利用して、推定結果を検証・改善します。

5. 2025〜2026年の後続研究で明らかになった課題

VGGT以降の研究では、単純な3D復元精度の向上だけでなく、VGGTが持つ問題設定や表現方法そのものを拡張する方向が進んでいます。

代表的な研究を整理すると、次のようになります。

研究 主な方向性 対象となる課題
VGGT-Ω（CVPR 2026） 大規模学習、動的シーン、推論効率の改善 データ品質、動的物体、特殊な撮影条件
VGGT-SLAM（NeurIPS 2025） Submapを用いた長期マッピング 大規模環境、大域的整合性、射影歪み
VGG-T³（CVPR 2026） 多数画像を効率的に処理するモデル Attentionの計算量とメモリ
Robust VGGT（CVPR 2026） 外れ画像の検出と除去 無関係な画像が混入する問題
DynamicVGGT（CVPR 2026） 動的シーンと4D復元 物体運動、時間方向の変化

これらの研究について、特に重要な論点を見ていきます。

5.1 無関係な画像から、もっともらしい3Dを生成してしまう問題

2026年5月に発表された「Can These Views Be One Scene? Evaluating Multiview 3D Consistency when 3D Foundation Models Hallucinate」は、VGGTの信頼性を考える上で重要な研究です。[10]

この研究では、VGGT、MASt3R、DUSt3R、Fast3Rなどのモデルが、次のような入力に対しても、密な幾何構造や画像間の対応を予測する場合があることが報告されています。

  • 互いに無関係な画像
  • 重複した画像
  • ランダムノイズ

ここで重要なのは、モデルの出力を使って画像間の3D整合性を評価しようとしても、その整合性自体がモデルによって作り出されている可能性があるということです。

これは、古典的なSfMとVGGTの違いをよく表しています。

古典的な幾何検証では、十分な対応点が得られない場合に、復元を失敗として扱うことができます。

一方、学習済みモデルは、十分な観測が得られない場合でも予測を返せるため、出力が存在すること自体は成功の証拠になりません。

ただし、この研究で報告されているのは、特定条件におけるFailure Casesです。

VGGTが一般的に無関係な画像を正しく統合できない、あるいは常に誤った3Dを生成するという意味ではありません。

それでも、この研究は重要な示唆を与えています。

VGGTを、3Dの正しさを判定する基準そのものとして使用することには慎重であるべきです。

5.2 VGGT-Ωによる動的シーン対応と、残された問題

VGGT-Ωは、元のVGGTを発展させた2026年の研究です。[7]

大規模なモデルとデータを利用し、再構成精度、推論効率、動的シーンへの対応能力を改善しています。

また、モデルサイズや学習データの増加に伴う性能向上も検討されています。

ただし、課題がすべて解決されたわけではありません。

VGGT-Ωでは、強いモーションブラー、急激な画角変化、大きなレンズ歪みなどで性能が低下することが報告されています。

また、学習データに含まれる誤った幾何情報により、歩行者が背景の壁に吸収されたような不自然な再構成が生じる問題も考察されています。

ここから、静的シーンの3D復元と、変化する世界の4D理解は、本質的に異なる問題であることが分かります。

静的な3Dでは、ある時刻の形状を復元できれば目的が達成されます。

一方、動的な4Dでは、次のような情報も時間方向に整合させる必要があります。

  • 物体の同一性
  • 移動
  • 変形
  • 遮蔽
  • 出現と消失

VGGT-Ωによる改善は重要ですが、あらゆる動的物体の運動と形状を正確に復元できることを意味するものではありません。

5.3 VGGT-SLAMが示した大域的一貫性の問題

VGGT-SLAMは、元のVGGT単体では難しい長時間動画の再構成に対応するための研究です。[8]

長い動画を小さなSubmapに分割し、それぞれのSubmapをVGGTで復元した後、幾何的な最適化によって結合します。

ここで興味深いのは、単に回転・並進・スケールを合わせるだけでは不十分な場合があることです。

VGGT-SLAMでは、未校正カメラの復元に残る射影的な曖昧さに対応するため、SL(4)上の最適化を導入しています。

これは、VGGTの出力を複数つなぎ合わせれば、必ず同じ正しいユークリッド空間になるわけではないことを示しています。

例えば、短い区間ごとの3D復元がそれぞれ良好であっても、それらを長い時間にわたって結合すると、全体の形状に歪みが生じる可能性があります。

したがって、局所的に高精度な3Dを推定することと、大規模な空間全体で一貫した3Dを維持することは、別々の課題です。

5.4 VGG-T³による大規模処理への対応

VGGTは、Global Attentionによって複数画像間の情報を統合します。

しかし、入力画像数が増えると、Attentionの計算量やメモリ消費が大きくなります。

VGG-T³は、この問題に対応する2026年の研究です。[9]

VGGT型のAttentionが多数のViewに対してスケールしにくいことを課題として扱い、より大規模な画像集合を効率的に処理する方向を提案しています。

これは、VGGTが複数画像を直接処理する方向を開いた一方で、数千枚以上の画像を効率的に処理する問題が依然として重要な研究対象であることを示しています。

5.5 Robust VGGTによる外れ画像の検出

Robust VGGTは、入力画像集合に無関係な画像が混入する問題を扱う研究です。[11]

モデル内部のAttentionや特徴表現を利用して、他の画像と整合しない外れ画像を識別し、除去する方法を提案しています。

この研究は、前述した「入力画像が同じ3Dシーンを観測している」という前提に直接関係しています。

元のVGGTが、与えられた画像集合から3Dを推定するモデルだったのに対し、Robust VGGTでは、その画像集合自体が適切かどうかを評価する方向へ進んでいます。

これは、3D復元精度だけでなく、入力の妥当性を検証することが重要になっていることを示しています。

5.6 教師データの品質が、学習した幾何の信頼性に影響します

VGGT-Ωの論文で特に興味深いのは、教師データの品質に関する議論です。[7]

通常、モデルの精度を評価する際には、学習データ量やモデルサイズに注目します。

しかし、3D復元では、教師となるカメラ姿勢、深度、点群自体に誤差が含まれている場合があります。

そのようなデータを使って学習すると、誤った幾何的パターンもモデル内部に取り込まれる可能性があります。

VGGT-Ωでは、学習データの問題が標準ベンチマークでは表面化せず、特定のシーンに遭遇したときだけ予測の不安定さとして現れることが指摘されています。

これは、今後のGeometry Foundation Modelでは、教師データの量だけでなく、次の点が重要になることを示唆しています。

  • 教師データの幾何精度
  • データ分布の偏り
  • アノテーションや推定値の誤差
  • データ品質の監査可能性

単に大規模な3Dデータを使えばよいというわけではなく、何を正しい3Dとして学習させるかが重要になります。

6. VGGTについて、まだ十分に検証されていないこと

ここまで、原論文で報告されている限界と、後続研究で扱われている問題を紹介しました。

しかし、それらとは別に、VGGTを実用的なGeometry Foundation Modelとして利用するためには、まだ十分に検証されていない論点があります。

なお、ここで「検証されていない」としているのは、VGGTに関する研究が存在しないという意味ではありません。

原論文と今回取り上げた主要な後続研究だけでは、さまざまな条件で一般的に成立することを十分に確認できない事項として整理しています。

網羅的な系統的レビューや独立した再現実験による結論ではありません。

未検証・検証不足の論点 具体的な研究上の問い 重要度
幾何的正当性 推定した全てのCamera・Depth・Pointが同一の3D空間で整合しているでしょうか 極めて高い
不確実性の校正 Confidenceと現実の3D誤差に安定した対応があるでしょうか 極めて高い
入力の妥当性 無関係な画像や誤った画像集合を検出・拒否できるでしょうか 極めて高い
未知環境への汎化 学習データにない材質、装置、撮影条件で精度を維持できるでしょうか 高い
観測と推測の分離 出力のどこまでが画像によって支持され、どこからが事前知識による補完なのでしょうか 高い
実測精度 メートル・ミリメートル単位で保証可能な誤差範囲を持つでしょうか 高い
長期安定性 同一空間を時間を空けて撮影しても、一貫した3Dを再構築できるでしょうか 高い
画像集合への頑健性 画像の順番、枚数、外れ値、重複、視点選択によって結果はどう変わるでしょうか 高い
実環境での動的理解 カメラ運動、物体運動、形状変化を適切に分離できるでしょうか 高い
下流タスクでの有効性 3D復元指標の改善が、計測・差分検知・ロボット制御の改善につながるでしょうか 高い

特に重要だと考えられるのは、幾何的一貫性、不確実性の校正、そしてモデルが「分からない」と判断できるかという3つの問題です。

6.1 幾何的一貫性は、本当に学習されているのでしょうか

VGGTは、Camera、Depth、Point Map、Point Tracksを共同で予測します。

しかし、複数の関連タスクを一緒に学習することで、どの程度まで厳密な幾何的一貫性が獲得されているのでしょうか。

例えば、ある3D点を複数の画像に投影したとき、実際の画像上の対応位置と一致しているかを調べることができます。

そのための代表的な指標が、再投影誤差（Reprojection Error）です。

[ E_{\mathrm{reproj}}= \frac{1}{M}\sum_{(i,j,k)} \left| \pi(K_j,T_j,X_k)-x_{jk} \right|_2 ]

ここで、各記号は次の意味を表します。

  • (X_k)：共通の3D点
  • (T_j)：カメラ姿勢
  • (K_j)：カメラの内部パラメータ
  • (x_{jk})：画像上で観測された対応点
  • (\pi)：3D点を画像へ投影する関数
  • (M)：評価に用いる対応観測の数

この再投影誤差を評価することで、同じ3D点が各画像に幾何学的に正しく投影されるかを調べられます。

また、VGGTが直接予測したPoint Mapと、Depth MapおよびCameraから逆投影して得られる3D点を比較することもできます。

ただし、ここには注意が必要です。

再投影誤差が小さいからといって、必ずしも現実の3D構造が正しく復元されているとは限りません。

例えば、画像間対応そのものが間違っている場合や、各出力が共通の誤った3D構造に整合している場合があります。

したがって、内部整合性の評価だけでは不十分です。

VGGTの出力同士が整合しているかという評価と、独立した3D Ground Truthに対して正しいかという評価を分ける必要があります。

6.2 Confidenceは、実際の3D誤差を予測できるのでしょうか

実用上、精度の高い予測を得ることと同じくらい重要なのが、予測が失敗したときにそれを検出できることです。

例えば、VGGTがある3D点に高いConfidenceを与えた場合、その点の実際の3D誤差が小さいことをどの程度保証できるのでしょうか。

この問題は、不確実性の校正（Uncertainty Calibration）に関係します。

検証方法としては、Confidenceの大きさごとに実際の3D誤差の分布を測定し、両者の関係を調べることが考えられます。

また、一定のConfidence以下の点を除去したときに、残った点群の誤差がどの程度改善するかを評価する方法もあります。

このような評価は、Selective Riskの分析として考えることができます。

重要なのは、Confidenceが単なる相対的な品質スコアなのか、物理的な誤差の予測として校正可能なのかを区別することです。

例えば、高いConfidenceを持つ点だけを採用すれば測量精度が保証される、という結論は、その関係を実験的に検証しない限り導けません。

6.3 VGGTは「分からない」と判断できるのでしょうか

これは、前述したもっともらしい3D構造の生成とも関連します。

例えば、次のような状況を考えます。

  • 画像が極端にぼけている場合
  • 入力画像が別々の場所で撮影されている場合
  • 十分な視差がない場合
  • 透明な物体や反射する物体が多い場合
  • カメラモデルが入力画像に適合していない場合

これらの状況では、3Dを確定するための観測情報が不足している可能性があります。

それでもモデルが3Dを返す場合、結果を受け取るシステムは「予測できた」ことと「信頼できる」ことを区別する必要があります。

これは、単に平均的な3D誤差を小さくすることとは異なる問題です。

観測情報が不足して正しい推定が難しい状況を、モデル自身、または外部の検証器が認識できるかが重要になります。

今後のGeometry Foundation Modelでは、予測結果だけでなく、予測の信頼性を扱う仕組みも重要になると考えられます。

7. VGGTの暗黙の前提を検証するには、どのような実験が必要でしょうか

ここからは、これまでの研究を踏まえた実験計画を考えます。

これはVGGT原論文の実験結果ではなく、暗黙の前提や信頼性を検証するために考えられる研究案です。

単にCOLMAPとの平均精度を比較するだけでなく、VGGTがどのような条件で信頼できなくなるのかを、制御された実験で明らかにすることが重要だと考えます。

7.1 実験①：入力画像が同じシーンであるという前提を検証する

まず、同じシーンを撮影した画像集合を用意します。

そこに、無関係な画像を0〜50%の割合で混入させます。

混入率を変化させながら、VGGTの復元結果を評価します。

評価指標としては、次のものが考えられます。

  • カメラ姿勢誤差
  • 再投影誤差
  • 外れ画像の検出率

この実験で確認したいのは、入力画像集合が不適切になったときに、モデルがそれを認識できるかという点です。

7.2 実験②：観測不足と3D推定の関係を調べる

次に、カメラの視点差を段階的に変化させます。

ほぼ同一視点から撮影した場合と、十分な視差を持つ画像集合を比較します。

評価指標としては、次のものが考えられます。

  • 深度誤差
  • 点群のChamfer Distance
  • Confidenceの校正

この実験によって、観測情報が減少した場合に、VGGTの推定精度やConfidenceがどのように変化するかを調べます。

さらに、観測情報と学習済みPriorへの依存をどの程度分離できるかを検討します。

7.3 実験③：Camera・Depth・Point Mapの内部整合性を調べる

VGGTの各出力を独立に比較します。

例えば、次のような検証が考えられます。

  • Cameraと3D点から求めた再投影位置の誤差
  • DepthとCameraから逆投影した3D点と、直接予測されたPoint Mapの差
  • 複数画像間で対応する3D点の相互距離
  • Bundle Adjustmentの前後における誤差の改善量

この実験では、Over-complete Predictionがどの程度まで幾何的一貫性を獲得しているかを測定します。

7.4 実験④：未知の撮影条件への汎化を調べる

次に、学習データの分布から外れる可能性がある撮影条件を比較します。

例えば、次のような条件です。

  • 魚眼画像
  • 反射する物体
  • 透明な物体
  • 低照度
  • モーションブラー
  • 特殊な工場環境

評価指標としては、復元成功率、深度誤差、カメラ姿勢誤差、Confidenceと実際の誤差の相関などが考えられます。

この実験によって、学習分布から外れた場合に、どのような条件で性能が低下するかを明らかにします。

7.5 実験⑤：時間変化と動的物体を扱う

同じ環境を時間を変えて撮影します。

その際、物体の追加、削除、移動を段階的に発生させます。

評価指標としては、次のものが考えられます。

  • 静的領域の再構成誤差
  • 変化検出のPrecision
  • 変化検出のRecall

この実験で検証したいのは、視点差による見え方の変化と、実際の物理的な構造変化をどの程度分離できるかという点です。

7.6 実験⑥：独立した幾何検証器の有効性を調べる

最後に、VGGT単体と、幾何検証や最適化を追加した構成を比較します。

例えば、次のような条件を用意します。

  • VGGT単体
  • VGGT＋幾何検証
  • VGGT＋Bundle Adjustment
  • VGGT＋外れ値除去

評価指標としては、次のものが考えられます。

  • 失敗検出率
  • 計測誤差
  • 処理時間
  • 誤検知率

この実験では、古典的な幾何計算を組み合わせることで、実際にどの程度の価値が得られるかを明らかにします。

これら6つの実験を整理すると、次のようになります。

実験 主な検証対象 代表的な評価指標
① 同一シーン性 無関係な画像を認識できるか 姿勢誤差、外れ画像検出率
② 観測不足 Priorへの依存と精度の関係 深度誤差、Chamfer Distance
③ 内部整合性 複数の幾何出力が整合しているか 再投影誤差、BA前後の改善量
④ 未知環境 学習分布外での汎化能力 成功率、深度誤差、Confidence
⑤ 時間変化 視点差と実際の変化を区別できるか 変化検出Precision・Recall
⑥ 幾何検証 古典的最適化を組み合わせる効果 計測誤差、失敗検出率、処理時間

評価に際しては、VGGTだけでなく、COLMAP、DUSt3R、MASt3R、可能であればVGGT-ΩやMapAnythingなども比較対象に加えるのが適切です。[2][4][5][7][15]

また、GPU条件、入力解像度、画像枚数、カメラ校正条件、Bundle Adjustmentの有無をそろえる必要があります。

比較条件が異なると、モデル自体の改善と後処理による改善を区別できなくなります。

8. 画像間の位置合わせや差分検知に応用する場合、何に注意すべきでしょうか

VGGTの出力は、点群生成や3Dモデル構築だけでなく、画像間の位置合わせや差分検知への応用も考えられます。

ただし、VGGTは直接的な差分検知モデルではありません。

この応用を考える場合には、3D構造を推定することと、実際の物理的な変化を検出することを分けて考える必要があります。

8.1 VGGTを利用した差分検知の構成

例えば、同じ場所を異なる時刻に撮影した画像を比較する場合を考えます。

一つの構成案として、次のようなパイプラインが考えられます。

時刻Aの画像群 ＋ 時刻Bの画像群

↓

VGGTによるCamera・Depth・3D推定

↓

幾何検証・座標系の整合・誤差の評価

↓

3D対応付け ＋ 可視性・遮蔽の判定

↓

外観差分・幾何差分・意味的差分の検出

↓

変化箇所の判定と信頼度評価

これは、VGGTを差分検知へ応用するために考えられるシステム構成です。

VGGTの原論文で、この差分検知パイプライン全体が実証されたわけではありません。

8.2 3D復元誤差と実際の変化を区別する必要があります

この構成で最大の問題になるのは、3D復元の誤差と、実際に物体が変化したことによる差分を区別する必要があるという点です。

例えば、ある部品の位置が画像上で数ピクセル異なっていたとします。

その原因として、次のような可能性が考えられます。

  • 実際に物体が移動した
  • カメラ姿勢の推定に誤差がある
  • Depth Mapの推定に誤差がある
  • 画像間の対応付けが間違っている
  • 遮蔽によって見え方が変化した

このような場合、単純に2枚の画像や3D点群の差分を取るだけでは、実際の構造変化を正しく検出できるとは限りません。

特に、遮蔽によって見えなくなった部分を「削除された」と誤検出する可能性があります。

8.3 差分検知では、下流タスクとしての独立した評価が必要です

VGGTの3D出力を差分検知に利用する場合には、最低限、次の情報を考慮する必要があります。

  • カメラ姿勢の誤差
  • 深度推定の誤差
  • 画像間対応の品質
  • 観測できていない領域

重要なのは、VGGTが高い3D復元精度を達成したことと、その出力を利用した差分検知が高い精度を達成することは、別々に評価すべきだという点です。

例えば、3D復元の平均誤差が小さくても、小さな部品の移動や微細な形状変化を検出できるとは限りません。

そのため、差分検知を目的とする場合には、3D復元指標だけでなく、実際の変化検出のPrecisionやRecallを評価する必要があります。

9. 今後の研究として、何を優先すべきでしょうか

今回取り上げた論文や研究課題を踏まえると、VGGTの信頼性という観点では、次の4つが有望な研究方向だと考えられます。

これらは文献を踏まえた考察であり、VGGT研究の唯一の発展方向という意味ではありません。

9.1 第1の方向：推定結果の正当性を検証する

最も優先度が高いと考えられるのは、VGGTが推定した3D構造を、どのように検証するかという問題です。

単に3Dの見た目がもっともらしいか、あるいは標準的なベンチマークで平均誤差が小さいかを評価するだけでは不十分です。

入力画像に対して、本当に幾何学的に妥当なのかを独立に確認する必要があります。

この方向には、外れ画像の検出やConfidenceの校正も含まれます。

9.2 第2の方向：学習した3D Priorと観測情報を切り分ける

次に重要なのは、VGGTが学習した3D Priorと、実際の画像から得られる観測情報を切り分けることです。

特に、視差や観測が不足する状況では、3D推定のどの部分が画像によって決まり、どの部分が事前知識から補われているのかを分析することが重要です。

これは、モデルの汎化能力や信頼性を理解する上でも重要になります。

9.3 第3の方向：Geometry Foundation Modelと古典的幾何最適化の役割分担を明らかにする

VGGTは、推論時の幾何最適化を大幅に削減しました。

しかし、後続研究が示しているように、長期的な整合性や高精度な復元のためには、古典的な幾何最適化が依然として有効な場合があります。

そのため、次のような構成を比較することが重要です。

  • VGGT単体
  • VGGT＋幾何検証
  • VGGT＋Bundle Adjustment

それぞれの構成で、どの処理が精度や信頼性の改善に最も寄与するのかを明らかにする研究です。

この方向は、実際の3D復元システムを設計する上でも重要です。

9.4 第4の方向：時系列での物理的な変化を認識する

最後に、同じ空間を異なる時点で撮影した画像から、実際の物理的な変化を認識する研究です。

この場合には、次のような違いを区別する必要があります。

  • カメラ位置や向きの違い
  • 3D推定の誤差
  • 物体の移動
  • 物体の追加や削除
  • 形状の変化

特に、画像間の差分検知へ応用する場合には、この問題が重要になります。

10. VGGTの本質は、3Dを予測する能力と、その正しさを検証する能力を分けて考えることにあります

ここまで、VGGTの研究史的な位置づけ、暗黙の前提、原論文で示された限界、後続研究が明らかにした問題、今後検証すべき課題を見てきました。

研究史全体を踏まえると、VGGTの意義は次のように捉えられます。

古典的なSfMでは、画像間の対応関係と射影幾何を利用して、観測に整合する3D構造を計算することが中心でした。

DUSt3RやVGGT以降では、大規模学習によって獲得した幾何知識を利用し、十分な幾何的制約が得られない状況でも3Dを推定できるようになりました。

これにより、従来の幾何計算では困難だった入力を扱える可能性が広がりました。

しかし、その代わりに、推定された3Dが観測によって裏付けられているのか、それとも学習済みの知識に依存した推測なのかを判断する問題が生まれています。

従来のSfMにおける主要な問題の一つが「どのように3Dを復元するか」だったとすると、VGGT以降では、それに加えて「復元された3Dをどのように検証し、どの程度信頼できると判断するか」が重要になります。

2025〜2026年の研究が示しているのは、学習モデルの高度化と同時に、幾何検証、最適化、データ品質管理、外れ値除去が依然として必要だということです。[7][8][10][11]

また、MapAnythingのように、画像だけでなくCamera Intrinsics、Camera Pose、Depth、部分的な3D情報などを条件として利用する方向も進んでいます。[15]

これは、学習済みモデルだけに全てを任せるのではなく、利用可能な幾何情報を組み合わせる方向への発展とも考えられます。

したがって、VGGTを起点とする次の研究課題としては、単により高精度な3D復元モデルを作ることだけではなく、**「信頼できる3Dを推定し、信頼できない場合にはそれを検出できるGeometry Foundation Model」**を目指す方向が有望だと考えられます。

VGGTは、3Dを予測する能力を大きく前進させました。

しかし、その3Dが正しいと判断するための根拠を、どこまでモデル自身が提供できるのでしょうか。

この問いは、VGGTを単なる3D復元モデルとしてではなく、現実世界の幾何構造を扱うFoundation Modelとして理解する上で、重要な研究課題になると考えられます。

参考文献

[1] Wang et al., "VGGT: Visual Geometry Grounded Transformer," CVPR, 2025.
https://openaccess.thecvf.com/content/CVPR2025/html/Wang_VGGT_Visual_Geometry_Grounded_Transformer_CVPR_2025_paper.html
論文PDF：https://robots.ox.ac.uk/~vgg/publications/2025/Wang25/wang25.pdf

[2] COLMAP, "COLMAP Documentation," Project Documentation.
https://colmap.github.io/

[3] Wang et al., "VGGSfM: Visual Geometry Grounded Deep Structure From Motion," CVPR, 2024.
https://openaccess.thecvf.com/content/CVPR2024/html/Wang_VGGSfM_Visual_Geometry_Grounded_Deep_Structure_From_Motion_CVPR_2024_paper.html

[4] Wang et al., "DUSt3R: Geometric 3D Vision Made Easy," CVPR, 2024.
https://openaccess.thecvf.com/content/CVPR2024/html/Wang_DUSt3R_Geometric_3D_Vision_Made_Easy_CVPR_2024_paper.html

[5] Leroy et al., "MASt3R: Grounding Image Matching in 3D with MASt3R," ECCV, 2024.
https://www.ecva.net/papers/eccv_2024/papers_ECCV/html/9080_ECCV_2024_paper.php

[6] Meta Research, "VGGT: Visual Geometry Grounded Transformer," Official GitHub Repository, 2025–2026.
https://github.com/facebookresearch/vggt

[7] VGGT-Ω Authors, "VGGT-Ω," CVPR, 2026.
https://vggt-omega.github.io/
論文PDF：https://www.robots.ox.ac.uk/~vedaldi/assets/pubs/wang26vggt-omega.pdf

[8] VGGT-SLAM Authors, "VGGT-SLAM," NeurIPS, 2025. arXiv:2505.12549.
https://arxiv.org/abs/2505.12549

[9] Elflein et al., "VGG-T³: Offline Feed-Forward 3D Reconstruction at Scale," CVPR, 2026.
https://openaccess.thecvf.com/content/CVPR2026/papers/Elflein_VGG-T3_Offline_Feed-Forward_3D_Reconstruction_at_Scale_CVPR_2026_paper.pdf
https://arxiv.org/abs/2602.23361

[10] "Can These Views Be One Scene? Evaluating Multiview 3D Consistency when 3D Foundation Models Hallucinate," arXiv, 2026.
https://arxiv.org/abs/2605.18754

[11] "Emergent Outlier View Rejection in VGGT," CVPR, 2026. Robust VGGT Project Page.
https://cvlab-kaist.github.io/RobustVGGT/

[12] Mandal et al., "VGGT-SLAM++," CVPR Workshops, 2026.
https://openaccess.thecvf.com/content/CVPR2026W/VOCVALC/html/Mandal_VGGT-SLAM_CVPRW_2026_paper.html

[13] Yang et al., "Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass," arXiv:2501.13928, 2025.
https://arxiv.org/abs/2501.13928

[14] VGGT Authors, "VGGT: Visual Geometry Grounded Transformer," Official Project Page, 2025.
https://vgg-t.github.io/

[15] MapAnything Authors, "MapAnything," arXiv:2509.13414, 2025.
https://arxiv.org/abs/2509.13414

[16] "DynamicVGGT," CVPR, 2026. arXiv:2603.08254.
https://arxiv.org/abs/2603.08254