VGGTの位置づけ

対象読者

この記事は、次のような技術に興味がある方を対象としています。

• 複数の画像から点群データを作成したり、3Dモデルを構築したりする技術に興味がある方
• 2つの画像間の特徴点マッチング、位置合わせ、差分検知などの画像処理技術に興味がある方
• SfM、NeRF、3D Gaussian Splatting、SLAMなどの技術と、深層学習を用いた最新の3D復元技術との関係を理解したい方

要約

• VGGTは、従来の3D復元における複数の幾何計算を、Transformerによる統合的な推論に置き換えた研究です。
• SfM/MVSからVGGSfM、DUSt3R、MASt3Rを経て、複数画像からカメラ姿勢、深度、3D点群、点の追跡情報を一括推定する技術へと発展しました。
• VGGTの出力は、NeRF、3D Gaussian Splatting、SLAMなど、既存の3D構築・可視化技術と組み合わせて利用できます。
• 2026年現在、研究はGeometry Foundation Modelへ発展しており、VGGT-ΩやMapAnythingなどが登場しています。
• 一方で、VGGTが古典的な幾何計算を完全に置き換えたわけではなく、学習済みモデルによる高速な推定と、Bundle Adjustmentなどによる幾何最適化を組み合わせる方向が重要になっています。

1. VGGTは3D画像処理の研究史の中で、どこに位置づけられるのでしょうか

VGGT（Visual Geometry Grounded Transformer）は、画像から3D空間の構造を推定するためのTransformerモデルです。

2025年に発表され、CVPR 2025のBest Paper Awardを受賞しました。[1]

VGGTを研究史の中で見ると、かなり重要な「境目」にある論文です。

端的に言えば、

「3D幾何を、特徴点マッチング＋幾何計算＋反復最適化で解く」世界から、「大量の3Dデータで学習したTransformerに、シーンの幾何そのものを推論させる」世界への移行を象徴する研究

と捉えると分かりやすいです。

これは、単に3D復元の精度を向上させたというだけの話ではありません。

従来、画像から3Dモデルを構築するには、特徴点検出、画像間の対応付け、カメラ姿勢推定、三角測量、最適化といった複数の処理を組み合わせる必要がありました。

VGGTでは、これらの問題の多くを、共通のTransformerによる予測として扱います。

その結果、画像から点群を生成する技術だけでなく、画像間の特徴点マッチング、カメラ位置推定、3D Gaussian Splatting、SLAMなど、さまざまな技術への応用が広がっています。

この記事では、VGGTが登場するまでの研究の流れを整理し、2026年現在の技術との関係を見ていきます。

2. 従来は画像からどのように3Dを作っていたのでしょうか

2.1 SfMとMVSによる3D復元

古典的な3D復元の代表的な技術として、SfM（Structure from Motion）とMVS（Multi-View Stereo）があります。

これらは、複数の画像からカメラの位置や向きを推定し、そこに写る物体や空間の3D構造を復元する技術です。

代表的な実装がCOLMAPです。[2]

COLMAPのようなSfM/MVSでは、大まかに次のパイプラインで処理します。

画像 → 特徴点 → 画像間マッチング → カメラ姿勢推定 → 三角測量 → Bundle Adjustment → Dense MVS → 3D

それぞれの役割は次のとおりです。

1. 特徴点抽出：画像中から、別の画像でも見つけやすい特徴的な位置を検出します。
2. 特徴点マッチング：異なる画像に写っている同じ場所を対応付けます。
3. カメラ姿勢推定：画像間の対応関係を使って、撮影時のカメラの位置と向きを推定します。
4. 三角測量：複数の視点から観測された点の3D座標を計算します。
5. Bundle Adjustment（BA）：カメラ姿勢と3D点の位置をまとめて最適化します。
6. Dense MVS：より密な3D形状を復元します。

この方法には、非常に強い利点があります。

カメラモデル、射影幾何、エピポーラ幾何などが明示的なので、「なぜこの3D座標になったのか」を数学的に説明できます。

一方で、特徴点が取れない、画像間の視点差が大きい、テクスチャが乏しい、反射する、といった場面では途中の工程が壊れやすくなります。

また、各工程を注意深く組み合わせる必要があります。

2.2 深層学習による各工程の置き換え

2010年代後半から2020年代前半にかけて、深層学習がSfMの各工程に徐々に導入されました。

ただし、最初はSfMそのものを捨てるのではなく、既存のパイプラインの一部分をニューラルネットワークに置き換える方向でした。

例えば、次のようなものです。

• 特徴点抽出だけをニューラルネットワークにする
• 特徴点マッチングだけをニューラルネットワークにする
• 深度推定だけをニューラルネットワークにする

つまり、古典的な3D復元パイプラインの部品を、学習器に置き換えていくという発展です。

2.3 VGGSfMによるEnd-to-End化

VGGSfM（CVPR 2024）は、この流れをさらに進めた研究です。[3]

VGGSfMでは、点の追跡、カメラ推定、微分可能なBundle Adjustmentを組み合わせ、SfM全体をEnd-to-Endで学習可能にしました。

これは従来の手法から大きく進歩したものですが、依然として「SfMという問題設定」と「Bundle Adjustmentという幾何最適化」は残しています。

つまり、従来のSfMパイプラインを深層学習によって高度化するという位置づけです。

ここから、次のDUSt3Rによって考え方が大きく変わります。

3. DUSt3Rが変えた「画像から3Dを求める」という考え方

VGGTを理解する上で、最も重要な先行研究の一つがDUSt3R（CVPR 2024）です。[4]

DUSt3Rの発想は非常に大胆でした。

従来は、

カメラを求める → 対応点を求める → 三角測量して3Dを作る

という流れでした。

これに対してDUSt3Rは、

画像を2枚見せて、各ピクセルが3D空間のどこにあるかをTransformerに直接出させればよい

と考えました。

3.1 Point Mapという表現

DUSt3Rが採用した重要な表現が、Point Mapです。

これは、画像の各ピクセルに対して3D座標を割り当てるものです。

通常のDepth Mapが各ピクセルまでの深度を表すのに対し、Point Mapは各ピクセルに対応する3D位置を直接表します。

DUSt3Rは、カメラ姿勢やキャリブレーション情報が未知の画像ペアから、Point Mapを直接予測します。

さらに、予測したPoint Mapから、深度、対応点、焦点距離、カメラ姿勢などを導くことができます。[4]

従来はカメラ姿勢を推定してから3Dを求めていました。

DUSt3Rでは、逆に、3Dを直接予測することでカメラ姿勢や画像間の対応情報を得られるようにしました。

これは、3D復元の問題設定そのものを変える重要な転換でした。

3.2 DUSt3Rの制約

ただし、DUSt3Rには大きな制約がありました。

基本的な処理単位が画像ペアであることです。

例えば、10枚、100枚の画像からシーン全体を復元したい場合、多数の画像ペアを処理し、それぞれのPoint Mapを後からGlobal Alignmentによって整合させる必要があります。

画像が増えると、このペアごとの処理と統合作業が重要な課題になります。

3.3 MASt3Rへの発展

MASt3R（ECCV 2024）は、DUSt3Rの考え方を画像マッチングへ発展させた研究です。[5]

MASt3Rは、3DにGroundingされた特徴量を利用することで、視点差の大きな画像間でも高精度に対応点を求められるようにしました。

ここで重要なのは、画像マッチングと3D復元が、必ずしも独立した問題ではなくなってきたことです。

従来は、特徴点マッチングによって3Dを復元するという関係でした。

DUSt3RやMASt3Rでは、学習した3D表現を利用して画像マッチングを実現するという、逆方向の考え方も可能になりました。

画像間の位置合わせや差分検知を考える上でも、この変化は重要です。

例えば、撮影位置の異なる2枚の画像を比較する場合、単純なピクセル差分では、視点の違いと物体そのものの違いを区別することが難しくなります。

3D構造を考慮して対応関係を求めることができれば、画像の位置合わせや、視点の違いを考慮した比較処理への応用が考えられます。

ただし、DUSt3RやMASt3R自体が、あらゆる差分検知を直接実行するモデルというわけではありません。

4. VGGTは具体的に何を変えたのでしょうか

VGGTは、DUSt3RやMASt3Rで進んだ学習ベースの幾何推定を、さらに複数画像の統合的な処理へ発展させた研究です。

VGGTでは、1枚から数百枚の画像を入力すると、一つのネットワークが複数の幾何情報を同時に予測します。[1][6]

4.1 一つのTransformerから複数の幾何情報を出力

VGGTが出力する主な情報は、次の4種類です。

出力	内容	関連する用途
Camera Parameters	カメラの内部パラメータと外部パラメータ	カメラ姿勢推定、3D復元
Depth Maps	各画像のピクセルごとの深度	距離・奥行きの推定
Point Maps	各ピクセルに対応する3D座標	点群生成、3Dモデル構築
Point Tracks	複数画像間で対応する点の追跡情報	画像間対応、位置合わせ、追跡

従来は、これらをそれぞれ別のアルゴリズムで求める必要がありました。

VGGTでは、共通のTransformer表現から複数の出力ヘッドを使って、これらを同時に予測します。

つまり、カメラ姿勢推定、深度推定、3D復元、点の追跡を、それぞれ独立した問題として扱うのではなく、一つの3Dシーンを理解するための関連した問題として統合しているわけです。

4.2 Frame-wise AttentionとGlobal Attention

VGGTのネットワーク構造も興味深いものです。

画像はDINO系のEncoderによってToken化され、その後、Frame-wise AttentionとGlobal Attentionを交互に実行します。[6]

概念的には、次のような構成です。

画像 → Encoder → Frame-wise Attention → Global Attention → Frame-wise Attention → Global Attention → … → 幾何情報の出力

Frame-wise Attentionでは、個々の画像内の情報を処理します。

Global Attentionでは、複数の画像を横断して情報を交換します。

これによって、同じ3D空間を異なる視点から撮影した画像同士の関係を学習できます。

従来のSfMでは、特徴点マッチング、エピポーラ幾何、三角測量などを明示的に処理していました。

VGGTのGlobal Attentionは、これらの処理が担っていた関係の一部を、ネットワーク内部で暗黙的に学習していると見ることができます。

4.3 Over-complete Predictionという考え方

VGGTの特徴的な設計の一つが、Over-complete Predictionです。

Depth Mapとカメラ姿勢が分かれば、Point Mapを計算できます。

また、Point Mapからカメラに関する情報を復元することもできます。

つまり、これらの出力には数学的な冗長性があります。

従来のアルゴリズム設計では、同じ情報を複数の形式で予測するのは無駄だと考えられるかもしれません。

ところがVGGTでは、この冗長性を積極的に利用します。

Camera、Depth、Point Map、Trackを同時に教師あり学習させることで、ネットワーク内部の表現そのものを3D GeometryにGroundingします。

言い換えると、単に画像の特徴を理解するだけではなく、カメラ、深度、3D座標、画像間対応という複数の観点から、幾何構造を学習するわけです。

ここが、Visual Geometry Grounded Transformerという名前の核心です。

5. SfMからVGGTまでの研究の流れを整理する

ここまでの研究を比較すると、次のようになります。

世代	基本思想	推論時に何をするか
SfM / COLMAP	幾何を数式で解く	Matching → PnP → Triangulation → BA
Deep SfM / VGGSfM	SfMの各工程を学習可能にする	Neural Network + 幾何最適化
DUSt3R	3D Point Map自体をニューラルネットワークで予測	画像ペア → Point Maps → Global Alignment
MASt3R	3Dを考慮したマッチングへ発展	画像ペア → 3D-aware Matching
VGGT	シーン全体の幾何をTransformerが一括推論	複数画像 → Cameras + Depth + Points + Tracks
VGGT以降	Geometry Foundation Model化	SLAM、3DGS、RoboticsなどのBackbone

研究の方向性は、大きく次のように変化してきました。

第1段階：幾何学的な計算で3Dを復元する

特徴点マッチングと射影幾何によって、カメラ姿勢や3D座標を求めます。

第2段階：従来の幾何計算の各工程に深層学習を導入する

特徴抽出、マッチング、深度推定などをニューラルネットワークに置き換えます。

第3段階：3D座標そのものを直接予測する

DUSt3Rによって、画像からPoint Mapを直接予測する考え方が登場しました。

第4段階：複数画像を統合して幾何情報を一括推論する

VGGTでは、画像ごとの深度だけでなく、複数画像の関係やカメラ姿勢なども共通のモデルから予測します。

第5段階：3D Geometryを扱うFoundation Modelへ発展する

SLAM、3Dモデル構築、Neural Renderingなど、さまざまな3Dタスクの基盤となるモデルを目指す方向です。

なお、DUSt3RからVGGTへの発展は、VGGTだけが作った一方向の研究系列ではありません。

Fast3Rは2025年1月、VGGTは2025年3月にarXivで公開されています。[7][1]

また、CUT3Rなどの研究も同時期に登場しました。

この時期には、複数の研究グループが、画像ペアの処理から多数の画像を統合的に処理する方向へ進んでいました。

VGGTは、そうした研究潮流を代表する成果の一つと位置づけるのが適切です。

6. VGGTは3D版Foundation Modelへの転換を示しています

VGGTの研究史的な意義は、単なる3D復元アルゴリズムの改善にとどまりません。

画像認識の分野では、次のような発展がありました。

ImageNet Classifier → ViT → DINO / CLIP → 汎用Visual Foundation Model

個別の画像認識タスクに専用モデルを作るのではなく、大量の画像を使って学習した汎用的な視覚モデルを、さまざまな用途に転用する方向です。

VGGTが示したのは、3D Geometryにも同じことが起こるのではないかという可能性です。

従来、SfM、MVS、Camera Pose Estimation、Depth Estimation、Point Trackingは、それぞれ専用のアルゴリズムとして研究されてきました。

これに対してVGGTは、大量の3Dデータから世界の幾何構造を学習したTransformerを作り、その内部表現を複数の3Dタスクに利用する方向を示しています。

実際、VGGT論文では、学習済みの特徴を非剛体Point TrackingやFeed-forward Novel-view Synthesisに転用した場合にも、性能が向上することが報告されています。[1][8]

LLMの発展に例えると、複数の専用解析器を組み合わせる構成から、Transformer自体に言語の構造を学習させる構成への変化に近いものです。

もちろん、言語と3D幾何では対象も制約も異なります。

しかし、個別のアルゴリズムを高度化する研究から、大規模に事前学習された汎用モデルを作る研究へという方向性には共通点があります。

7. 現在の3Dモデル構築技術にはどうつながっているのでしょうか

VGGTの登場によって、NeRFや3D Gaussian Splattingなどの技術との組み合わせも進んでいます。

7.1 NeRFとの関係

NeRF（Neural Radiance Fields）は、複数の画像から3Dシーンを学習し、新しい視点からの画像を生成する技術です。

元祖NeRFでは、入力画像に加えて既知のカメラ姿勢が必要でした。[9]

つまり、NeRFでシーンを学習する前に、SfMなどを使ってカメラ姿勢を推定する必要があります。

従来は、おおむね次のような流れでした。

画像 → COLMAPなどによるカメラ姿勢推定 → NeRF → 新しい視点からの画像生成

VGGTを使うと、カメラ姿勢推定の部分を学習済みモデルによって実行することができます。

画像 → VGGT → Camera Parameters + Depth + Point Cloud → NeRF

ここで重要なのは、VGGTとNeRFが競合技術ではないことです。

VGGTは、画像から3D Geometryを推定する技術です。

一方、NeRFは、3Dシーンを表現し、新しい視点からの画像を生成するための技術です。

両者は、目的と役割が異なります。

7.2 3D Gaussian Splattingとの関係

3D Gaussian Splatting（3DGS）でも、カメラ姿勢や初期点群が重要になります。

従来の実用的な3DGS構築パイプラインでは、COLMAPなどを使用してカメラ姿勢や初期Point Cloudを用意することが多くあります。

ここにVGGTを組み込むと、次のような流れになります。

未校正画像 → VGGT → Cameras + Depth + Point Cloud → 3D Gaussian Splatting

VGGTの公式実装では、予測結果をCOLMAP形式で保存し、gsplatなどのNeRF / Gaussian Splattingライブラリへ渡せる機能が提供されています。[10]

また、AnySplat（SIGGRAPH Asia 2025）は、未校正画像からFeed-forwardで3D Gaussianを生成するモデルです。

AnySplatでは、学習時のGeometry Priorとして、事前学習済みVGGTを利用しています。[11]

つまり、

• VGGT：3Dを「見る」ためのモデル
• 3D Gaussian Splatting：3Dを「描画する」ための表現

として、相互補完的に利用することができます。

この関係は、画像から3Dモデルを構築したい人にとって、特に重要です。

8. SLAM・ロボティクスへの応用

VGGTの重要な応用先の一つが、SLAM（Simultaneous Localization and Mapping）です。

SLAMは、カメラや各種センサーの情報から、周囲の地図を作成すると同時に、自分自身の位置を推定する技術です。

ロボット、自律移動システム、ARなどで利用されています。

8.1 VGGT-SLAM

MITのVGGT-SLAMは、VGGTをSLAMへ応用した研究です。[12]

長い動画を小さなSubmapに分割し、それぞれをVGGTで3D化します。

そして、Submap同士を幾何的な最適化によって結合します。

例えば、次のような構成が考えられます。

最初の30フレーム → VGGT → Local 3D Map

次の30フレーム → VGGT → Local 3D Map

さらに次の30フレーム → VGGT → Local 3D Map

これらをSLAMのBackendで整合させ、大規模なGlobal Mapを構築します。

実際のフレーム分割数や処理方式はシステム設計によって異なりますが、このようなSubmapベースの処理は、長いシーケンスを扱うための基本的な考え方です。

8.2 VGGT-SLAM++への発展

2026年には、VGGT-SLAM++も登場しています。[13]

VGGTの予測結果に対して、Local Bundle AdjustmentやLoop Closureなどの技術を組み合わせています。

ここには、VGGT以降の研究の重要な方向性が表れています。

それは、AIが古典的な幾何計算を完全に置き換えるのではなく、両者を組み合わせるという方向です。

VGGTは、3D構造の良い初期推定を高速に出します。

古典的な幾何最適化は、複数の推定結果の整合性を高めたり、長期間の追跡で生じる誤差を補正したりする役割を担います。

つまり、

VGGT：良い3D初期値やGeometry Priorを高速に出す

Classical Geometry：長期的・大域的な幾何的一貫性を高める

という役割分担です。

この組み合わせは、ロボティクスのように長い時間にわたって3D空間を扱う用途に適しています。

9. 画像間の特徴点マッチングや差分検知との関係

画像間の特徴点マッチングや差分検知に興味がある場合、VGGTの位置づけを理解することには実用的な意味があります。

ただし、ここでは研究で直接実現されていることと、その技術を利用して考えられる応用を区別する必要があります。

9.1 従来の特徴点マッチング

従来の特徴点マッチングでは、2枚の画像のそれぞれから特徴点と特徴記述子を取り出し、それらを照合します。

その後、幾何的な制約を使って誤対応を除去したり、画像間の位置関係を推定したりします。

この方法では、見た目が似ている点を照合した上で、その対応が幾何的に妥当かを確認することが重要になります。

9.2 DUSt3R、MASt3R、VGGTによる変化

DUSt3Rでは、画像ペアから直接Point Mapを推定します。

MASt3Rでは、その3DにGroundingされた表現を利用して画像間の対応点を求めます。

VGGTでは、複数画像を同時に処理し、Point Tracksを含む幾何情報を予測します。

このため、画像間対応を、単なる2D特徴量の類似性だけではなく、3Dシーンの構造との関係から扱う方向へ発展しています。

9.3 差分検知への応用可能性

例えば、異なる時刻や異なる位置から撮影した2枚の画像について、変化した場所を検出したいとします。

単純なピクセル差分では、次のような違いが問題になります。

• カメラの位置や向きが違う
• 撮影された物体の見え方が違う
• 奥行きによって画像内の移動量が異なる
• 実際には変わっていない場所も、画像上では異なって見える

このような場合、画像間の対応関係や3D構造を利用して位置合わせを行うことが考えられます。

VGGTのようなモデルが出力するカメラ姿勢、Point Map、Point Tracksは、こうした処理の基盤情報として利用できる可能性があります。

例えば、3D構造を考慮して画像を対応付けた後に、整合しない部分を変化候補として扱う構成が考えられます。

ただし、VGGTは直接的な差分検知モデルではありません。

特に、照明変化、物体の移動、遮蔽、推定誤差などを、実際の構造変化と区別するには、追加の処理が必要になります。

したがって、VGGTは差分検知そのものを完成させる技術というより、異なる画像を3D空間の情報に基づいて対応付けるための基盤技術として位置づけられます。

10. VGGTからGeometry Foundation Modelへの発展

2025年から2026年にかけて、VGGTと近い考え方を、さらに一般化する研究が登場しています。

10.1 MapAnything

MetaとCMUによるMapAnythingは、3D Geometryを扱う汎用的なTransformerモデルを目指した研究です。[14]

VGGTの考え方をさらに広げると、入力は必ずしも画像だけである必要はありません。

例えば、次のような情報も利用できます。

• 画像
• 既知のCamera Intrinsics
• Camera Pose
• Depth
• 部分的な3D情報

MapAnythingは、こうした情報を任意に与えながら、Metric 3Dを復元する方向に発展しています。

一つのFeed-forward Modelで、SfM、MVS、Metric Monocular Depth、Localization、Depth Completionなど、多数のタスクを扱います。

これは、従来の「3D Reconstruction Algorithm」という枠組みから、3D Geometryを入出力する汎用モデルへの変化と見ることができます。

10.2 VGGT-Ω

VGGT自身も、2026年にVGGT-Ω（VGGT-Omega）へ発展しています。

VGGTの公式リポジトリでは、VGGT-Ωを「the next step of VGGT」と位置づけています。[10]

VGGT-ΩはCVPR 2026の研究であり、元のVGGTと比較して、再構成精度、効率、Dynamic Sceneへの対応能力を改善しています。[15]

さらに、モデルサイズや学習データを増やすと、3D Reconstructionの性能が予測可能な形で向上することも報告しています。

これは重要な結果です。

従来は、特定の3D問題に対して、どのような幾何アルゴリズムを設計するかが研究の中心でした。

一方、VGGT-Ωの方向性では、十分に大きなGeometry Modelを、十分に大きな3D DatasetでPretrainすること自体が、性能向上の重要な軸となります。

LLMの発展で注目されたScalingの考え方が、3D Visionにも入ってきたと見ることができます。

11. それでもVGGTが古典的なSfMを完全に置き換えたわけではありません

VGGTは強力な技術ですが、古典的な幾何アルゴリズムが不要になったわけではありません。

主に3つの理由があります。

11.1 絶対的な距離スケールの問題

通常のVGGTが推定する3D空間のスケールは、必ずしも現実世界の「1.00 m」のような絶対的なMetric Scaleに対応するわけではありません。

VGGTの学習時には、Point Mapの距離を使って3D量を正規化しています。[16]

このため、推定された3D構造の相対的な形状が正しくても、そのまま実世界の測定値として使えるとは限りません。

現実の距離や大きさを必要とする用途では、スケールを確定するための情報や処理が重要になります。

11.2 多数の画像を処理する際の計算量

VGGTでは、Global Attentionによって複数の画像間の情報を統合します。

この構造は強力ですが、画像数が増えた場合には計算量やGPUメモリが課題になります。

VGGT-SLAMでは、長いシーケンスをSubmapに分けることで、この問題に対応しています。[12]

また、2026年のVGG-T³は、VGGT型のAttentionが入力View数に対して計算量やメモリ面でスケールしにくいことを課題として扱っています。[17]

つまり、VGGTによって複数画像を直接処理する方向が開かれたものの、大規模な画像集合を効率的に扱う問題は、依然として研究対象です。

11.3 幾何的一貫性の問題

VGGTは、学習した知識を利用して、もっともらしい3D Geometryを高速に予測できます。

一方で、その出力が射影幾何の制約を数学的に厳密に満たすことが、自動的に保証されるわけではありません。

例えば、複数画像に対するカメラ姿勢や3D点群の予測結果には、幾何的な不整合が含まれる可能性があります。

このような場合、Bundle Adjustmentなどの最適化によって、複数の観測結果をより整合的にすることが有効です。

実際、VGGTの公式実装にも、COLMAP形式へ出力した後、Optional Bundle Adjustmentを行う機能があります。[10]

ここに、現在の研究と実用技術の重要な方向性が見えます。

12. 研究の流れを一本の線で振り返る

ここまでの技術を時系列で整理すると、次のようになります。

Classical SfM / MVS

特徴点と射影幾何を使い、カメラ姿勢と3D構造を計算します。

COLMAPは、その代表的な実装です。[2]

---

Deep Feature / Matching / Depth

特徴抽出、マッチング、深度推定など、SfMの各工程をニューラルネットワークによって高度化します。

---

VGGSfM（2024）

SfMパイプライン全体をEnd-to-Endで学習できるようにします。

ただし、Bundle Adjustmentなどの幾何最適化は残します。[3]

---

DUSt3R（2024）

画像ペアからPoint Mapを直接予測します。

カメラ姿勢を先に求めてから三角測量をするという、従来の処理順序を変えました。[4]

---

MASt3R（2024）

3D-awareな特徴量を利用して、画像マッチングを高度化します。[5]

---

Fast3R / CUT3R / VGGTなど（2025）

画像ペアではなく、多数のViewを直接処理する方向へ進みます。

VGGTは、複数画像からCamera、Depth、Point Map、Point Trackを統合的に推論します。[1][7]

---

Geometry Foundation Model（2025〜2026）

VGGT-SLAM、AnySplat、MapAnything、VGGT-Ωなどが登場します。[11][12][14][15]

VGGT型のモデルを3D GeometryのBackboneとして利用し、SLAM、3DGS、Roboticsなどの分野へ応用します。

---

現在の方向性

Feed-forward Learned Geometry + Classical Optimization + Neural Rendering というハイブリッド構成へ発展しています。

すなわち、学習済みモデルで高速に3Dを推定し、必要に応じて古典的な幾何最適化を適用し、NeRFや3D Gaussian Splattingなどを使って3Dを表現・描画するという構成です。

13. VGGTの本質は、3D復元を「アルゴリズムの連鎖」から「学習済みモデルの推論」へ変えたことです

VGGTの研究上の重要性は、単に既存のSfMより高速な3D復元手法が登場したということではありません。

従来は、画像から3Dを復元するために、特徴点マッチング、カメラ姿勢推定、三角測量、Bundle Adjustmentなどの工程を、推論時に順番に実行していました。

VGGTでは、これらの問題に関係する幾何学的な規則性を、大量の3Dデータを使った学習によって、モデル内部に取り込みます。

そして推論時には、一つのTransformerから複数の幾何情報をまとめて出力します。

つまり、従来の手法との大きな違いは、推論時に明示的な計算や最適化で解いていた問題の一部を、事前学習へ移したことです。

ただし、幾何学そのものが不要になったわけではありません。

むしろ、学習済みモデルが高速に出力したGeometryを、古典的な最適化で補正したり、NeRFや3DGSと組み合わせたりすることで、さらに実用的なシステムを構築できます。

点群データ作成、3Dモデル構築、特徴点マッチング、画像間の位置合わせ、差分検知といった用途を考える場合にも、VGGTはそれぞれの処理をすべて置き換える完成品というより、3D空間に関する情報を統合的に取得するための基盤として理解することができます。

この意味で、VGGTはCOLMAPの単純な代替というより、COLMAP、SLAM、3D Gaussian Splattingなどの前後に組み込める、新しいGeometry Backboneを提案した研究と位置づけられます。

そして、VGGT-ΩやMapAnythingなどの登場は、この流れが個別の3D復元アルゴリズムの改善から、汎用的なGeometry Foundation Modelの構築へ進んでいることを示しています。

「3D復元を、複数のアルゴリズムの組み合わせで実行する」時代から、「事前学習されたモデルが3D Geometryを直接推論する」時代へ。

VGGTは、その転換を理解する上で重要な論文の一つです。

参考文献

[1] Wang et al., "VGGT: Visual Geometry Grounded Transformer," CVPR, 2025.
https://openaccess.thecvf.com/content/CVPR2025/html/Wang_VGGT_Visual_Geometry_Grounded_Transformer_CVPR_2025_paper.html

[2] COLMAP, "COLMAP Documentation," Project Documentation.
https://colmap.github.io/

[3] Wang et al., "VGGSfM: Visual Geometry Grounded Deep Structure From Motion," CVPR, 2024.
https://openaccess.thecvf.com/content/CVPR2024/html/Wang_VGGSfM_Visual_Geometry_Grounded_Deep_Structure_From_Motion_CVPR_2024_paper.html

[4] Wang et al., "DUSt3R: Geometric 3D Vision Made Easy," CVPR, 2024.
https://openaccess.thecvf.com/content/CVPR2024/html/Wang_DUSt3R_Geometric_3D_Vision_Made_Easy_CVPR_2024_paper.html

[5] Leroy et al., "MASt3R: Grounding Image Matching in 3D with MASt3R," ECCV, 2024.
https://www.ecva.net/papers/eccv_2024/papers_ECCV/html/9080_ECCV_2024_paper.php

[6] VGGT Authors, "VGGT: Visual Geometry Grounded Transformer," Official Project Page, 2025.
https://vgg-t.github.io/

[7] Yang et al., "Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass," arXiv:2501.13928, 2025.
https://arxiv.org/abs/2501.13928

[8] Visual Geometry Group, University of Oxford, "Publications," Research Publications.
https://www.robots.ox.ac.uk/~vgg/publications/index.php?idAuthor=131&pg=2

[9] Mildenhall et al., "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis," ECCV, 2020.
https://www.ecva.net/papers/eccv_2020/papers_ECCV/html/1473_ECCV_2020_paper.php

[10] Meta Research, "VGGT: Visual Geometry Grounded Transformer," GitHub Repository, 2025–2026.
https://github.com/facebookresearch/vggt

[11] AnySplat Authors, "AnySplat," SIGGRAPH Asia, 2025, GitHub Repository.
https://github.com/OpenRobotLab/AnySplat

[12] VGGT-SLAM Authors, "VGGT-SLAM," arXiv:2505.12549, 2025.
https://arxiv.org/abs/2505.12549

[13] Mandal et al., "VGGT-SLAM++," CVPR Workshops, 2026.
https://openaccess.thecvf.com/content/CVPR2026W/VOCVALC/html/Mandal_VGGT-SLAM_CVPRW_2026_paper.html

[14] MapAnything Authors, "MapAnything," arXiv:2509.13414, 2025.
https://arxiv.org/abs/2509.13414

[15] VGGT-Ω Authors, "VGGT-Ω," CVPR, 2026, Official Project Page.
https://vggt-omega.github.io/

[16] Wang et al., "VGGT: Visual Geometry Grounded Transformer," CVPR, 2025, Paper PDF.
https://robots.ox.ac.uk/~vgg/publications/2025/Wang25/wang25.pdf

[17] Elflein et al., "VGG-T³: Offline Feed-Forward 3D Reconstruction at Scale," CVPR, 2026.
https://openaccess.thecvf.com/content/CVPR2026/papers/Elflein_VGG-T3_Offline_Feed-Forward_3D_Reconstruction_at_Scale_CVPR_2026_paper.pdf