対象読者#

• 複数の画像から点群データを作成したり、3Dモデルを構築したりする技術に興味がある人
• 画像間の特徴点マッチング、カメラ姿勢推定、SLAM、画像・点群を用いた差分検知に興味がある人
• SfMやMVSなどの従来技術と、DUSt3R、MASt3R、VGGTなどのGeometric Foundation Modelの関係や技術的限界を理解したい人

要約#

• DUSt3Rは、画像間の対応点やカメラパラメータを先に求める従来の方法から、各画素の3D座標を表すPointmapを直接推定する方法への重要な転換点となった研究です。
• その本質は、幾何学を不要にしたことではなく、従来の幾何学的な制約によって解いていた問題の一部を、学習済みの幾何学的事前知識によって推定できるようにしたことです。
• 一方で、絶対スケールの曖昧性、幾何学的整合性、未知の対象への汎化、Confidenceの信頼性、動的シーンへの対応など、重要な課題が残されています。
• DUSt3Rの考え方はMASt3R、MonST3R、Fast3R、MUSt3R、CUT3R、VGGTなどへ発展し、SLAM、Gaussian Splatting、ロボティクスなどにも応用されています。
• 今後の重要な課題は、3Dを推定できることだけでなく、推定結果のどこまでが観測によって裏付けられ、どの程度の精度で信頼できるかを検証することです。

1. はじめに：DUSt3Rは何を変えたのか#

「DUSt3R: Geometric 3D Vision Made Easy」は、3D Visionの研究史において重要な転換点となった論文です。[1]

従来、複数枚の写真から3Dモデルや点群を構築するには、画像間の特徴点マッチング、カメラ姿勢推定、三角測量、Bundle Adjustmentなど、複数の処理を順番に実行することが一般的でした。

DUSt3Rは、この問題を別の角度から捉えました。

画像間の対応点やカメラパラメータを先に求めるのではなく、画像から直接3D空間の座標を推定するという方法です。

その中心となる表現が、画像の各画素に対応する3D座標を格納した「Pointmap」です。

Pointmapを直接推定することで、3D再構築、深度推定、画像間マッチング、カメラ姿勢推定など、従来は別々のアルゴリズムによって解いていた問題を、共通の3D表現から扱えるようになりました。

この考え方は、MASt3R、Fast3R、MUSt3R、CUT3R、VGGTなどの後続研究に発展し、SLAM、3D Gaussian Splatting、ロボティクスなどにも応用されています。

2026年のサーベイでも、DUSt3Rを起点とする研究群が、Feed-forward 3D ReconstructionやGeometric Foundation Modelという研究領域として体系的に整理されています。[2]

しかし、ここで重要な疑問があります。

DUSt3Rは、本当に幾何学的な制約を不要にしたのでしょうか。

画像から直接3D座標を出力できることは、実際の3D形状が正確に復元できたことを意味するのでしょうか。

また、学習済みのニューラルネットワークは、未知の物体や特殊な撮影環境に対して、どこまで信頼できるのでしょうか。

これらの疑問を考えると、DUSt3Rの本質は、単に3D再構築を高速化・簡略化したことではないと分かります。

むしろ、3D再構築において、観測された幾何学的な情報と、学習によって獲得した幾何学的事前知識をどのように利用するかという、問題の解き方そのものを変えた点にあります。

この記事では、まずDUSt3R以前の研究史を振り返り、Pointmapというアイデアがなぜ重要だったのかを解説します。

続いて、DUSt3Rが暗黙に前提としていること、原論文や後続研究で明らかになった限界、まだ十分に検証されていない問題を整理します。

最後に、MASt3RからVGGT、さらに2026年の研究までをたどり、今後の3D Visionがどこに向かうのかを考察します。

2. DUSt3R以前：幾何学によって3Dを復元する時代#

2.1 古典的な3D再構築のパイプライン#

従来、複数枚の写真から3Dを再構築するときは、おおむね次のようなパイプラインを使用します。

画像
  ↓
特徴点抽出
  ↓
画像間マッチング
  ↓
Fundamental / Essential Matrix
  ↓
カメラ姿勢推定
  ↓
三角測量
  ↓
Bundle Adjustment
  ↓
Multi-View Stereo
  ↓
3D点群

この系統の代表的な実装がCOLMAPです。[3]

COLMAPでは、Structure-from-Motion（SfM）によってカメラ姿勢と疎な3D点群を推定し、その後、PatchMatch StereoなどのMulti-View Stereo（MVS）によって密な3D点群を生成します。

SfMやMVSは、画像から得られる観測と、投影幾何学による制約を組み合わせています。

例えば、カメラ内部パラメータを (K)、カメラ姿勢を (R,t)、3D点を (\mathbf{X}) とすると、ピンホールカメラモデルでは、画像上の点 (\mathbf{x}) との関係を次のように表せます。

[ \lambda\mathbf{x}=K(R\mathbf{X}+t) ]

ここで、(\lambda) は射影に伴うスケール係数です。

この関係を利用すると、複数の画像で同じ3D点が観測されている場合、その対応関係とカメラ姿勢から3D座標を推定できます。

そのために使われる代表的な技術が、以下です。

• カメラ内部パラメータの推定
• エピポーラ幾何
• Fundamental Matrix / Essential Matrix
• 三角測量
• Bundle Adjustment
• Multi-View Stereo

特にBundle Adjustmentは、カメラ姿勢や3D点を調整し、推定した3D点を画像へ再投影したときの誤差を最小化します。

これは単にもっともらしい3D形状を生成するのではなく、観測された画像と推定した3D構造が、幾何学的に整合するように最適化する処理です。

この考え方は、現在でも3D再構築の重要な基盤となっています。

2.2 古典的な方法の弱点#

一方で、古典的なパイプラインには明確な弱点があります。

特に重要なのは、正しい画素対応が得られないと、その後の処理が崩れやすいという点です。

例えば、以下の条件では画像間のマッチングが難しくなります。

• テクスチャが少ない壁や床
• 繰り返し模様
• 大きな視点変化
• モーションブラー
• 視野の重複が少ない画像
• 遮蔽によって共通領域が見えにくい画像

対応点が十分に得られなければ、カメラ姿勢推定や三角測量も難しくなります。

また、従来のSfMは、特徴点の対応関係、カメラ姿勢、3D点を段階的に求めるため、途中の推定が失敗すると後続処理にも影響します。

この問題を解決するため、2010年代後半から、従来のパイプラインの構成要素をニューラルネットワークによって強化する研究が進みました。

3. Deep Learningによる3D Visionの進化#

3.1 MVSNet：深度推定を学習する#

MVSNet（2018）は、Multi-View StereoにDeep Learningを導入した代表的な研究です。[4]

MVSNetでは、既知のカメラパラメータを利用して複数画像の特徴量を対応付け、Cost Volumeを構築します。

そのCost Volumeをニューラルネットワークで処理することで、深度を推定します。

重要なのは、MVSNetが従来の幾何学を完全に捨てたわけではないという点です。

カメラキャリブレーションやカメラ姿勢は、基本的に入力として必要です。

つまり、幾何学的な枠組みを維持しながら、深度推定などの一部を学習可能なモデルに置き換えた方法です。

3.2 SuperGlue / LoFTR：画像間マッチングを学習する#

特徴点マッチングの分野でも、Deep Learningの導入が進みました。

SuperGlue（2020）は、Graph Neural Networkと最適輸送に基づく仕組みを利用し、画像間の特徴点対応を学習可能にしました。[5]

LoFTR（2021）は、TransformerのCross-Attentionを利用して画像間の対応関係を推定します。[6]

特にLoFTRは、従来の特徴点検出器が苦手としていた低テクスチャ領域でも、対応点を推定できるようにした研究です。

これらの方法は、従来の画像マッチングを大きく改善しました。

しかし、画像間の対応関係を推定した後には、Fundamental MatrixやEssential Matrix、カメラ姿勢の推定などを行うという基本構造が残っています。

この段階の考え方は、次のように整理できます。

古典的な3D再構築のパイプラインを維持しながら、その構成要素をDeep Learningで強化する方法です。

3.3 DPT：Transformerによる密な予測#

DPT（Dense Prediction Transformers）は、Transformerを深度推定などのDense Predictionに利用する代表的な研究です。[7]

画像認識で成功したTransformerを、画像全体の各画素に対する予測へ拡張する方向を示しました。

これにより、Transformerは画像分類などの意味的な認識だけでなく、深度のような空間的な情報の推定にも有効であることが示されました。

ただし、単一画像から深度を推定することと、異なる視点から撮影された複数画像の幾何関係を統一的に推定することは、別の問題です。

この後者の問題に向けて重要な役割を果たしたのが、CroCoです。

4. CroCo：画像間の幾何関係をTransformerに学習させる#

DUSt3Rを理解するうえで、重要な先行研究がCroCoとCroCo v2です。[8]

CroCoは、同じシーンを別の視点から撮影した画像を利用して、隠された画像部分を復元するCross-view Completionという方法で事前学習を行います。

通常のMasked Image Modelingでは、1枚の画像の一部を隠し、残った部分から復元させます。

CroCoでは、これを複数視点へ拡張します。

例えば、ある画像の一部を隠した状態で、同じシーンを別の視点から撮影した画像を与えます。

ネットワークは、別視点の画像を参考にしながら、隠された領域を復元します。

この処理を学習するためには、単なる画像の色やテクスチャだけでなく、異なる視点の間で何が対応しているのかを理解することが重要になります。

CroCo v2では、Transformerを大規模に事前学習することで、ステレオマッチングやOptical Flowに対して高い性能を示しました。

従来よく利用されていたCost Volume、Warping、Iterative Refinementなどを大量に組み合わせなくても、高い性能を得られることを示した点が重要です。

CroCo v2の論文では、こうした方向性をUniversal Vision Modelへの一歩と表現しています。

ここで重要なのは、Transformerが画像の意味情報だけでなく、異なる視点間の幾何関係まで学習できることが明確になってきた点です。

DUSt3Rは、この考え方をさらに進めました。

CroCoで獲得した複数視点間の表現能力を活用し、画像間の対応や深度を個別に推定するのではなく、3D座標そのものを直接出力するようにしたのです。

5. DUSt3Rの本質：Pointmapという表現の転換#

5.1 カメラパラメータを先に推定しない#

DUSt3Rの最も重要なアイデアは、カメラパラメータを先に推定せず、画像から3D座標を直接推定することです。[1]

従来の方法では、おおむね次のような処理を行います。

[ \text{Correspondence} \rightarrow K,R,t \rightarrow \text{Triangulation} \rightarrow XYZ ]

画像間の対応関係を求め、カメラの内部パラメータや姿勢を推定し、三角測量によって3D座標を計算します。

一方、DUSt3Rでは、2枚の入力画像から直接3D座標を推定します。

[ (I_1,I_2) \overset{\mathrm{Transformer}}{\longrightarrow} (X_1,X_2) ]

ここで、(I_1,I_2) は入力画像、(X_1,X_2) は予測されたPointmapです。

重要なのは、2枚の画像から得られたPointmapが、共通の座標系で表現される点です。

これにより、カメラ姿勢を先に明示的に求めなくても、2枚の画像の3D情報を比較できるようになります。

5.2 Pointmapとは何か#

通常のDepth Mapでは、各画素に対して深度を表す1つの値を推定します。

[ (u,v)\rightarrow z ]

一方、Pointmapでは、各画素に対して3次元座標を直接推定します。

[ (u,v)\rightarrow (X,Y,Z) ]

つまり、画像の各画素が3D空間のどこに位置するかを表現します。

通常のDepth Mapを3D点群に変換するときは、カメラ内部パラメータやカメラ姿勢が必要になります。

Depth Map
    +
Camera Intrinsics
    +
Camera Pose
    ↓
3D座標への変換・統合

一方、DUSt3Rでは、画像から直接Pointmapを推定します。

画像ペア
    ↓
DUSt3R
    ↓
Pointmaps
    ↓
共通座標系の3D座標

ここで重要なのは、Pointmapが単なるDepth Mapの別表現ではないことです。

DUSt3Rでは、2枚の画像の3D点を共通座標系で直接出力するため、画像間の幾何関係が予測結果に組み込まれています。

この表現によって、従来は個別のアルゴリズムを必要とした複数の問題を、共通の出力から扱えるようになります。

5.3 複数の3D Visionタスクを統一する#

DUSt3Rでは、Pointmapから次のような情報を導出できます。

• 3D Reconstruction
• Depth Estimation
• Pixel Correspondence
• Relative Camera Pose Estimation
• Absolute Camera Pose Estimation
• Focal Length Estimation

例えば、2枚の画像について予測したPointmapの中から、3D空間で近い位置にある点を探索すれば、画像間の対応点を得られます。

また、Pointmapと画像上の画素の関係から、適切なカメラモデルを仮定してカメラパラメータを推定できます。

このように、従来は個別の問題として扱われていた3D再構築、深度推定、画像間マッチング、カメラ姿勢推定を、Pointmapを中心として統一的に扱うことができます。

したがって、DUSt3Rの革新は、単にTransformerを利用したことではありません。

3D Visionの中心的な出力表現を、Depth、Camera Pose、Matchingといった個別の推定対象から、Pointmapという共通の3D表現へ移したことにあります。

5.4 DUSt3Rは何を学習しているのか#

ここで、もう一段深く考える必要があります。

従来の三角測量では、複数画像の対応点とカメラパラメータを利用し、幾何学的な関係から3D座標を計算します。

一方、DUSt3Rは、画像から直接3D座標を予測します。

このとき、ネットワークは何を利用しているのでしょうか。

その重要な要素が、学習済みの幾何学的事前知識（Learned Geometric Prior）です。

ネットワークは大量の3D教師データから、例えば以下のような情報を学習していると考えられます。

• 壁や床などの平面構造
• 物体の形状と奥行きの関係
• 輪郭、陰影、テクスチャと3D構造の関係
• 異なる視点から見た物体の見え方
• 画像間の対応関係とカメラ視点の変化

このため、従来の特徴点マッチングが難しい領域でも、3D形状を推定できる場合があります。

しかし、これは重要なトレードオフも生みます。

DUSt3Rの出力には、画像から幾何学的に裏付けられた情報と、学習済みの事前知識に依存した推定が混在する可能性があります。

従来の方法では、対応点が得られず、3Dを再構築できない領域が存在します。

一方、DUSt3Rでは、そのような領域にも3D座標が出力される場合があります。

これは実用上の大きな強みですが、3D座標が出力されたこと自体は、その座標が正しいことを保証しません。

この違いが、DUSt3Rの技術的限界を理解するうえで重要になります。

6. 研究史におけるDUSt3Rの位置付け#

ここまでの流れを整理すると、3D Visionの研究は次のように変化してきました。

時代	代表的な研究・技術	基本的な考え方
古典的3D Vision	SIFT / SfM / COLMAP / MVS	幾何学的な制約を明示的に解く
2018年頃〜	MVSNet	幾何学的パイプラインの一部を学習する
2020〜2021年	SuperGlue / LoFTR	画像間の対応関係を学習する
2021〜2023年	DPT / CroCo / CroCo v2	Transformerで密な空間情報や視点間の幾何関係を学習する
2023〜2024年	DUSt3R	Pointmapを直接回帰し、複数の幾何タスクを統一する
2024〜2025年	MASt3R / MonST3R	画像マッチング精度や動的シーンへの対応を拡張する
2025年	Fast3R / MUSt3R / CUT3R / SLAM3R	Multi-view、Streaming、状態保持、SLAMへ拡張する
2025〜2026年	VGGTなど	3D GeometryをFoundation Modelとして統合的に推定する
2026年	VGG-T³ / Gen3Rなど	大規模化や生成モデルとの統合を進める

この流れで見ると、DUSt3Rは単なる深度推定モデルではありません。

従来の3D Visionで明示的なアルゴリズムとして解いていた複数の問題を、学習済みモデルによる3D表現の推定へ統合した研究です。

ただし、ここで「古典的な幾何学をニューラルネットワークが不要にした」と解釈するのは正確ではありません。

むしろ、従来の幾何学的な知識や3D教師データをネットワークへ取り込み、推論時の処理を変えたと考える方が適切です。

この観点から、次にDUSt3Rが暗黙に前提としていることを整理します。

7. DUSt3Rが暗黙に前提としていること#

DUSt3Rの技術的限界を理解するためには、ネットワークが何を入力として受け取り、何を仮定し、何を保証していないのかを区別する必要があります。

ここでは、原論文に明示された前提と、モデルの構造から考えられる暗黙の前提を分けて整理します。

前提	内容	性質
学習済みの幾何学的事前知識が新しい画像にも通用する	未知の画像でも学習した3D構造の知識を利用できる	暗黙の前提
画像の見え方から3Dを推定できる	輪郭、陰影、テクスチャ、物体形状などが奥行き推定の手掛かりになる	学習に依存する仮定
1画素に1つの3D表面点が対応する	基本的に画素と単一の3D点を対応付ける	Pointmapの表現上の前提
複数画像が整合する3Dシーンを観測している	2枚の画像を共通の3D座標系に対応付けられる	標準的なモデル化の前提
教師データが信頼できる	センサー、SfM、シミュレーションなどの3Dデータを学習に利用できる	学習上の前提
Confidenceが推定精度と関係する	Confidenceを利用して低信頼度点を除外できる	実用上の仮定
ペアごとの3D推定を統合できる	複数のPointmapをGlobal Alignmentで整合させられる	多視点拡張の前提
カメラモデルを近似できる	Pointmapからカメラパラメータを復元する際、適切な投影モデルを利用できる	下流処理での追加仮定

7.1 学習済みの幾何学的事前知識が通用するという前提#

DUSt3Rの強みは、画像から直接観測できる幾何関係だけでなく、学習した3D構造の知識を利用できる点です。

しかし、ネットワークが学習した知識が、すべての対象に通用するとは限りません。

例えば、以下のような対象を考えます。

• 学習データに少ない産業設備
• 特殊な機械部品
• 通常の生活環境では見られない構造物
• 透明樹脂や強く反射する金属
• 特殊な光学系で撮影された画像

これらの対象では、ネットワークが学習した形状や画像の見え方に関する事前知識が適切に働かない可能性があります。

これはOut-of-Distribution（OOD）Generalizationの問題です。

特に、自然画像や一般的な屋内外シーンで高い精度を示したことは、産業用の特殊な対象でも同じ精度を示すことを意味しません。

7.2 1画素に1つの3D点が対応するという前提#

DUSt3RのPointmapは、各画素に対して3D座標を割り当てる表現です。

原論文では、カメラ光線が単一の3D点に当たることを想定し、半透明な表面を基本的な定義から除外しています。[1]

これは、一般的な不透明物体に対しては自然な仮定です。

しかし、以下のような対象では問題が生じます。

• ガラス
• 透明な樹脂
• 鏡
• 強い鏡面反射
• 複数の層が透けて見える物体
• 霧や煙などの半透明な媒体

例えば、ガラス越しに背景が見えている画像では、画素が表しているのはガラス表面なのか、その奥にある背景なのかという問題が生じます。

Pointmapは基本的に1画素につき1つの3D座標を表すため、このような複雑な光学現象を完全に記述できるわけではありません。

この限界は、単に学習データを増やすだけでは解決しない可能性があります。

モデルの精度だけでなく、3D表現そのものに関わる問題だからです。

7.3 同じ3Dシーンを観測しているという前提#

標準のDUSt3Rでは、2枚の画像が共通の3Dシーンを観測していることが重要です。

特に、画像間で物体が動いたり、形状が変化したりすると、同一の静的な3D空間として表現することが難しくなります。

例えば、1枚目では車が道路の左側にあり、2枚目では右側に移動している場合を考えます。

このとき、車と背景を同じ静的な3Dシーンとして扱うと、位置合わせや奥行き推定に矛盾が生じる可能性があります。

この問題を扱った後続研究がMonST3Rです。[23]

MonST3Rは、標準のDUSt3Rが主に静的シーンを対象としていたことを踏まえ、動的シーンに対して各時刻のPointmapを推定する方向へ拡張しました。

重要なのは、動的シーンでの問題が、単に移動物体の3D座標だけに影響するとは限らないことです。

画像間の位置合わせ自体が移動物体に影響されるため、静止している背景の推定にも誤差が生じる場合があります。

7.4 3D教師データが信頼できるという前提#

DUSt3Rは、完全に教師情報なしで3Dを理解するモデルではありません。

原論文では、8種類のデータセットから約850万組の画像ペアを用いて学習しています。[1]

学習には、深度センサー、既存の3D再構築手法、シミュレーションなどを通じて得られた3D教師データが利用されています。

ここには、研究史上の重要な関係があります。

SfM / 深度センサー / シミュレーション
                ↓
         3D教師データ
                ↓
         DUSt3Rの学習
                ↓
      幾何学的事前知識の獲得
                ↓
       未知画像からの3D推定

つまり、DUSt3Rは古典的な幾何学を完全に排除したのではありません。

学習時には、従来の幾何学的手法やセンサーによって得られた3D情報に依存しています。

その知識をニューラルネットワークが獲得することで、推論時に従来のSfMパイプラインを明示的に実行しなくても3Dを推定できるようになっています。

さらに、教師データに誤差や偏りが存在すれば、それがモデルの推定に影響する可能性があります。

ただし、DUSt3Rが教師データの誤差をどの程度継承しているかについては、別途定量的な検証が必要です。

7.5 Confidenceが実際の精度を表すという前提#

DUSt3Rは、各画素の3D座標とともにConfidence Mapを出力します。

Confidenceは、どの3D点を信頼するかを判断するうえで重要な情報です。

ただし、DUSt3RのConfidenceは、実際の3D誤差の確率分布を直接学習しているものではありません。

原論文では、Confidenceを利用した3D回帰の損失関数によって、信頼度を学習しています。[1]

そのため、モデルが高いConfidenceを出力したことと、実際の3D座標が高精度であることは、必ずしも同じではありません。

特に未知の対象では、誤った3D座標に対して高いConfidenceが出力される可能性を検証する必要があります。

これは、3Dモデルを可視化するだけでなく、寸法測定や差分検知に利用するときに重要です。

7.6 カメラパラメータ不要という説明の注意点#

DUSt3Rは、入力時にカメラ内部パラメータやカメラ姿勢を指定しなくてもPointmapを推定できます。

しかし、これはカメラモデルの仮定が完全に不要になったことを意味しません。

原論文では、Pointmapから焦点距離を復元する際に、主点が画像中心付近にあることや、画素が正方形であることなどを仮定しています。[1]

また、Pointmap自体が厳密な投影モデルに従うよう強制されているわけではありません。

したがって、以下の2つは区別する必要があります。

• カメラパラメータを入力せずにPointmapを推定できること
• Pointmapから物理的に正確なカメラモデルを復元できること

前者はDUSt3Rの重要な特徴ですが、後者については追加の仮定や検証が必要です。

特に、強いレンズ歪み、魚眼カメラ、特殊なカメラモデルを扱う場合には注意が必要です。

8. DUSt3Rの技術的限界：3Dを出力できることと、正しいことは異なる#

ここまで見てきたように、DUSt3Rには複数の暗黙の前提があります。

では、その結果として、どのような技術的限界が生じるのでしょうか。

重要なのは、論文で確認された限界と、構造的に考えられる問題、追加検証が必要な問題を区別することです。

課題	根拠	重要な影響
絶対スケールの曖昧性	原論文に明記	実寸法を直接保証できない
厳密な幾何学的整合性	原論文に明記	Pointmapが正しい投影モデルと一致するとは限らない
高精度な3D再構築	原論文の比較実験	従来のMVSが優位な条件がある
画像間マッチングの精度	MASt3Rで指摘	対応点の精密な位置合わせが課題
動的シーン	MonST3Rで検討	移動物体が位置合わせや奥行き推定へ影響する
多視点での計算量	モデル構造上の制約	大規模画像集合で計算量・メモリが増大する
高解像度・微細構造	解像度依存性と入力条件	小さな凹凸や細線の再現が難しくなる場合がある
未知の対象への汎化	追加検証が必要	学習分布外での信頼性が不明確
Confidenceの較正	追加検証が必要	誤推定を正しく検出できる保証がない

8.1 絶対スケールが決まらない#

DUSt3Rの重要な制約の一つは、推定される3D構造の絶対スケールが基本的に定まらないことです。

原論文でも、Pointmapが未知のスケール係数までしか決まらないことが説明されています。[1]

例えば、実際には幅1.0mの物体であっても、Pointmapの座標が自動的にメートル単位で正しく得られるとは限りません。

一般に、再構築した3D構造と実際の3D構造の関係には、次のような相似変換の自由度が存在します。

[ \hat{\mathbf{X}}=sR\mathbf{X}+t ]

ここで、(s) はスケール、(R) は回転、(t) は並進です。

特に重要なのは、形状の相対的な関係が正しく見えていても、絶対寸法が正しいとは限らないという点です。

実寸法の測定には、既知の長さ、既知サイズの対象物、深度センサーなどの外部基準によるスケールの決定が必要になる場合があります。

8.2 厳密な投影幾何学的整合性が保証されない#

DUSt3RのPointmapは、ニューラルネットワークによる回帰結果です。

原論文では、ネットワークが幾何学的な制約を明示的に強制していないため、予測Pointmapが物理的に妥当なカメラモデルに必ずしも対応しないことが指摘されています。[1]

従来のBundle Adjustmentでは、3D点を画像へ再投影したときの誤差を最小化します。

代表的には、次のような目的関数を考えます。

[ E_{\mathrm{reproj}}

\sum_{i,j} \left| \mathbf{x}_{ij}#

\pi(K_i,R_i,t_i,\mathbf{X}_j) \right|^2 ]

ここで、(\mathbf{x}_{ij}) は観測された画像上の点、(\pi) は3D点を画像へ投影する関数です。

一方、DUSt3RはPointmapを直接回帰します。

そのため、以下のような問題が理論上あり得ます。

• 推定された3D点が想定するカメラ光線と厳密に一致しない
• 同じ物理的な表面が異なる画像ペアで異なる形状として推定される
• 個々のPointmapは自然に見えても、複数視点を統合すると矛盾が生じる
• 共通座標系への統合後も再投影誤差が残る

これらは発生し得る誤差の形であり、すべての入力で生じるという意味ではありません。

重要なのは、学習によって予測された3Dがもっともらしいことと、幾何学的な制約を厳密に満たすことは別であるという点です。

8.3 高精度な3D再構築では従来法が優位な場合がある#

DUSt3Rの原論文では、DTUデータセットを利用して、従来のMulti-View Stereoとの比較が行われています。[1]

その比較では、DUSt3Rはカメラパラメータを事前に与えられない条件でも3Dを再構築できる一方、最良の従来法と比較すると精度の差が残ることが示されています。

例えば、原論文のDTUにおけるOverall Errorでは、DUSt3Rは約1.7mm、正解カメラ情報を利用するMVSNetは約0.462mm、CVP-MVSNetは約0.351mmという結果が報告されています。

ただし、この比較では利用できるカメラ情報の条件が異なります。

従来法には正解のカメラ情報が与えられているため、この数値だけからDUSt3Rが一般的に劣ると結論付けることは適切ではありません。

むしろ、次の2つの評価軸を分けて考える必要があります。

• カメラ情報が不明確な条件でも3Dを推定できる頑健性
• 十分な観測情報がある条件で達成できる最終的な3D精度

DUSt3Rは前者に重要な強みがあります。

一方、精密な対応点とカメラ情報を利用できる場合、従来の三角測量や幾何学的最適化が高精度を実現できる可能性があります。

8.4 画像間マッチングの精密さ#

DUSt3Rでは、共通座標系のPointmapを利用して画像間の対応点を探索できます。

これは大きな視点変化に対して有効ですが、Pointmapの3D座標に誤差がある場合、対応点の精度にも影響します。

この問題を直接改善した研究がMASt3Rです。[9]

MASt3Rでは、3D座標の推定に加えて、密な局所画像特徴を出力する仕組みを導入しました。

これにより、3Dの幾何関係と画像特徴の両方を利用して対応点を推定します。

つまり、DUSt3RからMASt3Rへの発展は、3D推定の考え方を維持しながら、画像マッチングの精度を高める方向への進化です。

8.5 高解像度画像と微細構造#

DUSt3Rの標準的なモデルでは、入力画像を長辺512ピクセル程度にリサイズして処理します。[1]

原論文では、224ピクセル版と512ピクセル版の比較も行われており、解像度が性能に影響することが示されています。

これは、細かい3D構造を扱う場合に重要です。

例えば、以下の対象です。

• 細いケーブル
• 小さなボルト
• 微細な傷
• 小さな段差
• 細かな凹凸
• 薄い板状構造

元の画像が高解像度であっても、ネットワークへ入力する段階で対象が数ピクセル程度に縮小されれば、その細部を正確に復元することは難しくなります。

ここで注意すべきなのは、滑らかで自然な3D形状を推定できることと、微細な幾何構造を正確に測定できることは異なるという点です。

また、入力解像度を高くすると、計算量やメモリ使用量の増加も問題になります。

9. DUSt3Rのもう一つの限界：2-viewからMulti-viewへの拡張#

DUSt3Rは、基本的に2枚の画像を入力とする2-viewモデルです。[1]

そのため、多数の画像から3Dモデルを構築するときは、画像ペアごとにPointmapを推定し、それらを共通座標系へ統合する必要があります。

複数画像
    ↓
画像ペアの選択
    ↓
DUSt3R
    ↓
Pairwise Pointmaps
    ↓
Global Alignment
    ↓
統合された3Dシーン

数式で整理すると、次のようになります。

[ \text{Pairwise DUSt3R} \rightarrow \text{Global Alignment} \rightarrow \text{Scene} ]

画像が (N) 枚ある場合、すべての画像ペアを処理すると、その数は次のようになります。

[ \frac{N(N-1)}{2} ]

例えば、100枚の画像では4,950ペア、1,000枚では499,500ペアになります。

実際には、関連性の高い画像ペアを選択することで、すべての組み合わせを処理する必要はありません。

しかし、画像枚数が増えるほど、ペアの選択、推論、メモリ使用量、Global Alignmentなどが課題になります。

9.1 Global Alignmentは何を解決するのか#

Global Alignmentは、画像ペアごとに推定されたPointmapを、共通の3D空間へ整合させる処理です。

しかし、これは従来のBundle Adjustmentと同じものではありません。

DUSt3RのGlobal Alignmentは、主として予測された3D構造同士の整合性を最適化します。

一方、従来のBundle Adjustmentは、3D点をカメラ画像へ投影したときの誤差を最小化します。

したがって、Global AlignmentによってPointmap同士が整合したとしても、すべての3D点が物理的に正しい投影モデルと一致することまで保証されるわけではありません。

また、画像ペアごとの推定に誤差が含まれる場合、多数の画像を統合する過程で全体的な不整合が生じる可能性があります。

この問題が、Fast3R、MUSt3R、CUT3Rなどの後続研究につながりました。

10. MASt3RとMonST3R：DUSt3Rの精度と適用範囲を拡張する#

10.1 MASt3R：3D推定と高精度なマッチング#

DUSt3Rの直接的な後継研究の一つがMASt3Rです。[9]

MASt3Rでは、DUSt3RのPointmapに加えて、密なLocal Featureを出力するHeadを導入しています。

DUSt3Rは、大きな視点変化にも対応できる一方、Pixel Matchingの精密さには限界がありました。

MASt3Rは、この問題を改善する研究です。

DUSt3Rを概念的に表すと、次のようになります。

[ \text{DUSt3R}

\text{3D Geometry} ]

一方、MASt3Rでは次のようになります。

[ \text{MASt3R}

\text{3D Geometry} + \text{High-quality Matching} ]

つまり、3D幾何情報と画像間の対応関係を、同じネットワークの中で利用する方向へ進化しました。

これは、3D再構築だけでなく、視点の異なる画像間の位置合わせにも重要です。

10.2 MonST3R：静的シーンという前提を緩和する#

MonST3R（Motion DUSt3R）は、DUSt3Rを動的シーンへ拡張した研究です。[23]

DUSt3Rの標準的なPointmap推定は、主に静的な3Dシーンを対象としていました。

しかし、実際の動画には、人、車、動物、可動部品など、移動する対象が含まれます。

このとき、異なる時刻の画像を単一の静的な3Dシーンとして扱うと、位置合わせや奥行き推定に問題が生じます。

MonST3Rでは、各時刻に対応したPointmapを推定する方向へ拡張し、動的シーンの深度推定やカメラ姿勢推定に取り組んでいます。

重要なのは、この研究によって、DUSt3Rの静的シーンという前提が、実用上の重要な制約であることが明確になったという点です。

また、動的シーンの研究では、単に3D形状を推定するだけでなく、物体の動きとカメラの動きを区別する必要があります。

これは、動画解析やロボティクスだけでなく、撮影時刻の異なる画像を比較する差分検知にも関係します。

11. MASt3R-SLAM / SLAM3R：3D推定を実時間SLAMへ利用する#

MASt3Rの考え方は、SLAMにも応用されています。

11.1 MASt3R-SLAM#

2025年のMASt3R-SLAMは、MASt3Rを3D Reconstruction Priorとして利用する、実時間Dense SLAMの研究です。[10]

従来のSLAMでは、特徴点抽出、Tracking、Camera Pose Estimationなどを組み合わせる構成が一般的でした。

MASt3R-SLAMでは、MASt3Rによる3D推定を利用しながら、Tracking、Fusion、Loop Closureなどを実行します。

RGB画像
   ↓
MASt3Rによる3D Prior
   ↓
Tracking / Fusion / Loop Closure
   ↓
Dense SLAM

論文では、約15 FPSのDense Monocular SLAMを報告しています。

これは、学習済みの3D推定能力を、逐次的な空間認識へ利用した例です。

11.2 SLAM3R#

SLAM3Rも同じ方向の研究です。[11]

RGB動画からPointmapを直接回帰し、局所的な3D情報を逐次統合することで、20 FPS以上のDense Reconstructionを報告しています。

従来のSLAMでは、画像から特徴点を抽出し、それを利用してカメラの動きを推定する構成が中心でした。

一方、DUSt3R系の研究では、画像から3Dを予測し、その3D情報をTrackingや空間認識に利用するという設計が可能になっています。

これは、Pointmapという考え方が、静的な画像集合の3D再構築から、実時間の3D認識へ拡張された例です。

12. Fast3R / MUSt3R / CUT3R：多視点と逐次処理への進化#

12.1 Fast3R：複数画像を一度に処理する#

Fast3Rは、DUSt3RのMulti-view Generalizationとして位置付けられる研究です。[12]

DUSt3Rでは、基本的に2枚ずつ画像を処理し、その後Global Alignmentを行います。

一方、Fast3Rでは、複数画像をまとめてTransformerへ入力し、共通座標系のPointmapを一度のForward Passで出力する方向へ進みました。

[ (I_1,I_2,\ldots,I_N) \rightarrow (X_1,X_2,\ldots,X_N) ]

従来のDUSt3Rでは、次のような処理が必要でした。

2枚ずつ処理
    ↓
各ペアの3D推定
    ↓
Global Alignment
    ↓
統合3Dモデル

Fast3Rでは、次のような構成になります。

複数画像を同時に入力
    ↓
Transformer
    ↓
共通座標系のPointmap

これは、ペアごとの推定と後処理による統合から、複数画像の3D構造を直接推定する方向への進化です。

12.2 MUSt3R：Memoryを利用したMulti-view推定#

MUSt3Rも、DUSt3Rの著者らによる拡張研究です。[13]

MUSt3Rでは、複数視点からの3D再構築に加えて、Memory Mechanismを利用しています。

これにより、逐次的に入力される画像や、大規模な画像集合を扱う方向へ進んでいます。

特に、Memoryに保持する情報を管理することで、OnlineとOfflineの両方の画像処理へ対応する設計が示されています。

DUSt3RとFast3R、MUSt3Rの違いは、概念的には次のように整理できます。

モデル	主な考え方
DUSt3R	2枚の画像から3Dを推定し、後から統合する
Fast3R	複数画像をまとめて入力し、共通座標系の3Dを推定する
MUSt3R	Memoryを利用して複数視点の情報を扱う

12.3 CUT3R：Persistent 3D State#

CUT3R（Continuous 3D Perception Model with Persistent State）は、DUSt3Rから発展したもう一つの重要な研究です。[14]

CUT3Rでは、新しい画像が入力されるたびに、内部状態を更新します。

概念的には、次のような処理です。

[ I_1 \rightarrow S_1 ]

[ I_2+S_1 \rightarrow S_2 ]

[ I_3+S_2 \rightarrow S_3 ]

ここで、(S_i) は過去の観測情報を保持する内部状態です。

各画像のPointmapを共通座標系で出力しながら、継続的に3D情報を更新します。

この考え方は、ロボットの3D認識と相性がよいものです。

ロボットにとっての3D認識は、大量の写真を一度に処理する問題というより、カメラ画像が次々に入力される中で、周囲の3D状態を継続的に更新する問題だからです。

DUSt3RのPointmap Regressionというアイデアが、CUT3RではPersistent 3D Stateへ発展しています。

また、Spann3Rのように、空間的なMemoryを用いてオンライン3D再構築を行う研究も、この系譜に位置付けられます。

ただし、Memoryを導入することで、過去の推定誤差が内部状態に残る可能性や、長期的なドリフトをどのように抑制するかという新しい課題も生じます。

13. VGGT：Geometric Foundation Modelへの発展#

DUSt3R以降の研究を象徴するモデルの一つが、VGGT（Visual Geometry Grounded Transformer）です。[15]

VGGTはMeta / Oxfordによる研究で、CVPR 2025 Best Paperを受賞しました。[16]

VGGTでは、1枚から数百枚の画像を入力することで、複数の幾何情報をTransformerから直接推定します。

主な出力は次のとおりです。

• Camera Intrinsics
• Camera Extrinsics
• Depth Maps
• Point Maps
• 3D Point Tracks

DUSt3Rでは、Pointmapを中心として複数の3D Visionタスクを統一する方向が示されました。

VGGTでは、カメラパラメータ、深度、Pointmap、点の追跡情報などを、より包括的に一つのモデルから推定する方向へ進んでいます。

ここで、3D Visionの考え方はさらに変わります。

従来は、Matching、Depth、Poseなどの個別の問題に対応するアルゴリズムを組み合わせていました。

DUSt3Rでは、Pointmapを推定し、その結果から複数の幾何情報を導出しました。

VGGTでは、3Dシーンの幾何情報をまとめて推定する大規模なモデルへと発展しています。

このようなモデルは、Geometric Foundation Model（GFM）と呼ばれることがあります。[2]

13.1 Geometric Foundation Modelは幾何学を理解しているのか#

ここで注意したいのは、「幾何学を理解している」という表現です。

VGGTやDUSt3Rは、学習によって3D構造を推定できます。

しかし、これはすべての出力が厳密な幾何学的制約を満たしていることや、未知の対象について正しい3Dを推定できることを意味しません。

モデルが学習した幾何学的事前知識は強力ですが、その予測は学習データや入力条件に依存します。

そのため、Geometric Foundation Modelを評価する場合も、単純な推定精度だけでなく、以下の点を確認する必要があります。

• 推定結果が物理的に整合しているか
• 異なる視点から同じ3D構造を推定できるか
• 未知の対象や環境へ汎化できるか
• 誤った推定を検出できるか
• 実際の寸法や位置を正確に測定できるか

これらの問題は、モデルが大規模化しても自動的に解決されるわけではありません。

14. 現在の3Dモデル構築技術とのつながり#

14.1 Gaussian Splatting / NeRFとの関係#

DUSt3R系の研究は、Gaussian SplattingやNeRFなどの3D表現技術にもつながっています。

例えば、3D Gaussian Splattingでは、従来、次のようなパイプラインがよく利用されます。

複数画像
    ↓
COLMAP
    ↓
Camera Poses + Point Cloud
    ↓
Gaussian Splatting
    ↓
3Dモデル

ここでは、COLMAPによるカメラ姿勢推定や点群の初期化が重要です。

しかし、画像枚数が少ない場合や視点差が大きい場合には、COLMAPによる推定が難しくなることがあります。

そこで、DUSt3R、MASt3R、VGGTなどを利用する研究が進んでいます。

複数画像
    ↓
DUSt3R / MASt3R / VGGT
    ↓
Camera Poses + Geometry
    ↓
Gaussian Splatting
    ↓
3Dモデル

例えば、VGGTの公式実装には、推定結果をCOLMAP形式で出力し、gsplatなどのGaussian Splattingライブラリへ渡す機能があります。[17]

また、InstantSplatは、DUSt3R / MASt3R系の幾何学的事前知識を利用し、Pose-free / Sparse-viewのGaussian Splattingを行う代表的な研究です。[18]

これは、DUSt3R系のモデルが、3Dモデル構築の実際のワークフローに組み込まれている具体例です。

14.2 点群生成への意味#

画像から点群を生成する場合、DUSt3RのPointmapは、各画素に対応する3D座標を直接取得できる点で有用です。

従来は、カメラ姿勢や深度を推定し、それらを組み合わせて3D点群を構築する必要がありました。

DUSt3Rでは、学習済みモデルがPointmapを直接予測します。

ただし、得られた点群について、次の点は別途確認する必要があります。

• 座標の絶対スケール
• 推定点の局所的な誤差
• 視点間での幾何学的整合性
• 遮蔽領域や低信頼度領域の扱い
• 物理的な表面形状との一致

つまり、Pointmapは3D点群を得るための強力な表現ですが、それ自体が高精度な3D測定を保証するものではありません。

14.3 特徴点マッチングへの意味#

特徴点マッチングでは、MASt3Rのように3D幾何情報とDenseな画像特徴を組み合わせる方向が発展しています。

従来の画像マッチングでは、画像の局所的な特徴量を利用して対応点を探索します。

一方、DUSt3R系の方法では、3D空間における対応関係を利用できます。

これは、視点が大きく変化した画像を比較する場合に重要です。

ただし、高精度な対応点が必要な場合には、3D座標の推定誤差が画像間マッチングへ影響するため、MASt3Rや従来法との比較が重要です。

14.4 画像・点群の差分検知への意味#

DUSt3RやMASt3Rの考え方は、画像間の差分検知にも関係します。

例えば、異なる時刻に撮影された画像を比較する場合、カメラの視点が異なれば、画像上の位置が違うだけで差分が生じます。

そのため、差分を検出する前に、画像間の対応関係や3Dの位置合わせを考慮する必要があります。

DUSt3RやMASt3Rは、この位置合わせに必要な幾何情報や対応点を得る手段として利用できます。

ただし、DUSt3R自体が差分検知を直接実行するモデルではありません。

また、差分検知に利用するときには、通常の3D再構築とは異なる問題も生じます。

例えば、撮影時刻の違う2枚の画像において、ある物体が移動していた場合、その物体の変化がPointmapの推定や画像間位置合わせに影響する可能性があります。

この場合、実際の物体の変化と、3D推定によって生じた誤差を区別する必要があります。

これは、今後の応用を考えるうえで重要な課題です。

15. まだ十分に検証されていないこと#

DUSt3Rについては、3D再構築、深度推定、マッチング、カメラ姿勢推定などの評価が行われています。

また、後続研究でも、静的シーン、動的シーン、多視点、SLAMなどへ評価範囲が広がっています。

しかし、特定のベンチマークで高い性能を示したことは、あらゆる環境に対して同じ性能を保証することではありません。

特に重要なのは、3Dを推定する能力と、その推定結果を信頼できる能力を区別することです。

ここでいう「十分に検証されていない」とは、研究コミュニティ全体で検証が行われていないという意味ではありません。

原論文や主要な後続研究の結果だけでは、一般的な性能保証を導けないという意味です。

15.1 未知の環境や対象に対する汎化#

DUSt3Rは大量の画像ペアと3D教師データによって学習されています。

しかし、学習に利用したシーンと、実際に利用するシーンの分布が異なる場合、性能が低下する可能性があります。

例えば、以下のような環境です。

• 産業設備
• 特殊な金属構造
• 透明・反射物体
• 低照度環境
• 強いレンズ歪み
• 特殊な撮像装置
• 学習データに少ない物体

これらについて、学習済みモデルがどこまで汎化できるかを確認する必要があります。

15.2 Confidenceと実際の3D誤差の関係#

DUSt3RはConfidenceを出力しますが、それが実際の3D誤差とどの程度一致するかは重要な検証項目です。

例えば、Confidenceが高い点について、一定の誤差以内に収まる確率を評価できるでしょうか。

工学的な測定では、単に高Confidenceであることよりも、実際の誤差がどの範囲に収まるかを知ることが重要です。

この問題を評価するには、真値付きの3Dデータを利用し、Confidenceと実誤差の関係を分析する必要があります。

15.3 画像から観測された3Dと、学習によって補われた3Dの区別#

DUSt3Rは、画像から直接3D座標を予測します。

しかし、その予測のうち、どの部分が複数画像によって幾何学的に裏付けられ、どの部分が学習済みの事前知識に強く依存しているかは、Pointmapだけからは明確になりません。

例えば、十分な視差がない領域でも、ネットワークは3D座標を出力する場合があります。

その座標が、実際の観測によって検証されたものなのか、学習した形状の知識によって推定されたものなのかを区別することは重要です。

これは、単なる再構築の成功率では評価しにくい問題です。

3D座標が出力されたことと、その座標が観測によって裏付けられたことを区別する仕組みが必要になります。

15.4 多視点での一貫性#

DUSt3Rは、画像ペアから共通座標系のPointmapを推定します。

しかし、多数の画像に対して、画像ペアの選び方や参照画像を変更した場合、同じ3Dシーンが完全に一致するとは限りません。

例えば、画像A、B、Cがあるとき、A-Bから推定したPointmapと、A-Cから推定したPointmapが、同じ物理的な表面を同一の形状として表現するかという問題があります。

これを検証するには、複数の画像ペアを利用して同一領域を再構築し、形状の一貫性や再投影誤差を評価する必要があります。

15.5 微小な変位や変形を検出できるか#

DUSt3Rを3D計測や差分検知に利用する場合、再構築された3D形状が自然に見えるかどうかだけでは不十分です。

例えば、設備が数mm移動したことを検出したい場合、その変位よりも大きな推定誤差が含まれていれば、正確な検出は難しくなります。

観測される差分には、次のような成分が混在します。

[ \text{観測差分}

\text{実際の変化} + \text{位置合わせ誤差} + \text{3D推定誤差} + \text{撮像条件の影響} ]

このため、単純に2つのPointmapの差を計算しても、それが実際の物理的変化を表すとは限りません。

差分検知へ応用する場合は、変化のない対象における誤差分布を確認し、そのうえで最小検出可能な変位を評価する必要があります。

15.6 検証すべき項目の整理#

以上の問題をまとめると、以下のようになります。

検証テーマ	確認したいこと	主な評価方法
OOD汎化	未知の対象でも3Dを正しく推定できるか	学習分布と異なる対象での精度評価
Confidenceの較正	Confidenceが実際の誤差を反映するか	Confidence別の3D誤差分布
物理的整合性	正しいカメラモデルに従うか	再投影誤差、エピポーラ誤差
多視点一貫性	異なる画像ペアでも同じ3D形状になるか	ペア変更・参照画像変更試験
絶対寸法	実際の長さや距離を測定できるか	スケール補正前後の寸法誤差
微細構造	小さな段差や凹凸を正しく復元できるか	高精度3Dスキャンとの比較
動的シーン	移動物体が推定結果に与える影響	静的背景と動的物体の誤差評価
差分検知	実際の変化と推定誤差を区別できるか	既知変位に対する検出率
撮影条件	視点差や照明の変化にどの程度頑健か	撮影条件を変えた比較実験

これらを評価するときには、DUSt3Rだけでなく、MASt3R、VGGT、COLMAPなども比較対象にすることが重要です。

また、従来法が再構築に失敗したケースを単純に除外するのではなく、成功率と、成功した場合の精度を別々に評価する必要があります。

そのようにすることで、DUSt3Rが持つ頑健性と、従来法が持つ精密さを公平に比較できます。

16. 2026年の研究：大規模化、生成モデル、ロボティクス#

DUSt3RからVGGTへとつながる研究は、2026年にも発展しています。

特に重要な方向として、大規模な画像集合への対応、生成モデルとの統合、ロボティクスへの応用があります。

16.1 VGG-T³：大量画像への対応#

CVPR 2026のVGG-T³（Visual Geometry Grounded Test Time Training）は、大量の画像を扱うときに問題となるTransformerの計算量やメモリ消費を改善する研究です。[19]

従来の多視点Transformerでは、画像枚数が増えると、Attentionによる計算量やメモリ使用量が大きくなります。

VGG-T³は、シーンを表すKey-Value空間を固定サイズのMLPに圧縮し、Test-time Trainingを利用することで、この問題を改善しています。

論文では、1,000枚規模の画像集合を54秒で再構築し、比較対象に対して11.6倍の高速化を報告しています。

この研究の重要性は、単に推論を高速化したことだけではありません。

DUSt3Rから始まった、画像から直接3Dを推定する考え方を、大規模な画像集合へ拡張する方向を示しています。

16.2 Gen3R：3D再構築と生成モデルの統合#

Gen3Rは、3D再構築と生成モデルを統合する研究です。[20]

VGGTのGeometry RepresentationとVideo Diffusion Modelを組み合わせ、画像から3D構造と映像を生成する方向を提案しています。

概念的には、次のように整理できます。

[ \text{Geometry Foundation Model} + \text{Generative Model} ]

これにより、単に観測された画像から3Dを復元するだけでなく、3D Reconstructionと3D Generationを結び付ける方向へ進んでいます。

ただし、ここには新たな問題もあります。

生成モデルによって得られた3D構造は、必ずしも実際に観測された物理的な3D形状と一致するとは限りません。

そのため、生成された3Dと、観測によって裏付けられた3Dを区別することが、さらに重要になります。

16.3 ロボティクスとVLAへの応用#

ロボティクスでも、Geometric Foundation Modelを利用する研究が進んでいます。

2026年には、VGGTのようなGeometric Foundation ModelをVision-Language-Action（VLA）モデルに統合する研究が報告されています。[21]

この方向では、画像や言語から行動を推定するVLAに対して、Geometric Foundation Modelによる3D情報を組み合わせます。

特に、VLAが持つ幾何学的な理解と、GFMが推定する3D情報の関係を分析する研究が行われています。

ただし、このような応用はまだ研究段階です。

ロボットが実世界で安全に行動するためには、3D構造を推定できることだけでなく、その推定がどこまで正確で、どの程度の不確実性を持っているかを判断する必要があります。

17. 古典的な幾何学は不要になるのか#

ここまでの研究史を見ると、DUSt3R以降の3D Visionでは、ニューラルネットワークによって非常に多くの幾何情報を直接推定できるようになったことが分かります。

しかし、DUSt3Rによって古典的な幾何学が不要になったわけではありません。

むしろ、現在の研究では、学習済みの幾何学的事前知識と、従来の幾何学的最適化を組み合わせることが重要になっています。

[ \boxed{\text{Learned Geometric Prior}} + \boxed{\text{Classical Geometric Optimization}} ]

例えば、VGGTの公式実装では、ネットワークが推定したカメラや3D点を利用するだけでなく、Bundle Adjustmentによって最適化する機能も提供されています。[17]

これは、学習による3D推定と、従来の幾何学的最適化が相互に補完できることを示しています。

17.1 学習による推定の強み#

学習済みモデルの強みは、従来の幾何学的な手法では対応が難しい場面でも、3Dを推定できる可能性があることです。

例えば、以下の条件です。

• 画像の重複が少ない
• 特徴点が十分に得られない
• カメラパラメータが不明
• 視点変化が大きい
• 低テクスチャ領域が存在する

DUSt3R系のモデルは、こうした条件で重要な強みを持ちます。

航空写真を対象とした2025年の比較研究でも、DUSt3R、MASt3R、VGGTは、非常に疎な画像集合に対して有効な結果を示しています。[22]

同研究では、10枚未満の疎な画像集合などを対象として、従来法と比較した点群の完全性の改善が報告されています。

一方、大規模・高解像度条件や複雑な幾何構造に対しては、依然として制約が存在することも指摘されています。

17.2 古典的な幾何学の強み#

従来のSfMやMVS、Bundle Adjustmentには、観測された画像と3D構造の関係を明示的に扱える強みがあります。

例えば、再投影誤差を利用すれば、推定結果が観測画像とどの程度整合しているかを評価できます。

また、十分な対応点とカメラ情報が得られる条件では、高精度な三角測量や最適化を利用できます。

そのため、今後の3D Visionでは、学習済みモデルによる推定だけでなく、幾何学的な整合性を評価・補正する仕組みも重要になります。

17.3 DUSt3Rは幾何学を消したのではなく、問題の解き方を変えた#

ここまでの議論を踏まえると、DUSt3Rの研究史上の位置付けは、次のように整理できます。

従来の3D Visionでは、画像から対応点を求め、カメラ姿勢を推定し、幾何学的な制約を利用して3Dを計算していました。

DUSt3Rでは、その一部を学習済みモデルによるPointmapの直接推定に置き換えました。

その結果、従来法では3D再構築が難しかった条件でも、3D構造を推定できるようになりました。

しかし、その一方で、予測された3Dがどの程度正確か、物理的に整合しているか、観測によって裏付けられているかという問題が残ります。

したがって、DUSt3Rは古典的な幾何学の完全な代替というよりも、学習済みの幾何学的事前知識を利用して、3D推定の可能性を大きく広げた研究と位置付ける方が正確です。

18. DUSt3Rを中心とした研究の系譜#

ここまでの研究の流れを一つの図にまとめると、次のようになります。

                  Classical 3D Vision
                           │
              Matching → Pose → Triangulation
                           │
                Bundle Adjustment → MVS
                           │
             ┌─────────────┴─────────────┐
             ↓                           ↓
       Learned Matching             Learned Depth
      SuperGlue / LoFTR             MVSNet / DPT
             │                           │
             └─────────────┬─────────────┘
                           ↓
                    CroCo / CroCo v2
                 Cross-view Transformer
                           │
                           ↓
                    ┌──────────────┐
                    │    DUSt3R    │
                    │   Pointmap   │
                    │  Regression  │
                    └──────┬───────┘
                           │
       ┌───────────────────┼───────────────────┐
       ↓                   ↓                   ↓
     MASt3R             MonST3R          Multi-view / Memory
 Matching + 3D       Dynamic Scenes      Fast3R / MUSt3R
       │                                       │
       ↓                                       ↓
  MASt3R-SLAM                              CUT3R / Spann3R
       │                                   Persistent State
       ↓                                       │
     SLAM3R                                Online 3D
       │                                       │
       └───────────────────┬───────────────────┘
                           ↓
                          VGGT
                  Geometric Foundation
                         Model
                           │
             ┌─────────────┼──────────────┐
             ↓             ↓              ↓
            SLAM          3DGS         Robotics
                          NeRF            VLA
                           │
                           ↓
                   2026年以降の研究
                  ┌────────┴────────┐
                  ↓                 ↓
               VGG-T³             Gen3R
             Large-scale        3D Generation

この図は、厳密な論文間の依存関係ではなく、DUSt3Rを中心とした研究テーマの発展を概念的に示したものです。

従来の研究では、Matching、Depth、Poseなどの個別の問題に対して、それぞれニューラルネットワークを導入する方向が中心でした。

DUSt3Rでは、画像からPointmapという汎用的な3D表現を予測し、そこから必要な情報を導出する方法へ変化しました。

その後、MASt3RではMatching、MonST3RではDynamic Scene、Fast3RやMUSt3RではMulti-view、CUT3RではPersistent State、VGGTでは統合的なGeometry Predictionへと発展しています。

さらに2026年には、大規模な画像集合への対応や生成モデルとの統合が進んでいます。

このように見ると、DUSt3Rは単独の3D再構築手法にとどまらず、Geometric Foundation Modelという研究の流れを理解するための重要な起点になっています。

19. まとめ：DUSt3Rの本質と、今後の3D Vision#

DUSt3Rは、3D Vision版のFoundation Modelという考え方を発展させるうえで、重要な転換点となった研究です。

DUSt3R以前にも、ニューラルネットワークを利用した3D Vision技術は数多く存在しました。

しかし、その多くは、Stereo、Depth、Matching、Poseなどの個別の問題を学習によって解く方法でした。

DUSt3Rは、これに対して異なる問題設定を提案しました。

まず画像から汎用的な3D表現であるPointmapを推定し、Depth、Pose、Matchingなどをそこから導出するという方法です。

これは、3D Visionの処理を個別のアルゴリズムの組み合わせとして考える方法から、3D空間そのものを推論するモデルとして考える方法への転換です。

研究の流れを整理すると、次のようになります。

• 2024年：DUSt3RによるPointmapを中心とした3D推定
• 2024〜2025年：MASt3R、MonST3RによるMatching精度や動的シーンへの拡張
• 2025年：Fast3R、MUSt3R、CUT3R、MASt3R-SLAM、SLAM3RによるMulti-view、Streaming、SLAMへの発展
• 2025年：VGGTによるGeometric Foundation Modelの発展
• 2026年：VGG-T³、Gen3Rなどによる大規模化、生成モデル、ロボティクスへの統合

このように見ると、DUSt3Rの考え方は一時的な手法ではなく、一つの研究パラダイムになったと考えられます。

2026年のサーベイでも、「From DUSt3R to VGGT and Beyond」という流れで、この研究領域が体系的に整理されています。[2]

ただし、DUSt3Rの成果を理解するうえで、最後に強調したいことがあります。

3Dを推定できることと、その3Dが正しいことは、別の問題です。

DUSt3Rは、従来の幾何学的な制約によって解いていた問題の一部を、学習済みの幾何学的事前知識によって推定できるようにしました。

これは非常に重要な革新です。

しかし、その結果として、推定された3Dのどこまでが観測によって裏付けられているのか、どの程度の誤差を含むのか、未知の対象に対して信頼できるのかという問題が、より重要になります。

DUSt3Rの進歩を評価するときには、次の3つを区別する必要があります。

評価軸	問い
推定可能性	従来法が失敗する条件でも3Dを出力できるか
幾何学的正確性	出力された3Dが実際の物理空間とどの程度一致するか
信頼性・検証可能性	誤った3Dを検出し、どこまで信頼できるかを判断できるか

DUSt3RからVGGTまでの研究は、特に最初の「推定可能性」を大きく進歩させました。

一方、精密な3D計測、ロボティクス、設備の変化検知などの応用では、幾何学的正確性と信頼性も重要になります。

今後の3D Visionでは、学習済みモデルの強力な推定能力と、従来の幾何学的な検証・最適化をどのように組み合わせるかが、重要なテーマになると考えられます。

そして、その先には、単に3Dを出力するだけでなく、推定した3Dのどの部分を、どの程度の精度で信頼できるかまで判断できるモデルが求められるようになると考えられます。

その意味で、DUSt3Rが切り開いた研究の次の課題は、3Dをより簡単に推定することだけではありません。

推定された3Dを、実世界で検証可能な幾何情報へと発展させることです。

参考文献#

[1] S. Wang et al., “DUSt3R: Geometric 3D Vision Made Easy,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. https://openaccess.thecvf.com/content/CVPR2024/html/Wang_DUSt3R_Geometric_3D_Vision_Made_Easy_CVPR_2024_paper.html

[2] “From DUSt3R to VGGT and Beyond: A Survey on Feed-Forward 3D Reconstruction,” 2026. https://www.sciencedirect.com/science/article/pii/S2096579626000203

[3] J. L. Schönberger et al., COLMAP Documentation. https://colmap.github.io/

[4] Y. Yao et al., “MVSNet: Depth Inference for Unstructured Multi-view Stereo,” Proceedings of the European Conference on Computer Vision (ECCV), 2018. https://openaccess.thecvf.com/content_ECCV_2018/html/Yao_Yao_MVSNet_Depth_Inference_ECCV_2018_paper.html

[5] P.-E. Sarlin et al., “SuperGlue: Learning Feature Matching with Graph Neural Networks,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020. https://openaccess.thecvf.com/content_CVPR_2020/html/Sarlin_SuperGlue_Learning_Feature_Matching_With_Graph_Neural_Networks_CVPR_2020_paper.html

[6] J. Sun et al., “LoFTR: Detector-Free Local Feature Matching with Transformers,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. https://openaccess.thecvf.com/content/CVPR2021/html/Sun_LoFTR_Detector-Free_Local_Feature_Matching_With_Transformers_CVPR_2021_paper.html

[7] R. Ranftl et al., “Vision Transformers for Dense Prediction,” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. https://openaccess.thecvf.com/content/ICCV2021/html/Ranftl_Vision_Transformers_for_Dense_Prediction_ICCV_2021_paper.html

[8] P. Weinzaepfel et al., “CroCo v2: Improved Cross-view Completion Pre-training for Stereo Matching and Optical Flow,” Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023. https://openaccess.thecvf.com/content/ICCV2023/html/Weinzaepfel_CroCo_v2_Improved_Cross-view_Completion_Pre-training_for_Stereo_Matching_and_ICCV_2023_paper.html

[9] V. Leroy et al., “Grounding Image Matching in 3D with MASt3R,” European Conference on Computer Vision (ECCV), 2024. https://arxiv.org/abs/2406.09756

[10] K. Murai et al., “MASt3R-SLAM: Real-Time Dense SLAM with 3D Reconstruction Priors,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. https://openaccess.thecvf.com/content/CVPR2025/html/Murai_MASt3R-SLAM_Real-Time_Dense_SLAM_with_3D_Reconstruction_Priors_CVPR_2025_paper.html

[11] “SLAM3R,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. https://mlanthology.org/cvpr/2025/liu2025cvpr-slam3r/

[12] “Fast3R: Towards 3D Reconstruction of 1000+ Images in One Forward Pass,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. https://openaccess.thecvf.com/content/CVPR2025/html/Yang_Fast3R_Towards_3D_Reconstruction_of_1000_Images_in_One_Forward_CVPR_2025_paper.html

[13] “MUSt3R: Multi-view Network for Stereo 3D Reconstruction,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. https://openaccess.thecvf.com/content/CVPR2025/html/Cabon_MUSt3R_Multi-view_Network_for_Stereo_3D_Reconstruction_CVPR_2025_paper.html

[14] “Continuous 3D Perception Model with Persistent State,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. https://openaccess.thecvf.com/content/CVPR2025/html/Wang_Continuous_3D_Perception_Model_with_Persistent_State_CVPR_2025_paper.html

[15] “VGGT: Visual Geometry Grounded Transformer,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025. https://openaccess.thecvf.com/content/CVPR2025/html/Wang_VGGT_Visual_Geometry_Grounded_Transformer_CVPR_2025_paper.html

[16] VGGT Project Page. https://vgg-t.github.io/

[17] Meta Research, VGGT Official Repository. https://github.com/facebookresearch/vggt

[18] NVIDIA Research, InstantSplat Official Repository. https://github.com/NVlabs/InstantSplat

[19] S. Elflein et al., “VGG-T³: Offline Feed-Forward 3D Reconstruction at Scale,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 36464–36474, 2026. https://openaccess.thecvf.com/content/CVPR2026/html/Elflein_VGG-T3_Offline_Feed-Forward_3D_Reconstruction_at_Scale_CVPR_2026_paper.html

[20] J. Huang et al., “Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 25358–25369, 2026. https://openaccess.thecvf.com/content/CVPR2026/html/Huang_Gen3R_3D_Scene_Generation_Meets_Feed-Forward_Reconstruction_CVPR_2026_paper.html

[21] Y. Yang et al., “Understanding the Impact of Geometric Foundation Models on Vision-Language-Action Models,” arXiv, 2026. https://arxiv.org/abs/2605.24642

[22] X. Wu, S. Landgraf, M. Ulrich, and R. Qin, “An Evaluation of DUSt3R/MASt3R/VGGT 3D Reconstruction on Photogrammetric Aerial Blocks,” arXiv, 2025. https://arxiv.org/abs/2507.14798

[23] J. Zhang et al., “MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion,” International Conference on Learning Representations (ICLR), 2025. https://arxiv.org/abs/2410.03825