Visual SLAM未来予測 / Future Prediction in Visual SLAM

ROBOMECH2026ワークショップ：SLAMの現在地：到達点・課題・展望
2026年6月29日

横塚さんご発表内容です。

Transcript

1. 2026年6月29日 Visual SLAM 未来予測 横塚 将志 産業技術総合研究所 情報人間工学領域 統括企画主幹
2. 2 自己紹介 横塚 将志 産業技術総合研究所 インテリジェントシステム研究部門 スマートモビリティ研究グループ
3. 3 Visual SLAM を始めたきっかけ つくばチャレンジに参加したことがきっかけ（2010年前後？） 当時、大学のボス(宇都宮大学 尾崎 教授)に、カメラだけで自己位置推定をしている研究者として 友納先生を教えてもらい感動し、自分もVisual SLAMを実現したいと思い、今に至る。
4. 4 1万パーティクルによるRBPF
5. 5 LiDAR SLAM： LiTAMIN
6. 6 LiDAR SLAM： LiTAMIN2
7. 7 ViTAMIN-E
8. 8 2018年時の未来予想：バンドル調整(or Factor Graph 最適化)はなくならない どんなに機械学習が進化しても、バンドル調整(or Factor Graph 最適化)はなくならない 特徴点の対応付けは経験則(=学習)に置き換えられても、3次元幾何の数学に経験が入り込む余地がない
9. 9 2018年時の未来予想：バンドル調整(or Factor Graph 最適化)はなくならない 当時からVisual SLAMの計算過程を学習器に置き換える試みは存在 → 使い物にならなかった。 学習した環境に対しては、そこそこ動くけど、実際には使い物にならなかった。 一方で、単眼画像→デプス推定→事前情報として利用→通常のVisual SLAMへ統合は有用だった。 2018年当時の発表資料
10. 10 バンドル調整(=Factor Graph 最適化)の始祖：カール・フリードリヒ・ガウス カール・フリードリヒ・ガウス 1801-1809年 小惑星セレスの天体観測 1801年1月1日：ジュゼッペ・ピアッツィが小惑星セレスを発見 観測できたのはわずか41日間、その後ガウスは観測を見失う 当時24歳のカール・フリードリヒ・ガウスが、わずかな観測データから軌道を計算 1801年12月：ガウスの予測通りの位置でセレス再発見 1809年：『天体運動論』(Theoria Motus Corporum Coelestium) を出版 最小二乗法 (Method of Least Squares) を体系化 後の Gauss-Newton 法 の原型もここに
11. 11 2018～2025までのVisual SLAM年表 年 代表手法 対応付け 幾何計算 (Visual Odometry 計算) ループ閉じ込み 2018 BA-Net (ICLR'19, arXiv'18) 学習：CNN特徴量 解析的：微分可能 BA：Ax=b (LM展開) – 2019 CodeSLAM (CVPR'18) 学習：Depth Prior 解析的：BA + 学習Prior 解析的：Factor Graph 2020 TANDEM / DeepFactors / D3VO 学習：Depth Prior 解析的：BA + 学習Prior 解析的：Factor Graph 2021 DROID-SLAM (NeurIPS'21) 学習：RAFT GRU + Dense flow 解析的：Dense BA：Ax=b (GN) 解析的：Global Dense BA 2022 NICE-SLAM / iMAP (CVPR'22) / Orbeez-SLAM 学習：+ NeRF表現 解析的：姿勢最適化 解析的：Factor Graph 2023 DPVO (NeurIPS'23) / Co-SLAM / Vox-Fusion 学習：Patch GRU (Sparse) 解析的：Patch BA：Ax=b (GN) – 2024 DPV-SLAM(ECCV’24) 学習：Patch GRU 解析的：Patch BA：Ax=b (GN) 解析的：Factor Graph 2024 DUSt3R (CVPR'24) / MASt3R (ECCV'24) 学習：Transformer (pointmap) – – 2025前半 MASt3R-SLAM (CVPR'25 Highlight) 学習：Transformer (pointmap) 解析的：2次最適化：Ax=b (GN) 解析的：SL(4) Factor Graph どんなに機械学習が進化しても、バンドル調整(or Factor Graph 最適化)はなくならない 特徴点の対応付けは経験則(=学習)に置き換えられても、3次元幾何の数学に経験が入り込む余地がない
12. 12 BA-Net (ICLR'19, arXiv'18) ガウス・ニュートンのイテレーション(JTJΔx=-JTe)をネットワーク上に統合する方法を提案 JTJΔx=-JTe → Ax=b はただの線形方程式なので、微分可能で、単純に統合可能 種類 誤差 e の中身 弱点 Geometric / Reprojection BA （特徴点法） 3D 点の再投影位置 vs 観測ピクセル位置の 幾何的距離 特徴点に依存 （コーナー点など） マッチング外れ値 Photometric BA (Direct 法) 観測ピクセル輝度 vs 投影元ピクセル輝度 の輝度差 露出・WB・ 移動物体に弱い、 初期値依存 Feature-metric BA (BA-Net) ★ 観測ピクセル位置の CNN 特徴量 vs 投影元の CNN 特徴量 の差 学習で頑健な 特徴を獲得できる
13. 13 DROID-SLAM (NeurIPS'21) 学習器による密なオプティカルフロー推定と古典的なGeometric BA法 オプティカルフロー推定は機械学習器らしい実装だが、後段のSLAMの実装は、古くからあるガウス・ニュートン BA-Net DROID-SLAM BA の種類 Feature-metric BA Dense Geometric BA 系譜 Direct法(DSO系)の 特徴量版 Indirect法(古典BA)の Dense 版 残差eの中身 CNN 特徴量の差 (高次元ベクトル差) 2D 再投影位置の差 （2次元ベクトル差） 学習で頑健化 する対象 CNN 特徴量 オプティカルフロー 予測 rij と信頼度 wij 共通点 Gauss-Newton で Ax=b を解く Gauss-Newton で Ax=b を解く Sparse Dense Direct (RGB) SVO LSD-SLAM, DSO Direct (特徴量) – BA-Net (2018) Indirect (古典特徴点) PTAM, ORB-SLAM ViTAMIN-E (2019) Indirect (Dense Flow) – ★ DROID-SLAM (2021) Indirect (Sparse Patch) DPVO (2023) –
14. 14 MASt3R-SLAM (CVPR'25 Highlight) DUSt3R～MASt3Rの革命：基準フレームを原点とした 3次元座標値でPointmapを出力 共通座標系で出力することで、ピクセル間の対応関係も暗黙的に得られる MASt3R ネットワーク構造 MASt3R-SLAM 項目 BA-Net DROID- SLAM MASt3R- SLAM 学習 項目 CNN特徴量 +LM減衰係数 RAFT+Flow+ Weight なし (MASt3R 固定 流用) 学習と 古典 融合 (end-to-end) 融合 (end-to-end) 分離 (学習は前段の み) 残差 e CNN特徴量差 再投影誤差 光線角度誤差 / 3D点距離 解き方 Gauss- Newton, Ax=b Gauss- Newton, Ax=b Gauss- Newton, Ax=b ループ 閉じ – Pose Graph SL(4) Factor Graph
15. 15 ゲームチェンジ？！：VGGT 年 代表手法 対応付け 幾何計算 (Visual Odometry 計算) ループ閉じ込み 2018 BA-Net (ICLR'19, arXiv'18) 学習：CNN特徴量 解析的：微分可能 BA：Ax=b (LM展開) – 2019 CodeSLAM (CVPR'18) 学習：Depth Prior 解析的：BA + 学習Prior 解析的：Factor Graph 2020 TANDEM / DeepFactors / D3VO 学習：Depth Prior 解析的：BA + 学習Prior 解析的：Factor Graph 2021 DROID-SLAM (NeurIPS'21) 学習：RAFT GRU + Dense flow 解析的：Dense BA：Ax=b (GN) 解析的：Global Dense BA 2022 NICE-SLAM / iMAP (CVPR'22) / Orbeez-SLAM 学習：+ NeRF表現 解析的：姿勢最適化 解析的：Factor Graph 2023 DPVO (NeurIPS'23) / Co-SLAM / Vox-Fusion 学習：Patch GRU (Sparse) 解析的：Patch BA：Ax=b (GN) – 2024 DPV-SLAM(ECCV’24) 学習：Patch GRU 解析的：Patch BA：Ax=b (GN) 解析的：Factor Graph 2024 DUSt3R (CVPR'24) / MASt3R (ECCV'24) 学習：Transformer (pointmap) – – 2025 MASt3R-SLAM (CVPR'25 Highlight) 学習：Transformer (pointmap) 解析的：2次最適化：Ax=b (GN) 解析的：SL(4) Factor Graph 2025 VGGT (CVPR'25 Best Paper) 学習：Transformer (Alternating Attention) ★ 学習：Feed-forward （Ax=b なし） – 初めて実用的な学習ベースの幾何計算手法の登場：VGGT ※ 学習ベースの幾何計算手法は2018年ごろから存在（UnDeepVO、SfMLerarner等）
16. 16 VGGT (CVPR'25 Best Paper) MASt3Rの素直な進化(多視点化・Camera Head追加・Alternating-Attention) MASt3RがPointmapからの対応付けで解析的に計算するのに対し、VGGTはCamera Headで学習器で推定 MASt3R ネットワーク構造 VGGT ネットワーク構造 BA-Net (2018) VGGT (2025) 中身 LM の 5 反復を unroll Transformer で 4 反復 反復の中 身 古典 LM (JTJΔx=-JTe) Transformer + Δ予測 学習対象 LM の damping factor MLP 全部 推論時の 外側ルー プ なし（学習時に 展開済み） なし（学習時に 展開済み） 著者の主 張 「微分可能 BA を提案」 「BA を排除し た」
17. 17 VGGTはなぜうまくいったのか？ 帰納バイアスが小さいTransformerの利用 (＋DUSt3R～MASt3Rの革命：Pointmap) CNNは構造上、得意・不得意な処理がある。対し、Transformerはデータさえあれば任意の関数を構築可能。 T. Zhou, M. Brown, N. Snavely, D. G. Lowe, “Unsupervised Learning of Depth and Ego-Motion from Video”, CVPR 2017. CNN帰納バイアス 何を仮定しているか 3D 推論で不利になる例 局所性 (locality) 「重要な情報は隣接ピクセ ル間にある」 遠方の対応点の関係 （ループ閉じ、長距離 の幾何整合）が捉えに くい 平行移動不変性 「物体の位置に依らず同じ 特徴」 絶対座標の推定（カメ ラ姿勢、深度のスケー ル）が原理的に困難 階層的特徴抽出 「低次特徴 → 高次特徴」 異なる視点間の対応を 取るには、構造的に追 加機構が必要 重み共有 「同じフィルタが全位置で 使える」 視点に依らない 3D 構造 を学ぶには、attention 的な対称性が必要 Transformer性質 3D 推論で有利になる理由 全位置 attention 任意のピクセル間の関係を直接学習できる （局所性に縛られない） 置換不変性 フレーム順序や視点配置に依存しない データから関数を学習 3D 幾何の制約も、学習データから獲得可能
18. 18 VGGTは完璧か？：Visual SLAM 未来予測（というより願望） # VGGTのイケていないトピック 繋がる軸 1 計算量がN²、メモリも N² で爆発（24GB GPU で約60枚が上限） 1. ベイズフィルタ化 (or Sliding Window化) 2 バッチ処理：新フレームのたびに全フレーム再処理 3 状態を持たない：1秒前の推論結果が、1秒後の推論に活かされない 4 不確実性が出力されない：1点推定のみ、確信度・分散の概念がない 5 ループクロージャ機構なし：再観測時に過去との整合をとる機構が VGGT 単体に存在しない 2. ループクロージャの実現 (グラフ構造導入) 6 一度推論したら修正不可：後続のフレームで矛盾が判明しても、過去の出力を更新できない 7 学習データ分布外で破綻：3D 幾何の制約を構造に持たず、データだけに依存している 3. SLAM用アーキテクチャ 8 センサ融合の困難：IMUを構造的に統合できない（Any4D が始めたが端緒） 9 解釈性・デバッグ可能性なし：誤推論時、どこを直せばいいか分からない
19. 19 １．Feed-forward 3Dは、逐次推論・状態保持を獲得して“Bayesian VGGT”になる。 潜在変数空間での周辺化(＝積分消去)を学習で獲得 計算コストが一定に。Camera Tokenの扱いをどうするかが課題。 周辺化 ネットワーク 周辺化トークン 観点 類似手法：StreamVGGT(ICLR2026) 上図 逐次化の機構 Causal Attention 周辺化ネットワーク 過去の表現 生 K, V の蓄積 周辺化トークン Attention 単方向（過去のトークンは無視） 双方向（バニラ VGGT と同じ） メモリ 線形増加 定数化 ★ 状態の解釈 暗黙 陽な周辺化 = 古典 Schur 補元の学習版 ★ ベイズフィルタ解釈 なし あり ★
20. 20 ２．Attention mask は、Factor Graph / iSAM のニューラル版になる。 全結合の Self-Attention に 意図的な Attention mask をかけることでグラフ構造を表現 VGGTは全結合のバッチBAを解くネットワークと解釈。SparseなAttentionが計算可能なTransformerでiSAM化。
21. 21 ３．汎用Transformerから、IMU・不確実性・再観測更新を内包した SLAM専用アーキテクチャへ進む。 Transformerは汎用的な(帰納バイアスが小さい)アーキテクチャ。SLAMに特化したアーキテクチャがあるはず。 やっぱり、分かりやすい上手く機能する理由がほしい。BA-Netのような分かりやすい理由がほしい。 特に、これからIMUとの統合をする際には、IMU Pre-integration など、理論的な解析が明確なロジックを含めてほしい。
22. 22 まとめ ❶ 2018 年：予想 「機械学習が進化しても、BA (or Factor Graph) はなくならない」 ❷ 2018～2025 の Visual SLAM の進化 BA-Net、DROID-SLAM、MASt3R-SLAM → 7 年間、Ax=b は形を変えずに残った ✓ ❸ VGGT (2025) が、その予想を裏切った “Feed-forward” を主張、Ax=b を陽に解かない。 BA は Transformer の重みに「溶けて」いる ❹ 次の予想：3つの軸で予想 ① ベイズフィルタ化 ② iSAM 化（グラフ構造） ③ SLAM 用アーキテクチャ