3D Gaussian Splatting と世界モデル ― フィジカル AI の「練習場」をつくる
ロボットや自動運転車のように、現実の世界で体を持って動く AI はフィジカル AIと呼ばれます。その学習の場として、いま 2 つの技術が注目されています。現実の空間を撮影して 3 次元にする 3D Gaussian Splatting(3DGS)と、世界そのものを予測・生成する 世界モデルです。
本ページでは、この 2 つがどのような関係にあるのか、そして 3D スキャナで撮影した空間がフィジカル AI にとってどのような意味を持つのかを、公開されている研究や製品の情報をもとにご説明します。
3D Gaussian Splatting の仕組みそのものについては、解説ページと動画をご用意しています。
解説動画(ショート動画・約 1 分半)
本ページの内容を、約 1 分半にまとめたショート動画です。当社のセミナールームを撮影した 3DGS の映像も入っています。
※ 動画の映像と音声の一部は、生成 AI を用いて制作しています。
1. フィジカル AI は、なぜ仮想空間で学ぶのか
物をつかむ、歩く、障害物を避ける。こうした動きを AI が身につけるには、膨大な回数の試行錯誤が必要です。現実のロボットで何万回も失敗させるのは、時間も費用もかかり、機体が壊れる危険もあります。
そこで、コンピューターの中の仮想空間(シミュレーション)で学ばせ、その結果を現実のロボットに移す方法が広く使われています。仮想空間であれば、多数のロボットを同時に、昼夜を問わず動かせます。
2. 壁になる「見た目の差」― Sim2Real ギャップ
問題は、仮想空間と現実が同じではないことです。特に、カメラの映像を見て動く AI にとって、CG で作った部屋と本物の部屋の見た目の違いは大きな壁になります。仮想空間ではうまくできたことが、現実ではうまくいかない。これを Sim2Real ギャップ(シミュレーションと現実の差)と呼びます。
従来は、仮想空間の色や明るさをわざと大きくばらつかせ、どのような見た目でも動けるようにする工夫(ドメインランダマイゼーション)が使われてきました。しかし、CG の環境を一つずつ作る手間は残ります。
3. 発想を逆にする ― 現場を撮影して、そのまま仮想空間にする
ここで役に立つのが 3DGS です。本物そっくりの CG を一から作るのではなく、本物の現場を撮影して、それをそのまま仮想空間にするという考え方です。AI が仮想空間で見る景色が、現実で見る景色に近づくため、学んだことが現実でも通用しやすくなると期待されています。
ただし、3DGS が持っているのは「見た目」の情報です。物がぶつかる、すべる、倒れるといった動きは、物理エンジンで別に計算します。「見た目は 3DGS、動きは物理エンジン」という組み合わせが基本になります。
4. 研究や製品での取り組み
3DGS をロボットの学習に使う研究や製品が、2024 年以降に相次いで発表されています。代表的なものをご紹介します。
| SplatSim カーネギーメロン大学 2024 年 | 物理シミュレーターの描画を 3DGS に置き換え、ロボットアームの操作をカメラ画像から学習させた研究です。仮想空間だけで学習した AI を、追加の学習なしに現実のロボットで動かしたところ、4 つの作業の平均で成功率 86.25% でした。現実のデータで学習した場合は 97.5% と報告されています。 |
|---|---|
| GaussGym カリフォルニア大学バークレー校ほか 2025 年 | 3DGS を、ロボット学習用の高速な物理シミュレーターに組み込んだ研究です。GPU 1 枚で毎秒 10 万ステップの速さで計算できるとしています。四足ロボットや人型ロボットに、カメラ画像から移動を学習させています。スマートフォンで撮影した空間のほか、動画生成 AI が作った映像からも学習用の空間を作っています。 |
| NVIDIA Omniverse NuRec 2025 年 8 月発表 | センサーで取得した現実の空間を 3DGS で再構成し、ロボット用のシミュレーター(Isaac Sim)や自動運転用のシミュレーター(CARLA)で利用できるようにするライブラリです。 |
※ SplatSim の 86.25% と 97.5% は、「3DGS の仮想空間で学習した場合」と「現実のデータで学習した場合」の比較です。CG の仮想空間で学習した場合と比べた数値ではありません。また、対象は剛体の操作に限られています。
※ GaussGym の現実のロボットへの適用(階段の昇り)は、著者自身が初期的な結果としており、成功率の数値は示されていません。
5. 世界モデルとは
世界モデルとは、「この世界で、こう動いたら、次にどうなるか」を予測する AI です。ロボットは、結果を予測しながら動きを選べるようになります。最近は、文章や画像から、歩き回れる 3 次元の世界を丸ごと生成するものも登場しています。
| NVIDIA Cosmos | ロボットや自動運転の学習用に、文章・画像・映像をもとに多様なデータを生成する「世界基盤モデル」です。 |
|---|---|
| World Labs「Marble」 | 文章・画像・映像などから 3 次元の世界を生成するサービスです。生成した世界を 3DGS(ガウススプラット)の形式で書き出せます。物理計算用の当たり判定のメッシュも書き出せます。 |
6. 3DGS と世界モデルの関係
Marble のように、世界モデルが生成した世界を 3DGS の形式で出力する例が出てきました。一方、3D スキャナで撮影した現実の空間も 3DGS になります。生成した世界と撮影した世界を、同じ形式のデータとして扱える場面が生まれつつあります。
ただし、両者には役割の違いがあります。
世界モデルが生成した世界
場面をいくらでも増やせます。いろいろな部屋、いろいろな照明、いろいろな配置を用意できます。
一方で、細部の形や寸法が現実と合っているとは限りません。
3D スキャナで撮影した 3DGS
その現場の、実際の配置・寸法・見た目を持っています。特定の工場や倉庫でロボットを動かす場合、その現場そのもののデータになります。
一方で、撮影した場所の数しか場面を用意できません。
撮影した現場を土台にして、世界モデルで照明や配置のバリエーションを増やす。このように、両者は競合するものではなく、補い合うものと私たちは考えています。
※ この節は、上記の研究・製品の情報にもとづく当社の見方です。業界で定まった見解ではありません。
7. なぜ LiDAR を搭載した 3D スキャナなのか
フィジカル AI の仮想空間として使う場合、見た目だけでなく寸法が正しいことが重要になります。ロボットの腕が届くか、通路を通れるか、といった判断は、実際の寸法にもとづくためです。
XGRIDS の 3D スキャナは LiDAR を搭載しており、1 回のスキャンから、実寸の点群と 3DGS の両方が得られます。物理計算に使う形状には点群を、見た目には 3DGS を、という使い分けができます。
8. RCCM の試み ― 撮影した部屋を、そのまま揺らす
当社のセミナールームを XGRIDS の 3D スキャナで撮影し、得られた 3DGS の中で、物理法則に従って物を動かす試みを行いました。
- ① 物の切り出し:3DGS のデータから、机 12 台と椅子 27 脚を見つけ、位置と向きを求める
- ② 物理モデル化:机と椅子を、物理エンジン MuJoCo の剛体として配置する
- ③ 物理計算:1995 年兵庫県南部地震の観測記録で床を揺らし、机と椅子の動きを計算する
- ④ 描画:計算した動きを、3DGS のデータにそのまま反映して描く
これはロボットの学習そのものではありませんが、「見た目は 3DGS、動きは物理エンジン」という、フィジカル AI の仮想空間と同じ組み合わせです。
この試みから、次のような課題も確認できました。
- 物の区切り:3DGS には「どの部分が机か」という情報がありません。動かしたい物を一つずつ切り出す作業が必要です。
- 見えていない場所:机や椅子の脚の下の床は撮影されていません。物を動かすと現れる部分は、周囲の色で補う必要がありました。
- 形と重さ:机や椅子の形・重さ・摩擦は仮定しています。見た目が実物に近くても、物理の正しさは別に確かめる必要があります。
まとめ
- フィジカル AI は、仮想空間で学ぶことで、安全に、大量の経験を積むことができます。
- 3DGS で現場を撮影して仮想空間にすると、見た目の差が小さくなり、学んだことが現実で通用しやすくなると期待されています。
- 世界モデルは場面を増やし、撮影した 3DGS は現場の実際の配置と寸法を与えます。両者は補い合う関係にあります。
- 見た目だけでは足りません。物の区切り、見えていない場所、物理の正しさは、現在も人が補っています。
技術解説・関連情報
- 3D Gaussian Splatting の仕組みは「3D Gaussian Splatting とは ― 仕組みをやさしく解説」でご紹介しています。
- スキャンした空間での浸水・土石流・気流の解析事例は「実空間シミュレーション ― 3D Gaussian Splatting × 数値解析」をご覧ください。
- スキャナ本体の仕様・製品ラインナップは「XGRIDS 高精度・高画質 3Dハンディスキャナー」をご覧ください。
参考文献・出典
- M. N. Qureshi ほか, "SplatSim: Zero-Shot Sim2Real Transfer of RGB Manipulation Policies Using Gaussian Splatting", arXiv:2409.10161 ― プロジェクトページ
- A. Escontrela ほか, "GaussGym: An open-source real-to-sim framework for learning locomotion from pixels", arXiv:2510.15352
- NVIDIA 報道発表(2025 年 8 月 11 日)― Omniverse NuRec、Cosmos について
- World Labs「Marble」ドキュメント ― ガウススプラットの書き出し
お問い合わせ
「自社の工場や倉庫を 3DGS にして、シミュレーションに使えるか相談したい」「撮影したデータから、解析や物理計算に使う形状を取り出したい」といったご相談を歓迎いたします。
※ 本ページの研究・製品に関する記述は、2026 年 11 月時点で公開されている論文・公式資料にもとづいています。
※ 地震の計算は技術検証を目的とした制作物です。机・椅子の形状と重さは仮定で、建物による揺れの増幅は含みません。被害を予測・保証するものではありません。
※ 記載の会社名・製品名は、各社の商標または登録商標です。



