XGRIDS3Dハンディスキャナー

3D Gaussian Splatting と世界モデル ― フィジカル AI の「練習場」をつくる

ロボットや自動運転車のように、現実の世界で体を持って動く AI はフィジカル AIと呼ばれます。その学習の場として、いま 2 つの技術が注目されています。現実の空間を撮影して 3 次元にする 3D Gaussian Splatting(3DGS)と、世界そのものを予測・生成する 世界モデルです。

本ページでは、この 2 つがどのような関係にあるのか、そして 3D スキャナで撮影した空間がフィジカル AI にとってどのような意味を持つのかを、公開されている研究や製品の情報をもとにご説明します。

3D Gaussian Splatting の仕組みそのものについては、解説ページと動画をご用意しています。

▶ 3D Gaussian Splatting とは ― 仕組みをやさしく解説

解説動画(ショート動画・約 1 分半)

本ページの内容を、約 1 分半にまとめたショート動画です。当社のセミナールームを撮影した 3DGS の映像も入っています。

▶ YouTube で視聴

※ 動画の映像と音声の一部は、生成 AI を用いて制作しています。

1. フィジカル AI は、なぜ仮想空間で学ぶのか

物をつかむ、歩く、障害物を避ける。こうした動きを AI が身につけるには、膨大な回数の試行錯誤が必要です。現実のロボットで何万回も失敗させるのは、時間も費用もかかり、機体が壊れる危険もあります。

そこで、コンピューターの中の仮想空間(シミュレーション)で学ばせ、その結果を現実のロボットに移す方法が広く使われています。仮想空間であれば、多数のロボットを同時に、昼夜を問わず動かせます。

2. 壁になる「見た目の差」― Sim2Real ギャップ

問題は、仮想空間と現実が同じではないことです。特に、カメラの映像を見て動く AI にとって、CG で作った部屋と本物の部屋の見た目の違いは大きな壁になります。仮想空間ではうまくできたことが、現実ではうまくいかない。これを Sim2Real ギャップ(シミュレーションと現実の差)と呼びます。

従来は、仮想空間の色や明るさをわざと大きくばらつかせ、どのような見た目でも動けるようにする工夫(ドメインランダマイゼーション)が使われてきました。しかし、CG の環境を一つずつ作る手間は残ります。

3. 発想を逆にする ― 現場を撮影して、そのまま仮想空間にする

ここで役に立つのが 3DGS です。本物そっくりの CG を一から作るのではなく、本物の現場を撮影して、それをそのまま仮想空間にするという考え方です。AI が仮想空間で見る景色が、現実で見る景色に近づくため、学んだことが現実でも通用しやすくなると期待されています。

ただし、3DGS が持っているのは「見た目」の情報です。物がぶつかる、すべる、倒れるといった動きは、物理エンジンで別に計算します。「見た目は 3DGS、動きは物理エンジン」という組み合わせが基本になります。

4. 研究や製品での取り組み

3DGS をロボットの学習に使う研究や製品が、2024 年以降に相次いで発表されています。代表的なものをご紹介します。

SplatSim
カーネギーメロン大学
2024 年
物理シミュレーターの描画を 3DGS に置き換え、ロボットアームの操作をカメラ画像から学習させた研究です。仮想空間だけで学習した AI を、追加の学習なしに現実のロボットで動かしたところ、4 つの作業の平均で成功率 86.25% でした。現実のデータで学習した場合は 97.5% と報告されています。
GaussGym
カリフォルニア大学バークレー校ほか
2025 年
3DGS を、ロボット学習用の高速な物理シミュレーターに組み込んだ研究です。GPU 1 枚で毎秒 10 万ステップの速さで計算できるとしています。四足ロボットや人型ロボットに、カメラ画像から移動を学習させています。スマートフォンで撮影した空間のほか、動画生成 AI が作った映像からも学習用の空間を作っています。
NVIDIA Omniverse NuRec
2025 年 8 月発表
センサーで取得した現実の空間を 3DGS で再構成し、ロボット用のシミュレーター(Isaac Sim)や自動運転用のシミュレーター(CARLA)で利用できるようにするライブラリです。

※ SplatSim の 86.25% と 97.5% は、「3DGS の仮想空間で学習した場合」と「現実のデータで学習した場合」の比較です。CG の仮想空間で学習した場合と比べた数値ではありません。また、対象は剛体の操作に限られています。
※ GaussGym の現実のロボットへの適用(階段の昇り)は、著者自身が初期的な結果としており、成功率の数値は示されていません。

5. 世界モデルとは

世界モデルとは、「この世界で、こう動いたら、次にどうなるか」を予測する AI です。ロボットは、結果を予測しながら動きを選べるようになります。最近は、文章や画像から、歩き回れる 3 次元の世界を丸ごと生成するものも登場しています。

NVIDIA Cosmosロボットや自動運転の学習用に、文章・画像・映像をもとに多様なデータを生成する「世界基盤モデル」です。
World Labs「Marble」文章・画像・映像などから 3 次元の世界を生成するサービスです。生成した世界を 3DGS(ガウススプラット)の形式で書き出せます。物理計算用の当たり判定のメッシュも書き出せます。

6. 3DGS と世界モデルの関係

Marble のように、世界モデルが生成した世界を 3DGS の形式で出力する例が出てきました。一方、3D スキャナで撮影した現実の空間も 3DGS になります。生成した世界と撮影した世界を、同じ形式のデータとして扱える場面が生まれつつあります。

ただし、両者には役割の違いがあります。

世界モデルが生成した世界

場面をいくらでも増やせます。いろいろな部屋、いろいろな照明、いろいろな配置を用意できます。

一方で、細部の形や寸法が現実と合っているとは限りません。

3D スキャナで撮影した 3DGS

その現場の、実際の配置・寸法・見た目を持っています。特定の工場や倉庫でロボットを動かす場合、その現場そのもののデータになります。

一方で、撮影した場所の数しか場面を用意できません。

撮影した現場を土台にして、世界モデルで照明や配置のバリエーションを増やす。このように、両者は競合するものではなく、補い合うものと私たちは考えています。

※ この節は、上記の研究・製品の情報にもとづく当社の見方です。業界で定まった見解ではありません。

7. なぜ LiDAR を搭載した 3D スキャナなのか

フィジカル AI の仮想空間として使う場合、見た目だけでなく寸法が正しいことが重要になります。ロボットの腕が届くか、通路を通れるか、といった判断は、実際の寸法にもとづくためです。

XGRIDS の 3D スキャナは LiDAR を搭載しており、1 回のスキャンから、実寸の点群と 3DGS の両方が得られます。物理計算に使う形状には点群を、見た目には 3DGS を、という使い分けができます。

8. RCCM の試み ― 撮影した部屋を、そのまま揺らす

当社のセミナールームを XGRIDS の 3D スキャナで撮影し、得られた 3DGS の中で、物理法則に従って物を動かす試みを行いました。

3DGS のセミナールームの中で、机と椅子が地震の揺れで動く計算
撮影した 3DGS の部屋の中で、机と椅子を地震の揺れで動かした計算(映像の 1 こま)
  • ① 物の切り出し:3DGS のデータから、机 12 台と椅子 27 脚を見つけ、位置と向きを求める
  • ② 物理モデル化:机と椅子を、物理エンジン MuJoCo の剛体として配置する
  • ③ 物理計算:1995 年兵庫県南部地震の観測記録で床を揺らし、机と椅子の動きを計算する
  • ④ 描画:計算した動きを、3DGS のデータにそのまま反映して描く

これはロボットの学習そのものではありませんが、「見た目は 3DGS、動きは物理エンジン」という、フィジカル AI の仮想空間と同じ組み合わせです。

この試みから、次のような課題も確認できました。

  • 物の区切り:3DGS には「どの部分が机か」という情報がありません。動かしたい物を一つずつ切り出す作業が必要です。
  • 見えていない場所:机や椅子の脚の下の床は撮影されていません。物を動かすと現れる部分は、周囲の色で補う必要がありました。
  • 形と重さ:机や椅子の形・重さ・摩擦は仮定しています。見た目が実物に近くても、物理の正しさは別に確かめる必要があります。

まとめ

  • フィジカル AI は、仮想空間で学ぶことで、安全に、大量の経験を積むことができます。
  • 3DGS で現場を撮影して仮想空間にすると、見た目の差が小さくなり、学んだことが現実で通用しやすくなると期待されています。
  • 世界モデルは場面を増やし、撮影した 3DGS は現場の実際の配置と寸法を与えます。両者は補い合う関係にあります。
  • 見た目だけでは足りません。物の区切り、見えていない場所、物理の正しさは、現在も人が補っています。

技術解説・関連情報

参考文献・出典

お問い合わせ

「自社の工場や倉庫を 3DGS にして、シミュレーションに使えるか相談したい」「撮影したデータから、解析や物理計算に使う形状を取り出したい」といったご相談を歓迎いたします。

株式会社 計算力学研究センター(RCCM)

TEL:03-5749-4124

E-mail:xgrids_support@rccm.co.jp

※ 本ページの研究・製品に関する記述は、2026 年 11 月時点で公開されている論文・公式資料にもとづいています。
※ 地震の計算は技術検証を目的とした制作物です。机・椅子の形状と重さは仮定で、建物による揺れの増幅は含みません。被害を予測・保証するものではありません。
※ 記載の会社名・製品名は、各社の商標または登録商標です。

関連資料ダウンロード

JKA Social Action 競輪とオートレースの補助事業 FEMAP NX ASTEA MACS Ver.12 3次元温度応力解析 MECHANICAL FINDER 有限要素法による骨強度解析ソフト