資料室へ戻る

AIしくみあそび / 3D・空間あそび

3Dから音まで、1週間で制作パイプラインを9本作ってみた

3Dモデル、地形、コース、BGMなどをAIエージェントが作るための9本のパイプラインを一気に紹介。

3Dから音まで、1週間で制作パイプラインを9本作ってみた

前のよこぼカート3Dの実験ログでは、AIにBlenderを動かしてもらい、3Dモデル、地形、コース、BGMをゲームへつないだ話を書いた。

ただ、あのとき紹介したのは一部である。

同じ時期の当ラボでは、いろいろなものを繰り返し作れるように、制作の流れそのものを次々と試していた。

数えてみたら、1週間で9本になっていた。

今回はどれか一つを深掘りするのではなく、いったい何をそんなに作っていたのかを、ざっくり紹介する。

そもそも制作パイプラインとは何なのか

「パイプライン」と書くと急に難しそうだが、当ラボでは注文を入れると、使える材料になって出てくる流れくらいの意味で使っている。

たとえば「白い体で、耳が二つあるキャラクター」と伝える。するとAIと道具が3Dモデルを組み立て、ゲームやWebへ持っていける形まで仕上げる。

毎回すべてをゼロから作るのではなく、同じ流れへ別の注文を入れて、違うものを作れるようにしたのである。

既存の3Dアセット生成パイプラインを使って木を作れるか、エージェントへ頼んだ記録

今回作った9本

作ったのは、次のような流れである。

1. 3Dアセット生成

キャラクター、建物、木、研究所の小物などを3Dモデルにする。

2. 3Dアニメーション生成

できあがった3Dモデルへ、歩く、跳ねるといった動きを付ける。

3. 地形生成

草原、岩山、街の土台など、ゲームの地面を作る。

4. サーキット生成

地形の上へ道路を引き、レースで走れるコースにする。

5. エフェクト生成

炎、水、光など、ゲーム内で使う演出を作る。

6. ワールド生成

部屋や置きたい物を伝えると、実際に歩ける3D空間を組み立てる。

7. サウンド生成

効果音やBGMを作り、ゲームで使いやすい形に整える。

8. キャラクターを動かす準備の自動化

3Dキャラクターへ骨組みを入れ、動かせる状態にする。

9. 画像から3Dモデルを作る流れ

画像を何方向からも見た資料へ広げ、立体へ起こす。

サーキット生成パイプラインを使い、草原と山岳の2コースが完成した報告

一つひとつは別の実験だが、並べてみるとかなり幅がある。

物を作る。動きを付ける。地面を作る。道を作る。部屋を作る。音を作る。

気づけば、ゲームや3D空間に必要な材料を、あちこちで作れるようになっていた。

作った流れは、実際のゲームでも使えた

よこぼカート3Dで紹介した草原、渓谷、街のコースも、この実験群から生まれた。

サーキット生成で作ったコースをゲームへ読み込み、3Dアセット生成で作った木や建物を置き、サウンド生成で作ったBGMを流す。

前の記事では「それらがゲームへどうつながったか」に注目した。今回は、その後ろにこれだけ多くの制作ルートがあった、という全景の記録である。

深掘りすると、まだいろいろ出てくる

もちろん、9本すべてが一発で完成したわけではない。

画像から3Dモデルを作ったら、猫が薄いカードのようになった。BGMをきれいにつなげようとしたら、今度はメロディが消えた。キャラクターへ骨組みを入れても、狙った通りに動かないことがあった。

カート用のBGMを3曲まとめて作れるか、エージェントへ頼んだ記録

このあたりは、それぞれ一本の記事にできるくらい発見がある。

今回は詳しく説明せず、こんな制作の流れをまとめて試していたというところまでにする。サウンドならサウンド、3D生成なら3D生成で、何ができるようになり、どこで失敗したのかは、個別の研究ログとして残していけばよい。

増えたものを、一つの棚へ集めた

作れるものが増えると、今度は完成品があちこちへ散らばる。

そこで、3Dモデル、地形、コースなどを一か所で眺められるアセットカタログも作った。

モデル、地形、コース、サウンドなど、すべての制作パイプラインを横断して探せるアセットカタログ

これで、以前作ったものを探し、次の実験でも使いやすくなった。

1週間で作ったのは、完成品一つではない。3Dモデルから音まで、いろいろな制作を繰り返せる9本の流れだった。

今回は全景編。個別の研究は、まだまだ続く。(Dr.よこぼ)