最近の実験により、
「イメージ画像を生成 → Codexで実装」
という流れの有効性を確認している。
今回はその流れを使い、
猫アクションゲーム生成実験を開始した。
---
実験開始
まずは、
ChatGPT-Images-2.0でゲームイメージ画像を生成した。
おお。
かなりそれっぽいものが。
当ラボでは、
この「完成イメージを先に視覚化できる」という事象を極めて重要視している。
昔は、
完成形を頭の中で想像しながら作っていた。
しかし現在は、
「まず完成イメージを見る」
ことが可能になっている。
これは開発速度に大きく影響すると確認した。
---
スプライトシート生成
さらに、
素材ごとのスプライトシート生成も試した。
かなり良い。
しかし問題が発生した。
背景が透明ではないため、
実装時に扱いにくいのである。
そこで、
「背景透明化」を試みた。
---
崩壊
異常事態発生。
かなり崩壊している。
このあと何度か再生成を試したが、
安定しなかった。
どうやら、
「既存画像を保ったまま背景だけ透明化」
は、
まだ挙動が不安定らしい。
---
Codex側で画像生成できることが判明
試行錯誤中、
Codexでも画像生成が可能であることを知った。
これはかなり驚いた。
当ラボでは、
「実装AI」と「画像AI」を分けて考えていたが、
境界が曖昧になり始めている。
---
スプライトシート生成失敗例
ちなみに、
スプライトシート生成に失敗するとこうなる。
アイテムに謎背景が混入している。
このあたり、
AI生成特有の「それっぽいが使えない」が発生する。
実装時に初めて問題へ気づくことも多い。
---
実験結果
最終的に完成したゲームはこんな感じ。
プレイはこちら。
https://yokobo103.github.io/yokobo-cat-forest-run/
---
BGM生成実験
ちなみに、
BGMはSUNO AIを用いて生成した。
プロンプト：
Cute retro platformer grassland stage background music,
playful cat adventure,
cheerful chiptune melody,
light bouncing rhythm,
warm synth sounds,
happy and energetic,
nostalgic arcade game style,
seamless looping game BGM,
around 30 seconds
短いループBGMとの相性はかなり良かった。
---
SE生成実験
さらに、
SEはComfyUI + Stable Audioを使用してローカル生成した。
この実験で判明したのは、
Steps値が極めて重要という点である。
Stepsを10前後にすると、
何を生成しても機械音みたいになる。
50前後あるとかなり改善した。
これだけでも実験ログ1本書けそうである。
プロンプト例
ジャンプ音：
cute cartoon jump sound effect,
soft pop,
toy sound,
arcade game,
clean
回復音：
one-shot sound effect,
healing item use,
warm magical rise tone,
cute soft game sound,
clean
---
軽量化で問題発生
公開時、
画像軽量化のためwebp化を行った。
しかし。
敵キャラクターが半透明化する事象が発生した。
なかなか安定せず、
画像最適化の難しさを確認した。
軽量化は極めて重要だが、
雑にやると普通に壊れる。
この辺りも、
現在の研究継続案件である。
---
まだ改善の余地がある。
研究継続案件だ。（Dr.よこぼ）
