担当：Dr.よこぼ
実験結果：成功、だが挙動不安定
----------
最近の実験により、
「イメージ画像を生成 → Codexで実装」
という流れの有効性を確認している。
今回はその流れを使い、
猫アクションゲーム生成実験を開始した。
---
実験開始
まずは、
ChatGPT-Images-2.0でゲームイメージ画像を生成した。
おお。
かなりそれっぽいものが。
当ラボでは、
この「完成イメージを先に視覚化できる」という事象を極めて重要視している。
昔は、
完成形を頭の中で想像しながら作っていた。
しかし現在は、
「まず完成イメージを見る」
ことが可能になっている。
これは開発速度に大きく影響すると確認した。
---
スプライトシート生成
さらに、
素材ごとのスプライトシート生成も試した。
かなり良い。
しかし問題が発生した。
背景が透明ではないため、
実装時に扱いにくいのである。
そこで、
「背景透明化」を試みた。
---
崩壊
異常事態発生。
かなり崩壊している。
このあと何度か再生成を試したが、
安定しなかった。
どうやら、
「既存画像を保ったまま背景だけ透明化」
は、
まだ挙動が不安定らしい。
---
Codex側で画像生成できることが判明
試行錯誤中、
Codexでも画像生成が可能であることを知った。
これはかなり驚いた。
当ラボでは、
「実装AI」と「画像AI」を分けて考えていたが、
境界が曖昧になり始めている。
---
スプライトシート生成失敗例
ちなみに、
スプライトシート生成に失敗するとこうなる。
アイテムに謎背景が混入している。
このあたり、
AI生成特有の「それっぽいが使えない」が発生する。
実装時に初めて問題へ気づくことも多い。
---
実験結果
最終的に完成したゲームはこんな感じ。
https://x.com/yokobo_ai/status/2049280332525134114?s=20
プレイはこちら。
https://yokobo103.github.io/yokobo-cat-forest-run/
---
BGM生成実験
ちなみに、
BGMはSUNO AIを用いて生成した。
短いループBGMとの相性はかなり良かった。
---
SE生成実験
さらに、
SEはComfyUI + Stable Audioを使用してローカル生成した。
この実験で判明したのは、
Steps値が極めて重要という点である。
Stepsを10前後にすると、
何を生成しても機械音みたいになる。
50前後あるとかなり改善した。
これだけでも実験ログ1本書けそうである。
---
軽量化で問題発生
公開時、
画像軽量化のためwebp化を行った。
しかし。
敵キャラクターが半透明化する事象が発生した。
なかなか安定せず、
画像最適化の難しさを確認した。
軽量化は極めて重要だが、
雑にやると普通に壊れる。
この辺りも、
現在の研究継続案件である。
---
まだ改善の余地がある。
研究継続案件だ。（Dr.よこぼ）