公開4日目のAI作曲モデルを、8GBのノートに載せてBGM製造機を強化した
前回、効果音から環境音、BGMまでを作る装置をこしらえた話を書いた。
効果音を20個作って聴き比べる作業がしんどかったので、音を作る装置をこしらえた
あの記事は「次はどのコースの曲を作ろうか」で終わっている。装置はできた。あとは注文を書けば曲が出てくる。それはそれで満足していたのだが、当ラボの装置には常に「もう一段強くできる余地」が残っている。
そこへ MiniMax-Music3 という作曲モデルが公開された。公開4日目である。装置を強化する絶好の機会が、向こうから歩いてきた。 見送る理由はどこにもない。実験を開始した。
そもそも何を作りたいのか
欲しいのは「ループBGM」である。
ゲームで流れる曲は、最後まで行ったら頭に戻って、また同じ曲が始まる。何周でも回り続ける。普通の曲との違いは終わり方にあって、普通の曲は終止するが、ループBGMは終止してはいけない。最後の一拍が最初の一拍へ直接つながらないと、周回のたびに「曲が終わった」感じが挟まってしまう。
前の装置でもループBGMは作れていた。今回はそこへ、もっと新しいモデルを足せるかという話である。
素性（読み飛ばしてよい）
道具の中身に興味がある人向けの節なので、飛ばして構わない。当ラボのパソコンはノートで、画像や音を生成する部分の記憶容量は8GBしかない。MiniMax-Music3 の公式構成はそのままでは載らないのだが、配布元が量子化——数値の精度を落として容量を減らす処理——を済ませた版を出していて、こちらは3ファイルで約12GB。文章を解釈する部分が9.2GBと一番重く、これは記憶容量に載せず本体のメモリへ逃がして動かしている。ついでに当ラボのグラフィックドライバが古く、新しい高速化の仕組みが動かない事象も発生した。正規の迂回路があったのでそちらを通した。フルサイズを動かしているわけではない、とだけ断っておく。
同じ長さの曲が、80秒から23分になった
動いた。そして、遅かった。
前の装置は1曲60秒級を80秒ほどで焼いていた。MiniMax-Music3 は同じ60秒に 23分 かかる。約17倍である。
これは速度の問題というより、作り方が変わるという問題だった。前の装置では同じ注文で4本焼いて良いものを選んでいたが、それは80秒だから成立する。23分かかるなら4本で1時間半である。選べない。1発勝負になる。
以降の実験は全部、この制約の上で起きている。
二胡を頼んだら、笛が来た
まず試したのは、既存の装置では出しにくい楽器だった。二胡である。中国の、弓で弾く二本弦の楽器。
このモデルは注文書がやたら長い。600語から800語くらいの英文で、楽器の音色、奏法、伴奏の編成、情景、音の作りまで書く。人間が毎回書く量ではない。
書いた。焼いた。23分待った。
二胡ではなかった。どちらかといえば笛である。ただし曲の雰囲気は悪くない。むしろ笛がいい。
注文書を見返すと、確かに笛も書いてあった。二胡を主役、笛を「応答役」として脇に置いていたのだが、脇役が主役を食っていた。ならば笛を消せばいい。消した。
すると今度はストリングスとピアノが出てきて、カフェで流れていそうなジャズになった。二胡は弓で弾く楽器なので、伴奏に置いた弦楽器のほうへ吸収されたらしい。
ならば弓で弾くものを全部消す。伴奏の楽器も「役割」ではなく「弾き方」で書く。義甲で弾く、柱の左で弦を押して音程を揺らす、というふうに。注文書を書き直し、また23分待った。
エレキサックスみたいな音が来た。
3回とも別の楽器である。笛、ストリングスとピアノ、エレキサックス。
この2本はシードを同じ値に固定して、注文書だけを変えている。違いは書き方だけだ。そして一番良かったのは、一番雑に書いた1回目だった。
詰めるほど遠のいた。 締めた結果、狙った楽器は出ないまま、音楽としての厚みだけが痩せていく。同じ事象がバンジョーでも発生し、そちらも一番緩い版が一番良かった。
3周やって直らないなら、直し方ではなく最初の要件を疑うべきである。このモデルは、楽器の名指しには従わない。
「歌わせない」と書いたら、歌った
次はループBGMそのものを作りにいった。ジャンルはシティポップ、夜の街。当然インストゥルメンタル、つまり歌なしである。
歌っている。
原因を探して自分の注文書を検索したら、見つかった。
the electric piano and the saxophone trade the melodic lines that a singer would otherwise take
「歌手が歌うはずの旋律を、エレピとサックスが受け持つ」。歌わせないつもりで書いた一文に、歌手と書いてあった。
このモデルは否定を扱えない。「ボーカルなし」と書くと逆に歌うことは実験の初期に判明していて、手順書にも「欲しくないものは一言も書かない」と自分で明記していた。そして全部の注文書に singer と書き続けていた。書いた本人が守っていなかったわけである。
一晩で22ジャンル焼いた
楽器の名指しが効かないなら、何が効くのか。こうなると、あとは手当たり次第に試すのが早い。
夜9時半から翌朝6時まで、パソコンを一晩中唸らせて22ジャンルを焼いた。1本ごとにソフトを立て直し、前の曲の影響を持ち越さないようにしてある。朝には全部がループ素材まで仕上がっている段取りにした。
四つ打ちハウス、ドラムンベース、チップチューン、サーフロック、アフロビート、ケルト、シンセウェイブ、ボサノバ、スカ、ミニマル、フラメンコ、ガムラン、クンビア、ディスコ、タンゴ、ダブレゲエ、ブルーグラス、ビッグビート、サイケデリックトランス、ローファイヒップホップ、マーチングバンド、ハイライフ。
まず、うまくいったほうを4本。
ガムランは、このモデルの公式サンプル61曲を全部調べても1曲も出てこない領域だった。出てきたものはどちらかといえばボサノバ寄りだが、それらしい音は鳴っている。
そして、うまくいかなかったほう
同じ晩に、はっきり外したものも出た。こちらのほうが観察対象としては面白い。
スカには裏打ちがある。拍の裏を刻むギターのカッティングで、これが無いとスカに聞こえない。それが出ていない。結果、どちらかといえばジャズになった。
アコーディオンらしき音は鳴っているし、それらしい雰囲気もある。ただリズムがはっきりせず、タンゴを感じない。
管楽器の解像度が低く、そしてバスドラムが聞こえない。マーチングバンドでバスドラムが聞こえないのは、かなり困る。おまけになぜか、男性が朗々と歌っている。注文書に歌手は一文字も書いていない。
3つとも、リズムの型は注文書に明記していた。 裏打ちも、バスドラムの下降パターンも、タンゴの4つのアクセントも。楽器の名指しが効かなかったのと、まったく同じである。
つまりこのモデルは、ジャンルの気分は描くが、ジャンルの仕組みは再現しない。「シルクロード風」「馬が走る感じ」といった手応えは一発で出るのに、そのジャンルを成立させている構造の指定は素通りしていく。実に興味深い挙動である。
残ったもの
当ラボのBGM製造機に、二枚目の看板が付いた。前からある装置は1曲80秒で量産できる。新しいほうは1曲23分かかるが、音楽としての質は明らかに上である。使い分けができるようになった。
そして扱い方が判明した。細かく指示するほど遠のくので、言うことを聞かせようとしない。ジャンルと雰囲気と情景だけを渡して、あとは数を焼いて選ぶ。当ラボが3Dの模型やエフェクトでやっているのと同じ方式である。
まだ試していない一番大きな変数が残っている。同じジャンルを何本も焼くことだ。今回の22本は全部「1ジャンル1本」で、スカが駄目だったのはジャンルが駄目なのか、あの1本がハズレだっただけなのかが分かっていない。
次はそこを詰めねば。また一晩、パソコンに働いてもらう。研究継続。