GoronyanのDTMマインド～音楽と日常のこと

この記事にはプロモーションが含まれます。

「動物園にて～四月の情景」を4月1日の日にアップしました。なんとアップしたのは午後11時50分を過ぎたときですから、本当にぎりぎりのアップです。

一月の情景、二月の情景、三月の情景は、全て一か月前から登録していて、プレミア公開という形で1日の日に公開されるという形を取りましたが、今回は3月の20日を過ぎてから作業を始め、ぎりぎりでのアップとなりました。

なぜギリギリとなったのかですが、これまでMagic LightというAI動画生成のプラットホームを利用して作成していましたが、私が本格的なMVを作りたいということで、リップシンクが秀逸なDomoAIを使い始めたこともあり、DomoAIだけで短編映画が作れないか挑戦しました。

当初Magic Lightを再度購入することも検討しましたが、資金的な問題もあり、なんとかDomoAIだけで作れないか挑戦しました。

Magic Lightは物語の生成を得意としているプラットホームですが、それをMVを得意とするDomoAIでできないか思案したことになります。

短編小説は2000年頃、今から26年前に私が書いた本の一つになります。

天王寺動物園で新しく象の飼育員となった藤脇弘という人物が主人公です。

私が短編小説を書く前、動物園を訪れたときに、たまたま象の飼育についての講義があり、それを私がきいたことで、取材ができ、短編小説にいかされています。

なお、現在は資金的なこともあり、天王寺動物園には象はいないと天王寺動物園のホームページで知りました。

ベテラン飼育院の江崎、象のことをいつも見に来ている子供の覚(さとる)、元の結婚相手だった美恵子、が登場人物になります。

作る手順としては、ChatGPTやGeminiなどのAIに、私が作った短編小説の重要な部分だけ私が抜粋した小説を読ませ、台本を作ってもらいました。

登場人物の作成

次に登場人物の顔をDomoAIの画像生成にて作らせています。

藤脇弘は、34歳の不器用で真面目な男性の画像を作ってください、と指示を出しました。写実的な画像、アニメ的な画像など選択できます。今回は写実的な画像になります。

同様に指示を出し、他の登場人物も作らせました。

DomoAIでは、テキストから画像の生成の場合、4つ表示されます。その中で一番ピンとくるものを選び、さらに服装などを画像修正にて修正させています。

各シーンの画像生成

次に各シーンの画像をDomoAIの中で使えるNanoBananaにより生成しました。

登場人物の画像を読み込ませ、背景部分の象の展示場所の画像を読み込ませ、生成させます。

読み込んだ画像には番号が振られ、1の背景に、2の男性が前のベンチに座り、その前に3の子供がいて、というように、指示を出すことにより作成できます。

AI画像生成は、なかなかうまくいかない時、そういう意味じゃないんだけどな、という時もよくあります。

AIガチャとよく言われたりしますが、それはAIが悪いというより、一つの説明をしても、いろんなとらえ方があるので、製作者の意図通りのイメージにはなかなか合わないことがあります。

私も最初からピタっとはまるときもあれば、何度も作り直したり、修正を重ねてようやくということがありました。

DomoAIではスタンダードプラン以上で、画像生成、動画生成が、リラックスモードを使用すれば、クレジット消費なしで作成することができます。

クイックモードは優先的に作業してもらえますが、クレジット消費があります。リラックスモードですと少し待たされますが、クレジット消費なしで進められます。

緻密にこだわりたいクリエーターにとって、何度でも挑戦していいというのは、物凄く魅力的だし、正直とても助かりました。

下のバナーから入れます。最初無料プランでお試しできます。

セリフの音声作成

上記は夢のシーンのセリフになります。一人の声、もしくは二人の声でセリフやナレーションを読ませることがDomoAIでは可能です。

これまでの短編映画では、説明などのナレーションも含めて音声で出していますが、今回はセリフのみ入れました。

たまに漢字の読み間違えがあります。全てひらがなの方が間違えが少ないのですが、言葉のニュアンス的なことは漢字の方がうまく表現できている気がします。

なお、音声作成につきましては大きくはありませんがクレジット消費はします。こちらはリラックスモードがありません。

各シーンの画像から、動画を作成

画像から動画を作成します。セリフの音声を参考にして、動かしています。プロンプトで指示を出せば、細かい指示も出すことができます。

ただ、出す指示が細かく指示を出し過ぎると、AIも混乱するのか不自然な動画を出力することがたびたびあります。

AIに指示を出すときは、あまり細かく指示を出さない方が自然な仕上がりになることが多いです。

ただ、物語の進行上どうしてもゆずれない場所があったりしますので、そのあたりは、その動画の中でいい部分だけを編集で抜き取ったりしています。他にも、手書きの図面から画像を編集させたり、いろいろ工夫しています。

象の展示の外側の堀の掃除をするシーンについては、マニアックというべきか、ニッチというべきか、参考資料が少ないということもあり、手書きでイメージを伝えたりしました。ある程度、手書きでもイメージをくみ取ってくれたりします。

動画編集ソフトで編集

音声と動画が素材としてできましたので、編集ソフトでそれらを編集します。同じシーンの動画を二回か三回続けて使用したり、イメージ的な動画を追加するなどの作業をします。

夢のシーンでは、セリフ部分に大きなリバーブを入れてみました。リバーブを入れるというのは、AIによる台本による指示で、私もなるほどと思ったため採用しています。

他に、銃声、象の鳴き声、目覚まし時計の音、などの効果音を入れたり、BGMを入れたりしました。

BGMはエンディングのエンドロールの部分ではボーカルつきのBGMでもいいですが、途中の部分では、インストの曲の方をオススメします。といいますのも、歌詞があると、その歌詞に意識が取られることで、セリフなどが視聴者の耳に入りにくくなります。

今回、DomoAIを使うことで短編映画作成ができることが分かりました。リップシンクはこの短編映画では、エンディング近くのセリフのみ使用しています。リップシンクとは、音声に合わせて口を動かす機能のことです。MVでは重宝しますし、物語でもここぞという場面では効果を発揮します。

なおリップシンク動画は、AIアバター機能にて作成していますが、こちらはリラックスモードはなくクレジットを消費します。

ただ、クレジットを消費しても、損だと思わないのは、リップシンクに関しましては、ミスが全くと言っていいほどありません。キャラクターはほとんどの場合人間ですが、その画像と音声があればリップシンクしてもらえますが、声が出ているのに口が動いていないというような初歩的なミスの生成は全くありませんでした。

つまりリップシンクに関しましては、ほとんどノーミスと言ってもいいほどです。少なくとも私が試した限りはノーミスでした。

テキストから画像を生成させたり、動画を生成させたりする場合、また画像から動画を生成させたりする場合、自分自身がこうだろうというイメージと、AIが想像するイメージは違う場合はよくあります。

それはAIに限らず、人がテキストから画像などをイメージする場合も同様だと思います。

「ほのぼのとしたイメージの田舎の景色を作ってください」

という指示を出したとしましょう。ある人は日本の里山風景をイメージするかもしれませんし、ある人はヨーロッパ風の田園風景をイメージするかもしれません。

動画を生成する場合も同様で、動きが複雑であればあるほど、生成結果に差異が生じることは仕方ないことです。

その点、何度でも試しても、スタンダードプラン以上でクレジット消費がないということは、本当に助かることなんですよ。多くの動画を作れば作るほど、そのありがたみが身に沁みます。

AI動画の最初の第一歩に、DomoAIを考えみてはいかがでしょうか？　少なくとも、私はコスパ的に最強だと思っています。下のバナーから入れます。最初は無料プランでお試しできます。