Adobe Firefly（ファイアフライ）の生成AIを使って、イラストをアニメーションにしてみました。
パラパラ漫画のような感じで、人物の途中のポーズのイラストを組み合わせて生成AIで動画として作成。最後に1つの動画に繋げています。
実験的に作ってみたので完成度は高くないですが、うまく設定すれば綺麗なアニメーションが作れそうな希望を感じました。
同じ内容をYouTubeで動画にして投稿しているので、動画が良い方はチェックしていただければ嬉しい限りです↓
せっかくAdobe CCのProプランを契約しているので、使えるクレジットを使っておきたい気持ち。
【前置き】Adobe Firefly（ファイアフライ）のクレジットを有効活用したい
Adobe CCのProプランではFirefly（ファイアフライ）のクレジットを、毎月4000クレジットまで追加料金無しで使えます。
ですが、毎月ほぼ使わずに一ヶ月が終わって勿体無いので、今回は動画生成をして消費しようと思い立ちました。
イラストレーターの生成AIでイラストを生成する
最初は手書きでパラパラ漫画を描いて、それを動かそうと考えていました。
ですが、そもそもうまくアニメーションができるかどうかわからなかったので、まずはイラストレーターの生成AIでイラストを生成して、そのイラストを動かすことにしました。
イラストレーターの生成AIでは、長方形を作ってそこにイラストを生成していきます。
長方形ツールで適当なサイズの四角形を作って、コンテキストタスクバーにプロンプトを入力します。
今回はバレリーナの線画を生成してアニメーションにしようと思います。
モデルはFirefly Vector 4モデルを使います。他のモデルを使っても大丈夫ですが、アドビモデルは安心感があるのでアドビモデルにしています。（商用利用可、著作権侵害の心配がない）
コンテンツの種類は被写体、カラーとトーンを白黒に設定して生成します。この部分は任意の設定で全く問題ないです。
生成ボタンをクリックして、少し待つと3枚のイラストが生成されます。
プロパティウィンドウから再度生成もできます。プロンプトを少し変えてみるのも良いかと。
何度か生成を繰り返して、下の3つのイラストが良さそうなので、このイラストを使って動画にしたいと思います。1つずつ画像として書き出して3枚のjpgファイルを作成します。
フォトショップで画像を作る
Fireflyの動画は縦横比を選べます。今回は16:9のワイドスクリーンの比率で動画を作ります。
ですので、その比率に合わせてフォトショップで1枚ずつ画像を作ります。
横1920ピクセル、縦1080ピクセルでイラストの画像を作成。
左から右へ動くイメージで、スペースを開けて画像を作っています。
下の3つのイラストを素材として用意しました。
Firefly（ファイアフライ）で動画を生成
Adobe Firefly（ファイアフライ）のWebサイトのトップページから動画の生成を選んで、動画生成のページへ行きます。
左側にメニューがあります。モデルは「Firefly Video」に設定。※他のモデルを使ってももちろんOKです。
解像度は540pにしました。
1080pだと1つの動画生成につき500クレジットも消費します。恐ろしい ^^;
540pだと100クレジット消費なので540pにしました。
縦横比はワイドスクリーン（16:9）に設定。ここも任意の比率で大丈夫です。イラストの画像サイズも同じ比率に合わせる必要があります。
フレームという項目に用意していたバレリーナの2枚のイラスト画像を設定します。
まずは1枚目と2枚目のイラストを設定。
プロンプトは「横に移動する」としました。プロンプトを変更すると挙動が結構変わってくるので色々と試してみると面白いです。クレジット消費が怖いですが…。
何分か待つと動画が生成されます。
続けて2枚目と3枚目の画像を設定してもう一つの動画を作成します。
ブログなので動画が載せられませんが、2つの動画をつなげて1つの動画にしました。
GIFファイルにして完成したアニメーションがこちら↓
バレエの経験者であれば、バレエの動きが違うなど色々と指摘が入りそうです。ひとまずはそれっぽいアニメーションはできたように思います。
まとめ
もう少しコマ割りを増やして、動きに大きな変化がつかないようにすれば、スムーズなアニメーションができそうな気はします。
1つの動画が5秒という短さ、そしてクレジットの消費が大きい、という点からなかなか動画を生成する気持ちが起きないのですが、よくよく考えると僕の場合はクレジットを余らせているので、またもう少し研究してアニメーションを作ってみたいと思います。
コメント