EBsynthを使ってAIでV2Vロトスコープ動画を作ってみりゅうう！EBsynth-Utilityが初心者からベテランまでマジ便利【Stable Diffusion】 скачать в хорошем качестве

EBsynthを使ってAIでV2Vロトスコープ動画を作ってみりゅうう！EBsynth-Utilityが初心者からベテランまでマジ便利【Stable Diffusion】

🐸EBsynthを用いたロトスコープ動画（V2V動画）のチュートリアル動画です。動画の分割から再結合までの基本的な作業工程について解説しています。 🐸画像生成AI『Stable Diffusion webUI AUTOMATIC1111』(ローカル版)の拡張機能『EBsynth-Utility』を使用しています。23年5月時点での仕様に基づいて作っています。 🐸本動画は技術研究目的で作成しています。またソフトウェアの使用方法の例を紹介した動画であってその使用を推奨するものではありません。 This video is edited for technical research purposes. It only explains how to install the software and its features, and is NOT intended as a recommendation to use itself. 🟠AUTOMATIC1111って何？って方は↓ 🟠Stable Diffusion webUI AUTOMATIC1111のインストール方法    • 日本一わかりやすいStableDiffusion WebUI AUTOMA...   ↑この動画のとおりに操作していけばインストールできます。 🐸要旨🐸 よく見かけるTikTokのダンス動画をアニメ化したような、いわゆる「ロトスコープアニメ」の作り方についてEBsynth-Utilityという拡張機能を用いて解説しています。 ※Windows11, Nvidiaグラフィックカード搭載を前提に書いています。 ※A1111ver.1.2.1, Control-Net ver.1.1.180の環境で製作しています。 🐸必要な物🐸 ①FFmpeg（03:12 ~） https://ffmpeg.org/ （※必ずPATHを通してください） ②EBsynth（05:53 ~） https://ebsynth.com/ ③Control-Net（当たり前すぎる拡張機能につき動画中では省略しています） 🟢作者のページ ✅本家イリヤスフィール氏のGithub https://github.com/lllyasviel/Control... ✅上記をA1111の拡張機能化したミクビル氏のGithub https://github.com/Mikubill/sd-webui-... 🟢インストール方法 1, ミクビル氏のURLをA1111のExtensions内InstallFromURLにペースト 2, 下記から「推定モデル」をDL https://huggingface.co/lllyasviel/Con... ※マルチコントロールネットモードへの変更方法 Settings→Control-net→MaxModelAmountを2以上にセット ※CNについては私の過去動画でも紹介しています Control-Netバージョン1.1きちゃああああ！Shuffle機能がしゅごおおおおいぞ！【Stable Diffusion】   • Control-Netバージョン1.1きちゃああああ！Shuffle機能が...   🟠必ずSettings→CN→Allow other script to ～にチェックを入れておいてください。でないとEBsynth-Utilityのスクリプトで操作出来なくなります ④EBsynth-Utility（06:24 ~） https://github.com/s9roll7/ebsynth_ut... 🟠素材置き場のフォルダ名に「半角スペース」は使用禁止です 🐸Timestamp🐸 00:00 はじめに 01:03 V2Vの基本講座 ┗01:36 V2Vのカラクリ ┗02:26 V2V拡張機能の紹介 03:12 FFmpegのインストール ┗04:33 FFmpegのPATHの通し方 05:53 Ebsynthの入手 06:24 Ebsynth-Utility拡張機能の導入 06:45 素材動画の選び方 08:11 Ebsynth-Utilityの使い方 ┣08:48 Stage-1 動画の分割とマスク作成 ┣10:13 Stage-2 キーフレームの自動抽出 ┗11:32 Stage-3-1 キーフレームにi2iをかける ┣13:56 Stage-3-2 Ebsynth-Utilityスクリプトの設定 ┣14:42 Stage-3-3 バッチ処理の開始 ┣15:10 Stage-3.5 色調補正 ┣15:39 Stage-4 原画とキーフレームのサイズ調整 ┣15:55 Stage-5 Ebsプロジェクトファイルの生成 ┣16:19 Stage-6 Ebsynthでi2iしたキーフレームを合成 ┗17:18 Stage-7 画像を結合して動画化 18:53 Stage-8 背景の差し替え 19:27 おわりに 🐸🐸動画の補足🐸🐸 Q：なぜEBsynth-Utilityなのか A：丁寧なガイド付きであること、V2Vの基本に沿う形で手を動かしながら段階的に作業工程を学ぶことが出来るため。 V2V拡張機能はたくさん存在しますが、多くは動画をドロップして動画生成まで全自動または半自動で一括で行ってしまうものがほとんどです。一見便利に感じますが、途中で設定の組み換えや素材の差し替えなどの応用が難しく、融通が利かないものが多いです。またFFmpegで分割したフレーム全てに機械的にi2iを行う拡張機能が多く、制作に時間がかかるという欠点があります。 それに対してEBsynth-Utilityはステップ実践形式で進むためビギナーに優しく、かつ途中でフレームを差し替えるなどの応用が利くためベテランまで幅広いユーザーにアプローチできます。また選択したキーフレームのみに対してi2iを行うため、作業時間の大幅な短縮が可能です。EBsynthを用いたフレームの平滑化が行われるため、チラつき(Flicker)が少ない動画が作れます。ガイドに沿ってぽちぽちボタンを押していけばいいだけなのでV2V拡張機能の中では抜きんでて使いやすいと感じます。 ※素材クリップは各人で用意してください。動画中ではデモ素材としてゲームのムービークリップを加工したものを使用しています。VroidやMMD、デッサン人形、Blender等で用意できる方はそちらを使った方が応用が利くと思います。TikTok等SNSのダンス動画はモーションの研究に使えますが、画質や背景のコントラスト等の条件が揃わないと綺麗に作るのは大変だったりします。 🟠Stage-1（画像の分割とマスク作成） 動画の解像度が大きいと処理に時間がかかります。最初は512px前後に抑えた方が無難です。また動画時間も3秒から5秒くらいの短い動画を推奨します。 🟠Stage-3（キーフレームへのi2i） 動画中ではコントロールネットにReference, Tile, Openposeを使用していますが一例です。またi2i時にNPにEasyNegativeV2を入れるとデノイズの強度によっては髪の毛が青くなるのでご注意を。 🟠一度EBsynthにかけたものに再度i2iを行う二度付けみたいな手法もあります。時間に余裕のある方は試してみて下さい。 ✅FFmpegを手動で使いたい玄人向けコマンド例 （Wikipediaに超詳しく書いてありますhttps://ja.wikipedia.org/wiki/FFmpeg） ※FFmpegは使い方を覚えておくといろいろ応用が利きます。おすすめ。 fps30の動画を5桁の連番画像に分割 ffmpeg -i "input_video.mp4" -vf "fps=30" -q:v 1 %05d.png 元がfps30の動画の5桁の連番画像をfps60にして結合 ffmpeg -i %05d.png -framerate 30 -q:v 1 -r 60 -vcodec libx264 -pix_fmt yuv420p output.mp4 動画の開始10秒地点から20までを抜き出しカット ffmpeg -ss 10 -to 00:00:20 -i "input_video.mp4" -c copy output.mp4 動画のサイズを 1280x720 にする ffmpeg -i input.mp4 -s 1280x720 output.mp4 ※FFmpegをインストールしておくと、OpenAI社のWhisperも使えます。 動画の字幕作成、文字起こし等の作業を行う人は構築しておくと捗ります。 音声認識AI『Whisper』をローカルに構築してYoutube字幕を作ってみよう！【OpenAI/whisper】    • 音声認識AI『Whisper』をローカルに構築してYoutube字幕を作っ...   ✅他に有名なT2V、V2V拡張機能 deforum（ディフォーラム） https://github.com/deforum-art/sd-web... ↑外人がやたら好きな奴 mov2mov（Scholar01氏） https://github.com/Scholar01/sd-webui... SD-CN-Animation（volotat氏） https://github.com/volotat/SD-CN-Anim... TemporalKit（CiaraStrawberry氏） https://github.com/CiaraStrawberry/Te... ✅Citation my_first_deforum_video（00:07 ~）   / my_first_deforum_video   tiktok_girls_hot_dancing（00:07, 07:25 ~）   / tiktok_girls_hot_dancing   ↑Neilwong氏はダンス動画のV2V作品を多数公開しているので目にしたことある人も多いと思います。 show_me_what_you_got（00:42 ~）   / show_me_what_you_got   Cosmic Dreams（00:50 ~）   / cosmic_dreams_original_video_also_shot_by_me   画像生成AIは徐々にイラスト1枚絵から動画・3Dにシフトしつつあります。そう遠くない将来、2次元イラストレーターと3Dモデラーの境界が曖昧になり、イラストはAI3Dの箱庭で作成したものを2Dに落とし込む形で描写されるのが一般的になると予想しています。また、V2Vで動画を作っていても感じますが、正直3Dレンダリングソフト使えないと出来ることの限界を感じます。クリエイターさんは3Dモデリング出来ないと話にならない時代になるかもしれませんね。Blenderの勉強再開するか～(´･ω:;.:… BGM "Unleash", "Sugary Pop", "Girlish" "OPENNESS" "Hooray" written by SHUNTA #StableDiffusion #EBsynth #画像生成ai #AIイラスト #StableDiffusiontutorial #generativeai #Aiart