ローカルでDiffsynth Studio構築する方法とDiffutoonのインストール手順

当サイトは広告により収益を得ています。

こんな人にオススメの記事です！
  • Diffsynth Studioをローカル環境に構築したい人
  • Diffutoonをインストールしたい人
  • 生成AIに興味を持っている人

Stable Diffusionなど数多くの生成AIソフトが最近ではありますよね。

最近、X（旧：twitter）でdiffutoonという動画をアニメーションに変換するプログラムがバズっていました。

このDiffutoonというプログラムは、Diffsynth Studioという環境下で動かすことができます。

そこで今回は、Diffutoonのインストール方法と併せてDiffsynth Studioのインストール方法について紹介していきます。

目次

Diffutoonを使うために必要なDiffsynth Studioとは？

最新のディフュージョンエンジンを搭載したAIツールです。

長時間のビデオ合成やトゥーンシェーディングなど、多彩な機能を提供しています。

そのため、クリエイティブなプロジェクトに最適なAIツールです。

このDiffsynth Studio上でDiffutoonを動かすことができます。

Diffutoon Studioはほかにも下記のような機能が備わっています。

  • 画像生成
  • 動画生成
  • 画像の品質向上

他にもControlNetなどのプラグインを使用して様々なことができます。

Comfyuiなどと同様に今注目のAIツールとなっています。

Diffutoonについて

【公式サイト】Diffutoon

ビデオをアニメスタイルに変換することを目的とした、AIツールです。

従来の動画変換ツールとは異なり、高解像度かつ早いエンコード処理が特徴があります。

実際、公式サイトやX（旧：twitter）に載っている動画をみてもアニメ化のクオリティがかなり高いです。

冒頭の動画、上記の画像ともにかなり高クオリティですよね。

次に実際にインストール方法について紹介していきます。

Diffutoonのインストール方法

実際にインストールしてみたため、実際のインストール画面を用いて説明していきます。

インストールに必要なものは下記の通りです。

  • Github
  • Python
  • CUDA

上記のインストールについては事前に行っておいてください。

どれもインストーラーを叩けば簡単にインストールすることができるので難しくありません。

主な流れとしては下記の通りです。

Diffsynth Studioのインストール

Githubを用いてローカル環境にDiffsynth Studioを構築します。

ローカル環境に必要なモデルを追加する

ローカル環境にターミナルで必要なモデルを追加していきます。

構築したDiffsynth StudioのWEB UIを起動する

Diffutoonを用いて動画を変換する

立ち上がったDiffutoonを用いて動画を変換する

具体的な方法については下記で説明していきます。

Diffsynth Studioのインストール

最初にcondaの環境構築とアクティベートを行っていきます。

そして、次に必要なパッケージやDiffsynth Studioの情報をインストールします。

コードは下記の通りです。

cmd
# Anaconda環境の作成とアクティベート
conda create -n diffsynth python=3.9
conda activate diffsynth
# 必要なパッケージのインストール
pip install einops transformers controlnet-aux==0.0.7 sentencepiece imageio imageio-ffmpeg gradio
# Gitリポジトリのクローン
git clone https://github.com/Artiprocher/DiffSynth-Studio
cd DiffSynth-Studio

ローカル環境に必要なモデルを追加する

aria2で必要なモデルをダウンロードしていきます。

cmd
# aria2でモデルのダウンロード
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://civitai.com/api/download/models/229575 -d ./models/stable_diffusion -o aingdiffusion_v12.safetensors
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt -d ./models/AnimateDiff -o mm_sd_v15_v2.ckpt
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_lineart.pth -d ./models/ControlNet -o control_v11p_sd15_lineart.pth
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1e_sd15_tile.pth -d ./models/ControlNet -o control_v11f1e_sd15_tile.pth
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1p_sd15_depth.pth -d ./models/ControlNet -o control_v11f1p_sd15_depth.pth
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11p_sd15_softedge.pth -d ./models/ControlNet -o control_v11p_sd15_softedge.pth
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lllyasviel/Annotators/resolve/main/dpt_hybrid-midas-501f0c75.pt -d ./models/Annotators -o dpt_hybrid-midas-501f0c75.pt
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lllyasviel/Annotators/resolve/main/ControlNetHED.pth -d ./models/Annotators -o ControlNetHED.pth
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model.pth -d ./models/Annotators -o sk_model.pth
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/lllyasviel/Annotators/resolve/main/sk_model2.pth -d ./models/Annotators -o sk_model2.pth
aria2c --console-log-level=error -c -x 16 -s 16 -k 1M "https://civitai.com/api/download/models/25820?type=Model&format=PickleTensor&size=full&fp=fp16" -d ./models/textual_inversion -o verybadimagenegative_v1.3.pt
注意

aria2をインストールできるようにしておく必要があります。

構築したDiffsynth StudioのWEB UIを起動する

モデルのダウンロードが完了したら、下記コードを入力してWEB UIを起動していきます。

cmd
python app.py

問題なく起動することができれば、下記のような画面が表示されます。

表示されたら一番下の行から２、３行目に下記のように記載されています。

Running on local URL: http://127.0.0.1:7860
Running on public URL: https://b2a0c76dfa7ea5eaf3.gradio.live

どちらかのURLをアドレスバーに入れてWEB UIを起動します。

下記のような画面が表示されたら、WEB UIの起動が完了です。

Diffutoonを用いて動画を変換する

表示された右側に動画をいれて「Submit」を押すと左側で処理が開始されます。

時間が経つと動画が表示されるので、右上のダウンロードボタンを押すと動画がダウンロードできます。

各種インストールが完了すれば、そこまで難しくないので、皆さんもぜひやってみてください！

構築方法がよくわからなかった人は

【公式サイト】クラウドワークスAI

ここまで読んで、構築方法が難しいと思った人はクラウドワークスAIがオススメです！

画像生成やテキストの生成などができるため、Diffsynth Studioなどでできることはほとんどできます！

無料で始めることができるため、生成AIを実際に使ってみたい人にはもってこいのサービスです。

私も実際にクラウドワークスAIを使用して文章の作成や画像の作成を行いましたが、かなりすごいと思いました。

とても簡単に高品質な画像やテキストを生成することができるため、ぜひ使ってみてください！

文章や画像などを生成できる「クラウドワークスAI」を実際に使ってみた感想！使い方も紹介！

まとめ

今回は、今話題のビデオを簡単にアニメ化することができるDiffutoonのインストール方法について紹介しました。

Diffutoonをインストールするためには、Diffsynth Studioが必要になります。

Diffsynth Studioは、最新のディフュージョンエンジンを搭載したAIツールです。

これを用いてDiffutoonをインストールします。

インストールには下記ソフトが事前に必要です。

  • Python
  • CUDA

そしてインストールの主な方法は下記の通りです。

Diffsynth Studioのインストール

Githubを用いてローカル環境にDiffsynth Studioを構築します。

ローカル環境に必要なモデルを追加する

ローカル環境にターミナルで必要なモデルを追加していきます。

構築したDiffsynth StudioのWEB UIを起動する

Diffutoonを用いて動画を変換する

立ち上がったDiffutoonを用いて動画を変換する

あとは動画を作成しまくりましょう！

ほかにもStable Diffusionなどの記事も書いているので、もしよかったら読んでみてください！

【AI絵師】誰でもできる「Stable Diffusion」の使い方を紹介！

前の記事

Illuviumを実際にやってみた感想！稼ぐ方法についても解説…

次の記事

【2024年6月】まとめ