Waifu Diffusionは、とても人気の高いtext-to-imageモデルのひとつです。
今回は、Waifu Diffusion 1.4 Animeの使い方を紹介します。
（※2023/05/21 今現在、エラーが表示されてしまい上手く動作しません。解決方法が見つかり次第、更新いたします）
Waifu Diffusionについて
「Waifu Diffusion 1.4 Anime」のモデルは、以下で配布されています。
Hugging Face[hakurei/waifu-diffusion]（https://huggingface.co/hakurei/waifu-diffusion）
Hugging Face[hakurei/waifu-diffusion-v1-4]（https://huggingface.co/hakurei/waifu-diffusion-v1-4）
ふたつあるので戸惑うのですが、「Diffusers」を使いたいのならばwaifu-diffusion、「Stable Diffusion Web UI」や「NMKD Stable Diffusion GUI」を使いたいのならばwaifu-diffusion-v1-4を使います。
また、まだベータ版なのですが、「Waifu Diffusion 1.5（WD 1.5）」というモデルも登場しています。
Hugging Face[waifu-diffusion/wd-1-5-beta]（https://huggingface.co/waifu-diffusion/wd-1-5-beta）
今回は「Waifu Diffusion 1.4」について紹介していきます。
「Waifu Diffusion 1.5」について知りたい場合は、こちらの記事をご覧ください。
Waifu Diffusion 1.4 Animeを使うには？
Waifu Diffusionを使う方法は、いくつかあります。
もちろんローカルでも動かすことはできるのですが、高性能なPCでないと、たった１枚の画像を生成するのに、かなりの時間がかかります。
なので、自分だけの環境では画像生成を行なうのがむずかしい、という場合も多いと思います。
そこで、私としてはGoogle Colabを使うことをおすすめしています。
Google Colab上でAIによる画像生成を行う方法としては、AUTOMATIC1111さんの「Stable Diffusion Web UI（https://github.com/AUTOMATIC1111/stable-diffusion-webui）」を使うのがおすすめです。
また、「Diffusers」を使うという手もあります。
今回は「Stable Diffusion Web UI」を使う方法と、「Diffusers」を使う方法の、ふたつを紹介します。
「Stable Diffusion Web UI」でWaifu Diffusion 1.4を使う方法（Colab）
Google Colab上でStable Diffusion Web UIを動かし、そこでWaifu Diffusionを使う方法です。
まず、Google ColabでStable Diffusion Web UIを動かす流れは、下の記事で学んでおいてください。
今回は、Stable Diffusion Web UIを使い、Waifu Diffusion 1.4をモデルにして、画像を生成していきます。
上記の記事の手順でノートブックを新規作成し、次のコードをコピペしましょう。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/wd-1-4-anime_e1.ckpt -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-1-4-anime_e1.ckpt
!wget https://huggingface.co/hakurei/waifu-diffusion-v1-4/raw/main/wd-1-4-anime_e1.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/wd-1-4-anime_e1.yaml
!python launch.py --share --xformers --enable-insecure-extension-access実行してしばらく待つと、Running on public URL: xxxx.gradio.liveというリンクが表示されます。
これで、Stable Diffusion Web UIでWaifu Diffusion 1.4を使うことができます。
「Diffusers」でWaifu Diffusion 1.4を使う方法（Colab）
つづいて、Colab上で、Diffusersを使ってWaifu Diffusion 1.4を動かす方法です。
DiffusersでWaifu Diffusion 1.4を動かすには、Colab上で次のコードを実行します。
!pip install --upgrade diffusers transformers accelerate
import torch
from torch import autocast
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained(
'hakurei/waifu-diffusion',
torch_dtype=torch.float32
).to('cuda')
prompt = "masterpiece, vampire, girl, blue eyes, black dress, twintail, starry sky, trees, bloom light effect"
nprompt = "(low quality, worst quality, trembling, cropped face:1.4)"
with autocast("cuda"):
image = pipe(
prompt,
negative_prompt=nprompt,
guidance_scale=7
).images[0]
image.save("image.png")これで、Waifu Diffusion 1.4をモデルに使ったイラストを作ることができます。
Waifu Diffusion 1.4 Animeにおけるプロンプト
Waifu Diffusion 1.4では、プロンプトに次のモディファイアを使うことで、品質を指定することができます。
| 品質のモディファイア | スコアの基準 | 意味 |
|---|---|---|
masterpiece | >150 | 名作 |
best quality | 100-150 | 最も優れた品質 |
high quality | 75-100 | 高品質 |
medium quality | 25-75 | ふつうの品質 |
low quality | -5-0 | 低品質 |
worst quality | <-5 | ひどい品質 |
実際に試してみました。
目安としてですが、だいたい次のような品質になります。
レーティングのモディファイアも用意されています。
だいたいの意味として、Waifu Diffusion 1.4 Animeでは、次のように定めています。
| レーティングのモディファイア | 基準 |
|---|---|
safe | 職場で見ても安心な画像 |
questionable | おそらく職場で見るのはまずい、際どいビジュアルを含む画像 |
nsfw | 「Not safe for work」の略で、職場で見るのは不適切という意味。上司がいるときは避けるべき画像 |
deleted | 削除対象としてマークされた画像 |
下のように、プロンプトを使ってイラストを生成してみました。
Prompt
masterpiece, best quality, high quality, 1girl, blue eyes, black long dress, twintail, round full moon, starry sky, black hair blowing in the wind, bloom light effectNegative Prompt
worst quality, low quality, medium quality, blurry, messy drawing, ((bad hands)), ((mutated hands and fingers))まとめ
今回は、「Waifu Diffusion 1.4 Anime」の使い方について紹介しました。
「Waifu Diffusion 1.4 Anime」は、アニメチックな可愛らしいイラストを生成するのが得意なモデルです。
プロンプトや設定次第で、とても可愛いイラストが描けるので、私もお気に入りのモデルのひとつです。
