Waifu Diffusion 1.5の使い方（Google Colab）

更新 : 2024/05/02

カテゴリー : AI, AI画像生成

by : It is R

今回は、Waifu Diffusion 1.5の使い方を紹介します。

Waifu Diffusionについて
「Waifu Diffusion 1.5」をGoogle Colab上のStable Diffusion Web UIで使う方法
「Waifu Diffusion 1.5」のプロンプト
Embeddingについて
まとめ

Waifu Diffusionについて

まず、Waifu Diffusionは、いま人気のあるtext-to-imageモデルのひとつです。
Waifu Diffusionの最新のバーションは1.4ですが、1.5もベータ版として公開されています。（2023/02/19現在）

Hugging Face[waifu-diffusion/wd-1-5-beta]（https://huggingface.co/waifu-diffusion/wd-1-5-beta）

Waifu Diffusion 1.5では、プロンプトによって、アニメ風イラストも実写風イラストも表現することができます。

また、この記事ではWaifu Diffusion 1.5について解説しますが、1.4について知りたい方は、こちらの記事をご覧ください。

Waifu Diffusion 1.4 Animeの使い方（Google Colab）

「Waifu Diffusion 1.5」をGoogle Colab上のStable Diffusion Web UIで使う方法

Waifu Diffusion 1.5を動かす方法はいろいろあるのですが、今回は「Google Colab」上で「Stable Diffusion Web UI」を動かし、そこでWaifu Diffusion 1.5を使ってみようと思います。

まず、「Google Colab」上で「Stable Diffusion Web UI」を動かす方法については、次の記事をご覧ください。

【AI画像生成】Google ColabでStable Diffusion web UIを動かす方法

今回、Waifu Diffusion 1.5を「Stable Diffusion Web UI」で使うために、ファイルを以下の位置に配置しました。

stable-diffusion-webui/
|-- embeddings/
|   |-- wdbadprompt.pt
|   `-- wdgoodprompt.bin
|-- models/
|   `-- Stable-diffusion/
|       |-- wd15-beta1-fp16.safetensors
|       `-- wd15-beta1-fp16.yaml
`-- 〜省略〜

ですので、Colabで「Stable Diffusion Web UI」と「Waifu Diffusion 1.5」を使うには、次のコードになります。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta/resolve/main/checkpoints/wd15-beta1-fp16.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/wd15-beta1-fp16.safetensors
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta/raw/main/checkpoints/wd15-beta1-fp16.yaml -O /content/stable-diffusion-webui/models/Stable-diffusion/wd15-beta1-fp16.yaml
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta/resolve/main/embeddings/wdbadprompt.pt -O /content/stable-diffusion-webui/embeddings/wdbadprompt.pt
!wget https://huggingface.co/waifu-diffusion/wd-1-5-beta/resolve/main/embeddings/wdgoodprompt.bin -O /content/stable-diffusion-webui/embeddings/wdgoodprompt.bin

!python launch.py --share --xformers --enable-insecure-extension-access

（※2023/06/26 コードを更新しました）

上のコードをColabで実行して、しばらくすると、リンクが表示されます。
そのリンクをクリックすると「Stable Diffusion Web UI」の画面が開き、「Waifu Diffusion 1.5」を使って、イラストを生成することができます。

「Waifu Diffusion 1.5」のプロンプト

つづいて、「Waifu Diffusion 1.5」の、プロンプトで使えるタグ（booruタグ）を見ていきましょう。
「Waifu Diffusion 1.5」では、自然言語とbooruタグをプロンプトに使うことができる、とのことです。

年代タグ

「Waifu Diffusion 1.5」では、年代タグというものが含まれています。

`oldest`	1995年～2010年（最も古い）
`old`	2010年～2015年（古い）
`new`	2015年～2020年（新しい）
`newest`	2020年以降（最新）

実際に年代タグを試してみました。
なんとなく年代を感じる気がしなくもないような気がします。

審美性タグ

アーティスティックな作品を表す、審美性タグというものもあります。

`exceptional`	≥ 6.675（特上に高い審美性）
`best aesthetic`	≥ 6（最高の審美性）
`normal aesthetic`	≥ 5（普通の審美性）
`bad aesthetic`	< 5（最低の審美性）

実際に試してみると、次のようになりました。

画質タグ

画質タグというのもあります。

`masterpiece`	≥ 150（名作）
`best quality`	≥ 100（最高品質）
`high quality`	≥ 75（高画質）
`medium quality`	≥ 25（中画質）
`normal quality`	≥ 0（一般定な画質）
`low quality`	< 0（低品質）
`worst quality`	≤ -5（最悪の品質）

実際に試してみたのですが、まだベータ版だからなのか、あまりピンとこない比較になってしまいました。
とくに、high qualityだけ、かなりアーティスティックになっています。

アニメ風と実写風のイラストを生成

「Waifu Diffusion 1.5」では、アニメ風イラストと、実写風のイラストの、どちらもを生成することができます。

たとえば、Promptに次のタグを入力するかしないかの違いで、イラストにこのような差が出ます。
これを入力することで、イラストを実写風にすることができます。

(realistic, real life:1.2)

逆に、上記のタグを入力しなければ、かなりの確率でアニメ風なイラストになるように思います。
私の場合、何枚も試してみたのですが、上記のタグを入力せずに実写風のイラストを作ることはできませんでした。

また、上のイラストは、次のプロンプトで生成しました。

プロンプト（アニメ）

(waifu exceptional, best aesthetic, new, newest, best quality, masterpiece:1.2), upper body, 1girl, blue eyes, black long dress, twintail, round full moon, starry sky, black hair blowing in the wind, bloom light effect

プロンプト（実写）

(realistic, real life:1.2), (waifu exceptional, best aesthetic, new, newest, best quality, masterpiece:1.2), upper body, 1girl, blue eyes, black long dress, twintail, round full moon, starry sky, black hair blowing in the wind, bloom light effect

ネガティブプロンプト（アニメと実写で同じもの）

(medium quality, normal quality, low quality, worst quality:1.4), blurry, (ugly), ((bad aesthetic))

もっと確実にアニメ風のイラストを生成したいのであれば、「anime」というタグを入力するといいかもしれません。

上記も含めて、次のようなタグを使うことができます。

`deleted`	Booruサイト上で削除済みとマークされた画像。
`waifu`	「waifu」のコンセプトを体現する、現実の女性やアニメの女性を描いた画像。
`real life`	実在するような被写体を描いた画像。
`anime`	アニメのような画像。
`instagram`	インスタグラムのような画像。