JapaneseDollLikenessを使って、日本人らしい女性のイラストを生成する方法を紹介します。
今回は「Stable Diffusion web UI」を使っていきます。
（2023/02/28追記）この記事で紹介しているChilloutMixは、現在非公開となっています。
（2023/03/01追記）さらにJapanese Doll Likenessが、非公開となってしまいました。
（2023/03/01追記）ChilloutMixが、Civitaiによって再び公開されました。
（2023/04/07追記）Japanese Doll Likenessが再び公開され、v1.5にアップデートもされていました。そこで、この記事の内容も更新しました。
JapaneseDollLikenessについて
JapaneseDollLikenessは、日本人女性の実写風なイラストを生成するのを得意とするLoRAです。
そしてChilloutMixととても相性がいいようです。
下の画像は、ChilloutMixと、LoRAにJapaneseDollLikeness (v1.0)を使って、生成したイラストです。
JapaneseDollLikenessは、しばらくCIVITAIから削除されてしまっていたのですが、再び公開されました。
制作者本人のアカウントからアップロードされているようです。
今はv1.5になっています。
CIVITAI[JapaneseDollLikeness (v1.5)]：https://civitai.com/models/28811/japanesedolllikeness-v15
また、ChiloutMixは、次のページで公開されています。
CIVITAI[ChilloutMix]：https://civitai.com/models/6424/chilloutmix
今回は、ChilloutMixとJapaneseDollLikenessを使って、かわいい日本美女のイラストを生成する方法を紹介していきます。
ChilloutMixとJapaneseDollLikenessを使う準備
ChilloutMixとJapaneseDollLikenessを、Google Colabでインストール使う方法と、ローカルで使えるようにする方法を紹介します。
どちらも「AUTOMATIC1111/Stable Diffusion web UI（https://github.com/AUTOMATIC1111/stable-diffusion-webui）」を使っていきます。
Google Colabを使う方法
Google ColabにChilloutMixとJapaneseDollLikenessのインストール方法です。
まず、Google Colabを使う方法です。
Colabでハードウェア アクセラレータをGPUに設定したあと、次のコードを貼り付けて実行しましょう。
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
!wget https://civitai.com/api/download/models/11745 -O /content/stable-diffusion-webui/models/Stable-diffusion/chilloutmix_NiPrunedFp32Fix.safetensors
%mkdir -p /content/stable-diffusion-webui/models/Lora/
!wget https://civitai.com/api/download/models/34562 -O /content/stable-diffusion-webui/models/Lora/japanesedolllikenessV1_v15.safetensors
!python launch.py --share --xformers --enable-insecure-extension-access（※2023/06/26 コードを更新しました）
しばらく待って、Running on public URL:xxxと表示されたら、そのリンクをクリックします。
もし、Colabで「Stable Diffusion web UI」を使う方法がよく分からない場合は、次の記事を参考にしてください。
ローカルで使う方法
もし、ローカルで画像生成を行うのであれば、次のサイトから、使いたいファイルをダウンロードします。
CIVITAI[ChilloutMix]：https://civitai.com/models/6424/chilloutmix
CIVITAI[JapaneseDollLikeness (v1.5)]：https://civitai.com/models/28811/japanesedolllikeness-v15
今回は「chilloutmix_NiPrunedFp32Fix.safetensors」と「japanesedolllikenessV1_v15.safetensors」をダウンロードしました。
それらを、次のディレクトリに配置します。
（ファイル名は、バージョンなど、どれを使うかで変わります）
stable-diffusion-webui/
|-- models/
| |-- Stable-diffusion/
| | `-- chilloutmix_NiPrunedFp32Fix.safetensors
| |-- Lora/
| | `-- japanesedolllikenessV1_v15.safetensors
| `-- ～省略～/
`-- ～省略～/これで、モデルとLoRAを使う準備ができました。
JapaneseDollLikenessの使い方
ChilloutMixとJapaneseDollLikenessを使ってみましょう。
以前のJapaneseDollLikenessでは、「girl」と「woman」がトリガーワードとなっていたと思うのですが、新しくなった方のダウンロードページでは、トリガーワードについて触れられていません。
そこで私も試してみたのですが、girlやwomanというワードがプロンプトに含まれていなくても、このあとで紹介する「<lora:xxxxxx:数値>」というワードを追加すれば、JapaneseDollLikenessが反映されるように思います。（といっても、ほとんどの場合、girlやwomanといったワードはプロンプトに含めるとは思うのですが）
さて、この「<lora:xxxxxx:数値>」というワードですが、これはJapaneseDollLikenessのバージョンなどによっても変わってしまうので、下のような方法で入力するのがおすすめです。
今回であれば<lora:japanesedolllikenessV1_v15:1>というふうに追加されます。
これで、一応「JapaneseDollLikeness」が使えるようになったはずです。
では、ここからは、「JapaneseDollLikeness」を使ってかわいいイラストを生成するための設定方法を見ていきましょう。
かわいいイラストを生成するための設定
では、かわいいイラストを生成するための設定を見ていきましょう。
「JapaneseDollLikeness」では、以下のような設定を推奨しています。
- VAE：vae-ft-mse-840000-ema-pruned
- Sampling method：「DPM++ SDE Karras」
- Sampling steps：20〜35
- Clip skip：1 または 2
- Upscaler：Latent (bicubic antialiased)
- CFG Scale : 5〜9
- txt2imgの重み：0.2〜0.7
- img2imgのDenoising strength：0.4〜0.7
まず、VAEについてですが、「JapaneseDollLikeness」では「vae-ft-mse-840000-ema-pruned」を使うことを推奨しています。
しかし、ChilloutMixと合わせて使う場合、VAEは必要ないと思います。
というのも、ChilloutMix自体が、VAEを使う必要がないモデルだからです。
また、さきほど入力した<lora:japanesedolllikenessV1_v15:1>というワードの1という数値は、どれだけLoRAの効果を発揮させるか、というものになります。
しかし、これが効き過ぎてしまうと、すこし違うような気もする見た目になってしまったりします。
JapaneseDollLikenessでは、txt2imgの場合、この値を0.2〜0.7にすることを推奨しています。
img2imgの場合は0.4〜0.7です。
（※推奨の設定は、以前と少し変わったと思います）
ChilloutMix + JapaneseDollLikenessで生成したイラスト
では最後に、ChilloutMix + JapaneseDollLikenessでイラストを生成してみました。
(starry sky:1.4), best quality, ultra high res, girl, (loli:1.4), (frills, black dress), (straight hair, long hair, black hair:1.4), smile, bloom light effect, (photorealistic:1.4) <lora:japanesedolllikenessV1_v15:0.7>ネガティブプロンプト
(low quality, worst quality, trembling, cropped face:1.4)- Steps: 20
- Sampler: DPM++ SDE Karras
- CFG scale: 8
- Seed: 271120991
- Size: 600×328
- Model: chilloutmix_NiPrunedFp32Fix
- Denoising strength: 0.7
- Clip skip: 2
- Hires upscale: 2
- Hires upscaler: Latent (bicubic antialiased)
まとめ
今回はChilloutMixとJapaneseDollLikenessを使って、日本人女性の実写風イラストを生成する方法を紹介しました。
一時は削除されてしまい、ダウンロードすることがむずかしかったJapaneseDollLikenessですが、今回、このように再び公開されたこと、とても嬉しく思います。
いつもお世話になっております
cudaとpytorchのバージョンが違うよみたいなエラーが出てしまいました
解決策があれば教えていただきたいです
RuntimeError: Detected that PyTorch and torchvision were compiled with different CUDA versions. PyTorch has CUDA Version=11.7 and torchvision has CUDA Version=11.8. Please reinstall the torchvision that matches your PyTorch install.