【Colab】basil mixを使って、すごく可愛いイラストを生成しよう！

更新 : 2023/06/26

カテゴリー : AI画像生成, グラフィック

by : It is R

画像生成AIのモデルでは、basil mixを推しています。@It_is_Rです。
今回はGoogle Colab上で、basil mixを使えるようにする方法を紹介します。

basil mixについて
ColabでStable Diffusion web UIとbasil mixを使う
VAEの設定
まとめ

basil mixについて

まず、basil mixは、以下のページで配布されています。

Hugging Face [nuigurumi/basil_mix]（https://huggingface.co/nuigurumi/basil_mix）

さらに、VAEとしてvae-ft-mse-840000（https://huggingface.co/stabilityai/sd-vae-ft-mse-original）を使うことを推奨しています。

VAEはなくても動くのですが、これを使わないと色褪せたようなイラストになります。

ColabでStable Diffusion web UIとbasil mixを使う

まず、あらかじめGoogleアカウントの取得やログインを済ませておいてください。

そしてGoogle Colab（https://colab.research.google.com/?hl=ja）移動しましょう。
すると次のようが画面が開くと思うので、「ノートブックを新規作成」をクリックします。

「編集」から「ノートブックの設定」を選択します。

「ハードウェアアクセラレータ」を「GPU」に変更し、「保存」をクリックします。

次のコードを貼り付けます。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access

（※2023/06/26 コードを更新しました）

下の画像のところをクリックして、実行します。

しばらく待つと、Running on public URL: xxxx.gradio.liveといったものが表示されるので、リンクをクリックしましょう。

すると次のようが画面が開きますので、Stable Diffusion checkpointがbasil mixのチェックポイントになっているかどうか確かめましょう。

VAEの設定

basil mixでは、VAEにvae-ft-mse-840000を使うことを推奨しています。

「Settings」を選択し、「Stable Diffusion」の「SD VAE」を「var-ft-mse-840000-ema-pruned.safetensors」に変更します。

そして最後に、「Apply settings」をクリックします。

これで、このように可愛いイラストを生成することができます。

（画像はSettingでClick skipを2に設定しています。この方が可愛いイラストが出やすい気がします）

まとめ

今回はColabでStable Diffusion web UIを動かし、モデルにbasil mixを使う方法を紹介しました。

basil mixは、とても可愛らしいイラストを生成することができ、私もとても気に入っているモデルのひとつです。

ぜひ、お試しください。

オススメ記事

21件のコメント「【Colab】basil mixを使って、すごく可愛いイラストを生成しよう！」

panicame より:

2023年4月8日 1:08 PM

今朝何回やってもstable diffusionが起動せず、
またここのページを頼みの綱に来てみたら、
先回りで対応が追記されてて、ほんと助かりました…！

ご支援になるかわかりませんが、amazonで電子書籍も買わせていただきました。

バージョン云々のエラーは、
今後もイタチごっこのように、対応してもまた発生するのでしょうか？？
（それだとすっごく煩わしいですね…）

どの記事もすっごく勉強になってます、
今後も活動を応援してます！

返信
1. It is R より:
  
  2023年4月8日 8:50 PM
  
  >panicameさん
  こんにちは。コメントありがとうございます。
  
  また、私の小説もご購入いただき、ありがとうございます。
  とても励みになります。
  
  今回のようなエラーですが、おそらく今後も発生すると思っています。
  私自身、そういったことにすぐ対応できるよう、情報の収集に努めていくつもりです。
  
  これからも、もっとよい記事が書けるよう精進してまいります。
  今後もよろしくお願いします。
  
  返信
GO- より:

2023年4月6日 10:08 PM

こんばんは、このサイトの【Colab】basil mixを使って、すごく可愛いイラストを生成しよう！を参考に生成を
初めて見ました。
いろいろ詰まりながらもなんとか順調に生成できるようになってきたのですが別件でWindowsを
クリーンインストールした後から
GoogleColabでコードを張り付けてもエラーが出てパブリックURLが出てこなくなりました
このような場合どういう風にリカバリーできるのでしょうか？
ご教示いただけますか？
下記にエラーと思われる部分を張り付けさせていただきます
Python 3.9.16 (main, Dec 7 2022, 01:11:51)
[GCC 9.4.0]
Commit hash: 22bcc7be428c94e9408f589966c2040187245d81
Installing gfpgan
Installing clip
Installing open_clip
Installing xformers
Cloning Stable Diffusion into /content/stable-diffusion-webui/repositories/stable-diffusion-stability-ai…
Cloning Taming Transformers into /content/stable-diffusion-webui/repositories/taming-transformers…
Cloning K-diffusion into /content/stable-diffusion-webui/repositories/k-diffusion…
Cloning CodeFormer into /content/stable-diffusion-webui/repositories/CodeFormer…
Cloning BLIP into /content/stable-diffusion-webui/repositories/BLIP…
Installing requirements for CodeFormer
Installing requirements for Web UI
Launching Web UI with arguments: –share –xformers –enable-insecure-extension-access
Traceback (most recent call last):
File “/content/stable-diffusion-webui/launch.py”, line 356, in
start()
File “/content/stable-diffusion-webui/launch.py”, line 347, in start
import webui
File “/content/stable-diffusion-webui/webui.py”, line 21, in
import pytorch_lightning # pytorch_lightning should be imported after torch, but it re-enables warnings on import so import once to disable them
File “/usr/local/lib/python3.9/dist-packages/pytorch_lightning/__init__.py”, line 35, in
from pytorch_lightning.callbacks import Callback # noqa: E402
File “/usr/local/lib/python3.9/dist-packages/pytorch_lightning/callbacks/__init__.py”, line 14, in
from pytorch_lightning.callbacks.batch_size_finder import BatchSizeFinder
File “/usr/local/lib/python3.9/dist-packages/pytorch_lightning/callbacks/batch_size_finder.py”, line 24, in
from pytorch_lightning.callbacks.callback

返信
1. It is R より:
  
  2023年4月8日 10:42 AM
  
  >GO-さん
  コメントありがとうございます。
  Google Colabで動かしているのであれば、Windowsのクリーンインストールによる影響はないと思います。
  
  ちょうどいま、ツールのバージョンの違いによるエラーが発生しており、おそらくそれが原因です。
  
  記事内のコードに、エラー対策の命令を追加させていただきましたので、もう一度コピペしてお試しください。
  
  またよろしくお願いします。
  
  返信
  1. GO- より:
    
    2023年4月9日 12:38 AM
    
    ご対応ありがとうございました。
    いろいろ参考にさせてもらいながら楽しんでいます。
    PCスペックが低いので何度も生成中に固まっては
    やり直しの毎日ですがｗ
    
    返信
    1. It is R より:
      
      2023年4月10日 11:40 AM
      
      >GO-さん
      こちらこそ、私の記事を見ていただき、ありがとうございます。
      これからもよろしくお願いします。
      
      返信
K より:

2023年3月13日 12:15 AM

生成した画像の保存先について質問したものです。
自己解決しました。
google colaboの方からファイルを開けますね。
大変失礼いたしました。まずcolaboについて勉強します。

返信
1. It is R より:
  
  2023年3月13日 8:30 AM
  
  >Kさん
  コメントありがとうございます。
  
  生成した画像ですが、確かにColabの画面からも開くことができます。
  また、「Stable Diffusion web UI」で画像を生成したとき、その画像の下にも、「Save」というボタンがあるので、そこをクリックすれば、画像をローカルに保存することもできます。
  
  ローカルに保存しておかなかった画像は、Colabから切断すると消えてしまうのでご注意ください。
  
  なにはともあれ、ぶじ解決できたようでよかったです。
  
  返信
K より:

2023年3月12日 12:30 PM

記事に記載通り操作したところ、画像が作成できました！
感動しました。ありがとうございます。
生成した画像はどちらに保存されるのでしょうか。
open images output directryのフォルダアイコンの先に通常保存されるのかと思いましたが、こちらのアイコンをクリックすると、
google Colaboratoryにて以下のエラーが出ます。
Error: no “view” mailcap rules found for type “inode/directory”
/usr/bin/xdg-open: 869: www-browser: not found
/usr/bin/xdg-open: 869: links2: not found
/usr/bin/xdg-open: 869: elinks: not found
/usr/bin/xdg-open: 869: links: not found
/usr/bin/xdg-open: 869: lynx: not found
/usr/bin/xdg-open: 869: w3m: not found
xdg-open: no method available for opening ‘outputs/txt2img-images’

返信
maru より:

2023年2月25日 12:03 AM

お世話になっています！
初期設定大変参考になりました。
ありがとうございます‍♂️

質問なのですが、現在macで画像生成しているのですが、colabの無料制限が来てしまいました。
この場合、有料プラン買うのが無難ですかね…
またその場合、proだとどれぐらい画像生成できるか分かればご教授いただきたいです。

長くなってしまいましたが、お手隙の際にご回答いただけると幸いです‍♂️

返信
1. It is R より:
  
  2023年2月25日 8:36 AM
  
  >maruさん
  こんにちは。コメントありがとうございます。
  本格的に画像生成を行いたいのでしたら、やはり有料プランを検討した方が無難だと思います。
  
  Colab Proに申し込むと、月に100コンピューティングユニットほどもらえます。
  そして、GoogleのVMに接続している間、コンピューティングユニットが少しずつ引かれていきます。
  
  これはVMに接続している間ずっと引かれてしまうので、繋いでいる間は、とにかく画像を生成しまくることになります。
  なので、コンピューティングユニットが尽きるまでは画像を生成できます。そして、あとからコンピューティングユニットを追加で購入することもできます。
  
  どのくらい画像生成ができるのかはなんとも言えないのですが、Proでコンピューティングユニットが残っているときに、制限されて動かせなくなった、ということは今までないです。
  
  私はサイト運営での記事執筆がありますので、記事を書きながら画像生成を行うことも多いです。
  節約はしているのですが、つい記事の文章を書いているときにまでVMに接続していて、画像を生成していないのにコンピューティングユニットが減ってしまう、ということもあります。
  
  そういう使い方の場合ですと、１ヶ月に100コンピューティングユニットでは足りないくらいです。
  かといって、500は使わないかなと思ったので、Pay As You Goで100コンピューティングユニットを追加しました。それで１ヶ月ぎりぎり足りたか足りなかったか、といったところです。
  
  私のこんな話が参考になればいいのですが……
  
  返信
となりのルフィ より:

2023年2月18日 10:55 PM

どうも、日本人です。
大変参考になりました。ありがとうございました(^^)/

返信
1. It is R より:
  
  2023年2月19日 3:54 AM
  
  >となりのルフィさん
  地球人です。
  コメントありがとうございます。
  
  これからも、よりよい記事が書けるよう精進してまいります。
  
  返信
panicame より:

2023年2月11日 3:43 AM

【Colab】basil mixを使って、すごく可愛いイラストを生成しよう！
の手順通りに記事中のコードを張り付けて実行したのですが、
大変うまくいき、画像生成を楽しんでおります。感謝です！

…のですが、
さっき、いつも通り、出てきたgradio.liveのリンクをクリックしたところ、
No interface is running right nowの画面が出てくるばかりです…

少なくとも2/10（金）の朝方時点まではうまくいってたのですが、
11日になって急にできなくなりました。
わたしだけできなくなったのか、みんなできなくなってるのか？？
う～ん、なにがいけないんでしょうかねえ…

返信
1. It is R より:
  
  2023年2月11日 6:42 AM
  >panicameさん
  コメントありがとうございます。
  私の記事がお役に立てていたようで、とても嬉しいです。
  
  さきほど、私の環境でも動かなくなっていることを確認しました。
  調べてみたのですが、fastapiのバーションを0.90.1にダウングレードすると動く、という情報を見つけました。
  https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/7714
  
  そこで、この記事で使ったコードの一番最初に、fastapiの0.90.1をインストールするコマンドを追加することで、私の環境では動かすことができました。
  コードは以下のようになります。
```
!pip install fastapi==0.90.1
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access
```
  うまく動くことを願っています。
  返信
  1. panicame より:
    
    2023年2月12日 3:19 AM
    
    またうまく作動しました！
    ご返信＆情報提供感謝です‍♀️
    
    返信
    1. It is R より:
      
      2023年2月14日 12:33 PM
      
      >panicameさん
      ぶじ動いたようで安心しました。
      またよろしくお願いします。
      
      返信
Elena より:

2023年2月10日 9:52 AM

こんにちは、私はインドネシアから来ました。あなたのチュートリアルはとても良いです。私はそれを実装しましたが、動作します。今回は上記の Colab のスクリプトに LoRA を追加する方法についてお聞きしたいのですが？私の質問に喜んで答えてくれることを願っています。ありがとう。

返信
1. It is R より:
  
  2023年2月12日 7:18 AM
  >Elenaさん
  こんにちは。コメントありがとうございます。
  海外の方からも見ていただけているなんて、とても嬉しいです。
  
  私も、Stable Diffusion web UI上でLoRAを試してみました。
  
  LoRAでのファイルは「models/Lora」ディレクトリに配置するのですが、初期状態ではそのディレクトリが作られていないようなので、あらかじめmkdirでそのディレクトリを作成してから、wgetでデータをダウンロードするのがいいみたいです。
```
%mkdir -p /content/stable-diffusion-webui/models/Lora/
!wget https://LoRAのファイルのリンク -O /content/stable-diffusion-webui/models/Lora/LoRAのファイル名.safetensors
```
  例えば、CIVITAIで配布されている「Dark Magician Girl LoRA」を使いたい場合は、次のようになります。
  9行目をお好みのものに変更して使ってください。
```
!pip install fastapi==0.90.1
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors

%mkdir -p /content/stable-diffusion-webui/models/Lora/
!wget https://civitai.com/api/download/models/7287 -O /content/stable-diffusion-webui/models/Lora/DarkMagicianGirlLoRA.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access
```
  これで、上の例であればDarkMagicianGirlLoRAを、Stable Diffusion web UIで読み込むことができるはずです。
  返信
  1. Elena より:
    
    2023年2月12日 6:18 PM
    
    ありがとう！ご指示通りに動作しました。
    
    これからもこのサイトにお世話になります。ところで、私はあなたのウェブサイトから多くのことを学びました。アート AI に興味があるほか、現在 3D ブレンダーなどを学んでいます。そして、私があなたのサイトでたくさん見つけた学習のすべてのニーズ。私はとても幸せです。ここで勉強を続けます。もう一度、ありがとう。
    
    返信
    1. It is R より:
      
      2023年2月14日 12:33 PM
      
      >Elenaさん
      嬉しいお言葉、ありがとうございます。とても励みになります。
      私自身、もっと努力して、よりよい記事を書いていけるようになりたいと思っています。
      
      またよろしくお願いします。
      
      返信