【Colab】basil mixを使って、すごく可愛いイラストを生成しよう！

更新 : 2023/02/14

カテゴリー : AI画像生成, グラフィック

by : It is R

画像生成AIのモデルでは、basil mixを推しています。@It_is_Rです。
今回はGoogle Colab上で、basil mixを使えるようにする方法を紹介します。

basil mixについて
ColabでStable Diffusion web UIとbasil mixを使う
VAEの設定
まとめ

basil mixについて

まず、basil mixは、以下のページで配布されています。

Hugging Face [nuigurumi/basil_mix]（https://huggingface.co/nuigurumi/basil_mix）

さらに、VAEとしてvae-ft-mse-840000（https://huggingface.co/stabilityai/sd-vae-ft-mse-original）を使うことを推奨しています。

VAEはなくても動くのですが、これを使わないと色褪せたようなイラストになります。

ColabでStable Diffusion web UIとbasil mixを使う

まず、あらかじめGoogleアカウントの取得やログインを済ませておいてください。

そしてGoogle Colab（https://colab.research.google.com/?hl=ja）移動しましょう。
すると次のようが画面が開くと思うので、「ノートブックを新規作成」をクリックします。

「編集」から「ノートブックの設定」を選択します。

「ハードウェアアクセラレータ」を「GPU」に変更し、「保存」をクリックします。

次のコードを貼り付けます。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access

※追記（2023/02/11）：上記のコードを実行しようとしたところ、エラーが表示されてしまうようになりました。
これは「fastapi」のバーションを「0.90.1」にダウングレードすることで解決するようです。

~~そこで、上記のコードを実行する前に、以下のコマンドを実行してください。~~

!pip install fastapi==0.90.1

※追記（2023/02/14）：このコマンドを入力しなくても、エラーを出さずに実行できようになったことを確認しました。

下の画像のところをクリックして、実行します。

しばらく待つと、Running on public URL: xxxx.gradio.liveといったものが表示されるので、リンクをクリックしましょう。

すると次のようが画面が開きますので、Stable Diffusion checkpointがbasil mixのチェックポイントになっているかどうか確かめましょう。

VAEの設定

basil mixでは、VAEにvae-ft-mse-840000を使うことを推奨しています。

「Settings」を選択し、「Stable Diffusion」の「SD VAE」を「var-ft-mse-840000-ema-pruned.safetensors」に変更します。

そして最後に、「Apply settings」をクリックします。

これで、このように可愛いイラストを生成することができます。

（画像はSettingでClick skipを2に設定しています。この方が可愛いイラストが出やすい気がします）

まとめ

今回はColabでStable Diffusion web UIを動かし、モデルにbasil mixを使う方法を紹介しました。

basil mixは、とても可愛らしいイラストを生成することができ、私もとても気に入っているモデルのひとつです。

ぜひ、お試しください。

オススメ記事

15件のコメント「【Colab】basil mixを使って、すごく可愛いイラストを生成しよう！」

K より:

2023年3月13日 12:15 AM

生成した画像の保存先について質問したものです。
自己解決しました。
google colaboの方からファイルを開けますね。
大変失礼いたしました。まずcolaboについて勉強します。

返信
1. It is R より:
  
  2023年3月13日 8:30 AM
  
  >Kさん
  コメントありがとうございます。
  
  生成した画像ですが、確かにColabの画面からも開くことができます。
  また、「Stable Diffusion web UI」で画像を生成したとき、その画像の下にも、「Save」というボタンがあるので、そこをクリックすれば、画像をローカルに保存することもできます。
  
  ローカルに保存しておかなかった画像は、Colabから切断すると消えてしまうのでご注意ください。
  
  なにはともあれ、ぶじ解決できたようでよかったです。
  
  返信
K より:

2023年3月12日 12:30 PM

記事に記載通り操作したところ、画像が作成できました！
感動しました。ありがとうございます。
生成した画像はどちらに保存されるのでしょうか。
open images output directryのフォルダアイコンの先に通常保存されるのかと思いましたが、こちらのアイコンをクリックすると、
google Colaboratoryにて以下のエラーが出ます。
Error: no “view” mailcap rules found for type “inode/directory”
/usr/bin/xdg-open: 869: www-browser: not found
/usr/bin/xdg-open: 869: links2: not found
/usr/bin/xdg-open: 869: elinks: not found
/usr/bin/xdg-open: 869: links: not found
/usr/bin/xdg-open: 869: lynx: not found
/usr/bin/xdg-open: 869: w3m: not found
xdg-open: no method available for opening ‘outputs/txt2img-images’

返信
maru より:

2023年2月25日 12:03 AM

お世話になっています！
初期設定大変参考になりました。
ありがとうございます‍♂️

質問なのですが、現在macで画像生成しているのですが、colabの無料制限が来てしまいました。
この場合、有料プラン買うのが無難ですかね…
またその場合、proだとどれぐらい画像生成できるか分かればご教授いただきたいです。

長くなってしまいましたが、お手隙の際にご回答いただけると幸いです‍♂️

返信
1. It is R より:
  
  2023年2月25日 8:36 AM
  
  >maruさん
  こんにちは。コメントありがとうございます。
  本格的に画像生成を行いたいのでしたら、やはり有料プランを検討した方が無難だと思います。
  
  Colab Proに申し込むと、月に100コンピューティングユニットほどもらえます。
  そして、GoogleのVMに接続している間、コンピューティングユニットが少しずつ引かれていきます。
  
  これはVMに接続している間ずっと引かれてしまうので、繋いでいる間は、とにかく画像を生成しまくることになります。
  なので、コンピューティングユニットが尽きるまでは画像を生成できます。そして、あとからコンピューティングユニットを追加で購入することもできます。
  
  どのくらい画像生成ができるのかはなんとも言えないのですが、Proでコンピューティングユニットが残っているときに、制限されて動かせなくなった、ということは今までないです。
  
  私はサイト運営での記事執筆がありますので、記事を書きながら画像生成を行うことも多いです。
  節約はしているのですが、つい記事の文章を書いているときにまでVMに接続していて、画像を生成していないのにコンピューティングユニットが減ってしまう、ということもあります。
  
  そういう使い方の場合ですと、１ヶ月に100コンピューティングユニットでは足りないくらいです。
  かといって、500は使わないかなと思ったので、Pay As You Goで100コンピューティングユニットを追加しました。それで１ヶ月ぎりぎり足りたか足りなかったか、といったところです。
  
  私のこんな話が参考になればいいのですが……
  
  返信
となりのルフィ より:

2023年2月18日 10:55 PM

どうも、日本人です。
大変参考になりました。ありがとうございました(^^)/

返信
1. It is R より:
  
  2023年2月19日 3:54 AM
  
  >となりのルフィさん
  地球人です。
  コメントありがとうございます。
  
  これからも、よりよい記事が書けるよう精進してまいります。
  
  返信
panicame より:

2023年2月11日 3:43 AM

【Colab】basil mixを使って、すごく可愛いイラストを生成しよう！
の手順通りに記事中のコードを張り付けて実行したのですが、
大変うまくいき、画像生成を楽しんでおります。感謝です！

…のですが、
さっき、いつも通り、出てきたgradio.liveのリンクをクリックしたところ、
No interface is running right nowの画面が出てくるばかりです…

少なくとも2/10（金）の朝方時点まではうまくいってたのですが、
11日になって急にできなくなりました。
わたしだけできなくなったのか、みんなできなくなってるのか？？
う～ん、なにがいけないんでしょうかねえ…

返信
1. It is R より:
  
  2023年2月11日 6:42 AM
  >panicameさん
  コメントありがとうございます。
  私の記事がお役に立てていたようで、とても嬉しいです。
  
  さきほど、私の環境でも動かなくなっていることを確認しました。
  調べてみたのですが、fastapiのバーションを0.90.1にダウングレードすると動く、という情報を見つけました。
  https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/7714
  
  そこで、この記事で使ったコードの一番最初に、fastapiの0.90.1をインストールするコマンドを追加することで、私の環境では動かすことができました。
  コードは以下のようになります。
```
!pip install fastapi==0.90.1
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access
```
  うまく動くことを願っています。
  返信
  1. panicame より:
    
    2023年2月12日 3:19 AM
    
    またうまく作動しました！
    ご返信＆情報提供感謝です‍♀️
    
    返信
    1. It is R より:
      
      2023年2月14日 12:33 PM
      
      >panicameさん
      ぶじ動いたようで安心しました。
      またよろしくお願いします。
      
      返信
Elena より:

2023年2月10日 9:52 AM

こんにちは、私はインドネシアから来ました。あなたのチュートリアルはとても良いです。私はそれを実装しましたが、動作します。今回は上記の Colab のスクリプトに LoRA を追加する方法についてお聞きしたいのですが？私の質問に喜んで答えてくれることを願っています。ありがとう。

返信
1. It is R より:
  
  2023年2月12日 7:18 AM
  >Elenaさん
  こんにちは。コメントありがとうございます。
  海外の方からも見ていただけているなんて、とても嬉しいです。
  
  私も、Stable Diffusion web UI上でLoRAを試してみました。
  
  LoRAでのファイルは「models/Lora」ディレクトリに配置するのですが、初期状態ではそのディレクトリが作られていないようなので、あらかじめmkdirでそのディレクトリを作成してから、wgetでデータをダウンロードするのがいいみたいです。
```
%mkdir -p /content/stable-diffusion-webui/models/Lora/
!wget https://LoRAのファイルのリンク -O /content/stable-diffusion-webui/models/Lora/LoRAのファイル名.safetensors
```
  例えば、CIVITAIで配布されている「Dark Magician Girl LoRA」を使いたい場合は、次のようになります。
  9行目をお好みのものに変更して使ってください。
```
!pip install fastapi==0.90.1
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors

%mkdir -p /content/stable-diffusion-webui/models/Lora/
!wget https://civitai.com/api/download/models/7287 -O /content/stable-diffusion-webui/models/Lora/DarkMagicianGirlLoRA.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access
```
  これで、上の例であればDarkMagicianGirlLoRAを、Stable Diffusion web UIで読み込むことができるはずです。
  返信
  1. Elena より:
    
    2023年2月12日 6:18 PM
    
    ありがとう！ご指示通りに動作しました。
    
    これからもこのサイトにお世話になります。ところで、私はあなたのウェブサイトから多くのことを学びました。アート AI に興味があるほか、現在 3D ブレンダーなどを学んでいます。そして、私があなたのサイトでたくさん見つけた学習のすべてのニーズ。私はとても幸せです。ここで勉強を続けます。もう一度、ありがとう。
    
    返信
    1. It is R より:
      
      2023年2月14日 12:33 PM
      
      >Elenaさん
      嬉しいお言葉、ありがとうございます。とても励みになります。
      私自身、もっと努力して、よりよい記事を書いていけるようになりたいと思っています。
      
      またよろしくお願いします。
      
      返信