1. HOME»
  2. AI»
  3. AI画像生成»
  4. MUSE_v1の使い方。Google Colabにも対応!(Stable Diffusion)

MUSE_v1の使い方。Google Colabにも対応!(Stable Diffusion)

今回は、MUSE_v1の使い方を紹介します。
Google Colabで動かすためのソースコードも載せていますので、ぜひご覧ください。

目次
  1. MUSE_v1について
  2. MUSE_v1のインストールする方法について
  3. MUSE_v1を「Stable Diffusion web UI」で使う方法
  4. MUSE_v1と合わせて使いたいLoRA
  5. 「MUSE_v1」で生成したイラスト
  6. まとめ

MUSE_v1について

MUSE_v1は、実写風のアジア人女性のイラストを生成するのが得意なモデルです。
こちらは、MUSE_v1を使って生成したイラストです。

CIVITAI[MUSE_v1]:https://civitai.com/models/13564/musev1

また、MUSE_v1と相性のいいLoRAも作られており、今回、こちらのLoRAについても紹介していきます。

LoRAについて、よく分からない場合は、こちらの記事をご覧ください。

MUSE_v1のインストールする方法について

今回、「Stable Diffusion web UI」を使って、その上でMUSE_v1を使い、AIによる画像生成を行おうと思います。

「Stable Diffusion web UI」を使うには、大きく分けてふたつの方法があります。
ローカルのPCやMacで動かす方法と、Google Colabなどの実行環境で動かす方法です。

ただ、ローカルで動かす場合、GPUが必要だったり(CPUでも動くけれども、あまりに遅すぎて使えない)と、それなりの性能のPCが必要になり、個人で持つのはなかなか難しい値段になってしまいます。

そこで、このサイトでは「Google Colab」を使って、「Stable Diffusion web UI」を動かす方法をおすすめしています。

MUSE_v1を「Stable Diffusion web UI」で使う方法

では、MUSE_v1を「Stable Diffusion web UI」で使っていきましょう。

CIVITAI[MUSE_v1]:https://civitai.com/models/13564/musev1

MUSE_v1では、上のサイトからダウンロードしたファイルを、models→Stable-diffusionフォルダに配置します。
まず、もし「Google Colab」を使わないのであれば、手作業でファイルを配置してください。

stable-diffusion-webui/
|-- models/
|   |-- Stable-diffusion/
|   |   `-- museV1_v1.safetensors
|   `-- ~省略~/
`-- ~省略~/

VAEについては、CIVITAIのMUSE_v1のページでは触れられていませんでしたので、なにも使わずに試してみたところ、ちゃんと綺麗な画像が生成されました。

Stable Diffusion web UIをローカルで動かすための詳しい方法は、次の記事を参考にしてください。

また、もし「Google Colab」を使う場合は、以下のコードを貼り付けてください。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://civitai.com/api/download/models/15980 -O /content/stable-diffusion-webui/models/Stable-diffusion/museV1_v1.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access

(※2023/06/26 コードを更新しました)

このとき、「ハードウェア アクセラレータ」を「GPU」に設定する必要があります。
設定するには、まず「編集」の「ノートブックの設定」をクリックします。
(画像には、後ほど紹介するLoRAをインストールするためのコードも含まれていますが、今は気にしないでください)

「ハードウェア アクセラレータ」を「GPU」にして「保存をクリックします。

あとは実行しましょう。

しばらく待つとRunning on public URL: xxxx.gradio.liveというリンクが表示されますので、それをクリックすると、「Stable Diffusion web UI」の画面が開きます。

実際に使ってみると、このようになります。

MUSE_v1と合わせて使いたいLoRA

CIVITAIのMUSE_v1ページでは、おすすめのLoRAが紹介されています。
同じ方が作っているので、おそらく相性もいいのだと思います。

これら3つのファイルは、Loraフォルダの中に配置します。
もし「Google Colab」を使わないのであれば、手作業でファイルを配置してください。

stable-diffusion-webui/
|-- models/
|   |-- Stable-diffusion/
|   |   `-- museV1_v1.safetensors
|   |-- Lora/
|   |   |-- museFullbodyV1_v1.safetensors
|   |   |-- museGirlfriendV2_v2.safetensors
|   |   `-- museNaturalfaceV1_v1.safetensors
|   `-- ~省略~/
`-- ~省略~/

もし「Google Colab」を使う場合は、以下のようにコードを追加して、もう一度実行しなおしてください。

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://civitai.com/api/download/models/15980 -O /content/stable-diffusion-webui/models/Stable-diffusion/museV1_v1.safetensors
%mkdir -p /content/stable-diffusion-webui/models/Lora/
!wget https://civitai.com/api/download/models/15989 -O /content/stable-diffusion-webui/models/Lora/museGirlfriendV2_v2.safetensors
!wget https://civitai.com/api/download/models/15994 -O /content/stable-diffusion-webui/models/Lora/museNaturalfaceV1_v1.safetensors
!wget https://civitai.com/api/download/models/16014 -O /content/stable-diffusion-webui/models/Lora/museFullbodyV1_v1.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access

(※2023/06/26 コードを更新しました)

Generateの下にあるボタンをクリックし、「Lora」を選択すると、インストールしたLoraが表示されているはずです。
(もし表示されていない場合は、「Refresh」をクリックしてください)

雰囲気の違いですが、それぞれのLoRAを使うことで、だいたいこのように変わります。

LoRAの詳しい使い方については、こちらの記事をご覧ください。

「MUSE_v1」で生成したイラスト

「MUSE_v1」で生成したイラストを紹介します。

プロンプト

best quality, ultra high res, (photorealistic), masterpiece, head portrait, realistic, 1girl, eyes, loli, lots of frills, black long dress, (starry sky:1.6), black hair blowing in the wind, trees, bloom light effect

ネガティブプロンプト

(worst quality, low quality, normal quality, trembling:2)
  • Steps: 20
  • Sampler: Euler a
  • CFG scale: 7
  • Seed: 1340518807
  • Size: 1200×632
  • Model: museV1_v1
  • Clip skip: 2

まとめ

今回はMUSE_v1の使い方について紹介しました。

とても可愛らしいイラストを生成でき、いくつかのLoRAも公開されているので、使っていて楽しいモデルです。

12件のコメント 「MUSE_v1の使い方。Google Colabにも対応!(Stable Diffusion)」

  1. 最近15分待っても使えなくなってしまったのですが、コードの変更、または何か変更などありましたでしょうか?
    エラーが出るというよりはruntimeが長すぎて止まる感じなのですが

    すみませんもしご助言いただければ幸いです。

    1. >shibuyaさん
      コメントありがとうございます。

      最初の方のコードは、問題ないように思います。
      ただ、LoRAを使う方のコードで、1行目を入れ忘れてしまっていました。
      そのままコピーしたものだと、エラーになってしまったと思います。申し訳ございません。記事は修正しました。

      しかし今回、エラーは出ていないようなので、他の原因があるのかもしれません。

      可能性のひとつとして、このごろ、Colab上でStable Diffusion Web UIの利用を制限する動きがあり、Colabの規約も更新されつつあるようでです。

      ただ、どこまでが制限の対象となるのか、しばらく様子を見る必要があるようにも思います。
      (有料版のColabならば制限されないという話もあります)

      まだこのさきどうなっていくのか分からないので、助言というほどの助言もできず申し訳ないのですが、またよろしくお願いします。

  2. いつも大変お世話になっております。
    プログラミングが全く分からない私もIt is R様のブログのおかげでAI画像の生成が出来ています。
    本当にありがとうございます!!!

    現在、ControlNetを入れたいと考え、以下のURLと本ブログのを切り貼りして試しているのですが上手くいきません。

    https://original-game.com/how-to-use-controlnet-with-stable-diffusion-webui/

    何かご助言などいただけましたら、大変助かります…

    1. >hsさん
      コメントありがとうございます。

      MUSE_v1とControlNetを使いたい、ということでしょうか。
      それでしたら、下のコードを、試してみてください。

      !git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
      
      !wget https://civitai.com/api/download/models/15980 -O /content/stable-diffusion-webui/models/Stable-diffusion/museV1_v1.safetensors
      
      %cd /content/stable-diffusion-webui/extensions/
      !git clone https://github.com/Mikubill/sd-webui-controlnet
      !wget https://huggingface.co/webui/ControlNet-modules-safetensors/resolve/main/control_openpose-fp16.safetensors -O /content/stable-diffusion-webui/extensions/sd-webui-controlnet/models/control_openpose-fp16.safetensors
      
      %cd /content/stable-diffusion-webui
      
      !python launch.py --share --xformers --enable-insecure-extension-access

      また、Stable Diffusion web UI上では、「Restore faces」にチェックを入れ、「Hires. fix」で少し画像サイズを大きくすると、いい感じのイラストになる気がします。

      参考になれば幸いです。

  3. 質問させてください。
    起動までは問題なく、生成の際にプロンプトなどを入れて1〜2回生成すると
    フリーズでしょうか?途中まで%が進み画像がぼんやりと作られているのですが
    最後100%位でなかったことになります。
    プログラムの方を見ると▲のボタンはくるくる回っているのですが

    100% 30/30 [00:36<00:00, 1.20s/it]
    Total progress: 100% 90/90 [01:52<00:00, 1.25s/it]

    ここで止まっている様に見えます。
    こうなるとGenerateを押しても無反応になるのですが、何が原因なのかわかりません。
    アドバイスを頂けたら幸いです。
    (画像サイズを大きくするとだめとかあるのでしょうか…)

    1. >AISさん
      コメントありがとうございます。
      私もGoogle Colabの環境で、大きなサイズ(1200×1200)の画像の生成を試してみたところ、AISさんと同じようにフリーズして、Generateを押すことができなくなりました。

      やはり画像サイズが大きいほど、こういったエラーが出やすくなります。
      AIによる画像生成は、画像サイズが大きくなると、どんどん重たくなってしまうので、ある程度小さなサイズで作る必要があると思います。

  4. ありがとうございます
    (以前のブログで質問させていただいたものですがこちらが回答なのでこちらにコメントしました)

    プロンプトも載せていただきありがとうございます!
    無事に使えました。
    正直クオリティが、みなさんのものと恐ろしくかけ離れているので、
    みなさんがどうやってプロンプトを洗練させていっているのか、
    ぜひ過程を解説するブログも書いていただけたら嬉しいです!

    1. >shibuyaさん
      こんにちは。こちらこそ、私の記事をご覧いただき、ありがとうございます。

      綺麗な画像を生成できるプロンプトを考えるのは、なかなかむずかしいです。
      ただ、慣れてくると、綺麗な画像を生成できるプロンプトが分かってきます。

      とにかく、まずはいろんなプロンプト試してみて、綺麗な画像を生成できたら、そのプロンプトをメモしておきましょう。
      そしてそのプロンプトにワードを、付け足したり、消したりして、もっといい画像が生成されるように試します。

      綺麗な画像を生成している人が、どんなワードを使っているのかを調べて、自分のプロンプトにも取り込んでみて、もしもっといい画像が生成できたら、それをメモします。

      そうやって、順番にいい画像を生成できる、独自のプロンプトを作っていきます。

      記事にするかどうかは検討させていただきたいと思います。
      参考になれば幸いです。

    1. >nesuさん
      コメントありがとうございます。
      まず、wgetはサーバからファイルをダウンロードするためのコマンドです。
      Colabでは、最初に!をつけて実行します。

      今回であれば、「!wget (テキスト1) -O (テキスト2)」という形で使っています。

      (テキスト1)にはCIVITAIで配布されているLoRAのファイルまでのパスを入力します。
      これは、CIVITAIで使いたいLoRAのページに移動し、ダウンロードボタンを右クリックして、「リンクのアドレスをコピー」(ブラウザによって表現は若干異なります)を選択することで、そのパスをコピーすることができます。

      (テキスト2)には、ダウンロードしたファイルを保存する場所を指定します。
      今回はLoRAのファイルですので、保存先である「/content/stable-diffusion-webui/models/Lora/」の後ろに、そのファイルを保存したときの名前を追加します。
      私は、実際にファイルをダウンロードしてみて、そのファイル名をそのまま後ろに追加しています。

      参考になれば幸いです。

  5. プログラミングド素人で初AI生成チャレンジしたく、記事読ませていただきましたが
    めちゃくちゃ分かりやすくGoogle Colab用のコードまで記載いただけて毎度感謝です、!

    (ちなみにjapanesedollはサイトでもう配信停止されているのでしょうか?
    その場合はGoogle Colabでダウンロードコード記載して使うことはできない ということでしょうか

    1. >karakaraさん
      コメントありがとうございます。
      私の記事を読んでいただけて嬉しく思います。

      残念ながら「Japanese Doll Likeness」は配信停止されてしまったので、公式のものをダウンロードして使うことはできないです。
      もし、公開されていた時にダウンロードしておいたものが手元に残っているのでしたら、それをGoogleドライブからコピーしてColabで使う、という方法はあります。

It is R へ返信する コメントをキャンセル

メールアドレスが公開されることはありません。 が付いている欄は必須項目です




オリジナルゲーム.com