そして3つめはModelの選択です。StableDiffusionWebUIにはたくさんのModelが配布されていて、
無料で素晴らしいモデルがダウンロードできます。
有名な配布サイトと言えば
https://huggingface.co/
https://civitai.com/
civitai がいちばん見やすいし、作成例も見れるし、プロンプトも見れるのでよい。
学習モデルファイル
モデルはファイル
.safetensors
.ckpt
ファイル形式はckptよりsafetensorsの方が軽量
.vaeは.vae.ptというファイルもダウンロードが必要
VAEを使わないと、色が抜けたような彩度の低い淡くてボヤッとした画像を生成しちゃう
stable-diffusion-webui/models/Stable-diffusion
に入れておけば自動で読み込んでくれます。
5GB くらい
float16で保存しておくと良い
実写よりモデル
画像生成に使っているmodelです。
museV1_v1
lofi_V1Fp16
colorful_v13
chilled_re-generic_V2 Recipe
Basil_mix_fixed
Basil mix
!wget --header={user_header} https://huggingface.co/nuigurumi/basil_mix/resolve/main/Basil_mix_fixed.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/Basil_mix_fixed.safetensors
Basil_mixでは、この↓VAEを使ってくれ。というふうに注文がある。
Recommendations
VAE: vae-ft-mse-840000 from StabilityAI
プロンプトは極力シンプルにしてくれと注文がある。説明をよく読む
Prompting: Simple prompts are better. Large amounts of quality tags and negative prompts can have negative effects.
user_header = f"\"Authorization: Bearer {user_token}\""
!wget --header={user_header} https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors
chilloutmix_NiPrunedFp32Fix
Chillout Versions
Chilloutmix-Ni-pruned-fp32-fix
Chilloutmix-Ni-pruned-fp16-fix
Chilloutmix-Ni-pruned-fp 32
Chilloutmix-Ni-pruned-fp 16
Chilloutmix-Ni
Chilloutmix
自分で合体させて、新たなモデルをつくることができる。フュージョンか。
0.6(basil mix) + 0.4(0.6(museV1_v1) + 0.4(0.5(lofi_V1Fp16) + 0.5(colorful_v13)))
など配分を決める