LoRA「Low-Rank Adaptation」

Japanese Doll Likeness – Stable Diffusion LoRA Google Colab Setup

AUTOMATIC1111がつくってる Stable Diffusion web UI で使えます。

“Japanese Doll Likenessでは、txt2imgの場合、この値を0.4〜0.8にすることを推奨しています。img2imgの場合は0.3〜0.7です。 つまり、

lora:japaneseDollLikeness_v10:1

では効き過ぎになってしまいます。”

https://huggingface.co/AnonPerson/ChilloutMix/blob/main/Japanese-doll-likeness.safetensors

Korean-doll-likeness

taiwan-doll-likeness

russian doll likeness

lora:japaneseDollLikeness_v10:0.3 
lora:koreanDollLikeness_v10:0.3
lora:taiwanDollLikeness_v10:0.3
lora:russianDollLikeness_v10:0.1

って具合に、ぜんぶ0.3ずつまぜておけばいい。ベストかどうかはわからないが、欲張りセットだ!

すごく参考になる記事

足、手、目、口、などの部位別のLORAもある。
面白いLora

他にLORAの話


Korean Doll Likeness / Japanese Doll Likeness/ Taiwanese Doll Likeness

!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

!wget https://civitai.com/api/download/models/11745 -O /content/stable-diffusion-webui/models/Stable-diffusion/Chilloutmix-Ni-pruned-fp32-fix.safetensors

%mkdir -p /content/stable-diffusion-webui/models/Lora/
!wget https://civitai.com/api/download/models/12050 -O /content/stable-diffusion-webui/models/Lora/japaneseDollLikeness_v10.safetensors

!python launch.py --share --xformers --enable-insecure-extension-access

stable-diffusion-webui
|-- models
|   |-- Stable-diffusion
|   |   -- chilloutmix_NiPrunedFp32Fix.safetensors
|   |-- Lora
|   |   -- japaneseDollLikeness_v10.safetensors
|   -- ~省略~
-- ~省略~

参考記事

LoRAを自分で作る方法

「Low-Rank Adaptation」
学習結果のモデルファイルは極めて軽量
他の手法よりもずっと短時間で学習させることができる
比較的低スペックなPCでも学習処理を行うことが可能

教師データ:15枚
使用モデル:Stable Diffusion v1.5
エポック数:10

DreamBooth方式:
教師データと正則化画像を使って学習させるやり方
最低20枚以上必要になります。教師データです。下記の要件を満たした画像が最低20枚以上必要

学習させたい被写体が単体で映っている
画像ごとに色々なポーズをとっている
画像ごとに色々な背景が映っている

ファインチューン方式:
教師データとキャプションファイルを使って学習させるやり方