この記事はchichi-pui様主催のAICollectionアドベントカレンダー3月31日の記事です！ 車輪の再発明万歳！！ 皆さんは画像生成をする際にVAEを意識して使っていますか？ VAEって何？という方もいらっしゃると思いますが、 ぶっちゃけそんなことは私もほとんど知りません！！ 画像を生成する側として見れば、「生成イラストの色味を整えてくれる物」ぐらいの認識でいいと思っています。 あんまり詳しく調べてないよっていう方は、恐らくAnything-V3.0.vaeとかvae-ft-mse-840000-ema-prunedとかを使用されているんでは無いでしょうか？ 今回は主に今界隈で使われているであろう7種のVAEを比較したいと思います。 Seed値固定でVAEのみ変えて生成していますが、xformersの影響か若干差異があるのはご了承ください。 <h2 id="hd424ce2c3c">1、anything-v4.0.vae.pt</h2><a href="https://huggingface.co/andite/anything-v4.0/tree/main" target="_blank" rel="noopener noreferrer">https://huggingface.co/andite/anything-v4.0/tree/main</a> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/b01b4f939b334ea2821681f9634cfa88/9yH7OINVtx8d3JjriKJUohtS.png" alt="" width="1600" height="1280"> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/a1fad703e58e43a4bb39d312c74daa04/uwZouUOsvxHqBe8xiJzUWDPx.png" alt="" width="1920" height="1088"> 上記のイラストで使われているのはAnything-V3.0.vaeですが、中身としては同じのはずです。淡い色合いが特徴的で、上のイラストは比較的新しいモデル、下のイラストは古いモデルなのですが、見てもらえればわかるようにどちらかといえば古い時代のモデルで丁度いい色味になってくれるVAEです。 最近のモデルでは薄っすらとフィルターがかかっているような色味になりがちな印象です。 <h2 id="h370eddf628">2、autoencoder_fix_kl-f8-trinart_characters.ckpt</h2><a href="https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion/tree/main" target="_blank" rel="noopener noreferrer">https://huggingface.co/naclbit/trinart_derrida_characters_v2_stable_diffusion/tree/main</a> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/537b301482df4f0589dffbd44e4d7a68/2kWSMDv1qQZCjTzrxwKSISVA.png" alt="" width="1600" height="1280"> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/616948b118ac48f5a39dbf91b34eee03/xK2jOqxiVoKwKHXluZHNVxkE.png" alt="" width="1920" height="1088"> 結構好きなVAEです。最近のモデルで丁度良い色味になるほか、過去のモデルでも若干色味が濃い目なものの、オーバーレイかけましたって感じで好みで使えるレベルです。 <h2 id="hf6686ca635">3、kl-f8-anime.ckpt</h2><a href="https://huggingface.co/hakurei/waifu-diffusion-v1-4/tree/main/vae" target="_blank" rel="noopener noreferrer">https://huggingface.co/hakurei/waifu-diffusion-v1-4/tree/main/vae</a> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/5583f129ea38478e8de4b6ceb7597913/Otljb35aZRW02RaacRD4YpqE.png" alt="" width="1600" height="1280"> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/fb75c42485cd4aa6a03aa31eed6e1aa5/SJnK4FH7GEjw6AQr5fA9dsF0.png" alt="" width="1920" height="1088"> はっきり言って私は全く使っていないVAEです。拡張子はckptとなっていますが、VAEとして用います。見ての通りめちゃくちゃ輝度？が高くて白飛びしまくっています。ある意味個性的な絵にはなるかも・・。 <h2 id="h1d97f14760">4、kl-f8-anime2.ckpt</h2>※DLのURLは上と同じです。 <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/6dc0cf177a0145a6ae12bf098ca1f1fb/IFfuzx8B1TuI7iALpiVZTywv.png" alt="" width="1600" height="1280"> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/fa88fd1f9272455496e268074148d11f/UBIHeRwPBScXFvKWhUbaP3rQ.png" alt="" width="1920" height="1088"> 私が最近つかっているVAEです。2のautoencoder_fix_kl-f8-trinart_charactersと感想はほぼほぼ同じですね。若干こちらのほうが色味が濃すぎず丁度いいと思っています。 <h2 id="h3f451c1522">5、vae-ft-mse-840000-ema-pruned.safetensors</h2><a href="https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main" target="_blank" rel="noopener noreferrer">https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main</a> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/34b4d389edf04942a85cf92138a216cd/pJAzfENmov1Y2UlhDxt49ZPu.png" alt="" width="1600" height="1280"> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/ce6eb53fa827438dad2c814fbd96c3bb/XUs0ISNEjzK4r2GPgpF78SGr.png" alt="" width="1920" height="1088"> 新しいモデル、古いモデル共に良い感じの色味になるVAEです。 新しいモデルなら4のkl-f8-anime2、古いモデルなら1のanything系vaeとこれのどちらか好みで選べる感じですね。新旧問わず使えるという意味ではかなり汎用性が高いです。 <h2 id="he9f6eb6a74">6、mse840000_klf8anime.vae.pt</h2><a href="https://huggingface.co/sp8999/test_VAE" target="_blank" rel="noopener noreferrer">https://huggingface.co/sp8999/test_VAE</a> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/c1600a02ef4d42f1b80997b92d409001/VXQTDE2I7YTC5AQjSg9J1X6U.png" alt="" width="1600" height="1280"> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/72b1e525b305412c8a41c03d5fc08ac7/U4tbwVPT6WDdVRfEphkpT8hg.png" alt="" width="1920" height="1088"> 界隈で多くの方がお世話になっているであろうsp8999さんが制作されたマージVAEです。その名の通り、3と5のVAEをマージしています。好みで使い分けれる感じですね。 <h2 id="h87aaedcff1">7、mse840000_klf8anime_klf8anime2.vae.pt</h2>※DLのURLは上と同じです。 <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/d49cfebdc9344958a346a9f0f0a68ea8/07jcJRvrKqEujMVIn8Q4vbD2.png" alt="" width="1600" height="1280"> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/32e3050a3ff847b1803ab8ad450d6f2e/8801aGSAIO7u01DYYOsnoapD.png" alt="" width="1920" height="1088"> 同じくsp8999さんが制作されたマージVAEです。その名の通り、3と4と5のVAEをマージしています。好みで使い分けれる感じですね。 <h2 id="hf22a56e75d">わかりやすく？比較する</h2>左から順番に1～7です。全体で比較すると絵が小さくなってイマイチわからない気がしているのでアップで比較。 <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/f4b1a44b09c04b62b56eb68e69108c7c/qxaRnnyJDEkQazKFUHrBVMLB.png" alt="" width="1680" height="882"> <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/b03e2b67f4e744e1a0a2f4c61e713ee6/qpMdYRyIO8DhEIOGi0UH73qg.png" alt="" width="1680" height="882"> 個人的に新しめのモデルは1・3以外、古いモデルは3以外からあとは好みで選べる範囲かなと思いましたね。 個人的にここで言いたいことのひとつとして、 明確に「モデルとVAEには相性がある」ということです。 ずっと同じモデルを使っていて、心機一転で久しぶりに新しいモデルを使おうと思った際に、このモデル色味が微妙だなぁと感じたら、適切なVAEを使用しているかはチェックしたほうが良いです。（大抵は配布ページに推奨VAEが記載されています） <h2 id="hd856c9ae94">VAEの簡単な変更方法</h2>見て頂いた通り、VAEはモデル、もっと言えば作りたいイラストの雰囲気に合わせて使い分けるのも大変賢い手法だと思います。 ですが、VAEってモデルと紐づいてるから毎回ファイルリネームするとかやってられないよ！という方もいらっしゃると思います。 正直もはや常識のひとつな気もしますが、VAEは設定を少しいじるだけでモデルのように簡単に変更可能になります！ <img src="https://images.microcms-assets.io/assets/63d008609a3f445d89e22776ceb66f6f/abb1294d39de4b77a4c94864d6e9dc78/bPPQAUB7Add5KsY6QFVBm3nZ.png" alt="" width="343" height="266"> 詳しい設定方法はsp8999さんの記事を見てね！（丸投げ ※他にも様々な知見をまとめてくださっています。知らない方はぜひチェック！ <a href="https://sp8999.com/stable-diffusion/2023/01/16/160/#toc8" target="_blank" rel="noopener noreferrer">https://sp8999.com/stable-diffusion/2023/01/16/160/#toc8</a> <h2 id="hca0ed077a8">VAEのマージについて</h2>上のVAEまとめでsp8999さんがVAEをマージして作成された～とさらっと言いましたが、VAEってマージ出来るものなの！？っと思った方もいらっしゃるかと思います。 実は出来る上にモデルのマージとほぼ同じでめちゃくちゃ簡単です。 それに関してはまゆひらさんが下記記事でまとめてくださっています（丸投げ <a href="https://note.com/mayu_hiraizumi/n/n136bd7b3a156" target="_blank" rel="noopener noreferrer">https://note.com/mayu_hiraizumi/n/n136bd7b3a156</a> <h2 id="haea33209e6">VAEの色味を変える</h2>さらにもっと言えば、モデルマージ無しでVAEの色味を調整できるものもあるようです。こちらに関しては導入しようとして私レベルの素人ではよくわからなかったため、手法については解説できませんが、興味がある方はぜひチェックしてみてください！（もはやただの宣伝 <a href="https://github.com/sALTaccount/VAE-BlessUp" target="_blank" rel="noopener noreferrer">https://github.com/sALTaccount/VAE-BlessUp</a> ということでVAEの比較とVAEに関して私が知っていることまとめでした！ ぶっちゃけると結構な方にはこんなの常識だよ～って内容だったかとは思いますが、 この界隈は情報の流れがとても早く、少し気を抜くと自分の知らない知識が界隈の常識になっていて、誰もそれらに関して解説していないというのが個人的なあるあるなので、改めて紹介させて頂きました。 宣伝 <a href="https://cl.chichi-pui.com/" target="_blank" rel="noopener noreferrer">https://cl.chichi-pui.com/</a> AIイラスト専門の展示即売会があります！と言ってもこれを見ていらっしゃる方は当然ご存じでしょう（ 私は行こうかな6割、行かないかな4割って感じの気持ちですｗ 普通にプチ旅行になる距離あるのと年度始めで忙しそうなんですよねぇ・・。 まぁ仮に行ったとしても正体は伏せてひっそりと楽しむつもりですｗ ではでは、また次の記事でお会いしましょうー！

テーマ

テクニック

3/31（金）　ユーニャルーラさんの記事です。

今更ながらVAEを比較してみた

AIイラストの作成をしています。※一部加筆あり
オリジナルキャラのイラストを作ったり、世界観やキャラ設定などを考えるのが好きです！ 
サラトバ世界観考案
投稿イラストは全てAIによって作成されたものです。 
The illustrations I'm posting are created with AI.

AIイラストで使う呪文をまとめたサイト

ユーニャルーラの記事

今更ながらVAEを比較してみた