【SDXL】エロゲCGの生成AIを作る (44ﾚｽ)
上下前次1-新
1: 名無したちの午後 [] 09/15(月)15:13 ID:L7zCXc5C0(1/6)
WAI-NSFW-illustrious-SDXLをベースに、エロゲCG特化のSDXLモデルを作成中
学習方法は、100万枚くらいのエロゲCGにタグ＋キャプションを付与し、SDXLのUNetを対象にフル微調整で学習させている
WAIやIllustrious系はDanbooru由来の学習が多いと思われるけど、DanbooruにもエロゲCGはある程度入ってるのでそれっぽい出力はできる
ただし完全に学習しきれてはいない感じで、特にエロシーンはパターンが少なく弱い印象
そこで今回のモデルでは、その辺を強化するのが目的
以下は同じプロンプトを使って生成した比較
自作モデルはまだ学習途中で、step 3000時点のチェックポイントから生成したもの
prompt:1girl, breasts, nipples, long hair, large breasts, blush, 1boy, questionable, nude, smile, purple eyes, black hair, hairband, hair ribbon, ribbon, hetero, faceless, breast hold
WAI:
https://i.imgur.com/x4FxLfP.png
自作モデル:
https://i.imgur.com/3sZS09p.png
25: ◆jfUvP.sgqw [] 09/20(土)18:34 ID:xN9M7nIJ0(2/3)
教えてくれてありがとう
LoRAは数百〜数千枚の画像だけで作れるから、あまりハードルが高くないよね
例えばこういうIllustriousの学習方法を解説した論文とかがあると参考になると思うけど
https://arxiv.org/html/2409.19946v1
26: ◆jfUvP.sgqw [] 09/20(土)19:13 ID:xN9M7nIJ0(3/3)
Illustriousはtext encoderも更新対象にしてるけど、こっちはUNetだけ更新してる
そのせいで学習データに新しい絵師の名前が出てきても、うまく学習進まない可能性はあるかもな
ただフル更新だとVRAMが足りなさそうなので
Unetがフルで、text encoderだけLoRAで更新したほうがいいかもしれない
27: ◆jfUvP.sgqw [] 09/21(日)12:11 ID:1aH8WKiE0(1/3)
以下のwikiは参考になった
https://seesaawiki.jp/nai_ch/d/illustrious_xl_01tips
28: ◆jfUvP.sgqw [] 09/21(日)12:35 ID:1aH8WKiE0(2/3)
年代タグの決め方について
wikiでは
oldest(~2017年)、old(~2019年)、modern(~2020年)、recent(~2022年)、newest(~2023年)
と決めているが
エロゲCGの場合は2017年と今とでは絵柄はそれほど変わっていないので当てはまらない気がする
以下のようにするのはどうかな
oldest(~2000年・必要ないので学習データに入れない)
old(~2010年)
modern(~2015年)
resent(2015年~)
29: 名無したちの午後 [sage] 09/21(日)12:58 ID:48ePo3sX0(1)
wikiのは多分danbooruのタグの説明に書いてるやつの転記やと思うで
自分で学習させるときは自分の基準でいいと思うよ
30: ◆jfUvP.sgqw [] 09/21(日)13:18 ID:1aH8WKiE0(3/3)
そうだね
必要な事前調査を怠ると、また無駄に費用をかけてしまうことになるから、そこはできるだけ避けたい
今回の学習用プロンプトの形式は以下のようにしようと思っている：
キャラクター名, アーティスト, レーティング, 一般タグ, 年代
ただ、エロゲのキャラクターは自動タグツールでは検出されず、類似キャラ名に置き換わってしまう問題がある
例えば緑髪のツインテールキャラだと、初音ミクとして学習されてしまうと思う
31: ◆jfUvP.sgqw [] 09/22(月)18:25 ID:e6b9QPCG0(1)
camieは対応しているタグ数が多いけど精度はwdより低いので、
両方を回して結果を組み合わせることにした
general：wd
rating：wd
meta：camie
year：camie
character：camie
artist：camie
copyright：camie
32: ◆jfUvP.sgqw [] 09/23(火)16:53 ID:cvHgbi/i0(1/4)
132万枚の画像のタグ付けとVAEによるlatentへの変換処理が一通り終わった
データセットをHuggingfaceへアップロードし終わったら
さっそく3回目のチャレンジへ移行しようと思う
33: ◆jfUvP.sgqw [] 09/23(火)17:12 ID:cvHgbi/i0(2/4)
このスレを立てる前にも、SD1.5で学習したことが何度かあったので
正確には3回目ではないけどね
34: ◆jfUvP.sgqw [] 09/23(火)21:46 ID:cvHgbi/i0(3/4)
ローカルPCでGPU使う作業が終わったので、また鯖として画像生成アプリ起動した
前回からの更新点：
・discribe image(img2text)機能を強化
wdの出力だけじゃなくcamieの出力も追加
→ 画像から絵師やキャラ情報も抜けるようになった
試しにゆずソフトのキャラの画像をアップしてみたが無事検出できた
https://i.imgur.com/KdyVo2T.jpeg
https://i.imgur.com/PYtoxly.png
試したい人はどうぞ
https://aiart.lovedeep.org/
画像生成する際はdanbooru用語検索機能とトークン計算機能を活用することをおすすめする
35: ◆jfUvP.sgqw [] 09/23(火)22:48 ID:cvHgbi/i0(4/4)
学習の進捗は以下から参照できる
http://s1.lovedeep.org/resource/preview/viewer.html
36: ◆jfUvP.sgqw [] 09/27(土)20:32 ID:khpk2Pap0(1/2)
ようやく正しい学習方法が掴めてきた気がする
https://i.imgur.com/cDk1qCN.jpeg
https://i.imgur.com/umXp7hO.png
37: ◆jfUvP.sgqw [] 09/27(土)20:45 ID:khpk2Pap0(2/2)
今回の学習はわりと順調に進んでいるので、そろそろモデルに名前を付けようと思う
無難にいくなら「VNCG-illustrious-SDXL」あたりかなと思うけど、ちょっとひねりが足りない気もする
38: ◆jfUvP.sgqw [] 09/28(日)11:13 ID:a3TMVfd00(1/2)
WebアプリにNoobAI-XL-vpred10を追加した
ゆくゆくはvpredモデルも作りたいのでこちらをベースにしようと思う
39: ◆jfUvP.sgqw [] 09/28(日)22:55 ID:a3TMVfd00(2/2)
muririnの絵すこ
手の部分はまだ不自然だけど
https://i.imgur.com/dtRJqrl.png
https://i.imgur.com/ZSXw3Xm.png
40: 名無したちの午後 [] 09/29(月)10:55 ID:8n7Vs3Ue0(1)
無知で申し訳ないんですけど、これ好きな絵師のイラストだけを学習させることができるの？
もう描いてくれなくなった絵師のエロゲCGが見たいわ
41: ◆jfUvP.sgqw [] 09/29(月)12:50 ID:EHZRKzHb0(1)
特定のキャラや絵師みたいに限定的な画像を出したいなら、いわゆるLoRAって手法が一番向いてると思う
仕組みとしては、ニューラルネットワークの一部の層の重みだけを更新するやり方で、フル微調整よりも逆伝播で保存する勾配が少なくて済むから、必要なVRAMもだいぶ軽くなる
ただ、LoRAは元のベースモデルに強く依存するので、ベースが不得意な構図や塗りは改善できないかもしれない
42: ◆jfUvP.sgqw [] 09/29(月)20:23 ID:nbr796qI0(1/2)
stripeの審査が通った
適当にホームページを作って上のwebアプリのリンクを載せるとなぜかいけた
ビジネスプランがなくても通るものなのかな
本気で起業を考えたくなってきた
43: ◆jfUvP.sgqw [] 09/29(月)21:25 ID:nbr796qI0(2/2)
画像生成AIモデルを作れば、いくらでも素晴らしい画像は量産できるから、
少なくとも自分の成果物を飾るのに困ることはなくなりそうだね
https://i.imgur.com/edi3PoR.png
https://i.imgur.com/w7Cc9hD.png
44: ◆jfUvP.sgqw [] 09/30(火)21:17 ID:6rStPLfB0(1)
ChatGPTにモデルの名前を考えてもらったんだけど
いくつかの候補のうち
Yūnagi-SDXLは一番いいと思う
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.101s