iamhixitele

字数：770 字

随着ai绘画的兴起和进化，使用lora模型绘制定制类别的图形愈发简单，但在绘画的创新性上仍有不足，本帖主要从研究的角度探讨一个或多个2d动漫lora如何强行使用在3d人物创作上，以最极端猎奇向的飞机杯和脑交lora为例。
目前能找到的猎奇向lora一般来自于国外动漫绘画网站，如p站。这类lora往往是使用2d动漫图片累积学习生成的，因此当他们适用于2d动漫创作时，效果最好，甚至可以多个lora模型混合使用，各司其职。如下图

[ 本帖最后由 内力煮火锅 于 2023-4-22 13:41(GMT+8) 编辑 ]

附件: 您所在的用户组无法下载或查看附件

本帖最近评分记录

• 内力煮火锅 金币 +40 感谢分享，论坛有您更精彩！1-5楼+7楼的 ... 2023-4-22 13:47

iamhixitele

这些都是我混合了3个lora模型创作的2d猎奇漫画，可以看到，画面清晰，人物面部表情和津液匹配，特别是翻白眼的效果在只迭代了20次左右就基本完美
但当把这类lora模型作用到2.5d仿照片真人猎奇图片上时效果就大打折扣了，如下图。

[ 本帖最后由 iamhixitele 于 2023-4-21 23:18(GMT+8) 编辑 ]

附件: 您所在的用户组无法下载或查看附件

iamhixitele

可以看到，lora模型出现了冲突，裸露的大脑经常被画成白色绒毛帽，面部津液也凭空出现，ai不能理解断肢部位，干脆把整个头放在白色盘子上，又或者出现了人头型笔筒一类让人哭笑不得的构图。
由于这类lora模型的训练很少使用真人图片，如何强行使用漫画图片训练的lora模型完美生成真人图片就是一个很有意思的研究点。
首先，我认为要让ai最终产成图必须限定为真人图片，需要tag和大模型的配合，tag可以选择对Realistic，photograph等加强权重，大模型尽量选择真人图炼制，如basil mix，chillmix等，同时配合低权重的真人lora，保证出图风格。

[ 本帖最后由 iamhixitele 于 2023-4-21 23:33(GMT+8) 编辑 ]

附件: 您所在的用户组无法下载或查看附件

iamhixitele

其次，尽量提高重点lora权重，当有多个lora配合使用时彼此冲突的常态，可以在1.1-1.8的权重内逐级调整，配合高关键词控制（10以上），保证出图主题是自己想要的。

附件: 您所在的用户组无法下载或查看附件

iamhixitele

最后，可以关闭高清迭代，多使用小步数迭代，短时间内找到稳定的输出点，100次文生图里总有想要的风格和画面，有了大致图片后再用图生图固定优化，提高效率，更多创新。

附件: 您所在的用户组无法下载或查看附件

小马大车

脑交有点重口了，人体飞机杯还是很刺激的，不过老哥你的画有点粗糙的感觉啊，不太细腻

iamhixitele

我本地显卡不是很好，生成大分辨率文生图比较慢，使用多个lora模型时本身也容易失败，这些都是初级产品，迭代步数30以内，主要探讨一下理论。
其实正常的lora模型，出图质量还是很高的

[ 本帖最后由 iamhixitele 于 2023-4-22 07:12(GMT+8) 编辑 ]

附件: 您所在的用户组无法下载或查看附件

doggybread

楼主专业！点赞学习了
对于小步高频次迭代，获得满意初图之后再配合图生图得到高清图的方法，对提高效率的确很有帮助。受教了
除了发的图有点恐怖，一切都很好~哈~

iamhixitele

题外话，这里有人研究m2m吗？色图哪有视频好撸？

[ 本帖最后由 iamhixitele 于 2023-4-22 07:58(GMT+8) 编辑 ]

附件: 您所在的用户组无法下载或查看附件