AI漫剧里最头疼的问题之一:角色一致性

你肯定也遇到过这种情况:第一集女主是这个模样,第二集突然换了一张脸,到了第五集连发型都变了。观众一看就出戏,再好的剧情也救不回来。

这个问题在AI漫剧制作里太常见了,几乎每个新手都会踩这个坑。但说实话,现在已经有比较成熟的解决方案了,核心就是LoRA训练 + IPAdapter

为什么AI生成的人物会”变脸”?

先搞清楚原理,才能对症下药。

像Midjourney、Stable Diffusion这类工具,每次生成图片都是重新”画”一张,它不会自动记住你上一集的人物长什么样。除非你在提示词里非常精确地描述,或者用了某种”固定身份”的技术。

这就像你每次找不同的画家画同一个人,如果没有参考图,画出来肯定不一样。

解决方案一:LoRA训练(最常用)

LoRA(Low-Rank Adaptation)说白了就是给AI模型”打补丁”,让它学会画特定的人物/风格。

训练LoRA需要准备什么:

  1. 人物参考图:至少15-20张,越多越好。要求:
    • 不同角度(正面、侧面、45度角)
    • 不同表情(微笑、生气、惊讶、哭泣)
    • 不同场景(室内、室外、白天、夜晚)
    • 画质要清晰,不要用模糊的截图
  2. 标注文件:每张图要写对应的提示词,告诉AI”这张图里人物是什么状态”
  3. 训练参数:学习率、训练步数、分辨率这些,新手建议直接用别人调好的参数

训练流程(以Kohya_ss为例):

  1. 把参考图放到指定文件夹,按规范命名
  2. 用BLIP或WD14打标器自动生成初始提示词
  3. 人工核对提示词,把人物特征相关的词标注清楚(比如”black hair, blue eyes, school uniform”)
  4. 设置训练参数:
    • 学习率:1e-4 到 2e-4 之间
    • 训练步数:每张图训练50-100步(20张图就是1000-2000步)
    • batch size:根据显卡显存定,8G显存建议设2
  5. 开始训练,等它跑完(3060显卡大概1-2小时)
  6. 测试生成的LoRA效果,如果不满意就调整参数重训

实战经验:

  • 训练数据里要有”变化”,不能20张图都是同一个角度同一个表情,不然LoRA会”过拟合”,生成出来的人物动作都一模一样
  • 如果人物有标志性服饰(比如特定的校服、发饰),这些图要多放几张
  • 训练完成后,用”触发词”来调用LoRA,比如你训练时设的触发词是”girl_a”,生成时提示词里就要加上这个

解决方案二:IPAdapter(不用训练,快速方案)

如果你不想花时间训练LoRA,或者只是做个小项目试水,IPAdapter是个不错的选择。

原理: IPAdapter相当于给Stable Diffusion加了一个”参考图”功能,你丢一张人物参考图进去,它就能照着这个样子生成相似的人物。

使用方法(ComfyUI):

  1. 安装ComfyUI的IPAdapter插件
  2. 准备一张人物参考图(正面全身最好)
  3. 搭建工作流:
    • 加载参考图 → IPAdapter编码器 → 应用IPAdapter到模型
    • 再加上你原来的文生图流程
  4. 调整”权重”参数:权重越高,生成的人物越像参考图;权重太低,就只剩个大概轮廓

IPAdapter的优缺点:

优点 缺点
不用训练,即插即用 一致性不如LoRA稳定
可以随时换参考图 对动作、角度的变化支持有限
适合快速出Demo 商业项目还是建议用LoRA

解决方案三:Midjourney的Character Reference(不会部署SD的选这个)

如果你用的是Midjourney而不是Stable Diffusion,可以用它的–cref参数。

用法很简单:

  1. 先生成一张你满意的人物图,保存下来
  2. 在后续的提示词里加上 --cref [参考图URL]
  3. Midjourney就会参考这张图来生成新图片

不过--cref的效果不如LoRA精确,适合要求不那么严格的场景。

实战案例:一个20集AI漫剧的角色一致性方案

拿我跟的一个项目举例,他们是这么做的:

  1. 主角(2个):每人训练一个LoRA,确保从头到尾长相一致
  2. 配角(5个):用IPAdapter + 参考图,因为出场不多,不用专门训LoRA
  3. 群众角色:不用固定,每次生成时描述清楚性别、年龄、穿着就行
  4. 风格统一:除了角色LoRA,还训了一个”风格LoRA”,把所有画面都压到同一个美术风格里(类似吉卜力风格或者国漫风格)

踩过的坑:

  • 一开始只训了主角的LoRA,结果配角每次出场观众都以为是新人物……后来不得不给重要配角也训了LoRA
  • 风格LoRA训练时用了太多某部动漫的截图,导致生成出来的画面有”抄袭嫌疑”,后来重新训练才解决

招聘需求里怎么看这个技能

我翻了一下Boss直聘上最近(2026年6月)的AI漫剧相关岗位,发现一个规律:

  • 初级岗位(AI漫剧制作助理、实习生):要求”会用Midjourney生成图片,了解角色一致性基本概念”
  • 中级岗位(AI漫剧美术、分镜师):要求”有LoRA训练经验,能维护角色一致性”
  • 高级岗位(AI漫剧导演、美术总监):要求”制定美术风格规范,管理角色LoRA库,保证整部作品的视觉统一”

所以如果你是想入行,先把LoRA训练这块啃下来,性价比很高。

工具和软件推荐

  • LoRA训练:Kohya_ss(最常用)、Easy Diffusion(对新手友好)
  • IPAdapter:ComfyUI + IPAdapter插件
  • 角色参考图管理:用腾讯文档或者飞书建一个共享表格,记录每个角色的参考图、LoRA触发词、生成参数
  • 一致性检查:每生成一批图,就全部放到一起对比,看看有没有”变脸”的情况

总结

角色一致性是AI漫剧制作的基础功,做不好后面再怎么剪都是白搭。现在工具已经比较成熟了,LoRA训练说难也不难,花个一两天就能学会基本操作。

建议新手先从IPAdapter入手,快速看到效果,建立信心;然后再学LoRA训练,这个是商业项目的标配。


相关课程: 火星人教育AI漫剧导演培训课程中,LoRA训练和IPAdapter实战是重点模块,有专门的实操课,从数据准备到参数调优全流程覆盖。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。