AI漫剧里最头疼的问题之一:角色一致性
你肯定也遇到过这种情况:第一集女主是这个模样,第二集突然换了一张脸,到了第五集连发型都变了。观众一看就出戏,再好的剧情也救不回来。
这个问题在AI漫剧制作里太常见了,几乎每个新手都会踩这个坑。但说实话,现在已经有比较成熟的解决方案了,核心就是LoRA训练 + IPAdapter。
为什么AI生成的人物会”变脸”?
先搞清楚原理,才能对症下药。
像Midjourney、Stable Diffusion这类工具,每次生成图片都是重新”画”一张,它不会自动记住你上一集的人物长什么样。除非你在提示词里非常精确地描述,或者用了某种”固定身份”的技术。
这就像你每次找不同的画家画同一个人,如果没有参考图,画出来肯定不一样。
解决方案一:LoRA训练(最常用)
LoRA(Low-Rank Adaptation)说白了就是给AI模型”打补丁”,让它学会画特定的人物/风格。
训练LoRA需要准备什么:
- 人物参考图:至少15-20张,越多越好。要求:
- 不同角度(正面、侧面、45度角)
- 不同表情(微笑、生气、惊讶、哭泣)
- 不同场景(室内、室外、白天、夜晚)
- 画质要清晰,不要用模糊的截图
- 标注文件:每张图要写对应的提示词,告诉AI”这张图里人物是什么状态”
- 训练参数:学习率、训练步数、分辨率这些,新手建议直接用别人调好的参数
训练流程(以Kohya_ss为例):
- 把参考图放到指定文件夹,按规范命名
- 用BLIP或WD14打标器自动生成初始提示词
- 人工核对提示词,把人物特征相关的词标注清楚(比如”black hair, blue eyes, school uniform”)
- 设置训练参数:
- 学习率:1e-4 到 2e-4 之间
- 训练步数:每张图训练50-100步(20张图就是1000-2000步)
- batch size:根据显卡显存定,8G显存建议设2
- 开始训练,等它跑完(3060显卡大概1-2小时)
- 测试生成的LoRA效果,如果不满意就调整参数重训
实战经验:
- 训练数据里要有”变化”,不能20张图都是同一个角度同一个表情,不然LoRA会”过拟合”,生成出来的人物动作都一模一样
- 如果人物有标志性服饰(比如特定的校服、发饰),这些图要多放几张
- 训练完成后,用”触发词”来调用LoRA,比如你训练时设的触发词是”girl_a”,生成时提示词里就要加上这个
解决方案二:IPAdapter(不用训练,快速方案)
如果你不想花时间训练LoRA,或者只是做个小项目试水,IPAdapter是个不错的选择。
原理: IPAdapter相当于给Stable Diffusion加了一个”参考图”功能,你丢一张人物参考图进去,它就能照着这个样子生成相似的人物。
使用方法(ComfyUI):
- 安装ComfyUI的IPAdapter插件
- 准备一张人物参考图(正面全身最好)
- 搭建工作流:
- 加载参考图 → IPAdapter编码器 → 应用IPAdapter到模型
- 再加上你原来的文生图流程
- 调整”权重”参数:权重越高,生成的人物越像参考图;权重太低,就只剩个大概轮廓
IPAdapter的优缺点:
| 优点 | 缺点 |
|---|---|
| 不用训练,即插即用 | 一致性不如LoRA稳定 |
| 可以随时换参考图 | 对动作、角度的变化支持有限 |
| 适合快速出Demo | 商业项目还是建议用LoRA |
解决方案三:Midjourney的Character Reference(不会部署SD的选这个)
如果你用的是Midjourney而不是Stable Diffusion,可以用它的–cref参数。
用法很简单:
- 先生成一张你满意的人物图,保存下来
- 在后续的提示词里加上
--cref [参考图URL] - Midjourney就会参考这张图来生成新图片
不过--cref的效果不如LoRA精确,适合要求不那么严格的场景。
实战案例:一个20集AI漫剧的角色一致性方案
拿我跟的一个项目举例,他们是这么做的:
- 主角(2个):每人训练一个LoRA,确保从头到尾长相一致
- 配角(5个):用IPAdapter + 参考图,因为出场不多,不用专门训LoRA
- 群众角色:不用固定,每次生成时描述清楚性别、年龄、穿着就行
- 风格统一:除了角色LoRA,还训了一个”风格LoRA”,把所有画面都压到同一个美术风格里(类似吉卜力风格或者国漫风格)
踩过的坑:
- 一开始只训了主角的LoRA,结果配角每次出场观众都以为是新人物……后来不得不给重要配角也训了LoRA
- 风格LoRA训练时用了太多某部动漫的截图,导致生成出来的画面有”抄袭嫌疑”,后来重新训练才解决
招聘需求里怎么看这个技能
我翻了一下Boss直聘上最近(2026年6月)的AI漫剧相关岗位,发现一个规律:
- 初级岗位(AI漫剧制作助理、实习生):要求”会用Midjourney生成图片,了解角色一致性基本概念”
- 中级岗位(AI漫剧美术、分镜师):要求”有LoRA训练经验,能维护角色一致性”
- 高级岗位(AI漫剧导演、美术总监):要求”制定美术风格规范,管理角色LoRA库,保证整部作品的视觉统一”
所以如果你是想入行,先把LoRA训练这块啃下来,性价比很高。
工具和软件推荐
- LoRA训练:Kohya_ss(最常用)、Easy Diffusion(对新手友好)
- IPAdapter:ComfyUI + IPAdapter插件
- 角色参考图管理:用腾讯文档或者飞书建一个共享表格,记录每个角色的参考图、LoRA触发词、生成参数
- 一致性检查:每生成一批图,就全部放到一起对比,看看有没有”变脸”的情况
总结
角色一致性是AI漫剧制作的基础功,做不好后面再怎么剪都是白搭。现在工具已经比较成熟了,LoRA训练说难也不难,花个一两天就能学会基本操作。
建议新手先从IPAdapter入手,快速看到效果,建立信心;然后再学LoRA训练,这个是商业项目的标配。
相关课程: 火星人教育AI漫剧导演培训课程中,LoRA训练和IPAdapter实战是重点模块,有专门的实操课,从数据准备到参数调优全流程覆盖。

评论(0)