[AI 奇技淫巧] 第十六期
— 移花接木:FaceFusion 换脸与 MuseTalk 唇形同步 —
🛑 免责声明 / DISCLAIMER 🛑
1. 本帖介绍的技术仅供个人学习研究与娱乐。
2. 严禁使用本技术制作、传播侵犯他人肖像权、名誉权的内容(包括但不限于明星换脸、未经同意的素人换脸)。
3. 严禁利用本技术制作虚假新闻、政治谣言或进行诈骗活动。
4. 请遵守当地法律法规。技术是中立的,但使用技术的人必须有底线。请好自为之。
■ 前言
1024,各位榴友。
回首前几期,我们像造物主一样捏出了泥人:第 15 期画出了完美的皮囊(图),第 14 期赋予了酥麻的声音(音)。
但它们是分离的。你的“老婆”只是一张静止的 JPG,声音也只是独立的文件。
今天,我们要进行“躯壳融合”。
我们要把这张脸和这段声音,无缝移植到你珍藏的 4K 动作片里,让她真正“活”在剧情中。
特别说明: 本期讲的是“修改现有视频”。
如果你想“训练专属模型”,请等第 17 期;如果你想“凭空生成视频”,请等第 18 期。 ![]()
一、 奇 | 视觉修正:视频擦除与静态复活★【看点一:ProPainter (视频擦除术)】看点解析在“移花接木”之前,我们往往需要先把素材处理干净。
原片里有硕大的台标、恼人的硬字幕,或者某些碍眼的遮挡物(水印/马赛克)怎么办?
ProPainter 是目前最强的视频去水印工具。你只需要框选那个区域,AI 会利用前后帧信息自动填补背景。
进阶玩法 (去薄码): 对于那种能隐约看到细节的“薄码”,可以尝试 TecoGAN 等视频超分算法。虽然它无法 100% 还原真实细节,但它能“脑补”出高频纹理,把马赛克变成看似清晰的画面。★【看点二:LivePortrait (静态复活)】看点解析如果你不想大动干戈去换脸,只想让第 15 期生成的那张老婆照片动一下。
LivePortrait 是神器。只需要一张静态大头照 + 你的摄像头,照片里的人就能实时同步你的表情、眨眼和摇头。扯扯蛋:ProPainter 是强迫症的福音,把视频洗得干干净净。而 LivePortrait?那是让纸片人老婆给你发早安视频的魔法。![]()
二、 技 | 换脸江湖:工具大横评★【看点:为什么只推 FaceFusion?】看点解析换脸工具门派林立,为了不让大家走弯路,我整理了一份避坑表格:| 工具 | 原理 | 难度 | 推荐指数 | 评价 |
| DeepFaceLab | 训练模型 | 炼狱级 | ❌ (劝退) | 效果最好但极难,需训练数天,不适合小白。 |
| Roop | 单图替换 | 简单 | ❌ (已死) | 曾经的神器,已停更,画质糊。 |
| FaceFusion | 单图替换 | 傻瓜级 | ✅ (首选) | Roop 的继任者。画质 4K,带遮挡处理,速度快,开源免费。 |
| Rope | 单图替换 | 困难 | ⭕ (进阶) | 参数极多,适合老司机微调,小白容易晕。 |
扯扯蛋:以前玩换脸是“炼丹”,现在玩换脸是“美图秀秀”。FaceFusion 就是那个只要你显卡顶得住,整部电影的女主角都归你的神器。![]()
三、 淫 | 注入灵魂:MuseTalk 唇形同步★【看点:把嘴巴“按”住】看点解析换了脸,声音也换成了第 14 期的中文语音,但嘴型对不上怎么办?
这时候就需要 MuseTalk (或 Wav2Lip)。
* 原理: 它会读取你的音频波形,强行重绘视频里人物的嘴部区域。
* 效果: 无论原片说的是日语还是英语,处理后,她的口型会完美匹配你合成的中文语音。
这才是真正的“移花接木”,从皮囊到声音再到动作,完全统一。扯扯蛋:看着一张熟悉的脸,说着你定制的羞耻台词,而且口型还严丝合缝……这种沉浸感,可比单纯换张脸要刺激得多。![]()
四、 巧 | 施工蓝图:完美躯壳构建流水线>>> ⚠ 启动器说明:本期所有工具均推荐通过 引用 7098897:第十期 的 Pinokio 安装,一键配置环境,小白福音! <<<Step 1: 净身 (Video Inpainting)如果你对画面有洁癖(如必须去水印、台标、马赛克),请执行此步。| 工具 | 操作 |
| ProPainter | 1. 导入视频,用画笔涂抹掉水印、字幕或遮挡区域。 2. 点击 Inpaint。AI 会自动分析前后帧并补全背景。 * 注: 此步骤非必须,但画面越干净,后续换脸效果越好。 |
Step 2: 画皮 (FaceFusion 换脸)核心步骤:把素材里的脸换成你的 AI 老婆。| 配置项 | 设置建议 (必看) |
| Source | 拖入第 15 期生成的照片。要求:正脸、光线均匀、高清 (千万别用侧脸或阴阳脸!) |
| Target | 拖入你准备好的动作片视频。 |
| Face Enhancer | 必须开启!模型选 CodeFormer 或 GFPGAN,混合度设为 80-100。否则脸是糊的。 |
| Face Selector | 模式选 One Face。点击预览图里的女优脸部锁定。千万别选 All Faces,除非你想看男优也变脸。 |
| Execution | Provider 必须选 CUDA (N卡)。如果选 CPU,你会等到下个世纪。 |
Step 3: 换芯 (音频替换)把原声替换成第 14 期的语音。| 工具 | 操作 |
| 剪映/必剪/ffmpeg | 1. 导入 FaceFusion 生成的视频,静音原视频。 2. 拖入 引用 7102618:第 14 期 用 GPT-SoVITS 生成的语音。 3. 对齐时间轴,导出视频。 |
Step 4: 点睛 (MuseTalk 对口型)让口型对上声音。| 配置项 | 操作 |
| Input | Video 选 Step 3 导出的视频;Audio 选第 14 期的音频文件。 |
| Run | 点击生成。等待 AI 重新渲染嘴部。最终你将得到一个形、声、意、动完美合一的视频。 |
![]()
■【避雷针】/ Troubleshooting
换脸容易遇到的 4 个大坑:1.
侧脸闪烁/丢失: FaceFusion 在侧脸超过 90 度时会失效。
*
解法: 挑选素材时,尽量选正脸或半侧脸镜头多的。或者调高 `Face Detector Score`。
2.
遮挡鬼畜: 手或头发挡在脸前时,AI 可能会把手也画成脸。
*
解法: 开启 FaceFusion 的
Face Mask (遮罩) 功能,虽然慢点,但能解决穿模。
3.
脸型不适配: 用圆脸素材去换瓜子脸,边缘会有违和感。
*
解法: 在第 15 期 ControlNet 生图时,用 Canny 提取原视频女优的轮廓,生成一张脸型一致的“源图片”。
4.
光影不合 (高级坑): AI 老婆的照片是左侧光,视频里是右侧光,换上去像贴纸。
*
解法: 回到第 15 期,用 ControlNet 的
Reference Only 或重绘功能,参考视频里的光影重新生成一张源图片,确保光照方向一致。
老司机语录: 完美的视频不是算出来的,是选出来的。选对底子(素材),比什么参数都重要。
■ 结语
经过这一期,我们终于拼完了“数字躯壳”的最后一块拼图。
现在,你手里有完美的皮囊(第 15 期)和完美的声音(第 14 期)。
但有一个问题:这些皮囊和声音,要么是 AI 随机生成的(开盲盒),要么是借用别人的(明星/女优)。
如果我想把“特定的某个人”(比如那个令你魂牵梦绕的她或他)变成模型,该怎么办?
既然市面上没有她的模型,那我们就自己造!
下一期,我们将进入“造物主”的后花园。
下期预告:【第 17 期】炼丹工坊 —— 训练你的专属 LoRA,从“用别人的模型”进化到“创造自己的模型”。
关键词索引:GitHub 搜 "FaceFusion" / "MuseTalk" / "ProPainter"
温馨提示:技术无罪,底线为重!请勿用于非法用途!
站内翻阅往期(技术底座与路线):
7098897 [置顶底座] 引用 7098897:[AI 奇技淫巧][2016.01.12]从零打造你的本地化AI全能作战平台「实操向」
7103141 引用 7103141:[AI 奇技淫巧][第十五期]神之画笔:ControlNet 让 AI 指哪打哪
7102618 引用 7102618:[AI 奇技淫巧][第十四期]听觉幻术:从人声分离到克隆变声的完整闭环
赞(31)