.:. 草榴社區 » 技術討論區 » [AI 奇技淫巧][第十六期]移花接木:FaceFusion 换脸与 MuseTalk 唇形同步
--> 本頁主題: [AI 奇技淫巧][第十六期]移花接木:FaceFusion 换脸与 MuseTalk 唇形同步 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
shepherd


級別:精靈王 ( 12 )
發帖:5992
威望:702 點
金錢:2729 USD
貢獻:59278 點
註冊:2011-12-02


[AI 奇技淫巧][第十六期]移花接木:FaceFusion 换脸与 MuseTalk 唇形同步



[AI 奇技淫巧] 第十六期

— 移花接木:FaceFusion 换脸与 MuseTalk 唇形同步 —




🛑 免责声明 / DISCLAIMER 🛑


1. 本帖介绍的技术仅供个人学习研究与娱乐。
2. 严禁使用本技术制作、传播侵犯他人肖像权、名誉权的内容(包括但不限于明星换脸、未经同意的素人换脸)。
3. 严禁利用本技术制作虚假新闻、政治谣言或进行诈骗活动。
4. 请遵守当地法律法规。技术是中立的,但使用技术的人必须有底线。请好自为之。



■ 前言


  1024,各位榴友。
  回首前几期,我们像造物主一样捏出了泥人:第 15 期画出了完美的皮囊(图),第 14 期赋予了酥麻的声音(音)。
  但它们是分离的。你的“老婆”只是一张静止的 JPG,声音也只是独立的文件。
  今天,我们要进行“躯壳融合”
  我们要把这张脸和这段声音,无缝移植到你珍藏的 4K 动作片里,让她真正“活”在剧情中。
  特别说明: 本期讲的是“修改现有视频”
  如果你想“训练专属模型”,请等第 17 期;如果你想“凭空生成视频”,请等第 18 期。




一、 奇 | 视觉修正:视频擦除与静态复活
★【看点一:ProPainter (视频擦除术)】
看点解析
在“移花接木”之前,我们往往需要先把素材处理干净。
原片里有硕大的台标、恼人的硬字幕,或者某些碍眼的遮挡物(水印/马赛克)怎么办?
ProPainter 是目前最强的视频去水印工具。你只需要框选那个区域,AI 会利用前后帧信息自动填补背景。
进阶玩法 (去薄码): 对于那种能隐约看到细节的“薄码”,可以尝试 TecoGAN 等视频超分算法。虽然它无法 100% 还原真实细节,但它能“脑补”出高频纹理,把马赛克变成看似清晰的画面。


★【看点二:LivePortrait (静态复活)】
看点解析
如果你不想大动干戈去换脸,只想让第 15 期生成的那张老婆照片动一下。
LivePortrait 是神器。只需要一张静态大头照 + 你的摄像头,照片里的人就能实时同步你的表情、眨眼和摇头。


扯扯蛋:ProPainter 是强迫症的福音,把视频洗得干干净净。而 LivePortrait?那是让纸片人老婆给你发早安视频的魔法。




二、 技 | 换脸江湖:工具大横评
★【看点:为什么只推 FaceFusion?】
看点解析
换脸工具门派林立,为了不让大家走弯路,我整理了一份避坑表格:
工具原理难度推荐指数评价
DeepFaceLab训练模型炼狱级❌ (劝退)效果最好但极难,需训练数天,不适合小白。
Roop单图替换简单❌ (已死)曾经的神器,已停更,画质糊。
FaceFusion单图替换傻瓜级✅ (首选)Roop 的继任者。画质 4K,带遮挡处理,速度快,开源免费。
Rope单图替换困难⭕ (进阶)参数极多,适合老司机微调,小白容易晕。

扯扯蛋:以前玩换脸是“炼丹”,现在玩换脸是“美图秀秀”。FaceFusion 就是那个只要你显卡顶得住,整部电影的女主角都归你的神器。




三、 淫 | 注入灵魂:MuseTalk 唇形同步
★【看点:把嘴巴“按”住】
看点解析
换了脸,声音也换成了第 14 期的中文语音,但嘴型对不上怎么办?
这时候就需要 MuseTalk (或 Wav2Lip)。
* 原理: 它会读取你的音频波形,强行重绘视频里人物的嘴部区域。
* 效果: 无论原片说的是日语还是英语,处理后,她的口型会完美匹配你合成的中文语音。
这才是真正的“移花接木”,从皮囊到声音再到动作,完全统一。

扯扯蛋:看着一张熟悉的脸,说着你定制的羞耻台词,而且口型还严丝合缝……这种沉浸感,可比单纯换张脸要刺激得多。




四、 巧 | 施工蓝图:完美躯壳构建流水线
>>> ⚠ 启动器说明:本期所有工具均推荐通过 引用 7098897:第十期 的 Pinokio 安装,一键配置环境,小白福音! <<<
Step 1: 净身 (Video Inpainting)
如果你对画面有洁癖(如必须去水印、台标、马赛克),请执行此步。
工具操作
ProPainter1. 导入视频,用画笔涂抹掉水印、字幕或遮挡区域。
2. 点击 Inpaint。AI 会自动分析前后帧并补全背景。
* 注: 此步骤非必须,但画面越干净,后续换脸效果越好。

Step 2: 画皮 (FaceFusion 换脸)
核心步骤:把素材里的脸换成你的 AI 老婆。
配置项设置建议 (必看)
Source拖入第 15 期生成的照片。要求:正脸、光线均匀、高清 (千万别用侧脸或阴阳脸!)
Target拖入你准备好的动作片视频。
Face Enhancer必须开启!模型选 CodeFormerGFPGAN,混合度设为 80-100。否则脸是糊的。
Face Selector模式选 One Face。点击预览图里的女优脸部锁定。千万别选 All Faces,除非你想看男优也变脸。
ExecutionProvider 必须选 CUDA (N卡)。如果选 CPU,你会等到下个世纪。

Step 3: 换芯 (音频替换)
把原声替换成第 14 期的语音。
工具操作
剪映/必剪/ffmpeg1. 导入 FaceFusion 生成的视频,静音原视频
2. 拖入 引用 7102618:第 14 期 用 GPT-SoVITS 生成的语音。
3. 对齐时间轴,导出视频。

Step 4: 点睛 (MuseTalk 对口型)
让口型对上声音。
配置项操作
InputVideo 选 Step 3 导出的视频;Audio 选第 14 期的音频文件。
Run点击生成。等待 AI 重新渲染嘴部。最终你将得到一个形、声、意、动完美合一的视频。




■【避雷针】/ Troubleshooting


换脸容易遇到的 4 个大坑:
1.  侧脸闪烁/丢失: FaceFusion 在侧脸超过 90 度时会失效。
    * 解法: 挑选素材时,尽量选正脸或半侧脸镜头多的。或者调高 `Face Detector Score`。
2.  遮挡鬼畜: 手或头发挡在脸前时,AI 可能会把手也画成脸。
    * 解法: 开启 FaceFusion 的 Face Mask (遮罩) 功能,虽然慢点,但能解决穿模。
3.  脸型不适配: 用圆脸素材去换瓜子脸,边缘会有违和感。
    * 解法: 在第 15 期 ControlNet 生图时,用 Canny 提取原视频女优的轮廓,生成一张脸型一致的“源图片”。
4.  光影不合 (高级坑): AI 老婆的照片是左侧光,视频里是右侧光,换上去像贴纸。
    * 解法: 回到第 15 期,用 ControlNet 的 Reference Only 或重绘功能,参考视频里的光影重新生成一张源图片,确保光照方向一致。
老司机语录: 完美的视频不是算出来的,是选出来的。选对底子(素材),比什么参数都重要。


■ 结语


  经过这一期,我们终于拼完了“数字躯壳”的最后一块拼图。
  现在,你手里有完美的皮囊(第 15 期)和完美的声音(第 14 期)。
  但有一个问题:这些皮囊和声音,要么是 AI 随机生成的(开盲盒),要么是借用别人的(明星/女优)。
  如果我想把“特定的某个人”(比如那个令你魂牵梦绕的她或他)变成模型,该怎么办?
  既然市面上没有她的模型,那我们就自己造!
  下一期,我们将进入“造物主”的后花园。
  下期预告:【第 17 期】炼丹工坊 —— 训练你的专属 LoRA,从“用别人的模型”进化到“创造自己的模型”。



关键词索引:GitHub 搜 "FaceFusion" / "MuseTalk" / "ProPainter"


温馨提示:技术无罪,底线为重!请勿用于非法用途!




站内翻阅往期(技术底座与路线):
7098897 [置顶底座] 引用 7098897:[AI 奇技淫巧][2016.01.12]从零打造你的本地化AI全能作战平台「实操向」
7103141 引用 7103141:[AI 奇技淫巧][第十五期]神之画笔:ControlNet 让 AI 指哪打哪
7102618 引用 7102618:[AI 奇技淫巧][第十四期]听觉幻术:从人声分离到克隆变声的完整闭环



赞(31)
DMCA / ABUSE REPORT | TOP Posted: 01-15 00:06 樓主 引用 | 發表評論
三六玖


級別:精靈王 ( 12 )
發帖:7970
威望:785 點
金錢:1176567 USD
貢獻:16111 點
註冊:2016-03-23


感谢分享
TOP Posted: 01-15 00:07 #1樓 引用 | 點評
shepherd [樓主]


級別:精靈王 ( 12 )
發帖:5992
威望:702 點
金錢:2729 USD
貢獻:59278 點
註冊:2011-12-02

没存稿了(捂脸)。
攒几天稿子,先。
关于整个系列帖的规划在引用 7099437:[AI 奇技淫巧][2026.01.12特刊]从手搓军火库到湿件飞升的路线图的评论区有提到,感兴趣的可以去瞧瞧。
TOP Posted: 01-15 00:08 #2樓 引用 | 點評
jianka


級別:騎士 ( 10 )
發帖:3494
威望:586 點
金錢:5273 USD
貢獻:0 點
註冊:2012-02-11

谢谢分享
TOP Posted: 01-15 01:47 #3樓 引用 | 點評
卜小星


級別:精靈王 ( 12 )
發帖:15889
威望:1623 點
金錢:186946 USD
貢獻:26 點
註冊:2019-08-15

厉害👍🏻
TOP Posted: 01-15 05:28 #4樓 引用 | 點評
xxzx6687


級別:聖騎士 ( 11 )
發帖:8693
威望:945 點
金錢:24044 USD
貢獻:0 點
註冊:2021-09-01

感谢分享
TOP Posted: 01-15 06:06 #5樓 引用 | 點評
练练手


級別:騎士 ( 10 )
發帖:4862
威望:527 點
金錢:12746 USD
貢獻:1000 點
註冊:2020-11-26

感谢分享
TOP Posted: 01-15 08:31 #6樓 引用 | 點評
更吹落星如雨


級別:聖騎士 ( 11 )
發帖:9010
威望:892 點
金錢:17645 USD
貢獻:0 點
註冊:2023-02-01

技术实用
TOP Posted: 01-15 08:38 #7樓 引用 | 點評
月夜吸血鬼


級別:新手上路 ( 8 )
發帖:21
威望:3 點
金錢:32 USD
貢獻:0 點
註冊:2026-01-02

太专业了,实在是看不太懂
TOP Posted: 01-15 09:38 #8樓 引用 | 點評
度厄


級別:新手上路 ( 8 )
發帖:210
威望:22 點
金錢:524 USD
貢獻:0 點
註冊:2026-01-01

感谢分享
TOP Posted: 01-15 10:00 #9樓 引用 | 點評
莲香西欲


級別:騎士 ( 10 )
發帖:10783
威望:408 點
金錢:1893 USD
貢獻:3386 點
註冊:2024-02-01

感谢分享
TOP Posted: 01-15 11:55 #10樓 引用 | 點評
the7th


級別:俠客 ( 9 )
發帖:2311
威望:241 點
金錢:2738 USD
貢獻:2 點
註冊:2011-06-06


这个可以,厉害了
TOP Posted: 01-15 11:58 #11樓 引用 | 點評
正义之光


級別:聖騎士 ( 11 )
發帖:7874
威望:788 點
金錢:23397 USD
貢獻:0 點
註冊:2023-08-13

感谢楼主分享
TOP Posted: 01-15 14:52 #12樓 引用 | 點評
苏筱熙


級別:天使 ( 14 )
發帖:128707
威望:54431 點
金錢:101630 USD
貢獻:69 點
註冊:2012-09-01

支持一下
------------------------
7
TOP Posted: 01-15 15:34 #13樓 引用 | 點評
杰克马船长


級別:新手上路 ( 8 )
發帖:319
威望:77 點
金錢:8904 USD
貢獻:0 點
註冊:2023-01-10

感谢分享
TOP Posted: 01-15 16:14 #14樓 引用 | 點評
离海


級別:俠客 ( 9 )
發帖:648
威望:282 點
金錢:2020 USD
貢獻:0 點
註冊:2020-09-15

感谢分享
TOP Posted: 01-15 16:55 #15樓 引用 | 點評
1372244


級別:俠客 ( 9 )
發帖:1138
威望:115 點
金錢:1241 USD
貢獻:63 點
註冊:2011-06-06

感谢分享
TOP Posted: 01-15 21:06 #16樓 引用 | 點評
操做系捅


級別:俠客 ( 9 )
發帖:1331
威望:134 點
金錢:2049 USD
貢獻:51 點
註冊:2011-07-26


支持大佬的技术系列
TOP Posted: 01-21 14:44 #17樓 引用 | 點評
adsl8


級別:聖騎士 ( 11 )
發帖:7603
威望:761 點
金錢:16724 USD
貢獻:0 點
註冊:2023-11-14

感谢分享
TOP Posted: 01-21 14:47 #18樓 引用 | 點評

.:. 草榴社區 -> 技術討論區

快速回帖 頂端
內容
HTML 代碼不可用

使用簽名
Wind Code自動轉換

按 Ctrl+Enter 直接提交