.:. 草榴社區 » 技術討論區 » [AI 奇技淫巧][第十八期]动态影像:SVD 图生视频与 AnimateDiff 导演实战
--> 本頁主題: [AI 奇技淫巧][第十八期]动态影像:SVD 图生视频与 AnimateDiff 导演实战 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
shepherd


級別:精靈王 ( 12 )
發帖:5992
威望:702 點
金錢:2729 USD
貢獻:59278 點
註冊:2011-12-02


[AI 奇技淫巧][第十八期]动态影像:SVD 图生视频与 AnimateDiff 导演实战



[AI 奇技淫巧] 第十八期

— 动态影像:SVD 图生视频与 AnimateDiff 导演实战 —




■ 前言


  1024,各位榴友。
  走到这一期,我们的“造人计划”接近尾声。
  我们有了完美的皮囊(第15期)、专属的模型(第17期)、还能换脸(第16期)。
  但无论她多漂亮,始终被禁锢在静止的图片里。LivePortrait 虽好,也只能动动头。
  我们渴望的是:风吹过发梢的飘逸、裙摆的摇曳、回眸一笑的完整动态。
  今天,我们将攻克视觉领域的最后一个圣杯 —— 视频生成 (Video Generation)
  让静态的梦境,真正流动起来。




🛑 概念扫盲 🛑


本期涉及的名词极多,为了防止大家晕车,开局先送一张“关系图”:
名词角色比喻功能与关系
Stability AI汽车厂家开发了 SD 和 SVD 的那家公司(亲爹)。
SD (Stable Diffusion)旧款轿车专门用来画静止图的模型(第 10/15 期讲的)。
SVD (Stable Video Diffusion)新款跑车专门用来生视频的新模型。它和 SD 是两套独立的引擎。
Img2Vid驾驶模式即“图生视频”。给一张图,AI 脑补出它动起来的样子(SVD 的核心功能)。
AnimateDiff改装套件一个插件。它强行装在旧款 SD 上,让只会画图的 SD 也能生成连续动画。
EbSynth滤镜贴膜一个工具。它不生成视频,它是把一张画好的风格图“贴”到现有视频上。



一、 奇 | 官方大招:Stable Video Diffusion (SVD)
★【看点:让照片动起来 (Img2Vid)】
看点解析
这是 Stability AI 放出的官方大招,也是目前最强的开源视频模型。
* 核心能力: 图生视频。你不需要写复杂的提示词,只需要给它一张第 15 期生成的静态图,它就能自动脑补出这段画面发生前后的 2-4 秒动态。
* 效果: 它的动态幅度非常大且自然。它不仅能让头动,还能让背景的水流动、云飘动,甚至让人物转身。
* 玩法: 把你珍藏的老婆图扔进去,看着她从静止变得鲜活,那种震撼感是无与伦比的。

扯扯蛋:这就好比你给 AI 看了一张照片,AI 脑补出了这一刻发生的前因后果。不管是裙摆的摆动还是眼神的流转,SVD 都能给你“无中生有”变出来。




二、 技 | 丝滑引擎:AnimateDiff
★【看点:Stable Diffusion 的“动态外挂”】
看点解析
SVD 虽然强,但不太听话(动作随机,且不能太长)。如果你想精准控制视频内容,得用 AnimateDiff
* 原理: 它给 SD 装上了“时间轴”。
* 必杀技:Prompt Travel (提示词巡游)
    你可以通过提示词控制视频随时间演变:
    第0帧:1girl, office suit (穿着职业装)
    第24帧:1girl, white shirt (变成了白衬衫)
    第48帧:1girl, bikini (变成了比基尼)
    AI 会自动生成这中间丝滑的“变身”过程。这就是技术宅的浪漫。

扯扯蛋:SVD 是“开盲盒”,AnimateDiff 是“当导演”。你想让她怎么变就怎么变,从职场佳人变海滩泳装,只需要改几个词的事儿。




三、 淫 | 风格魔术:EbSynth 与 Domoo
★【看点:真人视频转动漫 (Vid2Vid)】
看点解析
如果你手里有一段真人视频(比如动作片片段),想把它变成二次元风格。这里有两派武功:
维度EbSynth (硬核派)Domoo (懒人派)
原理关键帧转绘。自己提取一帧画好,贴回视频。云端重绘。上传视频,AI 全自动重画。
难度😈 炼狱级 (需配合 PS/SD,流程繁琐)👶 傻瓜级 (有手就行)
自由度⭐⭐⭐⭐⭐ (支持你自己炼的 LoRA)⭐⭐⭐ (只能用官方预设风格)
结论想省钱、要极致个性 -> 选它不差钱、想一键出片 -> 选它

扯扯蛋:Domoo 是给老板用的,EbSynth 是给手艺人用的。想要那种独一无二的“LoRA 专属画风”视频?还得含泪啃 EbSynth,毕竟慢工出细活。




四、 巧 | 施工蓝图:双轨制视频生成流水线
>>> ⚠ 启动器说明:本期推荐使用 ComfyUI (通过 Pinokio 安装),它是视频生成的神器。 <<<
Track A: 复活流 (SVD 图生视频)
场景:我有一张完美的老婆图,我想让她动起来。
步骤操作详解 (避坑版)
1. 填弹药
(下载模型)
这是第一个坑! 工作流不含模型,需手动下载:
去 HuggingFace 搜 svd_xt.safetensors,下载后放入 ComfyUI 目录下的 `models/checkpoints` 文件夹。
2. 抄作业
(加载工作流)
去 Civitai 搜 "SVD Workflow",下载 `.json` 文件拖入 ComfyUI。
如果出现红色节点 (Missing Nodes),点击右侧菜单的 `Manager` -> `Install Missing Custom Nodes`,一键补全插件。
3. 生成1. 在 Load Image 节点上传你的静态图 (推荐 1024x576)。
2. Motion Bucket: 默认 127。想微风拂面调低到 100;想波涛汹涌调高到 150。
3. 点击 Queue Prompt。显卡开始咆哮,生成一段 mp4 (此时很糊且无声)。

Track B: 导演流 (AnimateDiff 文生视频)
场景:我想控制剧情,从穿衣变脱衣。
步骤操作详解
1. 填弹药除了主模型 (如 Pony V6),你还需要 Motion Module (动态模块)。
下载 `mm_sd_v15_v2.ckpt`,放入 `models/animatediff_models` (若无此文件夹请新建)。
2. 写剧本加载 AnimateDiff 工作流。在 Prompt Schedule 节点里写:
`"0": "1girl, office suit, sitting",` (第0帧:穿职业装)
`"24": "1girl, white shirt, unbuttoned",` (第24帧:白衬衫)
`"48": "1girl, bikini, beach"` (第48帧:泳装)
点击生成,AI 会自动补全中间的脱衣过程。

Track C: 后期流 (高清补全与加声)
把“糊片”变成“4K 60帧 有声电影”。
环节工具与操作
1. 续命
(变长)
End-to-End Loop (无限流):
取视频最后一帧的图,扔回 SVD 做起始图,生成新片段。在剪辑软件里把多段拼起来。
2. 润滑
(变流畅)
SVFI / RIFE (补帧):
SVD 原生只有 14 帧。导入 SVFI,开启 4x 补帧,强行插值得 60 帧,消除卡顿感。
3. 美颜
(变高清)
Real-ESRGAN / Topaz (超分):
导入视频,选择 realesrgan-x4plus 模型,放大 4 倍。分辨率直接拉到 4K。
4. 注入灵魂
(加声)
剪映 / 必剪:
导入 4K 视频。拖入 引用 7102618:第 14 期 用 GPT-SoVITS 生成的音效。
注意: 这里的音频只能做背景音/喘息声。如果你想让人物对口型说话,请拿着这个视频去跑 引用 7103439:第 16 期 的 MuseTalk 流程!




■【避雷针】/ Troubleshooting


视频生成常见翻车现场:
1.  显存溢出 (OOM): 视频生成是显存毁灭者。
    * 解法: 在 ComfyUI 启动参数里加 `--lowvram`,或者把生成分辨率降到 576x1024 (竖屏)。不要贪大。
2.  画面闪烁 (Flickering): 背景像在抽搐。
    * 解法: 这是 AnimateDiff 的通病。尝试在节点里开启 FreeInit 组件,或者降低 `Motion Scale`。
3.  红节点报错: 拖入工作流全是红色框框。
    * 解法: 你的 ComfyUI 缺插件。点击右侧菜单 Manager -> Install Missing Custom Nodes,全部安装并重启。

老司机语录: 视频生成就像抽奖。别指望一次就能出神作,多抽几次(多随机几个 Seed),总有一个回头杀能击中你的心。


■ 结语


  至此,我们完成了“数字生命”的所有感官拼图:
  她有完美的脸(ControlNet)、专属的身体(LoRA)、好听的声音(GPT-SoVITS),现在还能动起来(SVD)。
  但是,随着你的作品越来越多,硬盘里的视频、图片、模型堆积如山,几 T 的资源乱成一团。
  想找某张图却翻不到?想知道这个视频是哪个女优?想按“姿势”或“服装”搜索本地资源?
  你的军火库,急需一个“智能管家”。
  下一期,我们将打造本地最强的成人媒体库。
  下期预告:【第 19 期】无限记忆 —— Stash 媒体库与向量搜索,打造你的私人 Netflix。



关键词索引:GitHub 搜 "Stable Video Diffusion" / "AnimateDiff" / "ComfyUI"


温馨提示:视频生成非常耗电,请注意电费。




站内翻阅往期(技术底座与路线):
7098897 [置顶底座] 引用 7098897:[AI 奇技淫巧][2016.01.12]从零打造你的本地化AI全能作战平台「实操向」
7104644 引用 7104644:[AI 奇技淫巧][第十七期]炼丹工坊:从“用别人的模型”进化到“创造自己的模型”
7103439 引用 7103439:[AI 奇技淫巧][第十六期]移花接木:FaceFusion 换脸与 MuseTalk 唇形同步



赞(15)
DMCA / ABUSE REPORT | TOP Posted: 01-16 12:02 樓主 引用 | 發表評論
夏季的季风


級別:新手上路 ( 8 )
發帖:256
威望:94 點
金錢:9565 USD
貢獻:0 點
註冊:2025-11-05


感谢楼主分享
TOP Posted: 01-16 12:13 #1樓 引用 | 點評
莫问归期


級別:新手上路 ( 8 )
發帖:472
威望:59 點
金錢:1819 USD
貢獻:0 點
註冊:2021-03-30

1024
TOP Posted: 01-16 12:25 #2樓 引用 | 點評
蒋婶含阳


級別:聖騎士 ( 11 )
發帖:8103
威望:811 點
金錢:636 USD
貢獻:6000 點
註冊:2024-05-26

把打✈️换成打🚀会更威猛
把🦌换成🦒会更显巨大
TOP Posted: 01-16 16:47 #3樓 引用 | 點評
苏筱熙


級別:天使 ( 14 )
發帖:128707
威望:54431 點
金錢:101630 USD
貢獻:69 點
註冊:2012-09-01

谢谢分享
------------------------
7
TOP Posted: 01-16 16:49 #4樓 引用 | 點評
练练手


級別:騎士 ( 10 )
發帖:4862
威望:527 點
金錢:12746 USD
貢獻:1000 點
註冊:2020-11-26

感谢分享
TOP Posted: 01-16 17:08 #5樓 引用 | 點評
丰色


級別:精靈王 ( 12 )
發帖:4787
威望:590 點
金錢:18658 USD
貢獻:50755 點
註冊:2015-03-07

排版一绝
TOP Posted: 01-16 20:06 #6樓 引用 | 點評
这是个问题啊


級別:風雲使者 ( 13 )
發帖:64643
威望:6520 點
金錢:129 USD
貢獻:104888 點
註冊:2021-01-01

感谢分享
TOP Posted: 01-16 21:48 #7樓 引用 | 點評
沉睡的木玛


級別:風雲使者 ( 13 )
發帖:64643
威望:6520 點
金錢:127 USD
貢獻:104888 點
註冊:2018-11-16

谢谢分享
TOP Posted: 01-16 21:48 #8樓 引用 | 點評
鸭打鹅


級別:風雲使者 ( 13 )
發帖:55563
威望:5530 點
金錢:46 USD
貢獻:28763 點
註冊:2022-02-02

发帖辛苦
TOP Posted: 01-16 21:49 #9樓 引用 | 點評
小老弟zx


級別:俠客 ( 9 )
發帖:3618
威望:272 點
金錢:9139 USD
貢獻:0 點
註冊:2023-05-22

不明覺厲
TOP Posted: 01-16 23:02 #10樓 引用 | 點評
唯心所现


級別:精靈王 ( 12 )
發帖:11339
威望:1137 點
金錢:22253 USD
貢獻:0 點
註冊:2022-10-15


感谢分享
TOP Posted: 01-16 23:09 #11樓 引用 | 點評
操做系捅


級別:俠客 ( 9 )
發帖:1332
威望:134 點
金錢:2050 USD
貢獻:51 點
註冊:2011-07-26

gxfx
TOP Posted: 01-21 14:53 #12樓 引用 | 點評

.:. 草榴社區 -> 技術討論區

快速回帖 頂端
內容
HTML 代碼不可用

使用簽名
Wind Code自動轉換

按 Ctrl+Enter 直接提交