前言
1.
扩散模型(Diffusion Model)
1.1.
理论基础
1.1.1.
从 Sol Dickenstein讲起
1.1.2.
DDPM
1.1.3.
Score Matching
1.1.4.
Score SDE
1.1.5.
Flow Matching
1.1.6.
Stochastic Interpolants
1.2.
采样方法
1.2.1.
ODE 采样方法
1.2.2.
DDIM
1.2.3.
DPM
1.3.
✅ VAE 相关的优化
1.4.
稳定扩散模型(Stable Diffusion)
1.5.
一致性模型(Consistency Models)
1.5.1.
improved consistency models
1.5.2.
Simplified Consistency Models
1.6.
✅ Shorcut Models
1.7.
骨干网络设计(Backbone Design)
1.7.1.
Transformer
1.7.2.
U-Net
1.7.3.
Mamba, RWKV, GLA
1.7.4.
Transformer U-Net
1.8.
Guidance
1.8.1.
✅ Classifier Guidance
1.8.2.
✅ Classifier-Free Guidance
2.
扩散模型的应用
2.1.
扩散模型的应用: 图像生成
2.2.
扩散模型的应用: 视频生成
2.3.
扩散模型的应用: 音频生成
2.4.
扩散模型的应用: 3D 生成
2.5.
扩散模型的应用: 文本到图像生成
2.6.
扩散模型的应用: 文本到视频生成
2.7.
图像编辑
3.
标准化流(Normalizing Flow)
4.
变分自编码器 (VAE)
4.1.
连续变分自编码器
4.2.
向量量化变分自编码器
5.
自回归模型(Auto-regressive Model)
5.1.
PixelRNN
5.2.
ChatGPT
6.
Agent
6.1.
Agent Composition
7.
Discrete-State Model
7.1.
Masked Discrete-State Model
7.2.
Uniform Discrete-State Model
8.
多模态模型(Multi-modal Model)
9.
生成对抗网络 (GAN)
9.1.
连续生成对抗网络
9.2.
向量量化生成对抗网络
10.
编程实践
10.1.
Diffusion Model 的实现
10.2.
Flow Matching
10.3.
DDIM
10.4.
DPM
10.5.
Flow Matching
10.6.
Stochastic Interpolants
10.7.
PixelRNN
10.8.
ChatGPT
10.9.
Agent Composition
10.10.
Masked Discrete-State Model
10.11.
Multi-modal Model
10.12.
GAN
Light
Rust
Coal
Navy
Ayu
Vincent教你学Generative AI (https://taohu.me/vincent-genai-course/)
一致性模型
一致性模型是一种生成模型，相比传统扩散模型提供更快的采样速度，同时保持生成质量。
关键创新
单步生成：仅需一步即可生成高质量样本
少步生成：通过少量采样步骤提供质量-速度的权衡
蒸馏方法：从预训练的扩散模型中蒸馏知识
优势
比常规扩散模型采样速度快得多
确定性采样过程
保持与扩散模型相当的生成质量
技术细节
一致性函数：将噪声映射到数据点
一致性蒸馏：学习一致性函数的训练技术
自我条件化：提高生成质量
参考文献
Song et al. (2023), "一致性模型"