零基础看懂ComfyUI:节点、VAE、LoRA、ControlNet全科普,新手入门必看
一、ComfyUI是什么
ComfyUI是一款免费开源、节点式工作流的AI绘图工具,基于Stable Diffusion生态,同时支持SDXL、视频生成等场景。
它和传统网页版AI绘图最大区别:不是固定流水线,而是把AI生成拆成一个个独立Node(节点),像搭积木、接电路一样自由拖拽连线,自定义绘图全流程。
支持Windows、Linux、macOS三大系统,默认本地离线运行,所有模型都需自行下载存到本地,不上传数据,隐私性强;也有官方云端版本可免本地配置使用。
二、三大系统运行优缺点
Windows
优点:安装最简单,一键整合包解压即用;NVIDIA显卡CUDA兼容性拉满,插件和自定义节点生态最全,新手零门槛。
缺点:同配置下显存占用略高,长期批量生成易显存泄漏;AMD显卡仅支持DirectML,运行速度差。
Linux
优点:显存利用率最高、性能最强,比Windows更快更省显存;长期后台批量生成稳定性极佳,AMD显卡可通过ROCm满血运行,适合服务器部署和专业工作室。
缺点:安装需命令行配置环境,新手上手门槛高,部分小众自定义节点适配缺失。
macOS(Apple Silicon M系列)
优点:统一内存架构,大模型不易爆显存;笔记本便携安静、低功耗散热好,自带Metal加速无需额外装驱动。
缺点:无CUDA支持,运行速度比NVIDIA显卡慢;自定义节点、视频生成、多ControlNet兼容性较差,Intel Mac不建议使用。
三、ComfyUI硬件配置要求
| 硬件 | 要求 |
|---|---|
| 显卡GPU | 核心硬件,4-6GB显存可基础跑SD1.5;8GB为日常舒适底线,可运行SDXL;12GB及以上流畅驾驭多LoRA、多ControlNet、高清修复;16GB+适合FLUX大模型、AI视频生成 |
| 内存RAM | 最低16GB,推荐32GB及以上,适配多节点、多模型加载 |
| 硬盘 | 必须NVMe固态硬盘,机械硬盘加载模型极慢;预留50GB以上空闲空间 |
| CPU | 无高要求,主流中端处理器即可,性能瓶颈只在显卡 |
四、AI绘图核心名词通俗详解
1. Checkpoint(CKPT大模型)
后缀为.ckpt/.safetensors,体积2-7GB,是AI绘图的全能底子画家。
作用:决定整体画风(写实、二次元、国风等)、画面构图、光影逻辑,更换大模型,整体画风会彻底改变,是运行绘图必须加载的基础模型。
进阶理解:Checkpoint 是把 UNet、CLIP、VAE 三套模型权重完整封装打包在单个文件里的整合模型,内部已包含全套参数,不会从 unet、clip、vae 三个独立文件夹动态加载内容;而独立文件夹存放的是拆分出来的单独模型文件,和 Checkpoint 属于平行格式,互不依赖。新手用 Checkpoint 可一键加载成套匹配好的模型,简单不翻车;进阶玩家则可以单独调用三个独立模型自由混搭,适配 SDXL、Flux 等原生拆分式新模型。
2. VAE
小型调色模型,体积仅几十到几百MB,相当于AI绘图的调色师+美颜滤镜。
作用:AI生成的原始画面是灰蒙蒙的底层潜数据,没有色彩、发雾暗淡;VAE负责校正色彩、提亮通透感、锐化细节、去除噪点,没有合适VAE,生成图片会惨白模糊、观感极差。
3. LoRA
轻量化插件模型,体积20-300MB,不替换基础大模型,只做效果叠加。
作用:可定制固定动漫角色、真人面容、专属画风、服饰穿搭、特定场景,支持多个LoRA混用,还能调节权重强度控制效果深浅。
4. ControlNet
AI构图姿势控制器,强制约束AI绘画不随意发挥。
作用:可精准控制人物骨架动作、画面轮廓线条、场景景深层次、建筑结构布局,给AI打好草稿,牢牢锁定构图和姿态。
5. Embedding
小众特征关键词补丁,体积小巧。
作用:适合AI原生不认识的冷门角色、特殊服饰、小众细节特征,相当于给提示词扩充专属词库,补充LoRA覆盖不到的细微特征。
6. UNET 和 CLIP(了解即可)
CLIP:文本编码器,负责”理解”文字提示词,将其转换为模型能懂的向量,类比于人的大脑。
UNET:图像生成的核心神经网络,负责”执行”绘画,从噪声中重建图像,两者配合完成”理解文字→画出图像”的全过程。
五、ComfyUI基础绘图标准工作流
核心节点流程固定,所有复杂工作流都在此基础上扩展:
- 加载Checkpoint大模型
- 可选添加LoRA加载节点,叠加风格人物
- 输入正向提示词(想要的画面内容)、反向提示词(规避畸形、模糊等瑕疵)
- 可选接入ControlNet,控制姿势与构图
- KSampler采样器开始迭代运算,生成底层潜空间数据
- 通过VAE Decode解码,将灰蒙蒙数据转为正常彩色图片
- 预览并保存生成图片
整体口诀:加载大模型→加LoRA→写正反提示词→控构图姿势→采样画图→VAE调色出图
六、总结
ComfyUI凭借节点式自由定制、本地离线运行、跨平台适配,成为专业AI创作者首选工具。新手只需弄懂核心模型概念(Checkpoint、VAE、LoRA、ControlNet、Embedding等),掌握基础工作流逻辑,就能从零开始搭建属于自己的AI绘图流水线,无论是日常出图、风格创作,还是批量生成、视频制作都能轻松胜任。