Skip to content

Flux的工作流分享介绍

Flux的工作流分享涉及多个方面,包括基础工作流、高级功能以及特定场景的应用。以下是对Flux工作流的详细总结:

workflows工作流

https://ai.ipkd.cn/workflows/

image

1. 基础工作流

Flux的基础工作流主要分为以下几个部分:

  • 基本图像处理与预处理:包括图像的加载、裁剪、格式转换等操作。
  • 采样器与潜在空间:通过ControlNet、Canny、Depth等节点实现图像采样和潜在空间的构建。
  • 模型节点:如ControlNet、IP-Adapter、Fill模型等,用于图像生成、扩图、局部重绘等操作。
  • 输出与后处理:包括扩图、风格迁移、局部重绘等功能,最终生成高质量图像。

例如,Flux Dev版本优化了显存使用,适合轻量级需求;而Black Forest Lab提供的Flux Pro版本则提供更高的精度和多样增强功能。

2. 高级功能与进阶玩法

Flux支持多种高级功能,适用于复杂场景:

  • 万物迁移工作流:通过Redis、Pulid等技术实现任意场景、物体或材质的迁移,广泛应用于电商、虚拟服装试穿等领域。
  • 局部重绘与精修:利用ControlNet和Fill模型,可以对图像的特定区域进行精细调整,提升画面真实感。
  • 风格迁移与扩图:结合ControlNet和Fill模型,实现图像风格的快速转换和扩图效果。
  • AI视频处理:支持AI换脸、背景替换、抠图等功能,可一键生成高质量视频。

3. 工作流优化与资源管理

为了提高效率,Flux工作流通常采用模块化设计:

  • 模块化节点:如ControlNet、IP-Adapter、Fill模型等,可以根据需求自由组合。
  • 显存优化:通过加载fp16量化版模型或调整显存分配,减少资源消耗。
  • 参数设置与调试:针对不同任务(如生图、文生图)提供详细的参数配置说明,帮助用户快速上手。

4. 典型应用场景

Flux工作流在多个领域展现了强大的应用潜力:

  • 电商与广告:通过万物迁移和局部重绘功能,实现商品图片的快速优化和场景替换。
  • AI绘画与设计:支持高质量图像生成、风格迁移和扩图,满足设计师和艺术家的需求。
  • 视频制作与特效:利用AI技术实现视频换脸、背景替换和动态特效生成。

5. 未来发展方向

随着Flux生态的不断发展,其工作流也在持续优化:

  • 新模型与工具:如ControlNet V3、Fill模型等,进一步提升了图像生成的质量和效率。
  • 跨平台兼容性:Flux工作流支持多种平台和设备,包括ComfyUI、Redis等工具,方便用户在不同场景下使用。
  • 社区与教程支持:丰富的教程和案例分享,帮助用户快速掌握Flux工作流的搭建和应用。

Flux的工作流以其灵活性、高效性和强大的功能覆盖了从基础到高级的多种需求。无论是初学者还是专业用户,都可以根据具体需求选择合适的工作流配置,并通过不断优化和学习,充分发挥Flux的强大能力。

ComfyUI : Flux 使用入门

基于 ComfyUI 体验一下 Flux 工作流 ComfyUI部署参考: https://www.jianshu.com/p/a27b14ba2a3d?v=1724563368477

0x01 资源下载

看到下面的测试工作流后,才明白:模型不一定都是放在 models/checkpoints 下面

0x02 测试工作流

参考网上的工作流: https://pan.quark.cn/s/cf3dbed25c38#/share/richtext/465859471b28448fb8e0e7118cf04950

左边模型输入切换为黑森林官方版后,测试一下效果:

image

生成的人物效果,果然达到惊艳的水平,但同时资源消耗也是比较恐怖的。 12G显存吃满可以理解,内存使用了 40G。。。

image

正向词备忘:

text
解释
portrait of an model with pink hair, She is surrounded by delicate flowers in the fog-laden countryside at dawn. The style should be ethereal and dreamy, with soft lighting creating gentle shadows on her face. Her expression reflects mystery and elegance, adding to the overall surrealistic atmosphere, (good proportions, cinematic angle:1.1)

0x03 另一种模型方案

上面的方案是Flux官方(黑森林)的高配版,另外还有一个低配的方案,而且自带上面的 clip,ae 模型。

看起来,效果无差,但生成速度和内存占用都下来一点了。

0x04 采样参数组合

image

推荐三个组合:

  • euler + beta
  • uni_pc_bh2 + simple
  • ipndm +simple

0x05 工作流目录

保存的工作流,在这里可以找到: D:\ComfyUI\user\default\workflows

image

image

Flux持续火爆,这些Lora、ControlNet、工作流你值得拥有(附整合包)

Flux自发布以来,受到了广大AI绘画爱好者的一致好评,远远的将SD3甩在了脑后,其出图质量媲美Midjourney。而且Flux迭代迅速,接连发布了Flux.1的开发模型和个人模型,其Lora模型、ControlNet模型也迅速推出,社区创作热情高涨。

为了让大家对Flux有一个全面的认识,本文将介绍下Flux基础模型、LoRA模型,以及ControlNet模型的使用方法。

因为Flux模型目前还不能在Stable Diffusion WebUI中使用,所以本文将以另一个常用的AI绘画工具 ComfyUI 为例进行讲解。同时为了方便大家测试,我在云环境也创建了一个ComfyUI的镜像,内置了Flux的模型和工作流,一键开启,不用费劲吧啦的部署。

Flux介绍 Flux是目前最大的AI绘画开源模型,有120亿个参数,原始文件有23GB那么大。听起来很吓人吧?但别担心,通过ComfyUI的支持,我们可以把模型压缩到12GB,并且它会自动检测显存来调整加载方式,这样我们在普通的消费级电脑上也能跑得动。

Flux 在视觉效果、提示的准确性、大小和比例的灵活性、排版和输出多样性方面,比Midjourney v6.0、DALL·E 3 (HD) 和 SD3-Ultra这些流行模型都要好。它可以在256到2048的宽分辨率范围内生成高质量、少冗余的图像,四肢表现也非常稳定。虽然对硬件有点要求,但效果真的很值。

Flux目前发布的 Flux.1 有三个版本,pro、dev和schnell。pro效果最好,但是闭源不开放;dev效果和pro差不多,虽然有商业使用的限制,但是可以免费测试(你懂的);schnell是个蒸馏模型,可以4步快速出图,效果虽然差点,但是也可以媲美Midjourney v6.0 和 DALL·E 3 (HD)。

ComfyUI在浏览器中启动后,我们可以先通过设置切换到中文界面:

然后点击“加载”旁边的小箭头,选择一个“Flux”工作流,点击“添加提示词队列”,就可以开始愉快的生成了。

如果你懂一些技术,也可以通过手动启动镜像的方式来体验ComfyUI,镜像地址在这里:

Flux基础模型的使用 这里介绍两个基础模型的工作流:dev模型和schnell模型。

先看dev模型的工作流:Flux的工作流和其它SD模型的工作流没有太大的区别,都是:加载基础模型、编码提示词、定义潜在空间、采样器采样、解码器解码。

不太一样的就是这里增加了一个:Flux引导,Flux引导的目的是增强图片质量,生成训练时CFG为这个值的图像质量,但是不会降低生成速度;此时我们可以将CFG的值设置为1,用来提高生成速度,注意CFG的值不用太高,1-2.5即可;另外Flux.1还不能使用反向提示词。

再看schnell模型的使用:schnell 是个蒸馏模型,可以认为学习到了Flux原始模型的精华部分,这里不需要使用Flux引导,且只需要4步,图片的质量依旧很优秀。

另外这里用到的两个模型中都包含了提示词编码器CLIP和潜在空间解码器VAE,他们不用单独设置。

Flux LoRA模型的使用 再看这个LoRA模型的工作流。

这里使用了双CLIP编码器,并单独加载了CLIP模型,SD3也使用了双CLIP编码,CLIP1可以看做是对标签类提示词的编码,CLIP2是对自然语言提示词的编码,这样编码对图片的质量比较好。另外我们还使用了“CLIP文本编码Flux”这个编码器,它自带Flux引导,就不用单独添加Flux引导节点了。

因为单独加载了CLIP模型,这里使用了UNET加载器来加载Flux的基础模型,加载LoRA也是使用的Flux专属节点,后边的采样器也是专为Flux量身定制的Xlabs Sampler。

Flux ControlNet模型的使用 目前有三个适用于Flux的 ControlNet,分别是 Canny、Hed 和 Depth。这里以Canny为例:

工作流的左边是ControlNet的处理,右边是Flux采样部分的节点。

其中ControlNet的预处理器还是可以使用我们之前在SD1.5和SDXL使用的预处理器,但是加载和应用ControlNet模型要换成Flux专用的。 ————————————————

原文链接:https://blog.csdn.net/2401_84830464/article/details/142592343


新手必看!5 款 Flux 实用基础工作流(附资源包)

文章来源:https://www.5bei.cn/a-must-see-for-novices-5-flux-practical-basic-wor.html

文章目录

一、文生图工作流

二、图生图

三、高清放大

四、局部重绘

五、IP-Adapter

img

大家好,我是花生~

上期为大家梳理了 Flux 生态的主流版本模型以及 Lora、Contronet 模型的用法,今天我们继续了解一些 Flux 基础工作流,如图生图、高清放大、局部重绘等,其中还包括上周新推出的 Flux IP-Adapter 的相关用法。

上期回顾:

一、文生图工作流

之前为大家介绍过 2 款 Flux 基础文生图工作流,但其中原版工作流用到的模型节点较多,有的小伙伴在使用时一个不小心就会选错,导致工作流运行出现报错或者生成效果不佳,今天就再介绍一下其中比较重要的参数设置。

img

① weight_dtype(剪枝类型):目前大家用的最多的应该还是 dev fp8 这个模型 ,那么对应的 weight_dtype 记得要选 fp8_e4m3fn,如果选默认生成时间会变很长。

② t5xxl 模型有 fp16 和 fp8 两款可选,它们对画面整体效果没有很大影响,只是 fp16 的细节会更精致,但是占用的资源也会更多,所以一般选 fp8 就足够了。type 类型记得要选 flux,而非 sdxl 或者其他。

③ Flux 模型对图像尺寸的兼容性非常好,无论是 512768 这样的小尺寸,还是 3001200 这样的极限画幅比,Flux 的生成效果都很好。因此如果你的显存不是很高,建议先生成小尺寸图像, 然后再放大。

④ 官方推荐的 sampler/scheduler 配置是 euler+simple,但这个搭配并非绝对,开源社区的大神测试出 ipdmn +simple、uni_pc+bh2+simple、 euler+beta 等配置可以得到更好的出图效果,大家可多做尝试。

⑤ 官方推荐的 guidance 数值为 3.5,但它也可以在 2-5 之间灵活调整。当数值小于 3 时,生成的图像的艺术风格会更明显;在 3-3.5 时,兼容性最好,可以应对不同的场景;数值大于 3.5 时,画面细节会有所增强,但是对比度会变得非常高。

另外,Flux 模型本身不需要负面提示词和 CFG 参数,但在某些场景中还是需要加上一个空的 Clip_Text_Encoder 节点,来保证工作流正常运行;如果连接的节点中有 CFG 参数,记得数值要设置为 1,否则会影响画面效果。

二、图生图

图生图的工作流非常简单,只需在文生图的基础上,加上一个「图像上传」和一个「VAE 编码」节点即可。图生图可以用来小幅度调整画面效果,如修改画面质感、风格、人物表情、装饰物等。

图生图的效果主要通过 2 个参数来控制。一是提示词,我们要将需要修改的内容填写到正向提示词中,比如你想将一张真人照片转为动漫风格,就需要在提示词中加上 “anime style” 这样的提示词;另一个是 Denoise 去噪参数,数值范围 0-1,数值越高,生成的画面与原图的差别会越明显。

img

三、高清放大

由于高清放大是在图像生成后进行的,因此我们只需将常用的放大工作流接在 Flux 文生图或图生图工作流后面就可以了。目前比较受欢迎的放大节点是 Ultimate SD Upscale,放大模型推荐选 4x-UltraSharp。使用此节点需要添加一个空的负面提示词节点,并且 cfg 参数也要调整为 1。

img

四、局部重绘

这里推荐 2 种局部重绘的方式,一是添加 VAE Encode(for inpainting)节点,虽然简单但是重绘效果非常不错;另一个是更复杂一点,使用了 differential diffusion、guassian blur mask、Inpaint model conditioning 节点,重绘效果更自然精细。

使用局部重绘时需要注意两点,一是涂抹局部重绘区域时,边缘可以适当向外多涂一点,这样重绘效果更自然;二是多调整 denoise 的数值,一般在 0.8 或者以上会有比较好的效果。

方法①

img

方法②

img

五、IP-Adapter

模型下载: https://huggingface.co/XLabs-AI/flux-ip-adapter (文末有资源包)

XLab 在上周又推出了针对 Flux 的 IP-Adapter 模型,可以学习一张图片的色调风格、内容构成以及角色形象。虽然目前效果不如 SD1.5 和 SDXL 准确稳定,但是用来提取风格效果还是不错的,官方也表示目前只是第一版,未来将推出更稳定的版本。

使用方法:

① 更新 ComfyUI,安装或更新 x-flux-comfyui 到最新版本;

② 从网盘内下载 clip_vision_l.safetensors 文件,安装到根目录的 models/clip_vision 文件夹;再下载 flux-ip-adapter.safetensors 文件,安装到 models/xlabs/ipadapters 文件夹中。

img

③ 启动 ComfyUI,从 custom_nodesx-flux-comfyuiworkflows 中加载对应的 ip_adapter_workflow 工作流。

④ 上传需要学习的图像,检查每个节点的模型选择是否正确,然后点击生成即可。ip_adapter 的强度设置在 0.8 左右比较合适,如果觉得效果不好,可以尝试在 Xlab Sampler 节点中将 true_gs 数值设置为 2。记得多生成几次,可以得到更好的结果。

img

那么以上就是本期为大家推荐的 5 款 Flux 基础实用工作流,文内的工作流文件都可以在云盘内下载。如果文章对你有帮助,记得点赞、收藏、评论支持一波,我会有更动力为大家推荐新的干货内容~

ComfyUI 的学习门槛比较高,如果你想掌握它,建议先从 Stable Diffusion WebUI 开始,它更适合初学入门,学会后也能有助于我们快速掌握 ComfyUI 的用法。 我最新制作的 《零基础 AI 绘画入门指南》是一门面向 AI 绘画零基础人群的系统课程,包含 Stable Diffusion WebUI 全面细致的用法教学,并提供配套资源,能帮你快速掌握这款目前最热门的 AI 绘画工具。