ComfyUI

2025.02.02

ComfyUI란?

NODE BASED

• 프로그래밍을 비주얼적으로 진행하도록 해줌. 비주얼 프로그래밍

• 노드 베이스 프로그램의 예시 : unreal, substance 3D Designer, Nuke 에서 노드 베이스로 합성 진행, Maya

• ComfyUI durtl Node based 의 stable diffusion GUI 이다.

특징

• ComfyUI : web ui 기반이라서 여러개의 워크플로우를 띄워두고 동시다발적으로, 독립적으로 실행시켜볼 수 있다.

  • 다른 프로그램들은 standalone 이라서 불가

• workflow 를 저장할 수 있기 때문에 예전 작업물을 불러와서 사용할 수 있다.

• workflow 를 여러 개 연결하여 확장 시키고 활용할 수 있다.

• 다른 프로그램들의 장점이 점차 comfyUI 로 흡수되고 있는 상태!

A1111과 차이점

• 지속적으로 업데이트 되면서 전 세계적으로 사랑받고 있다.

• 목적 : 복잡한 stable diffusion 을 단순하게 사용할 수 있도록 해주자. 따라서 노드베이스의 comfy 에 비해서 좀 더 깔끔한 ui 를 가지고 있음

• 특정 목적 중심으로 프로세스가 고정되어있어서 유저 입장에서는 매우 직관적이고 빠르게 사용하기 편리하다.

  • 예) T2I, I2I, ETC

• 가장 큰 단점

  • 메이저 업데이트 후, 내부 구조가 변경되면 각 기능에 맞춰 개발된 extension 이나 scripts 가 동작하지 않을 수 있다.

모듈화 개념 Moduarization

지금까지 알고 있는 Stable Diffusion은 T2I, I2I 를 제공해주고, A1111 혹은 ComfyUI 처럼 GUI 플랫폼을 통해서 동작 가능하다?

하지만, stable diffusion 의 v1 은 CMD 기반이었다. (GUI 제공 x)

• 원래는 명령어를 넣어야 동작하는 것인데, GUI 기반으로 이해하기 시작하면서, T2I, I2I 기능으로만 나누어져있다고 인식되기 시작했다.

• 따라서 stable diffusion 의 T2I, I2I 자체는 여러 기능을 특성에 맞체 조합해둔 workflow 이다.

• T2I, I2I 로만 stable diffusion 을 이해하기 시작하면서 여러개의 기능 조합에 대한 개념은 사라지고, 여러 문제와 비효율이 발생하게 된다.

• ComfyUI 는 이에 대한 해결을 위해 등장한 것! T2I, I2I 고정적으로만 사용하는 것이 아니라, 나만의 구성을 통해 stable diffusion 을 다양한 방법으로 사용할 수 있게 되었다.

Workflow

A1111 의 한계점

하지만 ComfyUI 에서는 모듈 형식으로 다양한 방식의 플로우를 구성하거나 긴 process 를 하나의 flow 로 제작할 수 있다.

workflow 저장하기

• .json or .png 형태로 저장하여 공유할 수 있다.

• 사람들에게 공유할 수 있다.

• .png : 이미지 내에 워크플로우 구성을 저장할수도 있다.

  • 따라서 workflow 로 만든 이미지를 그냥 dnd 하면 워크플로우가 노출된다.

사용해보기

HotKey

• mute : 연결된 노드를 동작하지 않도록 함

• bypass : 잠시 해당 노드를 통과하여 사용하게 함