Module 구조에 대해 이해하기

테스트를 위해 checkpoint 모델 실행시켜보기

Folder Structure 이해하기

Base Folder Structure

windows 환경을 바탕을 설명이 되어서 일단 생략

Model Folder 설정하기

• checkpoints : diffusion 방식으로 다양한 스타일을 특화된 분야에 맞게 훈련된 checkpoint model 을 저장한다.

• clip, clip_vision : text 와 image input 기반으로 conditioning 하는데 사용되는 model 인 clip 과 clip_vision 을 저장한다.

• embeddings : embedding vector를 통해 이미지 생성에 영향을 주는 embedding model file 을 저장한다.

• loras : 작은 용량의 파일로 행렬 가중치를 추가하여 이미지 생성에 영향을 주는 LoRA Model File 을 저장한다. 단독으로 사용되기보다는 다른 모델과 함께 사용된다.

• vae : image 생성의 encode와 decode 에 사용되는 vae model file 을 저장한다.

• upscale_models : 특정 조건에서 image의 해상도와 퀄리티를 높여주는 esrgan model file 을 저장한다.

extra_model_paths 사용하기

여러 버전의 ComfyUI 를 사용하고 있을 때, 모델 파일에 대한 관리는?

• 모델 파일은 용량이 굉장히 크기 때문에 공통 폴더를 하나 두고, 해당 파일에서 모델 파일을 가져오도록 경로 설정을 해주면 된다.

• 하지만 역시 jupyter notebook 에서는 당장 해당사항이 없으므로 대충 듣고 패쓰.

Model 다운로드 하기

모델 다운로드 사이트

1. civitai - 오랫동안 운영되고 있어서 전 세계적으로 만들어진 모든 모델들을 다운받을 수 있다.

2. huggingface - 딥러닝 모델 공유 , 클라우드 서비스를 통한 웹 실행 서비스를 제공한다.

3. github - 오픈 프로젝트 중심으로 운영된다. 연구 중인 논문 링크나 사용된 소스 코드 및 학습 모델을 다운로드할 수 있다.

4. openmodeldb - esrgan model file 위주

5. comfyUI manager 를 사용해서 모델 다운로드

   1. 커스텀노드

   2. install models 클릭하면 필수적인 모델들을 미리 다운로드 받을 수 있도록 제공한다.