Mac 로컬 이미지 생성: 메모리와 mps 설정 가이드

Mac에서 Stable Diffusion으로 썸네일을 만들 수 있을까? Diffusers의 mps 설정과 attention slicing으로 메모리를 먼저 점검하면 가능합니다.

조회 19
Mac 로컬 이미지 생성: 메모리와 mps 설정 가이드

핵심 요약

  • Mac 로컬 생성은 속도보다 RAM에 모델이 들어가는지가 먼저입니다.
  • Diffusers에서 장치를 mps로 바꾸고 attention slicing을 켜면 시작할 수 있습니다.
  • 생성 시간은 환경마다 달라 조건을 고정해 직접 재야 합니다.

Mac에서 Stable Diffusion 계열 모델로 블로그 썸네일을 만드는 건 충분히 가능합니다. 핵심은 메모리입니다. Apple silicon은 CPU와 GPU가 메모리를 공유하므로, 속도보다 먼저 "내 RAM에 모델이 들어가는가"를 따져야 합니다. 이 글은 모델별 생성 시간을 직접 측정한 표를 싣지 않습니다. 공식 문서에서 확인되는 설정과 판단 기준만 정리합니다. 생성 시간은 칩과 RAM, 해상도, 스텝 수에 따라 크게 달라지므로 본인 환경에서 재 보는 편이 정확합니다.

Mac에서 돌리는 방법: Diffusers와 mps

가장 간단한 경로는 Hugging Face Diffusers입니다. Diffusers 공식 문서는 Apple silicon에서 PyTorch의 mps(Metal Performance Shaders) 장치로 추론하는 방법을 안내합니다. 코드는 파이프라인을 불러온 뒤 장치만 "mps"로 바꾸면 됩니다. 소스 코드와 이슈 트래커는 Diffusers GitHub 저장소에서 볼 수 있습니다.

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipe = pipe.to("mps")

# RAM이 64GB 미만이면 권장
pipe.enable_attention_slicing()

prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt).images[0]

위 코드는 문서의 예시를 줄인 것입니다. 요구 사항은 문서 버전마다 다릅니다. v0.16.0 문서는 Apple silicon(M1/M2) Mac, macOS 12.6 이상(13.0 이상 권장), arm64 버전 Python, PyTorch 2.0(권장) 또는 1.13(최소)을 요구합니다. Intel용 x86 Python이 깔려 있으면 mps를 쓸 수 없으니 python -c "import platform; print(platform.machine())"로 arm64인지 먼저 확인하세요.

메모리: attention slicing이 첫 번째 스위치

썸네일 작업에서 가장 흔한 문제는 속도가 아니라 메모리 압박입니다. 공식 문서는 메모리 압력을 줄이고 스왑을 막기 위해 attention slicing을 권장합니다. 특히 시스템 RAM이 64GB 미만이거나, 512×512보다 큰 비표준 해상도로 생성할 때 그렇습니다. 같은 문서에 따르면 attention slicing은 비용이 큰 attention 연산을 한 번에 하지 않고 여러 단계로 나눠 수행합니다.

블로그 썸네일은 보통 16:9 같은 가로형이라 정사각형 512보다 픽셀 수가 많습니다. 문서가 말하는 "512×512보다 큰 해상도" 조건에 그대로 걸리는 셈입니다. 16GB나 24GB 통합 메모리 Mac이라면 enable_attention_slicing()을 기본값으로 켜 두고 시작하는 것이 안전합니다.

속도 영향도 문서에 나옵니다. v0.30.1 문서에 따르면 attention slicing은 통합 메모리가 없는 컴퓨터에서 보통 성능을 약 20% 개선합니다. 문서는 대부분의 Apple silicon 환경에서도 더 나은 성능을 관찰했다고 덧붙입니다. 다만 Apple silicon에서 개선되는 폭의 구체적인 수치는 공식 문서에서 확인되지 않았습니다. 켜는 쪽이 유리한 경우가 많다는 정도로만 받아들이고, 본인 Mac에서 켠 것과 끈 것을 비교해 보세요.

속도: 첫 생성이 느린 이유와 측정 방법

mps로 처음 돌리면 첫 생성이 유독 느리게 느껴질 수 있습니다. 공식 문서는 PyTorch 1.13을 쓸 때 첫 사용 시 "워밍업 패스"를 한 번 실행하라고 안내합니다. 스텝 수를 1로 두고 한 번 돌리면 됩니다. 같은 문서에 따르면 워밍업 이후 결과는 CPU 장치의 결과와 일치합니다. PyTorch 2.0 이상에서는 이 단계가 필요 없다고 문서에 표시되어 있습니다.

속도를 비교할 때는 아래 항목을 고정하고 한 가지만 바꿔야 의미가 있습니다.

고정할 조건 이유
해상도 픽셀 수에 따라 시간과 메모리가 함께 늘어남
스텝 수 시간이 스텝 수에 거의 비례함
시드 같은 시드로 품질을 공정하게 비교
워밍업 제외 첫 실행의 초기화 비용이 섞이지 않게 함
attention slicing on/off 메모리와 속도 모두에 영향

측정은 time.perf_counter()로 pipe(...) 호출만 감싸면 충분합니다. 모델당 3~5회 돌려 중앙값을 쓰고, 활성 상태 보기의 메모리 압력 그래프가 노란색이나 빨간색으로 넘어가는지도 같이 보세요. 스왑이 시작되면 시간이 급격히 늘어나기 때문입니다.

품질: 모델 선택은 썸네일 용도로 판단

품질은 수치로 단정하기 어렵고 용도에 따라 갈립니다. 공식 문서 예제는 Stable Diffusion v1.5를 쓰는데, 이 계열의 기본 학습 해상도에서는 512 안팎이 가장 무난합니다. 더 큰 해상도를 원하면 모델 자체를 큰 해상도에 맞춘 계열로 바꾸는 쪽이 낫습니다. 해상도만 키우면 구도가 어색해지기 쉽고 메모리도 더 듭니다. 모델별 이미지 품질 비교 결과는 이 글에서 다루지 않습니다.

썸네일에서 실무적으로 중요한 기준은 세 가지입니다.

  • 텍스트 렌더링: 이미지 안의 글자는 생성 모델이 취약한 영역입니다. 제목 글자는 생성 후 디자인 툴에서 얹는 편이 안정적입니다.
  • 구도 재현성: 시리즈 썸네일은 시드와 프롬프트 템플릿을 고정해야 톤이 유지됩니다.
  • 업스케일 여부: 작은 해상도로 생성한 뒤 별도로 키우는 방식이 메모리 면에서 유리한 경우가 많습니다.

실천 가이드

처음 시작한다면 아래 순서를 권합니다.

  1. platform.machine()이 arm64인지, PyTorch가 mps를 인식하는지(torch.backends.mps.is_available()) 확인합니다.
  2. 공식 문서 예제대로 to("mps")와 enable_attention_slicing()을 적용해 512 해상도로 먼저 돌립니다.
  3. 해상도, 스텝, 시드를 고정하고 모델을 바꿔 가며 시간과 메모리 압력을 기록합니다.
  4. 마음에 드는 결과가 나오면 썸네일 비율에 맞춰 크롭하거나 업스케일하고, 제목 글자는 별도 도구로 얹습니다.

로컬 생성의 장점은 비용과 반복 실험의 자유도입니다. 한계는 메모리와 첫 설정의 번거로움입니다. 모델 파일을 내려받는 시간도 처음 한 번 듭니다. 다만 환경 설정은 문서가 제공하는 몇 줄이면 끝나므로, 썸네일 몇 장을 만들어 보며 본인 Mac의 한계선을 확인하는 것이 가장 빠른 판단 방법입니다.

자주 묻는 질문

Q. Mac에서 Stable Diffusion을 돌리려면 무엇이 필요한가요?

v0.16.0 문서 기준으로 Apple silicon Mac, macOS 12.6 이상(13.0 이상 권장), arm64 Python, PyTorch 2.0(권장) 또는 1.13(최소)이 필요합니다. Intel용 x86 Python이면 mps를 쓸 수 없으니 platform.machine()으로 arm64인지 확인하세요.

Q. attention slicing은 언제 켜야 하나요?

공식 문서는 시스템 RAM이 64GB 미만이거나 512×512보다 큰 해상도로 생성할 때 권장합니다. 16:9 썸네일은 이 조건에 해당하므로 기본으로 켜고 시작하는 것이 안전합니다.

Q. 첫 생성이 유독 느린 이유는 무엇인가요?

PyTorch 1.13에서는 첫 사용 시 스텝 수를 1로 둔 워밍업 패스를 한 번 실행하라고 문서가 안내합니다. PyTorch 2.0 이상에서는 필요 없다고 표시되어 있습니다. 속도를 잴 때는 워밍업을 제외하세요.

참고 자료

이 글은 웹 검색으로 확인한 위 출처를 바탕으로 AI(claude-sonnet-5-5)가 작성했습니다. 수치·가격은 출처 원문에서 다시 확인하세요.

#Apple silicon#Diffusers#Mac#mps#Stable Diffusion#로컬 이미지 생성#썸네일