Skip to content
Saegida
Go back

로컬 LLM 홈서버, 신형 맥미니·맥스튜디오 손익분기 계산

홈서버에 로컬 LLM(대규모 언어 모델)을 올려보려고 맥미니를 알아보던 중이었습니다. 그러다 2026년 8월 25일 Apple이 M6·M5 Pro/Max/Ultra를 한꺼번에 내놨고, 가격표를 열어보고 잠깐 멈췄습니다. 선택지는 늘었는데 고민은 더 늘었습니다. 맥미니 시작가가 $899가 됐고, 맥스튜디오 M5 Ultra의 256GB 메모리 옵션은 업그레이드 비용만 $4,000입니다.

그래서 “좋아 보이네”에서 멈추지 않고, 로컬 LLM 홈서버를 실제로 사는 게 맞는지 숫자로 계산해봤습니다. 결론부터 말하면 이 글은 “사세요”도 “사지 마세요”도 아닙니다. 대신 어떤 숫자를 어디에 대입해야 자기 답이 나오는지, 그 기준을 세우는 글입니다. 로컬 추론을 처음 검토하는 분이라면 전체 구조를, 이미 견적을 뽑아본 분이라면 ‘4배’라는 발표 문구의 실체와 손익분기 부분을 참고하실 수 있습니다.

로컬 LLM 홈서버, 신형 맥미니·맥스튜디오 손익분기 계산

뭐가 나왔고, 얼마인가?

먼저 스펙과 가격부터 짧게 정리하겠습니다. 이 글의 본론은 아니지만, 뒤의 계산에 계속 쓰이는 숫자들입니다.

최대 통합 메모리메모리 대역폭비고
M632GB170GB/sApple 최초 2nm, 듀얼 16코어 Neural Engine
M5 Pro64GB307GB/s
M5 Max128GB614GB/s
M5 Ultra512GB1.2TB/sM 시리즈 최초 쿼드 다이(quad-die)

(Apple 뉴스룸 — M6·M5 Ultra 발표)

가격은 모두 USD·세금 별도, 2026년 8월 25일 발표 기준입니다.

제품시작가(USD)한국 시작가(VAT 포함)
Mac mini M6 (16GB/256GB)$8991,499,000원
Mac mini M5 Pro (24GB/512GB)$1,6992,990,000원
Mac Studio M5 Max (36GB/512GB)$2,4994,290,000원
Mac Studio M5 Ultra (96GB/1TB)$5,4999,490,000원

(Mac mini 발표, Mac Studio 발표, 한국 가격은 GeekNews 정리 기준)

여기서 진짜 눈에 띄는 건 메모리 옵션 단가입니다. 맥미니 16GB → 32GB가 +$400, 맥스튜디오 M5 Ultra 96GB → 256GB가 +$4,000입니다(AppleInsider). 512GB 구성은 10월 출시 예정이고 가격은 아직 Apple이 발표하지 않았습니다. 매체들이 “$6,000 이상 추가” 같은 추정을 내놓고 있지만 어디까지나 추정입니다.

“정말 오른 게 맞나”는 기준점에 따라 답이 갈립니다. 2026년 5~6월에 이미 한 차례 인상이 있었기 때문입니다.

둘 다 사실입니다. 원인은 Apple도 공개적으로 인정한 AI 데이터센터발 메모리 품귀입니다. Tim Cook은 2026년 6월 “AI 수요로 메모리 가격이 오르고 있고 그 비용이 고객에게 전가되고 있다”고 밝혔습니다(Tom’s Hardware).

”AI 성능 4배”는 무엇이 4배 빨라진 걸까?

이 글에서 제일 하고 싶은 이야기입니다. 발표 헤드라인만 보면 절대 알 수 없는 부분이거든요.

Apple 발표문에 나온 AI 관련 배수를 그대로 옮겨보겠습니다.

셋 다 ‘프롬프트 처리’입니다. 토큰 생성 속도가 몇 배 빨라졌다는 주장은 Apple 자료 어디에도 없습니다.

LLM 추론은 성격이 완전히 다른 두 단계로 나뉩니다.

즉, 두 단계는 서로 다른 부품이 담당합니다. 그리고 신형 칩의 대역폭 증가율을 보면 이야기가 달라집니다.

등급이전 세대신형대역폭 증가율
베이스M4 120GB/sM6 170GB/s+42%
ProM4 Pro 273GB/sM5 Pro 307GB/s+12.5%
MaxM4 Max 546GB/sM5 Max 614GB/s+12.5%
UltraM3 Ultra 819GB/sM5 Ultra 1,200GB/s+46%

이 표가 뜻하는 바는 분명합니다. Pro·Max 등급에서 토큰 생성 속도 향상은 10~12% 수준에 그칩니다. “4배”는 전부 프리필 쪽 이야기고, 정작 대화하듯 쓸 때 체감하는 생성 속도는 거의 그대로라는 뜻입니다.

프리필은 GPU 연산 능력, 디코드는 메모리 대역폭이 결정하는 LLM 추론 두 단계 개념도

그럼 프리필 4배는 별거 아닌가?

아닙니다. 오히려 그동안 Apple Silicon의 최대 약점을 정면으로 때린, 진짜 업데이트입니다. 이걸 보여주는 실측 두 가지가 있습니다.

하나. 이전 세대인 M3 Ultra 맥스튜디오 512GB에서 llama.cpp로 DeepSeek 671B(q4_K_M)를 돌린 실측입니다. 8,001토큰짜리 프롬프트 하나를 처리하는 데 888초, 14분 48초가 걸렸습니다. 생성은 6.21 tok/s, 총 소요 17분 13초였습니다(hardware-corner). 코딩 에이전트처럼 긴 컨텍스트를 매번 밀어 넣는 용도라면, 이 조합은 사실상 쓸 수 없었다는 뜻입니다.

둘. EXO Labs가 같은 모델(Llama-3.1 8B FP16, 8,192토큰)로 두 기계를 비교한 실측입니다.

기기프리필디코드합계
NVIDIA DGX Spark (~100 TFLOPs, 273GB/s)1.47초2.87초4.34초
Mac Studio M3 Ultra (~26 TFLOPs, 819GB/s)5.57초0.85초6.42초
두 대를 결합1.47초0.85초2.32초

(EXO Labs)

연산이 4배 높은 DGX Spark이 프리필에서 3.8배 빠르고, 대역폭이 3배 높은 M3 Ultra가 디코드에서 3.4배 빠릅니다. FLOPS와 대역폭이 서로 다른 일을 한다는 걸 이보다 깔끔하게 보여주는 실험은 없습니다. 그래서 둘을 붙이면 2.8배가 나옵니다.

유의사항 — M5·M6 세대의 실측 벤치마크는 2026년 8월 26일 현재 존재하지 않습니다. 위 실측은 전부 이전 세대(M3 Ultra, M4 Pro/Max) 수치입니다. 검색하면 “M5 Max로 70B를 28 tok/s”류의 숫자가 잡히지만, 뒤에서 보듯 이런 값은 대역폭 상 물리적으로 불가능합니다. 자동 생성으로 의심되는 집계 사이트의 수치는 걸러내시는 편이 좋습니다.

내 메모리로는 어떤 모델까지 올릴 수 있을까?

여기서 가장 중요한 문장을 하나 놓겠습니다.

메모리 용량은 ‘올릴 수 있는 모델 크기’를 정하고, 메모리 대역폭은 ‘생성 속도’를 정합니다. 서로 다른 부품이 서로 다른 일을 합니다.

용량: 파라미터당 몇 바이트인가

가장 널리 쓰이는 4비트 양자화(Q4_K_M)를 기준으로 하면 파라미터당 약 0.6바이트입니다. Q8은 약 1.06바이트, FP16은 정확히 2바이트입니다. 여기에 KV 캐시와 런타임 오버헤드로 15~20% 정도를 더 얹어야 합니다.

이 경험칙은 검증됩니다. DeepSeek 671B를 q4_K_M로 로드했을 때 실측 메모리 사용량이 약 405GB였는데, 671 × 0.6 = 403GB로 거의 정확히 맞습니다.

모델 크기Q4_K_M 기준 필요 메모리
8B약 4.6GB
32B약 18GB
70B약 40GB
120B약 68GB
235B약 134GB
671B약 405GB (실측)

즉, 70B 모델을 4비트로 돌리려면 최소 40GB에 오버헤드까지 여유가 있는 기계가 필요합니다.

유의사항 — macOS는 GPU에 할당 가능한 통합 메모리를 기본적으로 전체의 약 75%로 제한합니다(iogpu.wired_limit_mb로 조정 가능). 32GB 머신이면 실제로 쓸 수 있는 건 24GB 선이라고 보시는 게 안전합니다.

속도: 대역폭을 모델 크기로 나눈다

디코드는 대역폭 바운드이므로 이론 상한이 단순합니다. 대역폭 ÷ 모델이 차지한 메모리입니다. 그리고 M4 세대 실측을 보면 실제로는 이 상한의 약 60% 정도가 나옵니다.

대역폭7B Q4 생성 속도(실측)
M4 Pro273GB/s50.74 tok/s
M4 Max546GB/s83.06 tok/s

대역폭이 정확히 2배일 때 생성 속도도 거의 그만큼 오릅니다. 7B Q4는 약 4GB니까 M4 Max의 이론 상한은 546÷4 = 136 tok/s인데, 실측이 83 tok/s입니다. 효율 약 60%가 여기서 나옵니다.

그래서 쓸 만한 어림 공식이 하나 나옵니다.

현실적 생성 속도 ≈ (메모리 대역폭 ÷ 모델 점유 메모리) × 0.6

이 공식으로 신형 조합을 추정해보겠습니다. 아래는 전부 계산에 의한 추정치이며, 실측이 아닙니다.

조합이론 상한추정 현실값
M6 mini 16GB, 8B Q4 (4.6GB)37 tok/s약 20~22 tok/s
M6 mini 32GB, 32B Q4 (18GB)9.4 tok/s약 5~6 tok/s
M5 Pro mini 64GB, 70B Q4 (40GB)7.7 tok/s약 4~5 tok/s
M5 Max Studio, 32B Q4 (18GB)34 tok/s약 20 tok/s
M5 Max Studio, 70B Q4 (40GB)15.4 tok/s약 9~11 tok/s
M5 Ultra 256GB, 235B Q4 dense (134GB)9.0 tok/s약 5~6 tok/s

굵게 표시한 줄이 가장 흔한 함정입니다. 32GB M6 맥미니는 32B 모델을 ‘적재’할 수는 있지만 5~6 tok/s로 돕니다. 사람이 글을 읽는 속도보다 느립니다. $400을 더 내고 산 것이 못 쓸 속도인 셈입니다. 대역폭이 낮은 등급에서 메모리만 키우는 건 최악의 조합입니다. 같은 돈이라면 “32GB 맥미니”보다 “16GB 맥미니 + API”가 대부분 낫습니다.

참고로 검색에 자주 잡히는 “M5 Max, 70B Q4, 28 tok/s”는 이론 상한 15.4 tok/s의 1.8배로, 물리적으로 나올 수 없는 값입니다. 이런 숫자를 보면 그 출처 전체를 의심하시는 게 맞습니다.

MoE는 규칙을 한 번 더 바꾼다

한 가지 예외가 있습니다. 전문가 혼합(MoE, Mixture-of-Experts) 모델입니다. 671B짜리 모델이라도 토큰 하나당 활성화되는 파라미터가 37B뿐이라면, 매 토큰마다 읽어야 할 메모리는 405GB가 아니라 22GB 남짓입니다. 실제로 M3 Ultra 512GB에서 DeepSeek-R1 671B가 16~18 tok/s로 돌았다는 리뷰가 있습니다(AppleInsider, 2025년 3월).

정리하면 이렇습니다. 용량은 전체 모델 크기가 정하고, 속도는 활성 파라미터가 정합니다. 통합 메모리 머신을 고를 때 가장 중요한 규칙입니다.

메모리 용량별 실행 가능한 로컬 LLM 모델 크기 사다리와 맥 제품별 추정 생성 속도

로컬 LLM 홈서버, 얼마나 돌려야 본전일까?

이제 진짜 계산입니다. 하드웨어 가격을 API 토큰으로 환산해보겠습니다.

실사용은 입력이 출력보다 훨씬 많으므로 입력:출력 = 3:1로 가정하겠습니다. Claude Sonnet 5 기준(입력 $3 / 출력 $15 per 1M)이면 혼합 단가가 1M 토큰당 $6, Opus 5(입력 $5 / 출력 $25)면 $10이 됩니다(Claude 요금 페이지).

구매가격Sonnet 5 환산Opus 5 환산
Mac mini M6 16GB$899약 1.5억 토큰약 9,000만 토큰
32GB 업그레이드분만$400약 6,700만 토큰약 4,000만 토큰
Mac Studio M5 Max$2,499약 4.2억 토큰약 2.5억 토큰
256GB 업그레이드분만$4,000약 6.7억 토큰약 4억 토큰

한 줄로 말하면 이렇습니다. 메모리를 16GB에서 32GB로 올리는 $400은, Sonnet 5 토큰 6,700만 개와 같은 값입니다. 그런데 앞에서 봤듯 그 32GB로 돌릴 32B 모델은 5~6 tok/s입니다.

반대 방향: 그 토큰을 맥이 만들려면 며칠 걸리나

환산만으로는 부족합니다. 하드웨어가 그 토큰 수를 물리적으로 생산할 수 있어야 손익분기가 성립하니까요.

맥스튜디오 M5 Max에서 32B를 20 tok/s(추정치)로 돌린다고 해보겠습니다.

이걸 Sonnet 5 출력 단가($15/1M)로 사면 이렇게 됩니다.

가동률월 절감액(추정)$2,499 회수 기간
하루 30분약 $16사실상 회수 불가
하루 8시간약 $259약 9.6개월
24시간 풀가동약 $777약 3.2개월

같은 하드웨어인데 회수 기간이 3개월에서 무한대까지 벌어집니다. 여기가 이 글의 핵심입니다. 손익분기를 정하는 건 하드웨어 가격이 아니라 가동률입니다. 대량 요약·분류·임베딩·라벨링처럼 24시간 돌릴 배치 워크로드가 있으면 3~6개월에 회수되고, 하루 30분 챗봇으로 쓴다면 영원히 회수되지 않습니다.

가동률별 맥스튜디오 손익분기 회수 기간 비교 막대그래프

전기요금은 어떨까요. M3 Ultra 맥스튜디오 실측 기준으로 유휴 32~34W, LLM 추론 중 160~200W였습니다(TechRadar). 180W로 하루 8시간, 30일이면 43.2kWh입니다. 한국전력 2026년 여름철 주택용 저압 2단계(214.6원/kWh) 기준 월 약 9,300원입니다(한국전력공사 요금표).

월 $259 절감액에 비하면 무시할 수준입니다. 전기요금은 맥 기반 홈서버에서 손익분기의 결정 변수가 아닙니다. 다만 한국은 누진제라, 이미 월 400kWh 근처를 쓰는 가구라면 43kWh가 구간을 밀어 올려 전체 사용량에 더 비싼 단가가 붙을 수 있습니다. 이건 맥의 문제가 아니라 누진제의 문제입니다.

API가 더 싸지는 쪽 계산도 해봤을까?

반대편 계산도 해봐야 합니다.

캐싱과 배치를 제대로 쓰면 앞의 회수 기간 표는 통째로 뒤로 밀립니다. 정직하게 말하면, 순수하게 돈만 보면 API가 이기는 경우가 더 많습니다.

그럼 왜 사느냐. 돈으로 환산되지 않는 쪽에 이유가 있습니다.

  1. 프라이버시가 요구사항인 경우 — 계약상·법적으로 외부 API에 못 보내는 데이터가 있다면 손익분기 계산 자체가 성립하지 않습니다. 선택지가 하나뿐이니까요.
  2. 무제한 실험 — 토큰 미터가 안 돌아가면 하는 실험의 성격이 바뀝니다. 프롬프트를 100번 갈아엎거나 전체 데이터를 재처리하는 일을 망설이지 않게 됩니다.
  3. 오프라인·네트워크 격리 환경.
  4. 맥은 AI 전용 기계가 아닙니다 — 어차피 데스크톱이 필요했다면 증분 비용만 계산하면 됩니다. NVIDIA 홈서버는 보통 ‘추가로 사는 기계’라 이 계산이 안 됩니다.

맥이 아닌 선택지는 어떤가?

“선택지가 늘었다”의 실체도 짚어보겠습니다.

선택지메모리대역폭전력가격(USD)성격
Mac mini M616~32GB170GB/s낮음$899~$1,299가격·크기·정숙성
Mac Studio M5 Max36~128GB614GB/s약 200W$2,499~용량·대역폭 균형점
Mac Studio M5 Ultra96~512GB1.2TB/s약 270W$5,499~$18,299(256GB 기준)초대형 모델의 거의 유일한 해법
RTX 5090 빌드32GB1,792GB/s575W+$3,200~$4,800속도 압도
DGX Spark128GB273GB/s$4,699CUDA·프리필 강세
Ryzen AI Max+ 395128GB약 $2,800가성비
중고 M4 Max Studio~128GB546GB/s약 180W(중고 시세)디코드 성능 대비 최저가

(맥 외 제품의 시세·성능 수치는 커뮤니티·비교 자료 기반이라 방향성 참고용으로만 보시는 게 좋습니다)

이 표에서 읽어야 할 건 순위가 아니라 교환 관계입니다.

그리고 이 글에서 가장 실용적인 결론일 수도 있는 항목이 하나 있습니다. 중고 M4 Max 맥스튜디오입니다. M5 Max와 대역폭 차이가 12.5%뿐입니다. 차이가 나는 건 프리필 3.9배 하나입니다. 즉 긴 컨텍스트를 매번 밀어 넣는 용도가 아니라면, 신형 M5 Max를 살 이유가 생각보다 크지 않습니다.

반대로 코딩 에이전트처럼 매 턴 수천~수만 토큰짜리 컨텍스트를 통째로 넣는 워크로드라면, 프리필 4배는 “돌아가긴 하는데 못 쓰겠다”와 “쓸 만하다”를 가르는 차이입니다. 앞서 본 14분 48초가 그 이유입니다.

소프트웨어 쪽도 한 줄 정리하면, Apple Silicon에서는 Apple의 공식 프레임워크인 MLX가 현재 가장 빠른 경로이고, Ollama도 0.19(2026년 3월)부터 내부 엔진을 MLX로 전환했습니다. Apple이 성능을 주장할 때 기준으로 삼은 앱은 LM Studio입니다. 일상적으로는 Ollama, 세밀한 제어가 필요하면 llama.cpp 정도로 접근하면 무난합니다.

마무리하며

계산을 끝내고 남은 건 결론이 아니라 순서였습니다. 정리하면 이렇습니다.

  1. 먼저 어떤 모델을 돌릴지 정합니다. 그게 필요한 메모리 용량(파라미터 × 0.6바이트 + 20%)을 정합니다.
  2. 그 용량에서 나올 속도를 계산합니다. (대역폭 ÷ 모델 점유 메모리) × 0.6. 여기서 대화형으로 못 쓸 숫자가 나오면 그 조합은 후보에서 빼는 게 맞습니다.
  3. 하루 몇 시간 돌릴지를 정직하게 적습니다. 가격이 아니라 이 숫자가 손익분기를 정합니다.
  4. 캐싱·배치를 적용한 API 비용과 비교합니다. 그래도 온프렘이 남는다면, 그건 대개 돈이 아니라 프라이버시나 무제한 실험 때문입니다.

‘용량과 속도는 다른 부품이 정한다’, 이 한 줄만 기억해도 견적서에서 가장 비싼 실수는 피할 수 있습니다. 메모리만 키우는 옵션 앞에서 한 번 멈추게 되니까요.

지금 로컬 LLM 홈서버를 고민 중이시라면, 구매 버튼을 누르기 전에 돌리려는 모델 하나를 정해서 위 공식에 숫자를 대입해보시길 권합니다. 숫자 두 개만 넣어보면 사야 할 등급이 대체로 저절로 드러납니다. 그리고 M5·M6 세대 실측이 아직 없는 만큼, 급하지 않다면 첫 벤치마크가 올라오는 것을 한 달쯤 기다려보는 것도 나쁘지 않은 선택입니다.

참고 자료 (공식 출처)

#로컬LLM #홈서버 #맥미니 #맥스튜디오 #AppleSilicon #M6맥미니 #M5Ultra #메모리대역폭 #온프렘AI #Ollama #MLX #LLM추론 #양자화 #손익분기 #AI홈서버


Share this post:

Next Post
리눅스 로그인 지연과 비밀번호 변경 실패, 두 번 오진한 기록