M5 Ultra 메모리 대역폭 1.2TB/s, 로컬 AI에서 갖는 의미

애플이 M5 Max와 함께 새 맥 스튜디오에 M5 Ultra를 탑재해 공개했습니다. 사전주문은 8월 25일 시작했고 일반 출시는 9월 22일, 512GB 메모리 모델은 10월 말입니다. 가격은 512GB 모델 기준 일반 $5,499·교육용 $5,099입니다. 스펙표에서 가장 먼저 눈에 들어오는 건 메모리 용량이 아니라 대역폭입니다.

용량은 그대로, 속도가 50% 빨라졌다

M5 Ultra의 통합 메모리 대역폭은 1.2TB/s입니다. 메모리 용량 자체는 이번에 크게 안 늘었습니다 — M3 Ultra도 이미 최대 512GB 통합 메모리를 지원했으니까요. 달라진 건 그 메모리를 읽어오는 속도입니다. M3 Ultra의 800GB/s대에서 1.2TB/s로, 약 50% 빨라졌습니다.

애플 실리콘은 CPU와 GPU가 통합 메모리를 공유하는 구조라, 시스템 램과 GPU 전용 메모리가 분리된 일반 PC와는 근본적으로 다릅니다. Mac Studio의 GPU는 수백GB짜리 통합 메모리 풀에 직접 접근할 수 있습니다. M3 Ultra 때도 큰 모델을 메모리에 "올리는" 것 자체는 가능했지만, 올라간다는 것과 실제로 쓸 만한 속도로 돌아간다는 건 다른 문제입니다. 초당 2~3토큰 수준이면 장시간 쓰기 어렵고, 특히 코드를 읽고 수정하고 테스트 결과를 몇 시간씩 반복 확인하는 코딩 에이전트 작업에서는 이 속도 차이가 그대로 작업 시간으로 쌓입니다.

프리필과 디코드, 대역폭이 영향을 주는 지점

LLM 추론은 크게 두 구간으로 나뉩니다. 프리필은 프롬프트·문서·코드 같은 입력을 읽는 단계로, 행렬 연산 성능(GPU 코어의 뉴럴 액셀러레이터)에 영향을 받습니다. 코딩 에이전트는 실제 생성하는 답보다 코드·파일·도구 실행 결과를 읽는 토큰이 훨씬 많을 수 있어서, 프리필이 느리면 매 작업마다 긴 코드를 다시 읽느라 시간이 소요됩니다.

디코드는 한 토큰씩 답을 생성하는 단계고, 여기서 메모리 대역폭 영향이 커집니다. 매 토큰을 만들 때마다 거대한 모델 가중치를 메모리에서 계속 읽어야 하기 때문입니다. 이론적으로만 계산해보면(실측 아님), 양자화된 모델 가중치가 100GB라고 가정할 때 800GB/s 대역폭에서는 초당 약 8번, 1.2TB/s에서는 초당 약 12번 훑을 수 있습니다. 이게 정확히 8토큰이나 12토큰이 나온다는 뜻은 아니지만, 대역폭이 50% 늘어난 게 왜 중요한지 감을 잡는 참고치는 됩니다.

M5 Ultra의 구조 — 4다이 + 울트라퓨전

M5 Ultra는 M 시리즈 최초로 4다이 구조를 씁니다. 듀얼 다이 M5 Max 두 개를 차세대 울트라퓨전으로 결합한 형태로, 물리적으로는 4개의 실리콘 다이지만 소프트웨어에서는 하나의 프로세서처럼 동작합니다. 칩을 여러 조각으로 나누면 제조에는 유리하지만 다이 간 통신이 느리면 전체 성능이 떨어질 수 있는데, 울트라퓨전은 패키징 단계에서 다이 간 고속 신호선을 이전 세대보다 6배 이상 밀도로 연결해 이 문제를 풀었습니다. 다이 간 대역폭은 4.4TB/s 이상으로, 앞서 말한 통합 메모리 대역폭(1.2TB/s)과는 역할이 다른 별개의 수치입니다.

MLX 생태계 — 오픈 모델을 맥으로 가져오는 통로

몇 년 전이라면 하드웨어가 좋아도 "어떤 모델을 돌릴 것인가"라는 문제가 남았을 겁니다. 성능 좋은 모델은 대부분 OpenAI·구글·앤트로픽 서버 안에만 있었으니까요. 지금은 격차가 빠르게 줄고 있고, 새 오픈 모델이 공개되면 얼마 지나지 않아 애플 실리콘용 MLX 변환 버전이 따라옵니다. 4비트·8비트 양자화 버전은 물론, 스페큘레이티브 디코딩용 드래프트 모델까지 나오는 경우도 있습니다.

MLX는 애플 머신러닝 연구팀이 만든 애플 실리콘 전용 오픈소스 프레임워크이고, 그 위의 MLX LM이 모델 로드·양자화·파인튜닝·실행을 비교적 간단하게 처리해줍니다. 허깅페이스 MLX 커뮤니티에는 이미 수천 개 모델이 올라와 있습니다. 올해 WWDC에서는 MLX LM 서버로 OpenAI API 호환 로컬 서버를 만드는 방법까지 소개됐는데, 이렇게 하면 기존 코딩 에이전트의 API 주소만 로컬로 바꿔서 모델이 클라우드에 있는지 책상 위 맥 스튜디오에 있는지 신경 쓸 필요가 없어집니다.

애플 자체 모델도 같은 고민을 한다

애플은 올해 구글과 함께 3세대 애플 파운데이션 모델을 공개했습니다. 기기 내 구동 모델과 서버(프라이빗 클라우드 컴퓨트) 모델을 분리 운영하는데, 가장 큰 온디바이스 모델도 전체 규모 약 200억 파라미터입니다. 이 모델은 전체 가중치를 낸드에 저장해두고 요청에 필요한 전문가(expert)만 디램으로 가져오는 방식을 씁니다. 낸드가 디램보다 훨씬 느리기 때문에, 매 토큰마다 전문가를 바꾸면 병목이 커져서 첫 요청 처리 시 필요한 전문가를 미리 골라두고 생성 중 데이터 이동을 줄이는 방향으로 설계했습니다. 애플 자체 모델에서도 "얼마나 계산하느냐" 못지않게 "가중치를 어디에 두고 얼마나 빨리 가져오느냐"가 중요하다는 걸 보여주는 대목입니다.

같이 보면 좋은 제품 512GB 모델은 10월 말에나 손에 들어오지만, 같은 M5 세대 애플 실리콘을 이미 써보고 싶다면 M5 맥북프로 16인치도 참고할 만합니다. 통합 메모리 구조와 MLX 생태계는 노트북 쪽에서도 똑같이 적용됩니다. M5 맥북프로 16인치 구매기

같이 보면 좋은 제품 대역폭 말고 실제로 얼마를 내야 하는지가 궁금하다면 M6 맥미니 149만 9천 원, 가성비 소리 듣던 그 맥미니가 아니다에 맥미니·맥 스튜디오 한국 공식가 7종을 한 표로 정리해뒀습니다.

데이터센터 GPU와는 다른 자리

맥 스튜디오를 데이터센터 GPU와 단순 비교할 필요는 없습니다. 최신 HBM 기반 AI 가속기는 메모리 대역폭이 이미 몇 TB/s 단위이고, 대규모 학습이나 다수 동시 사용자 서빙에서는 여전히 압도적으로 우위입니다. 맥 스튜디오의 자리는 다릅니다 — 한 명의 사용자가 책상 위 컴퓨터 한 대에서 GPU가 수백GB 메모리를 거의 통째로 쓰며 상당히 큰 모델을 계속 돌릴 수 있다는 데 의미가 있습니다.

정리

큰 모델을 넣을 메모리는 이미 있었고, 쓸 만한 오픈 모델도 많아졌고, MLX 생태계도 빠르게 커졌습니다. 이제 남은 건 그 모델을 실제로 쓸 만큼 빠르게 움직일 수 있는지인데, M5 Ultra의 1.2TB/s는 이 마지막 조각에 대한 애플의 답입니다. 512GB 모델 실측 벤치마크와 코딩 에이전트를 몇 시간씩 로컬로 돌려도 되는지는 아직 확인되지 않았고, 10월 말 512GB 모델이 실제로 풀리면 이 글에 이어서 업데이트하겠습니다.

구매 정보: 512GB 모델은 10월 말 출시라 아직 쿠팡 판매 링크가 없습니다. 실제 판매가 시작되면 이 글에 추가합니다.