로컬 코딩을 위한 최적 MoE 모델은?
빠른 답변
Qwen3.6-35B-A3B는 비교한 모델 중 개발사가 보고한 SWE-bench Verified 점수가 가장 높아 32GB 메모리에 적합하고, 24GB GPU에는 Qwen3-Coder-30B-A3B, 16GB에는 gpt-oss-20b가 맞습니다. MoE는 토큰당 3~5B 활성 파라미터만 계산해 빠르지만, 모든 전문가를 위한 메모리는 여전히 필요합니다.
- ▸16GB: gpt-oss-20b (전체 21B, 활성 3.6B, Ollama 14GB)
- ▸24GB: Qwen3-Coder-30B-A3B 또는 GLM-4.7-Flash (각 19GB)
- ▸32GB 이상: Qwen3.6-35B-A3B (~24GB), 64~80GB: Qwen3-Coder-Next, gpt-oss-120b
핵심 요점
- ✓MoE 모델은 모든 전문가를 메모리에 올리지만 토큰당 3~5B 활성 파라미터만 계산합니다. 같은 파일 크기의 밀집 모델보다 빠르지만 메모리를 덜 쓰지는 않습니다
- ✓gpt-oss-20b(Ollama 14GB)는 16GB용 MoE 선택이며, Qwen3-Coder-30B-A3B와 GLM-4.7-Flash(각 19GB)는 24GB GPU에 들어갑니다
- ✓Qwen3.6-35B-A3B(~24GB)는 모델 카드에서 SWE-bench Verified 73.4를 보고하여 여기서 비교한 모델 중 가장 높으며, 32GB 메모리에 적합합니다
- ✓Qwen3-Coder-Next(52GB)와 gpt-oss-120b(65GB)는 64~80GB의 통합 메모리 또는 VRAM이 필요합니다
MoE에는 활성이 아닌 전체 파라미터 분량의 메모리가 필요합니다
Mixture of Experts(MoE) 모델은 각 토큰을 소수의 전문가 서브네트워크로만 보내므로, 속도는 활성 파라미터를 따르고 메모리는 전체 파라미터를 따릅니다. Hugging Face 모델 카드에 따르면 Qwen3.6-35B-A3B는 256개의 전문가를 갖고 토큰당 라우팅된 8개와 공유 1개를 활성화합니다(35B 중 3B).
따라서 활성 3B의 MoE는 작은 밀집 모델 수준의 비용으로 토큰을 생성하지만, 14~24GB의 다운로드 분량은 여전히 VRAM이나 빠른 통합 메모리에 올라가야 합니다. 표의 크기는 Ollama 다운로드 크기이므로 컨텍스트 캐시 여유분을 더해 계산하십시오.
모델 카드의 벤치마크 점수는 각 개발사가 서로 다른 에이전트 설정으로 보고한 값입니다. SWE-bench Verified는 Qwen3.6-35B-A3B가 73.4, Qwen3-Coder-Next가 70.6, GLM-4.7-Flash가 59.2입니다. 직접 비교가 아닌 참고용으로 보십시오. PromptQuorum은 재측정하지 않았습니다.
| 모델 | 전체 / 활성 | Ollama 크기 | 메모리 구간 |
|---|---|---|---|
| Qwen3.6-35B-A3B | 35B / 3B | ~24 GB | 32 GB |
| Qwen3-Coder-30B-A3B | 30B / 3.3B | 19 GB | 24 GB |
| GLM-4.7-Flash | 30B / 3B | 19 GB | 24 GB |
| gpt-oss-20b | 21B / 3.6B | 14 GB | 16 GB |
| Qwen3-Coder-Next | 80B / 3B | 52 GB | 64 GB |
| gpt-oss-120b | 117B / 5.1B | 65 GB | 80 GB |
내 메모리에 맞는 MoE 모델 고르기
VRAM 16GB에는 gpt-oss-20b를 쓰십시오. 전체 21B, 활성 3.6B, Ollama 14GB입니다. 16GB 카드에서는 컨텍스트에 약 2GB만 남으므로 컨텍스트 창을 적당히 유지하십시오.
24GB GPU에는 Qwen3-Coder-30B-A3B(19GB, 256K 컨텍스트, 코드에 맞춰 조정) 또는 GLM-4.7-Flash(19GB, MIT 라이선스)를 쓰십시오. 둘 다 활성 3~3.3B의 30B-A3B MoE입니다.
32GB 통합 메모리나 32GB GPU에는 Qwen3.6-35B-A3B(약 24GB, 256K 컨텍스트, Apache 2.0)를 쓰십시오. 24GB GPU에서는 빠듯하며, 모델 일부가 시스템 RAM으로 넘치면서 속도가 떨어집니다.
64~80GB에서는 Qwen3-Coder-Next(전체 80B, 활성 3B, Q4_K_M 52GB)가 64GB 장비에 맞고, gpt-oss-120b(전체 117B, 활성 5.1B, 65GB)는 OpenAI 모델 카드에 따르면 80GB GPU 한 장을 목표로 합니다.
16GB 미만에서는 MoE가 실용적이지 않습니다. 밀집 모델 대안은 코딩용 최적 14B 모델을 참조하십시오.
Ollama로 MoE 모델 실행하기
표의 모든 모델은 명령 한 줄로 실행됩니다. ollama run gpt-oss:20b, ollama run qwen3-coder:30b, ollama run glm-4.7-flash, ollama run qwen3.6:35b, ollama run qwen3-coder-next, ollama run gpt-oss:120b.
Ollama는 모델이 VRAM을 넘으면 레이어를 GPU와 시스템 RAM에 나눕니다. llama.cpp에서는 MoE용으로 이를 조정할 수 있습니다. --cpu-moe와 --n-cpu-moe 옵션은 전문가 가중치를 시스템 RAM에 두고 어텐션은 GPU에 남겨, 19~24GB 모델을 16GB 카드에서 더 느리게 실행할 수 있게 합니다. 속도는 PromptQuorum이 측정하지 않았습니다.
흔한 실수는 활성 파라미터로 크기를 판단하는 것입니다. "활성 3B" 모델의 다운로드가 3B 크기는 아닙니다. 받기 전에 모델의 Ollama 페이지에서 파일 크기를 확인하십시오.
VRAM 구간별 밀집 모델 대안은 코딩용 최적 로컬 LLM 가이드를 참조하십시오.
관련 가이드
- ▸코딩용 최적 14B 모델 -- 10~16GB용 밀집 코딩 모델
- ▸코딩용 최적 로컬 LLM -- VRAM 구간별 코딩 모델
- ▸Continue.dev, Cursor에 인수: 종료와 대안 -- coding tool comparison
출처
- ▸Qwen3.6-35B-A3B 모델 카드 — 아키텍처, 전문가 수, 라이선스, SWE-bench Verified 점수.
- ▸Qwen3-Coder-Next 모델 카드 — 전체 80B, 활성 3B, SWE-bench Verified 점수.
- ▸GLM-4.7-Flash 모델 카드 — 30B-A3B MoE, MIT 라이선스, SWE-bench Verified 점수.
- ▸gpt-oss-120b 모델 카드 — gpt-oss-120b와 gpt-oss-20b의 전체·활성 파라미터 및 메모리 목표.
- ▸Ollama 라이브러리: qwen3-coder — 태그와 다운로드 크기. gpt-oss, glm-4.7-flash, qwen3.6, qwen3-coder-next도 참조.
MoE 코딩 모델에 관한 빠른 답변
MoE 모델이란 무엇이며 로컬 코딩에 왜 중요합니까?▾
VRAM 16GB에 가장 좋은 MoE 모델은 무엇입니까?▾
가장 좋은 소형 MoE 모델은 무엇입니까?▾
MoE 모델은 밀집 모델보다 VRAM이 덜 필요합니까?▾
Ollama에서 쓸 수 있는 MoE 코딩 모델은 무엇입니까?▾
qwen3.6:35b, qwen3-coder:30b, glm-4.7-flash, gpt-oss:20b, qwen3-coder-next, gpt-oss:120b가 있으며 다운로드 크기는 각각 약 24, 19, 19, 14, 52, 65GB입니다.코딩에서 MoE 모델이 밀집 모델보다 더 좋습니까?▾
qwen3.6:27b(18~19GB)처럼 파일 크기가 비슷한 밀집 모델은 토큰당 더 느릴 수 있으므로, 선택 전에 자신의 저장소에서 둘 다 시험해 보십시오.