2026년 최고의 소형 로컬 LLM: 상위 4B 모델과 로컬에서 실행 가능한 최소 모델

소형 로컬 LLM은 일반적으로 약 40억 파라미터 이하의 모델입니다. 4비트 양자화에서 이 모델들의 다운로드 크기는 대략 1-4 GB이며(Gemma 4의 유효 파라미터 설계는 예외이며 아래에서 설명합니다), 전체 메모리가 4-8 GB인 보급형 노트북에서도 충분히 실행할 수 있습니다.

소형 모델은 요약, 간단한 Q&A, 코드 스니펫 설명, 짧은 번역, 문장 다듬기, 분류에 적합합니다. 길고 여러 단계로 이어지는 추론, 대규모 코드 생성, 일관성이 필요한 장문 작성에는 적합하지 않습니다.

4B 모델과 7-9B 모델 사이의 품질 격차는 여전히 존재합니다. 기기의 RAM이 8 GB 이상이고 여유가 있다면 Qwen3.5 9B(Ollama 6.6-7.6 GB) 같은 7-9B 모델이 대체로 더 나은 선택입니다. 7B 추천 모델은 입문자를 위한 최고의 로컬 LLM 모델을 참고하십시오.

Qwen3.5 4B는 이 비교에서 가장 강력한 4B급 모델로, Qwen 자체 모델 카드 기준 MMLU-Pro 79.1, GPQA Diamond 76.2, LiveCodeBench v6 55.8을 기록했습니다. 2026년 초 Qwen3.5 Small 시리즈의 일부로 Apache 2.0 라이선스로 공개되었으며, 텍스트와 이미지를 입력받고 도구 호출을 지원하며 기본 컨텍스트 윈도우는 262,144 토큰입니다.

알아 둘 점이 두 가지 있습니다. 첫째, Qwen3.5 모델은 기본적으로 사고 모드로 동작하여 추론은 향상되지만 CPU에서는 느리므로, 간단한 작업에서는 사고를 끄십시오. 둘째, 모델 카드에는 대표 벤치마크가 어떤 모드로 측정되었는지 명시되어 있지 않고 Qwen의 평가 방식도 Google이나 Microsoft와 다르므로, 수치는 항목별 정확한 비교가 아니라 대략적인 방향성으로 비교하십시오.

Google Gemma 4 E4B는 Google 모델 카드 기준 MMLU Pro 69.4%, LiveCodeBench v6 52.0%, GPQA Diamond 58.6%를 기록했습니다. "E4B"는 유효 파라미터 4.5B를 의미하며, 레이어별 임베딩을 포함하면 모델은 약 8B 파라미터입니다. 이 때문에 "4B"라는 이름과 달리 Ollama 다운로드 크기가 6.6-9.5 GB입니다. 텍스트와 이미지를 입력받고, 128K 컨텍스트 윈도우를 갖추었으며, Apache 2.0 라이선스로 공개되어 있습니다.

Google 생태계, 강력한 다국어 성능(MMMLU 76.6%), 또는 Tau2 에이전트 점수 42.2%를 원한다면 Qwen3.5 4B 대신 E4B를 선택하십시오. 디스크와 메모리를 대략 절반만 쓰면서 같은 수준의 품질을 원한다면 Qwen3.5 4B를 선택하십시오.

Microsoft Phi-4 Mini는 모델 카드 기준 MMLU 67.3%, MMLU-Pro 52.8%를 기록하며, 다운로드 크기는 2.5 GB로 여기 소개한 4B급 모델 중 가장 작은 용량입니다. MIT 라이선스이고 128K 컨텍스트 윈도우를 갖추었으며, 추론에 초점을 맞춘 엄선된 합성 데이터로 학습되었습니다.

추론 벤치마크에서는 Qwen3.5 4B와 Gemma 4 E4B에 뒤처지므로(GPQA 25.2 대 76.2 및 58.6), 메모리가 제약인 4-6 GB 기기이거나 관대한 MIT 라이선스를 원할 때 선택하십시오.

Qwen3.5 2B는 4B 모델이 들어가지 않을 때 가장 좋은 선택입니다. Qwen 모델 카드는 비사고 모드에서 MMLU-Pro 55.3, 사고 모드에서 66.5, 사고 모드 GPQA 51.6을 보고합니다. Ollama 다운로드 크기는 2.7-3.1 GB이고 이미지를 입력받으며 256K 컨텍스트 윈도우를 갖추었고 Apache 2.0 라이선스입니다.

0.8B 모델과 비교하면 지시 따르기에서 훨씬 안정적이며(IFEval 비사고 모드 61.2 대 52.1), 실제 요약과 Q&A 작업에 사용할 만하다고 판단하는 이 목록에서 가장 작은 모델입니다.

Google Gemma 4 E2B는 Google 모델 카드 기준 MMLU Pro 60.0%, LiveCodeBench v6 44.0%, GPQA Diamond 43.4%를 기록했습니다. 유효 파라미터는 2.3B(레이어별 임베딩 포함 시 5.1B)입니다. 유효 파라미터 수치가 2 GB 파일을 의미하는 것은 아닙니다. Ollama는 다운로드 크기를 4.6-7.5 GB로 표기하므로, 비슷한 급의 결과를 내는 Qwen3.5 2B보다 더 많은 메모리가 필요합니다.

128K 컨텍스트 윈도우를 갖추었고 이미지를 입력받으며 Apache 2.0 라이선스입니다. CPU 처리량은 하드웨어와 양자화에 따라 달라집니다(Google은 Raspberry Pi 5에서 디코딩 약 7.6 tok/sec를 보고하며, 독립적인 x86 측정 결과는 8-48 tok/sec 범위입니다). Google의 도구를 활용하고 싶은 엣지 디바이스에서 선택하고, 그렇지 않다면 Qwen3.5 2B가 더 가볍습니다.

Qwen3.5 0.8B는 이 비교에서 가장 작은 모델로, Ollama 다운로드 크기 1.2-1.3 GB에 256K 컨텍스트 윈도우와 Apache 2.0 라이선스를 갖추고 있습니다. 벤더가 보고한 MMLU-Pro는 29.7(비사고)과 42.3(사고), GPQA는 11.9로, 분류, 키워드 추출, 짧은 문장 다듬기에는 충분하지만 여러 단계의 추론이나 긴 답변에는 적합하지 않습니다. RAM이 정말로 결정적 제약인 경우(사용 가능한 메모리 3 GB 미만), 싱글 보드 컴퓨터, 또는 파이프라인의 빠른 사전 필터로만 사용하십시오.

EU / GDPR: 현장 작업, 에어갭 환경, 구형 기업 노트북처럼 제약된 하드웨어에서 AI를 실행하는 EU 전문가에게 런타임과 앱의 텔레메트리 및 동기화를 꺼 두었다면, 소형 로컬 모델은 클라우드 API 호출 없이 기기 안에서만 추론을 실행할 수 있습니다. 일반적인 업무용 노트북에서 Qwen3.5 4B나 Phi-4 Mini를 실행하면 처리되는 모든 텍스트가 기기 안에 머물러 GDPR 제5조의 데이터 최소화 목표에 부합하는 데 도움이 되지만, 개별 배포가 규정을 준수하는지는 전체 구성에 따라 달라집니다. 라이선스는 관대합니다. Phi-4 Mini는 MIT이고 Gemma 4와 Qwen3.5는 Apache 2.0입니다. 이 크기에서 EU 출신 선택지는 제한적이므로, EU 출신이 필수 요건이라면 Mistral의 현재 라인업을 확인하십시오.

일본 (METI): 소형 등급에서 일본어 작업의 경우 Qwen3.5와 Gemma 4 E4B 모두 모델 카드에서 MMMLU 약 76점을 기록합니다. 제약된 기기에서 일본어 요약이나 번역에는 `ollama run qwen3.5:2b` 또는 `ollama run qwen3.5:4b`를 사용해 보십시오. 소형 모델의 속도 이점은 표준 사무용 하드웨어를 쓰는 기업 환경에서 중요하지만, 실제 속도는 CPU와 양자화에 따라 달라집니다.

중국: Qwen3.5(Alibaba, Apache 2.0)는 중국어 소형 모델 배포에 자연스러운 선택입니다. 중국 데이터안전법(数据安全法) 하의 IoT 및 엣지 배포에서는 `ollama run qwen3.5:2b`가 RAM 약 4 GB의 Linux 기기에서 실행되며 외부 API 호출 없이 텍스트를 온디바이스로 처리합니다. 준수 의무는 별도로 직접 확인하십시오.