핵심 요점
- Gemma 4 31B는 24GB GPU용 산문 선택입니다. 가중치 약 19–20GB, 256K 컨텍스트, Apache 2.0이며, 이 목록에서 유일하게 자체 EQ-Bench Creative Writing v3 점수(루브릭 16.01, Elo 1407.6)가 공개되어 있습니다.
- Qwen3.8-27B는 긴 컨텍스트와 지시 따르기용 선택입니다. Ollama에서 약 18GB, 256K 컨텍스트, Apache 2.0입니다. 아직 창작 점수가 공개되지 않아 산문 품질은 검증되지 않았으므로 직접 쓰는 장면으로 테스트하세요.
- 순위표가 아니라 VRAM으로 고르세요. 12GB: Gemma 4 12B. 16GB: Mistral Small 3 24B. 24GB: Gemma 4 31B 또는 Qwen3.8-27B. 48GB 이상: Llama 3.3 70B.
- Hermes 4.3 36B는 거부가 적은 선택입니다. Apache 2.0이며 ByteDance Seed-OSS-36B를 기반으로 합니다. Nous Research는 거부가 크게 줄었다고 설명합니다. Dolphin 3.0은 더 오래된 대안입니다.
- 모델을 바꾸는 것보다 샘플링이 더 중요합니다. 산문에는 온도 0.9–1.1과 top-p 0.92–0.95를 쓰고, 소설에서는 thinking 모드를 끄세요. 코딩용 설정(0.2–0.4)은 밋밋한 문장을 만듭니다.
- 클로즈드 클라우드 모델이 창작 벤치마크에서 여전히 앞섭니다. EQ-Bench Creative Writing v3 1위는 Claude Opus 4.7(2,206 Elo)이고, 목록의 최고 오픈 웨이트는 Kimi K2.6(1,782)으로 일반 소비자 하드웨어로는 실행할 수 없습니다. 로컬은 프라이버시, 비용, 제어에서 앞섭니다.
빠른 사실
- 24GB GPU 또는 32GB Mac: Gemma 4 31B(
gemma4:31b, 19–20GB) 또는 Qwen3.8-27B(qwen3.8:27b, 18GB). 둘 다 Apache 2.0, 256K 컨텍스트. - 12GB GPU: Gemma 4 12B(
gemma4:12b, 7.7–8.0GB), 256K 컨텍스트. - 16GB GPU: Mistral Small 3 24B(
mistral-small:24b, 14GB), 32K 컨텍스트, Apache 2.0. 2025년 출시. - 48GB 이상: Llama 3.3 70B(
llama3.3:70b, Q4_K_M 기준 약 42GB). 2024년 12월 출시, Meta 커뮤니티 라이선스. - 거부가 적은 파인튜닝: Hermes 4.3 36B(Apache 2.0)와 Dolphin 3.0(Mistral 24B 변형, 2025년 2월).
- 산문 샘플링 기준: 온도 1.0, top-p 0.95, min-p 0.05. 장면이 반복되면 반복 페널티나 DRY를 추가하세요.
- 메모리 규칙: Ollama 크기는 가중치만입니다. 긴 장면을 위해 컨텍스트 창을 늘리면 KV 캐시로 2–6GB가 더 필요합니다.
이 추천은 어떻게 만들어졌나
이 순위는 공개된 자료를 편집 차원에서 종합한 것이며, PromptQuorum의 새로운 테스트가 아닙니다. 공식 모델 카드, Ollama 라이브러리(크기, 컨텍스트, 태그), 공개 창작 글쓰기 리더보드를 비교한 뒤 각 모델을 하드웨어 구간에 대응시켰습니다.
- 크기와 컨텍스트: Gemma 4, Qwen3.8, Mistral Small의 Ollama 페이지와 Hugging Face 모델 카드에서 확인했습니다. 가중치만이며 컨텍스트 메모리는 별도입니다.
- 창작 점수: EQ-Bench Creative Writing v3와 Open Writing Leaderboard를 제3자 트래커가 반영한 값입니다. Gemma 4 31B는 자체 점수가 있고 Qwen3.8-27B는 아직 없습니다. 점수가 형제 모델의 것일 때는 그렇게 밝힙니다.
- 출시 시기: Qwen3.8-27B(2026년 8월), Gemma 4(2026년 7월), Mistral Small 3(2025년), Llama 3.3 70B(2024년 12월), Hermes 4.3 36B(2025년 12월), Dolphin 3.0(2025년 2월).
- 하지 않은 일: 이 모델들로 새로 채점하는 프롬프트 세트를 돌리지 않았습니다. 아래 모델별 평가는 인용한 출처와 모델 카드를 따르며, "가장 적합한 용도"는 측정 결과가 아니라 추천입니다.
- 어떤 모델에서든 창작 출력을 개선하는 프롬프트 기법은 온도와 top-p 제어와 페르소나 프롬프팅을 참고하세요.
📌참고: 창작 글쓰기 벤치마크는 주관적이며 리더보드끼리도 결과가 엇갈립니다. 여기의 모든 추천을 출발 가설로 다루세요. 같은 세 장면을 후보 두 개에 돌려 보고 목소리가 더 마음에 드는 쪽을 남기세요.
VRAM 구간별 최고의 모델
먼저 메모리로 고르세요. 모델이 들어가야 하고 컨텍스트를 위한 여유도 남아야 합니다. 크기는 기본 4비트 양자화 기준의 Ollama 다운로드 크기이며, 긴 장면에는 KV 캐시로 2–6GB를 더하세요.
내 메모리 | 모델 | 가중치 | 컨텍스트 |
|---|---|---|---|
| 8GB GPU | Qwen3.5 9B(qwen3.5:9b) | 6.6–7.6GB | 256K |
| 12GB GPU | Gemma 4 12B(gemma4:12b) | 7.7–8.0GB | 256K |
| 16GB GPU | Mistral Small 3 24B(mistral-small:24b) | 14GB | 32K |
| 24GB GPU / 32GB Mac | Gemma 4 31B(gemma4:31b) | 19–20GB | 256K |
| 24GB GPU / 32GB Mac | Qwen3.8-27B(qwen3.8:27b) | 18GB | 256K |
| 24GB GPU, 더 빠른 출력 | Gemma 4 26B-A4B(gemma4:26b) | 16–19GB | 256K |
| 48GB 이상 | Llama 3.3 70B(llama3.3:70b) | ~42GB | 128K |
💡팁: 32GB Mac에서는 통합 메모리를 macOS와 공유합니다. 모델과 컨텍스트에 쓸 수 있는 양을 약 24GB로 잡으면 Gemma 4 31B와 Qwen3.8-27B가 여유 있게 돌아갑니다.
직접 비교: 창작 글쓰기용 로컬 모델
모든 작업에서 이기는 모델은 없습니다. 하드웨어 구간과 작업에서 핵심이 되는 요소로 고르세요. 표에는 이 가이드의 모델을 크기, 가중치, 출시 시기와 함께 정리했습니다.
📍 한 문장으로
24GB GPU에서는 Gemma 4 31B와 Qwen3.8-27B가 창작 글쓰기용 최고의 로컬 선택이고, Gemma 4 12B, Mistral Small 3 24B, Llama 3.3 70B가 각각 12GB, 16GB, 48GB 구간을 맡으며, Hermes 4.3 36B는 거부가 적은 선택입니다.
💬 쉽게 말하면
컨텍스트 여유를 남기고 메모리에 들어가는 가장 큰 모델을 고르세요. 24GB 카드에서는 산문에 Gemma 4 31B, 장기 프로젝트에 Qwen3.8-27B입니다. 인스트럭트 모델이 꼭 써야 할 장면을 거부할 때만 거부가 적은 파인튜닝을 추가하세요.
모델 | 크기 | 가중치(Ollama) | 출시 | 가장 적합한 용도 |
|---|---|---|---|---|
| Gemma 4 31B | 31B 덴스 | 19–20GB | 2026년 7월 | 24GB 산문, 자체 EQ-Bench 점수 |
| Qwen3.8-27B | 27B 덴스 | 18GB | 2026년 8월 | 장기 프로젝트, 지시 따르기 |
| Gemma 4 26B-A4B | 26B MoE, 활성 4B | 16–19GB | 2026년 7월 | 24GB에서 더 빠른 생성 |
| Gemma 4 12B | 12B | 7.7–8.0GB | 2026년 7월 | 12GB GPU, 긴 컨텍스트 |
| Mistral Small 3 24B | 24B 덴스 | 14GB | 2025년 | 16GB GPU, 오래됐지만 검증됨 |
| Llama 3.3 70B | 70B 덴스 | ~42GB | 2024년 12월 | 48GB 이상, 오래된 기준 |
| Hermes 4.3 36B | 36B 덴스 | ~21–23GB(추정) | 2025년 12월 | 거부가 적음, Apache 2.0 |
| Dolphin 3.0 | 24B(Mistral 변형) | ~14GB | 2025년 2월 | 오래된 저거부 선택 |
💡팁: 두 모델 구성이 흔합니다. 평소에는 인스트럭트 모델을 쓰고, 그 모델이 거부하는 장면에는 Hermes 4.3 36B를 씁니다. 둘 다 ollama list에 함께 둘 수 있습니다.
모델별 평가
- Gemma 4 31B — 24GB용 산문 선택. 이 목록에서 유일하게 자체 EQ-Bench Creative Writing v3 결과(루브릭 16.01, Elo 1407.6, 제3자 트래커 기준)가 있습니다. 256K 컨텍스트, Apache 2.0. Google은 기본값으로 온도 1.0, top-p 0.95, top-k 64를 제시합니다.
- Qwen3.8-27B — 장기 프로젝트용 선택. 기본 262,144 토큰 컨텍스트(YaRN으로 1M까지 확장 가능), Apache 2.0, Ollama에서 약 18GB. Alibaba는 코딩, 에이전트, 리서치용으로 소개하며, 모델 카드에는 창작 글쓰기 언급이 없고 창작 점수도 공개되지 않았으므로 직접 쓰는 장면에서 목소리를 확인하세요. thinking 모드는 기본으로 켜져 있으므로 산문에서는 끄세요.
- Gemma 4 26B-A4B와 12B — 같은 계열, 다른 절충. 26B 혼합 전문가 모델은 토큰당 약 4B 매개변수를 활성화하므로 비슷한 메모리에서 31B보다 빠르게 생성합니다. 12B는 12GB 카드에 들어가며 256K 컨텍스트를 제공합니다.
- Mistral Small 3 24B — 16GB 선택지. Apache 2.0, 약 14GB, 32K 컨텍스트. 2025년 모델이며 Llama를 제외하면 여기서 가장 오래된 추천입니다. 16GB에 들어가는 더 새로운 모델이 드물어 목록에 남겼습니다. 후속 모델인 Mistral Small 4(2026년 3월, Apache 2.0)는 활성 매개변수 약 6B의 119B 혼합 전문가 모델로 16GB를 훨씬 넘습니다.
- Llama 3.3 70B — 48GB 기준. 2024년 12월 모델이며 Meta 커뮤니티 라이선스입니다. 48GB 이상 기기에서는 여전히 강력하고 폭넓게 지원되는 선택이지만, 그 아래에서는 실용적이지 않습니다.
- Hermes 4.3 36B — 거부가 적은 선택. ByteDance Seed-OSS-36B를 기반으로 Apache 2.0이며, Hugging Face에 GGUF 양자화가 있습니다. Nous Research는 거부가 크게 줄었다고 설명하며, 자체 RefusalBench에서 Hermes 4.3이 프롬프트의 72–75%에 응답했다고 밝힙니다. 카드는 온도 0.6, top-p 0.95, top-k 20을 제안하므로 산문에서는 온도를 높이세요.
- Dolphin 3.0 — 오래된 저거부 선택. 확인할 수 있었던 최신 Dolphin 세대는 Dolphin 3.0(2025년 2월, Mistral 24B 변형 포함)입니다. Mistral 계열의 무검열 모델을 원할 때 쓰세요. 더 최근 선택은 Hermes 4.3입니다.
📌참고: 목소리의 일관성은 작가들이 가장 과소평가하는 지표입니다. 한 문단은 훌륭하지만 다섯 번째 문단에서 인물의 말투를 잃는 모델은 꾸준한 모델보다 못합니다. 한 번의 출력 품질이 아니라 긴 세션에서의 연속성을 테스트하세요.
창작 글쓰기를 위한 최고의 Ollama 모델
ollama pull 명령 다섯 개로 이 가이드의 모든 하드웨어 구간을 다룰 수 있습니다. 이후 ollama list로 모델이 설치되었는지 확인하세요.
- 24GB, 산문:
ollama pull gemma4:31b— 이후ollama run gemma4:31b. - 24GB, 장기 프로젝트:
ollama pull qwen3.8:27b— 산문에서 thinking을 끄려면ollama run qwen3.8:27b --think=false로 실행하세요. - 12GB:
ollama pull gemma4:12b. - 16GB:
ollama pull mistral-small:24b. - 48GB 이상:
ollama pull llama3.3:70b. - 거부가 적은 파인튜닝:
ollama run hf.co/NousResearch/Hermes-4.3-36B-GGUF는 Hugging Face에서 Hermes 4.3 GGUF를 가져옵니다. 24GB 카드에서는 4비트 양자화를 고르세요. - 긴 장면에는 컨텍스트 창을 늘리세요. Ollama의 기본 컨텍스트는 작습니다. 대화형 세션에서
/set parameter num_ctx 16384를 입력하거나 Modelfile에num_ctx를 설정하세요. 값이 클수록 VRAM을 더 씁니다.
글쓰기용 로컬 모델과 클라우드 모델
클로즈드 클라우드 모델은 창작 벤치마크에서 점수가 더 높고, 로컬 모델은 프라이버시, 비용, 제어에서 앞섭니다. "로컬" 없이 "글쓰기에 가장 좋은 LLM"을 검색하는 사람에게는 리더보드가 이 가이드와 다른 답을 줍니다.
- 클로즈드 모델이 앞섭니다. evals.report가 반영한 EQ-Bench Creative Writing v3에서 Claude Opus 4.7이 2,206 Elo로 1위이고, GPT-5.5가 2,035로 뒤따릅니다.
- 최고의 오픈 웨이트 항목은 데이터센터가 필요합니다. Kimi K2.6(1,782 Elo)은 그 목록에서 가장 높은 오픈 웨이트 항목입니다. Featherless는 GLM-5.3을 753B, DeepSeek-V4.1-Flash를 763B 매개변수로 제시하며, 어떤 소비자 기기에서도 실행할 수 없습니다.
- GPU 한 장에서 실행되는 모델. Gemma 4 31B는 같은 벤치마크에서 1407.6 Elo와 루브릭 16.01을 기록했습니다. 서로 다른 트래커의 점수는 척도가 같지 않으므로 하나의 목록 안에서만 비교하세요.
- 로컬이 맞는 경우. 미발표 원고, NDA가 걸린 고객 작업, 클라우드 업체가 거부할 내용, 오프라인 작업, 월 API 요금이 제약인 프로젝트.
- 하이브리드 작업 방식. 초안과 브레인스토밍은 로컬에서 하고, 추가 품질이 필요하면 민감하지 않은 최종 다듬기에만 클라우드 모델을 쓰세요.
창작 작업을 위한 온도와 top-p
창작 글쓰기는 코딩보다 높은 샘플링 온도가 필요합니다. 대부분의 채팅 UI 기본값은 질의응답에 맞춰져 있어, 창작 프롬프트에 온도 0.7을 쓰면 밋밋하고 예측 가능한 문장이 나옵니다.
- 제조사 값은 하한선이지 목표가 아닙니다. Google은 Gemma 4에 온도 1.0, top-p 0.95, top-k 64를, Alibaba는 Qwen3.8의 thinking 모드에 1.0 / 0.95 / top-k 20을, 비thinking 모드에 0.7 / 0.8을, Nous는 Hermes 4.3에 0.6 / 0.95 / top-k 20을 제시합니다. 여기서 시작해 산문에 맞게 조정하세요.
- 산문 기준: 온도 0.95–1.0, top-p 0.92–0.95, 반복 페널티 1.05–1.1. 여기서 작업별로 조정하세요.
- 긴장감 있는 대화: 온도 0.7–0.85, top-p 0.9. 낮은 온도는 주고받는 대화 내내 인물의 목소리를 일관되게 유지합니다.
- 서정적 산문과 시: 온도 1.0–1.2, top-p 0.95. 높은 온도는 예상 밖의 단어 선택을 이끌어 냅니다.
- 초현실 또는 장르 소설: 온도 1.1–1.3, top-p 0.95–0.98.
- 플롯 중심 장면(액션, 미스터리, 반전): 온도 0.85–0.95, top-p 0.9. 참신함보다 지시 따르기가 필요합니다.
- 소설에서는 thinking 모드를 끄세요. 추론 토큰은 지연을 늘리고 계획된 듯 정돈된 문장을 만들기 쉽습니다. Qwen3.8은
enable_thinking: false를 받으며, Ollama에서는--think=false를 씁니다. - min_p(0.05–0.1): 최상위 토큰의 확률에 맞춰 컷오프를 조정하는 top-p의 대안입니다. 매우 높은 top-p의 비일관성 없이 창작 프롬프트에서 더 관대합니다. 백엔드가 설정을 제공하는 곳에서 쓰세요.
- DRY 반복 페널티(multiplier 0.8, base 1.75, allowed length 2): 일반 반복 페널티가 놓치는 구문 단위 반복을 잡아 주며 긴 세션에 유용합니다. KoboldCpp 같은 llama.cpp 기반 백엔드에서 제공되며, 사용하는 프런트엔드가 지원하는지 확인하세요.
- 이 매개변수들이 왜 중요하고 어떻게 상호작용하는지에 대한 더 자세한 설명은 온도와 top-p 제어를 참고하세요.
💡팁: 모델마다 짧은 장면 하나로 샘플링을 테스트하세요. 설정마다 세 번씩 실행한 뒤, 프롬프트를 잃지 않으면서 모델이 가장 생생하게 들리는 온도를 고르세요. 설정은 모델 사이에서 완벽하게 옮겨지지 않습니다.
Uncensored 모델: 무엇이며 언제 중요한가
Uncensored는 비윤리적이라는 뜻이 아닙니다. 파인튜닝으로 모델의 거부 동작을 줄여, 거절하는 대신 프롬프트를 따르게 했다는 뜻입니다. 작가는 여전히 작가입니다.
- 기술적으로. Hermes 4.3과 Dolphin 3.0 같은 모델은 성숙하거나 폭력적이거나 도덕적으로 복잡한 프롬프트에 대한 거부를 후속 학습에서 줄인 파인튜닝입니다. Nous Research는 거부가 크게 줄었다고 설명하며, 자체 RefusalBench에서 Hermes 4.3이 프롬프트의 72–75%에 응답했다고 보고합니다. 더 새로운 모델의 커뮤니티 "abliterated" 또는 "heretic" 변형도 Ollama에 있으나 품질은 검증되지 않았습니다.
- 창작 작업에서 중요한 경우. 성숙한 소설, 노골적인 폭력이 나오는 범죄 소설, 공포, 전쟁이나 잔학 행위에 대한 고증에 충실한 글, 그리고 인스트럭트 모델이 설득력 있게 연기하지 않는 도덕적으로 복잡한 적대자.
- 한계. 서툴게 쓴 프롬프트까지 그대로 따릅니다. 인스트럭트 모델은 모호한 프롬프트를 출판 가능한 수준으로 순화하는 경우가 많지만, 저거부 모델은 요청한 그대로를 내놓습니다.
- 윤리적·법적 경계. 모델이 써 준다는 사실이 실존 인물을 겨냥하거나, 식별 가능한 개인이 연루된 동의 없는 상황을 묘사하거나, 거주 지역에서 불법인 내용을 써도 된다는 허가는 아닙니다. 로컬 호스팅은 법을 바꾸지 않고 초안을 볼 수 있는 사람만 바꿉니다. 법은 나라마다 다르며 이것은 법률 자문이 아닙니다.
- 더 자세한 내용 윤리, 합법성, 모범 사례는 창작 글쓰기를 위한 Uncensored 로컬 LLM: 윤리, 합법성, 모범 사례를 참고하세요.
📌참고: Uncensored는 정체성이 아니라 작업 방식의 선택입니다. 많은 작가가 인스트럭트 모델로 초안을 쓰고, 특정 장면에서만 저거부 파인튜닝으로 바꿉니다. 두 모델을 나란히 설치해 두는 것이 일반적입니다.
창작 작업용 프런트엔드
글을 쓰는 채팅 UI는 모델만큼 중요합니다. 네 가지 선택지가 대부분의 작업 방식을 다룹니다. 작업 방식에 맞춰 고르세요.
- Open WebUI — 범용 선택. ChatGPT 같은 인터페이스, 클릭 한 번으로 모델 전환, 시스템 프롬프트의 캐릭터 메모, 컨텍스트용 문서 업로드. 산문 위주의 초안 작성에 적합합니다.
- SillyTavern — 롤플레이와 대화용 선택. 캐릭터 카드, 페르소나 관리, 세계관 구축용 로어북, 다중 캐릭터 장면을 위한 그룹 채팅. 대화 중심 작업과 장기 세계관 프로젝트에 적합합니다.
- Agnai와 RisuAI — 더 가벼운 SillyTavern 대안. 시작하기 쉽고 커스터마이징은 적습니다.
- Ollama CLI와 텍스트 편집기만 — 최소 구성.
ollama run gemma4:31b로 장면을 만들고 초안에 붙여 넣습니다. 지속적인 캐릭터 컨텍스트는 잃지만 집중력을 얻습니다. - 롤플레이 중심 프런트엔드의 직접 비교는 SillyTavern vs Agnai vs RisuAI: 최고의 로컬 롤플레이 프런트엔드를 참고하세요.
💡팁: 초안 작성과 퇴고에는 서로 다른 도구가 필요합니다. 채팅 프런트엔드에서 생성한 뒤 일반 텍스트 편집기로 내보내 퇴고하세요. 채팅 창 안에서 편집하면 직접 고치는 대신 모델에게 고쳐 달라고 하는 습관이 듭니다.
결정: 내 작업에 맞는 모델은
먼저 메모리, 그다음 작업입니다.
📍 한 문장으로
24GB GPU에서는 Gemma 4 31B 또는 Qwen3.8-27B, 12GB에서는 Gemma 4 12B, 16GB에서는 Mistral Small 3 24B, 48GB 이상에서는 Llama 3.3 70B, 인스트럭트 모델이 거부하는 장면에는 Hermes 4.3 36B를 고르세요.
💬 쉽게 말하면
컨텍스트 여유를 남기고 메모리에 들어가는 가장 큰 모델로 시작하세요. 장편 연속성이나 성숙한 장면 같은 특정 작업이 병목이 될 때만 전문 모델로 바꾸세요. 두 개를 설치해도 디스크 공간만 듭니다.
내 상황 | 추천 |
|---|---|
| 24GB GPU 또는 32GB Mac, 산문 우선 | Gemma 4 31B |
| 24GB GPU, 장편 소설 규모의 프로젝트 | Qwen3.8-27B(256K 컨텍스트) |
| 24GB GPU, 더 빠른 출력이 필요 | Gemma 4 26B-A4B |
| 12GB GPU | Gemma 4 12B |
| 16GB GPU | Mistral Small 3 24B |
| 48GB 이상, 모델 하나로 모두 처리 | Llama 3.3 70B + Hermes 4.3 36B |
| 인스트럭트 모델이 필요한 장면을 거부 | Hermes 4.3 36B(인스트럭트도 유지) |
| 일단 하나로 시작하고 나중에 조정 | Gemma 4 31B 또는 Qwen3.8-27B 중 들어가는 쪽 |
💡팁: 대부분의 작가는 모델은 너무 고민하고 프롬프트는 너무 적게 고민합니다. 캐릭터 메모, 목소리 샘플, 명시적인 시점이 담긴 시스템 프롬프트는 모델을 바꾸는 것보다 효과가 큽니다. 페르소나 프롬프팅을 참고하세요.
창작 글쓰기를 위한 로컬 모델 선택과 사용에서 흔한 실수
- 실수 1: 일반 벤치마크 순위로 고르기. 코딩과 추론 리더보드는 산문 품질과 상관관계가 낮습니다. EQ-Bench 같은 창작 리더보드를 보고, 직접 쓰는 장면으로 테스트하세요.
- 실수 2: 코딩용 샘플링 사용. 온도 0.2–0.4는 밋밋한 문장을 만듭니다. 창작에는 약 0.9–1.1이 필요합니다.
- 실수 3: thinking 모드를 켜 둔 채 쓰기. 추론 우선 모델은 쓰기 전에 계획하므로 소설이 조립된 것처럼 느껴질 수 있습니다. 산문에서는 thinking을 끄세요.
- 실수 4: 컨텍스트 메모리 무시. 19–20GB인 31B 모델은 컨텍스트 창을 늘리면 24GB 카드에서 여유가 거의 남지 않습니다. KV 캐시용으로 2–6GB를 잡아 두세요.
- 실수 5: 빈약한 시스템 프롬프트. "당신은 도움이 되는 어시스턴트입니다"는 창작에 최악의 프롬프트입니다. 캐릭터 메모, 시점, 시제를 네거티브 프롬프팅과 결합해 상투적 표현을 배제하세요.
- 실수 6: 채팅 창 안에서 편집하기. 생성은 채팅에서, 퇴고는 편집기에서 하세요. 모델에게 퇴고를 맡기는 작가는 금세 자기 목소리를 잃습니다.
⚠️경고: 창작용 AI의 가장 큰 기술적 위험은 퇴고를 맡겨 버리는 것입니다. 생성은 모델이 도움이 되는 기계적 작업이고, 퇴고는 글을 내 것으로 만드는 일입니다.
출처
- Ollama 라이브러리: Gemma 4 — 태그, 다운로드 크기, 컨텍스트 창.
- Ollama 라이브러리: Qwen3.8 — 태그, 크기, 기능.
- Hugging Face: Qwen3.8-27B 모델 카드 — 라이선스, 컨텍스트 길이, 권장 샘플링.
- Hugging Face: Gemma 4 31B 모델 카드 — 라이선스, 컨텍스트 길이, 샘플링 기본값.
- Hugging Face: Hermes 4.3 36B — 기반 모델, 라이선스, 거부 벤치마크, GGUF 양자화.
- Ollama 라이브러리: Mistral Small — Mistral Small 3 24B의 크기, 컨텍스트, 라이선스.
- EQ-Bench Creative Writing과 evals.report의 EQ-Bench 점수 — 위에서 인용한 리더보드 수치.
- Featherless: 창작 글쓰기에 좋은 오픈 모델 — 오픈 웨이트 모델 크기와 Gemma 4 31B의 EQ-Bench 수치.
- SillyTavern 문서 — 캐릭터 카드, 페르소나, 그룹 채팅.
자주 묻는 질문
창작 글쓰기에 가장 좋은 로컬 LLM은 무엇입니까?
2026년 최고의 로컬 출발점은 Gemma 4 31B와 Qwen3.8-27B이며, 둘 다 24GB GPU에 들어갑니다(가중치 약 18–20GB). Gemma 4 31B는 자체 EQ-Bench 점수가 공개된 산문용 선택이고, Qwen3.8-27B는 긴 컨텍스트용 선택입니다. 더 작은 카드에서는 Gemma 4 12B(12GB) 또는 Mistral Small 3 24B(16GB)를 쓰세요.
창작 글쓰기에 가장 좋은 Ollama 모델은 무엇입니까?
24GB GPU에서는 산문에 ollama pull gemma4:31b, 장기 프로젝트에 ollama pull qwen3.8:27b를 쓰세요. 12GB는 gemma4:12b, 16GB는 mistral-small:24b, 48GB 이상은 llama3.3:70b입니다. 긴 장면에는 num_ctx를 높이고 소설에서는 thinking을 끄세요.
소설과 이야기를 쓰기에 가장 좋은 로컬 LLM은 무엇입니까?
컨텍스트 여유를 남기고 메모리에 들어가는 가장 큰 모델을 고르세요. 24GB에서는 Gemma 4 31B가 산문용, 256K 컨텍스트의 Qwen3.8-27B가 장편 규모 프로젝트용이며, 48GB 이상에서는 Llama 3.3 70B가 기준입니다. 온도는 0.9–1.1로 하고 시스템 프롬프트에 시점, 시제, 목소리 샘플을 넣으세요.
세계관 구축에 가장 좋은 로컬 모델은 무엇입니까?
가장 중요한 것은 긴 컨텍스트입니다. Qwen3.8-27B와 Gemma 4 모두 256K 토큰을 제공하므로 설정집과 장 요약을 프롬프트에 담아 둘 수 있습니다. 둘 중 하나를 SillyTavern 로어북이나 고정된 세계관 문서와 함께 쓰고, 세력, 규칙, 이름을 하나의 참조 블록에 모아 두세요.
장편 소설을 쓰기에 가장 좋은 LLM은 무엇입니까?
로컬이라면 24GB GPU에서 Qwen3.8-27B(256K 컨텍스트) 또는 Gemma 4 31B(256K 컨텍스트)입니다. 병목은 모델 크기가 아니라 구조입니다. 개요, 캐릭터 설정집, 장별 요약이 연속성을 지켜 줍니다. 클로즈드 클라우드 모델은 창작 벤치마크 점수가 더 높지만 원고를 제3자에게 보내게 됩니다.
VRAM 또는 통합 메모리 32GB에서 가장 좋은 로컬 모델은 무엇입니까?
Gemma 4 31B(19–20GB) 또는 Qwen3.8-27B(18GB)를 더 큰 컨텍스트 창으로 쓰세요. 24GB를 넘는 메모리는 KV 캐시에 쓰입니다. Gemma 4 26B-A4B는 더 빠른 대안입니다. 70B 모델은 48GB 미만에서는 여유 있게 들어가지 않습니다.
uncensored 로컬 LLM이란 무엇이며 언제 써야 합니까?
성숙하거나 도덕적으로 복잡한 프롬프트에 대한 거부를 후속 학습에서 줄여, 모델이 거절하는 대신 프롬프트를 따르게 한 파인튜닝입니다. 확인할 수 있었던 가장 최근 선택은 Hermes 4.3 36B이고, Dolphin 3.0은 더 오래됐습니다. 성숙한 소설이나 고증에 충실한 글에 쓰고, 그 밖의 작업에는 인스트럭트 모델을 유지하세요.
창작 글쓰기에는 어떤 온도를 써야 합니까?
산문에는 온도 0.9–1.1과 top-p 0.92–0.95입니다. 긴장감 있는 대화는 0.7–0.85, 시는 1.0–1.2, 초현실이나 장르 작품은 1.1–1.3입니다. Gemma 4의 1.0 / 0.95 / top-k 64 같은 제조사 기본값은 좋은 출발점입니다. 소설에서는 thinking 모드를 끄세요.
로컬 창작 글쓰기 모델은 ChatGPT나 Claude만큼 좋습니까?
벤치마크에서는 그렇지 않습니다. EQ-Bench Creative Writing v3에서는 Claude Opus 4.7(2,206 Elo) 같은 클로즈드 모델이 앞서고, 최고의 오픈 웨이트 항목은 데이터센터급 하드웨어가 필요합니다. 그래도 24GB 로컬 모델은 초안 작성에는 충분할 수 있고 원고를 비공개로 유지해 줍니다. 보정된 샘플링과 좋은 시스템 프롬프트가 실사용상 격차의 상당 부분을 메웁니다.
로컬 모델이 장편 소설 한 편을 통째로 쓸 수 있습니까?
초안 작성을 도울 수는 있습니다. Qwen3.8-27B나 Gemma 4 같은 256K 컨텍스트 모델은 긴 개요와 여러 장을 메모리에 담을 수 있지만, KV 캐시는 컨텍스트와 함께 커지므로 VRAM을 확인하세요. 캐릭터 설정집과 로어북을 두고 절 단위로 초안을 쓰세요. 없으면 어떤 모델이든 방향을 잃습니다.
uncensored 모델은 불법 콘텐츠를 생성합니까?
프롬프트가 요구하는 텍스트를 생성합니다. 법적 책임은 모델이 아니라 작가와 출판물에 있습니다. EU AI Act, 독일 형법 제184조/제184c조, 각국의 음란물 규제는 텍스트가 어떻게 생성되었는지와 무관하게 적용됩니다. 로컬 호스팅은 초안을 보는 사람을 바꿀 뿐 무엇이 합법인지는 바꾸지 않습니다. 이것은 법률 자문이 아닙니다.
"shiver down their spine" 같은 상투적 표현은 어떻게 피합니까?
시스템 프롬프트에 금지 구문 8–12개를 나열하세요("do not write 'shiver,' 'tapestry,' 'delve,' or 'she felt'"). 온도는 1.2 이상이 아니라 0.85–1.0으로 유지하고, 백엔드가 지원하면 DRY 페널티를 추가하세요. 단순 반복 페널티는 구문 단위의 상투구를 잡지 못합니다. 마지막 필터는 직접 하는 퇴고입니다. 네거티브 프롬프팅을 참고하세요.