跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。
主页/本地LLM
Best Models

2026年创意写作本地LLM推荐:小说、诗歌与长篇内容,按显存选择

·阅读约9分钟 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

创意写作最值得先试的本地LLM是 Gemma 4 31B 和 Qwen3.8-27B,两者都能放进一张24 GB显卡。 散文选 Gemma 4 31B,长篇项目选 Qwen3.8-27B。8、12、16 GB分别用 Qwen3.5 9B、Gemma 4 12B 和 Mistral Small 3 24B。这是编辑排名,不是PromptQuorum的测试结果。

关键要点

  • Gemma 4 31B 是24 GB显卡上的散文首选。 权重约19–20 GB,256K上下文,Apache 2.0,也是本指南中唯一公开了EQ-Bench Creative Writing v3得分的模型(Featherless报告:评分细则16.01,Elo 1407.6)。
  • Qwen3.8-27B 是长篇项目首选。 Ollama上18 GB,256K上下文,Apache 2.0。其模型卡未提及创意写作,也没有公开的创作得分,请用自己的场景测试它的文风。
  • 先按内存选型。 8 GB:Qwen3.5 9B。12 GB:Gemma 4 12B。16 GB:Mistral Small 3 24B。24 GB:Gemma 4 31B 或 Qwen3.8-27B。48 GB及以上:Llama 3.3 70B。
  • 较早的社区模型已不再是默认选择。 Fimbulvetr-11B(CC BY-NC 4.0,仅限非商业)和 Midnight-Rose-70B(Llama 2合并模型)早于上述模型;只有偏爱它们的文风时才使用。
  • 采样参数按散文设置,而不是按代码设置。 温度从0.9–1.1开始(编辑建议范围;Google为Gemma 4给出的是1.0),并关闭思考模式。
  • 闭源云端模型仍领跑创意写作排行榜。 在通过evals.report查看的EQ-Bench Creative Writing v3榜单中(数据日期2026-11-15),Claude Opus 4.7为2206 Elo,开放权重最高的Kimi K2.6为1782。本地模型的优势在隐私、成本和可控性。

📍 简单一句话

在一张24 GB显卡上做创意写作,散文选 Gemma 4 31B,长篇项目选 Qwen3.8-27B;其他内存档位可选 Qwen3.5 9B、Gemma 4 12B、Mistral Small 3 24B 或 Llama 3.3 70B。

💬 简单来说

选能放进你内存、并为上下文留出余量的最大模型。24 GB显卡上,散文选 Gemma 4 31B,长篇项目选 Qwen3.8-27B。创意写作没有唯一正确答案,请用自己的场景测试两个候选,保留文风更合你心意的那个。

Gemma 4 31B 和 Qwen3.8-27B 是创意写作最值得先试的两款本地模型,两者都能放进一张24 GB显卡。本指南按内存档位(8、12、16、24、48 GB)为小说、诗歌和长篇写作整理开放权重模型,并给出Ollama标签、许可证和排名依据。

2026年创意写作本地LLM推荐:小说、诗歌与长篇内容,按显存选择

排名依据(以及它不是什么)

这是依据模型卡、Ollama模型库和公开排行榜整理的编辑排名。PromptQuorum没有为此运行新的带评分写作测试。 创意写作没有唯一正确答案,基准测试只能不完美地衡量它,不同排行榜之间也会不一致。

  • 大小与上下文: 取自Ollama模型库中 Gemma 4、Qwen3.8、Qwen3.5、Mistral Small 和 Llama 3.3 的页面。大小是默认4位版本的下载大小;上下文内存另计。
  • 许可证与采样默认值: 取自“来源”中列出的Hugging Face模型卡。
  • 创作得分: EQ-Bench Creative Writing v3 是由LLM评分的基准。Gemma 4的数字来自2026-09-17的 Featherless文章;Qwen3.8-27B没有公开得分。不同榜单的得分不能直接比较,请只在同一榜单内比较。
  • “适合用途”标签 是基于这些来源的编辑建议,不是实测结果。
  • 用四个提示词自己测试: 续写一段500字的场景(语气与声音)、用指定作家的文风写一段(文风是否变化)、写一篇1,000字带反转结局的短篇(铺垫与回收)、写两个角色的对话(声音是否有区分)。
  • 关于前端、世界观构建和低拒答模型的更多内容,请见 创意写作进阶指南。

📌注: 把每个推荐都当作起点假设:用同样的三个场景测试两个候选,保留文风更合你心意的那个。

按内存档位选择创意写作本地LLM

先按内存选型:模型必须放得下,并为上下文留出余量。 大小是默认4位量化下的Ollama下载大小;上下文内存(KV缓存)另计,长场景约2–6 GB(估算)。

你的内存
模型(Ollama标签)
权重
上下文
8 GB显卡Qwen3.5 9B (qwen3.5:9b)6.6–7.6 GB256K
12 GB显卡Gemma 4 12B (gemma4:12b)7.7–8.0 GB256K
16 GB显卡Mistral Small 3 24B (mistral-small:24b)14 GB32K
24 GB显卡 / 32 GB MacGemma 4 31B (gemma4:31b)19–20 GB256K
24 GB显卡 / 32 GB MacQwen3.8-27B (qwen3.8:27b)18 GB256K
24 GB显卡,更快输出Gemma 4 26B A4B (gemma4:26b)16–19 GB256K
48 GB显卡 / 64 GB MacLlama 3.3 70B (llama3.3:70b)43 GB128K

💡提示: Mac的统一内存与macOS共用。32 GB的Mac上,可供模型和上下文使用的大约是24 GB;这能放下 Gemma 4 31B 或 Qwen3.8-27B,但留给上下文的只有几GB。

#1 Gemma 4 31B:24 GB显卡上的散文首选

Gemma 4 31B 是24 GB显卡或32 GB Mac上写散文的首选。 它是一个30.7B参数的稠密模型(Ollama上19–20 GB),具备256K上下文,采用Apache 2.0许可,也是本指南中唯一公开了EQ-Bench Creative Writing v3结果的模型:评分细则16.01,Elo 1407.6(Featherless报告)。

Google的模型卡将诗歌、剧本等文本生成列为预期用途,并推荐温度1.0、top-p 0.95、top-k 64。19–20 GB在24 GB显卡上几乎不给上下文留空间,因此请把上下文窗口设得适中,或选择 Gemma 4 26B A4B(16–19 GB):它是每个token约激活4B参数的混合专家模型,在同一份Featherless榜单上得分1286.9 Elo。

项目
内容
适合用途24 GB显卡上的散文
权重(Ollama)19–20 GB
上下文256K tokens
许可证Apache 2.0
Ollama命令ollama run gemma4:31b

#2 Qwen3.8-27B:同一硬件上的长篇项目首选

Qwen3.8-27B 是24 GB显卡上做长篇项目的首选。 它是27B稠密模型,Ollama上18 GB,原生上下文262,144 tokens(据模型卡可扩展到1,000,000 tokens),采用Apache 2.0许可。

阿里巴巴将其定位于编程、智能体和研究;模型卡未提及创意写作,也没有公开的创作得分,因此其散文质量应视为未经验证。思考模式默认开启;写小说时请关闭。

项目
内容
适合用途长篇小说项目、指令遵循
权重(Ollama)18 GB
上下文256K tokens
许可证Apache 2.0
Ollama命令ollama run qwen3.8:27b

#3 8、12、16 GB档位推荐

24 GB以下的选择更少,也更缺乏验证,请先测试再决定。 小模型通常比大模型更难在长场景中保持前后一致。

  • 8 GB:Qwen3.5 9B(`qwen3.5:9b`,6.6–7.6 GB,256K上下文)。Ollama上8 GB档位较新的模型。没有公开的创作得分,请用自己的场景测试。
  • 12 GB:Gemma 4 12B(`gemma4:12b`,7.7–8.0 GB,256K上下文,Apache 2.0)。Featherless给出其在EQ-Bench Creative Writing v3上的评分细则为15.71、1270.4 Elo。
  • 16 GB:Mistral Small 3 24B(`mistral-small:24b`,14 GB,32K上下文,Apache 2.0)。这是一款较早的模型,因为能放进16 GB的新模型很少而保留在列表中。它只给上下文留约2 GB,请保持提示词简短。

#4 Llama 3.3 70B:48 GB及以上的参照模型

Llama 3.3 70B(`llama3.3:70b`,43 GB,128K上下文)是本指南中最大的模型,需要48 GB显卡配置或64 GB统一内存的Mac。 Meta于2024年12月发布,采用Meta Llama 3.3 Community License,这是自定义许可证,而不是OSI认可的开源许可证。

本页早先版本曾把它列为散文第一名,现在不再这样做:我们查阅的榜单中没有它的创作得分,而能放进24 GB的较新模型有得分,且较新的Llama版本在EQ-Bench上得分偏低(evals.report榜单中Llama 4 Maverick为927,Llama 4 Scout为883)。如果你有足够内存并喜欢它的文风,可以继续使用。

#5 社区模型与低拒答模型

社区小说模型现在是第二层选择,而不是默认选择。 商用前请检查每个模型的许可证。

  • Hermes 4.3 36B(Nous Research,Apache 2.0):基于ByteDance Seed-OSS-36B-Base,Hugging Face上有4至8位GGUF文件。Nous报告称,在其自有的RefusalBench中,它回答了74.60%(非推理)和72.29%(推理)的提示词(开发者报告;数值越高表示拒答越少)。当instruct模型拒绝合理的小说场景时可以使用,写散文时请把温度调到高于模型卡建议的0.6。
  • Fimbulvetr-11B-v2(Sao10K):基于Solar的模型,许可证为CC BY-NC 4.0,仅限非商业使用。模型卡推荐使用SillyTavern预设。我们没有找到它的创意写作基准得分。
  • Midnight-Rose-70B(sophosympatheia):基于Llama 2 70B的合并模型,采用Llama 2许可证并继承了额外限制;模型卡建议上下文约6144 tokens。它不是Llama 3.3模型。
  • 如果某个较早的模型有GGUF转换版本,可以在LM Studio中加载,或用 `ollama run hf.co/<user>/<repo>` 加载;请先确认该具体仓库的许可证。
  • 关于拒答行为、伦理与边界,请见 Uncensored Local LLMs for Creative Writing: Ethics, Legality & Best Practices。本地部署不会改变法律,作者仍需对其发布的内容负责。

本地与云端模型对比

闭源云端模型在创意写作排行榜上得分更高;本地模型的优势在隐私、成本和可控性。

  • 在通过 evals.report 查看的EQ-Bench Creative Writing v3榜单中(数据日期2026-11-15),Claude Opus 4.7以2206 Elo领先,GPT-5.5为2035。
  • 该榜单中开放权重最高的是Kimi K2.6,为1782 Elo。Featherless给出其在这一水平推荐的开放模型的大小为753B(GLM-5.3)、763B(DeepSeek-V4.1-Flash)和2.8T(Kimi K3)参数,远超本指南中的8至48 GB档位。
  • 适合本地的情形: 未发表的稿件、受NDA约束的客户项目、离线工作,以及按token计费成为负担的项目。
  • 混合工作流: 草稿和头脑风暴在本地完成;仅在检查服务商的数据条款之后,用云端模型润色非敏感内容。

提升本地LLM创意写作效果的设置与提示词

这五个习惯对输出的影响比换模型更大。

  1. 1
    采样参数按散文设置,而不是按代码设置。 厂商默认值:Gemma 4 温度1.0、top-p 0.95、top-k 64;Qwen3.8 在思考模式下为1.0 / 0.95 / top-k 20,非思考模式下为0.7 / 0.8 / top-k 20;Hermes 4.3 为0.6 / 0.95 / top-k 20。作为编辑建议的起点,散文试温度0.9–1.1,紧凑的对话试0.7–0.85。
  2. 2
    写小说时关闭思考模式。 推理模型会先规划再写作,场景可能显得像拼装出来的。Qwen3.8默认会思考;在Ollama API中把 `think` 设为 `false`,或使用前端的思考开关。
  3. 3
    把文风说具体。 “用第二人称、现在时、短句、不用副词写”比“写文学小说”更有效。提到作家名字只是文风提示;请勿发布复述在世作家原文措辞的文本。
  4. 4
    使用固定的系统提示词,写明视角、时态、体裁、角色设定表和文风样例,并在每次会话开头重新粘贴。
  5. 5
    分段写作并扩大上下文窗口。 每次生成约500字,并在每次新会话中重述简短的故事摘要,因为模型只能看到上下文能容纳的内容。Ollama的默认上下文有限;在交互会话中输入 `/set parameter num_ctx 16384`。数值越大,占用内存越多。

适合写诗的开放权重模型

没有排行榜单独评测诗歌,因此诗歌推荐沿用上面按内存档位的排名。 写格律严格的形式(十四行诗、俳句、维拉内拉诗)时,把温度降到0.7–0.85(编辑建议范围),因为高温更容易破坏格律和韵脚;写自由诗则用散文的温度范围。

  • 24 GB: Gemma 4 31B 或 Qwen3.8-27B。用同一个短诗提示词分别测试,保留文风更合你心意的那个。
  • 较小档位: Gemma 4 12B(12 GB)或 Qwen3.5 9B(8 GB)。
  • 严格形式: 模型按token而不是按音节处理文本,请手动数音节并检查韵脚。
  • 明确写出形式: “写一首关于秋雨的俳句(5-7-5音节)”或“写一首关于失去的莎士比亚十四行诗(ABAB CDCD EFEF GG,抑扬格五音步)”。像“写一首关于爱的诗”这样含糊的提示词只会得到泛泛的自由诗。

差提示词与好提示词

  • ❌ “写一个奇幻故事” → ✅ “写一个500字的奇幻场景:走私者与巨龙就古代文物讨价还价。使用感官细节,让对话保持紧张。”
  • ❌ “写点有意思的东西” → ✅ “写一个300字的开场场景:一次出了岔子的劫案。主角在行动中途发现搭档背叛了自己。用简短有力的句子配合节奏。”
  • ❌ “写一个悬疑故事” → ✅ “续写这段侦探场景:[前文]。侦探凭一个细节发现嫌疑人在说谎。请用画面展示而不是直接叙述她如何发现矛盾。”
  • ❌ “让它更有意思” → ✅ “把上一段改写成黑色小说风格:对白简短,内心独白带着愤世嫉俗,加入具体的感官细节(声音、气味、触感)。”

常见问题

创意写作最好的本地LLM是哪个?

在本排名中,Gemma 4 31B 和 Qwen3.8-27B 是最好的本地起点,两者都能放进一张24 GB显卡(权重19–20 GB和18 GB)。Gemma 4 31B 因有公开的EQ-Bench Creative Writing v3得分而成为散文首选;Qwen3.8-27B 是长篇项目首选。显卡更小时,用 Gemma 4 12B(12 GB)或 Mistral Small 3 24B(16 GB)。这是编辑排名,请用自己的场景测试两个候选。

写故事和小说最好的本地LLM是哪个?

选能放进你内存并为上下文留余量的最大模型。24 GB上写散文适合 Gemma 4 31B,长篇小说项目适合256K上下文的 Qwen3.8-27B,48 GB及以上则以 Llama 3.3 70B 为参照。瓶颈通常是结构:大纲、角色设定表和简短的章节摘要能让长篇项目保持一致。

创意写作用哪个Ollama模型最好?

24 GB上,散文用 `ollama run gemma4:31b`,长篇项目用 `ollama run qwen3.8:27b`。12 GB用 `gemma4:12b`,16 GB用 `mistral-small:24b`,8 GB用 `qwen3.5:9b`,48 GB及以上用 `llama3.3:70b`。写长场景时调高 `num_ctx`,写小说时关闭思考。

只有8 GB显存时,哪些本地LLM最适合写作?

Qwen3.5 9B(6.6–7.6 GB,256K上下文)是Ollama上8 GB档位较新的模型。它没有公开的创作得分,请用自己的测试场景验证,并预期小模型在长场景中的连贯性不如24 GB的模型。

写诗用哪个开放权重模型最好?

没有排行榜单独评测诗歌,所以沿用按内存档位的排名:24 GB用 Gemma 4 31B 或 Qwen3.8-27B,12 GB用 Gemma 4 12B,8 GB用 Qwen3.5 9B。写十四行诗或俳句等严格形式时,把温度降到0.7–0.85,并手动检查音节和韵脚。

在LM Studio里做创意写作应该加载哪个模型?

适用同一份排名。LM Studio和Ollama运行的都是量化后的GGUF文件,所以并不存在LM Studio专用模型:在LM Studio的模型浏览器中搜索模型名称,加载能放进你内存的版本即可。

模型会记住故事前面的内容吗?

只在其上下文窗口之内。本指南中的模型提供32K到256K tokens,但上下文越长占用内存越多,窗口之外的内容模型都会忘记。长篇项目请在每次会话开头提供简短的故事摘要和角色设定表。

本地LLM能在小说创作上取代Claude或ChatGPT吗?

在创意写作排行榜上不能:在通过evals.report查看的EQ-Bench Creative Writing v3榜单中,闭源模型领先(Claude Opus 4.7为2206 Elo,GPT-5.5为2035)。不过24 GB的本地模型写初稿可能已经够用,并且稿件留在你自己的机器上。采样设置和好的系统提示词能弥补一部分实际差距。

量化在创意写作中会被察觉吗?

可能会,因为位数更低的版本会损失一些精度。我们没有引用关于创意写作的专门研究。Ollama的默认版本是4位;如果内存有余量,可以在同一场景上对比更高位数版本和4位版本,保留你更喜欢的那个。

创意写作应该用多高的温度?

作为编辑建议的起点,散文用0.9–1.1,紧凑的对话或严格的诗歌形式用0.7–0.85。厂商默认值是可靠的参照:Google为Gemma 4给出1.0(top-p 0.95,top-k 64),阿里巴巴为Qwen3.8给出思考模式1.0、非思考模式0.7。写小说时请关闭思考模式。

本地LLM生成的内容可以用于商业用途吗?

取决于许可证。Gemma 4、Qwen3.8、Mistral Small 3 和 Hermes 4.3 标注为Apache 2.0,Llama 3.3 使用Meta自定义的Meta Llama 3.3 Community License,Fimbulvetr-11B 为CC BY-NC 4.0(非商业)。请阅读你所用具体版本的模型卡上的许可证。这不构成法律建议。

Fimbulvetr和Midnight-Rose现在还值得用吗?

只有当你偏爱它们的文风时。Fimbulvetr-11B-v2 是采用非商业许可证、基于Solar的模型,Midnight-Rose-70B 是基于Llama 2 70B的合并模型;两者都早于本指南中的2026年模型,我们也没有找到它们的创意写作基准得分。

来源

选择和使用本地写作模型时的常见错误

  • 按通用基准排名选型。 编程和推理排行榜很难说明散文质量。请参考EQ-Bench等创作类榜单,再用自己的场景测试。
  • 使用编程式采样参数。 温度0.2–0.4往往使文字平淡;创意写作大约需要0.9–1.1(编辑建议范围)。
  • 一直开着思考模式。 先规划式的输出读起来可能像拼装的。写小说时请关闭。
  • 忽视上下文内存。 一旦扩大上下文窗口,19–20 GB的模型在24 GB显卡上几乎没有余量。
  • 提示词太单薄。 “写一个故事”只会得到泛泛的结果;请补充视角、时态、长度、角色设定表和明确的限制条件。
  • 在聊天窗口里修改文字。 在聊天中生成,在文本编辑器里修改;自己修改文字才能让文风保持是你的。

关于第三方事实的说明

本文引用了第三方AI模型、基准测试、价格和许可证。AI领域变化迅速。基准分数、许可条款、模型名称和API价格可能在写作时间和您阅读时之间发生变化。在根据本文做出部署或合规决策之前,请在每个提供商的官方来源核实当前数据:Hugging Face模型卡用于许可证和基准测试,提供商网站用于API定价,EUR-Lex用于当前GDPR和EU AI法案文本。

使用本地LLM、您自己的API密钥或两者运行PromptQuorum — 您来决定使用哪个后端。

下载 PromptQuorum 测试版 →

← 返回本地LLM

MCP