上下文窗口解释：为什么AI会忘记（以及如何处理）

LLM没有长期记忆——它们只能"看到"最近令牌的滑动窗口，此窗口外的任何内容都会被遗忘或压缩。 本文解释了这对你的提示意味着什么，以及如何在这些限制内（和外）工作。

上下文窗口是LLM在生成其下一个输出时可以考虑的最大文本量（以令牌衡量）。

将其视为模型在任何给定时刻的"可见文本"。当你向GPT-4o发送一条有128k令牌上下文窗口的消息时，该模型可以"看到"对话的最后128,000个令牌——大约96,000个单词。在此之前的任何内容对模型不可见，不会影响其回复。

令牌与单词：令牌不是单词。平均而言，一个令牌≈4个字符或约0.75个单词。4,000令牌的上下文窗口≈3,000个普通英文文本单词。对于密集代码或日语等语言，比率是不同的——日文文本由于字符编码，每个单词需要大约2个令牌。

**上下文窗口大小在模型中差异很大：

所有模型的原则都是相同的：窗口外的任何内容都是不可见的。

当对话中的总令牌数（系统提示+聊天记录+用户输入+工具+预期输出）超过上下文窗口时，较旧的部分会被截断、总结或完全删除。

这不像人类遗忘那样的记忆丧失。模型不是"思考然后忘记"。它根本看不到截断的文本——它不再存在于模型的输入空间中。

**达到上下文限制时的常见症状：

大多数聊天界面使用以下策略之一：

所有这些都保留了"要点"，但丢失了具体细节。当模型不再看到原始指导时，它无法遵循。

上下文过载会增加幻觉，因为当原始信息不再可见时，模型会用似是而非的猜测来填补空白。

以下是模式：你要求AI回到你50条消息前提到的东西。但该消息已从上下文窗口轮换出去。模型无法访问实际事实，因此它根据从当前上下文推断的内容生成听起来似是而非的答案。结果：捏造。

这就是为什么高上下文、长对话聊天通常会产生比集中的短交换更多的幻觉。模型没有失去推理能力——它正在处理不完整的信息。

相互作用是直接的： 减少上下文→缺乏锚定→增加幻觉风险。

这种效应与更高的温度和top-p设置相复合，这已经增加了随机性。请参阅Temperature and Top-P: Control AI Creativity以了解参数调整如何与幻觉相互作用。

战略性地构建提示可以让你在固定的上下文预算内完成更多工作。

将关键指导放在前面。 在系统提示或第一条用户消息中放置最重要的约束、规则和定义。这些不太可能像20个轮次后埋没的指导那样超出上下文。

避免重复。 如果你已经解释过一次，不要再粘贴一遍。相反，参考它："正如我们在上面的摘要中讨论的……"这可以节省令牌。

明确总结。 要求模型总结迄今为止的关键决定、约束或事实。然后从该摘要构建下一个响应，而不是依赖分散的早期上下文。

保持转数集中。 单个多主题独白会低效地使用上下文。将其分解为单独的、范围狭窄的交换。

将整本书或数百页的PDF粘贴到单个上下文窗口中是低效的，即使对于Claude Opus的1M令牌窗口，因为模型无法同时有效地关注多个不同的部分。

一本1,000页的书≈250,000令牌。从技术上讲，Claude Opus可以摄取它。实际上，当被要求跨大部分不同的部分回答问题时，模型的推理会降低——就像要求一个人在一个坐位读完整部小说，然后回忆第50、200和400页的特定细节一样。回忆变得模糊。

**处理长文档的更好方法：

根据我构建PromptQuorum的经验，我发现在上下文限制附近工作很困难，因为每个模型都有不同的限制、截断行为、定价，以及（对于本地LLM）VRAM要求。PromptQuorum帮助你使这变得透明和有意。

在LM Studio或Ollama中运行模型时，可以配置上下文窗口大小。默认情况下，工具通常将其设置为模型的最大值（例如，7B模型为32k）。但这很少是你需要的。

PromptQuorum与LM Studio集成，允许你按任务调整上下文窗口：为轻量级快速问答选择4k；为深度文档分析选择32k；为长对话选择64k。这使权衡明确，而不是隐藏在配置文件中。

PromptQuorum在*你发送之前*检查：给定系统提示+当前对话历史+你的新输入+预期输出长度，这是否适合为每个模型配置的上下文窗口？

如果溢出可能，PromptQuorum会警告你或提示你在发送之前修剪/总结对话。不再有意外截断。不再猜测AI为什么"忘记了"。

对于本地模型，更大的上下文窗口需要指数级更多的VRAM。具有4k上下文窗口的7B参数模型需要约14GB VRAM。相同模型的128k上下文窗口需要32GB+。进一步推进，GPU会耗尽内存、崩溃或回退到CPU推理（慢10–100倍）。

PromptQuorum向你显示这种关系："这个上下文窗口大小将在你的硬件上使用约28GB VRAM。你有16GB可用。"然后你可以为你的任务和硬件恰当地调整上下文窗口，而不是在推理中途发现崩溃。

当你将一个提示发送到GPT-4o（128k窗口）、Claude（200k窗口）和本地7B模型（你选择的32k窗口）时，PromptQuorum会自动将你的提示保持在所有三个边界内。一个提示，多个模型，无需手动重写。

目标： 维持关于单个项目的多轮对话，不失去早期决定。

目标： 从50-100页文档中提取见解。

目标： 不溢出地使用几乎完整的上下文窗口。

目标： 有效运行本地模型，不崩溃。