手动 vs 自动：快速对比
根据三个因素判断：提示词数量、评估数据、扩展性需求。 手动优化是根据测试失败重写提示词——直接控制但无法扩展到50个以上生产提示词。自动优化使用框架（DSPy、TextGrad）算法重写提示词——扩展到100个以上但需要标记数据和指标。
| 因素 | 手动优化 | 自动优化 |
|---|---|---|
| 最佳提示词数 | <50（控制优先） | 100个以上（扩展优先） |
| 需要训练数据？ | 否 | 是（50–500例） |
| 设置时间 | 每个提示词1–2小时 | 2–5天（一次性） |
| 每个提示词成本 | $1,000–5,000（劳动） | $100–500（计算 + 标签） |
手动优化何时更优
- 少于50个生产提示词——数据和指标设置开销没有价值
- 新颖或一次性任务——优化方向不清楚时，人类洞察更快
- 高控制要求——合规、品牌声音、创意写作——需要批准每项改变
- 小团队(<5人)——手动迭代快，团队成员理解为什么改变
- 评估数据有限——<50标记例子，自动训练会过拟合
自动优化何时更优
- 100个以上生产提示词——手动迭代的工程成本禁止性
- 规模化变体测试——A/B测试需10个以上提示词变体；自动化更快生成
- 持续优化——用户输入变化时提示词会下降；自动系统可月度重训
- 指标驱动工作流——任务有明确成功指标（准确率、BLEU、LLM评分），不是主观质量
- 大团队(10人以上)——手动改变协调开销高；自动化使优化可重现
工具对比：DSPy、TextGrad、Promptfoo
三个主要工具支持自动或半自动优化：
| 工具 | 方法 | 成熟度 | 规模 | 最适用于 |
|---|---|---|---|---|
| DSPy（斯坦福） | 通过学习进行提示词优化 | 生产就绪（开源） | 50–500提示词 | 扩展提示词变体的团队 |
| TextGrad | 基于梯度的提示词重写 | 研究阶段（新、生产未就绪） | 10–100提示词 | 研究、尖端优化 |
| Promptfoo | 测试 + 回归检测（手动辅助） | 生产就绪（开源） | 任何规模 | CI/CD测试，不是完全自动化 |
混合工作流：手动 + 自动协作
真实世界是混合的。从手动优化开始构建直觉和评估数据。达到规模后转向自动化。
- 1周1–4：手动优化1–3个核心提示词。每个提示词生成50个以上标记例子。
- 2周4–8：构建评估指标（准确率、BLEU或LLM评分）。用Promptfoo A/B测试验证手动工作。
- 3周8+：设置DSPy。在增长的评估数据集上重训。通过自动化添加新提示词变体。
- 4生产：部署DSPy优化变体。每次提交时用Promptfoo进行回归测试。
成本分析：手动 vs 自动
在什么提示词数量时自动化变得比手动更便宜？ 损益分岔点约50–80个提示词。
- 手动成本/提示词：4–8小时工程师 × $150/小时 = $600–1,200直接劳动。加上研究、测试、文档 = 每个提示词$1,500–5,000总计。
- 自动化一次性成本：DSPy设置 = $2,000–5,000（2–5天工程师 + 计算）。然后每提示词成本 = $100–300（计算 + 标记）。
- 损益平衡：约60个提示词时，自动化总成本 = $2,000 + (60 × $200) = $14,000。手动总成本 = 60 × $3,000 = $180,000。自动化赢利13倍。
- 30个以下提示词：手动更快更便宜。自动化设置开销未被证实。
- 100个以上提示词：自动化比手动便宜5–10倍。
常见错误
- 没有标记数据就运行DSPy——DSPy从例子学习。没有50个以上标记(输入、输出)对，就从噪音训练。从手动迭代开始，记录对，然后用作训练数据。
- 选择模糊指标——DSPy和TextGrad需要定量指标（准确率、F1、BLEU）。像"质量"这样的模糊指标无法指导优化。定义成功：测试集准确率、子字符串匹配或LLM评分>8/10。
- 期望自动化发现新技术——DSPy在已知结构内优化文本，但不会自己发现思维链或少数例子。必须先定义结构（任务签名）。
- <30个提示词设置自动化——自动化开销（设置、标记、指标）= 2–5周。对<30个提示词，手动迭代快2–4倍。在50个以上时转向自动化。
- 自动化后没有持续监控——提示词在用户输入改变时下降。月度重训：新输入 → 更新评估集 → 重运DSPy → 测试 → 部署。将优化视为持续而非一次性。
常见问题
能混合手动和自动优化吗？
能，这是最佳实践。核心任务手动（1–3个提示词），扩展的变体自动化。用Promptfoo测试全部；用DSPy生成新的。
DSPy能用所有模型吗？
DSPy适用任何API访问的模型：GPT-4o、Claude、Gemini、Cohere、Ollama。视觉模型还不支持。本地模型支持但较慢。
DSPy需要多少标记例子？
简单任务（分类、提取）最少30–50。复杂任务（总结、推理）受益于100–500。更多例子 = 更稳健优化。
运行DSPy的计算成本？
100例一次DSPy优化运行 = 约$5–20（API调用）。10候选提示词 × 100例 = 1,000调用 = 每优化周期$50–200。月度重训 = $50–200/月。
能在生产部署DSPy优化提示词吗？
能。DSPy输出纯文本提示词。复制到生产系统（PromptQuorum、LangChain、Vellum等）并正常提供。生产无需DSPy运行时。
自动优化保证提示词变好吗？
不保证。如果指标错了，DSPy优化错的东西。如果评估数据有偏差，学习偏差。垃圾进 = 垃圾出。
创意任务应该用自动优化吗？
还不应该。自动化最适合指标驱动任务（分类、提取、总结）。创意任务（文案、故事）缺乏明确指标，手动控制更好。
DSPy能同时为多个模型优化吗？
不能，一次一个模型。要为GPT-4o和Claude都优化，运行DSPy两次（各模型）并比较结果。混合方法：为偏好模型优化，其他手动测试。
引用来源
- Khattab, O., Potts, C., & Zaharia, M. (2024). "DSPy: Compiling Declarative Language Model Calls into State-of-the-art Retrieval-Augmented Systems." arXiv:2310.03714
- Valmeekam, K., et al. (2024). "TextGrad: Automatic Differentiation via Text." arXiv:2406.07496
- Promptfoo GitHub: https://github.com/promptfoo/promptfoo
- Schulhoff, S., et al. (2024). "The Prompt Report: A Systematic Survey of Prompting Techniques." arXiv:2406.06608