開発者向けプロンプトエンジニアリングワークフロー：IDEセットアップ、テスト、CI/CD統合

2つのIDEが開発者のプロンプトエンジニアリングのほとんどのニーズをカバーします：Cursor（ネイティブAI統合、プロンプトをファーストクラス市民として扱う）とVS Code + Continue.dev（オープンソース、ローカルモデルサポート）。 選択は主要言語とモデルアクセス要件によって異なります。

Cursorはプロンプトファイルをネイティブに扱います — アプリケーションコードの横のエディタで直接プロンプトを参照、編集、テストできます。OpenAI互換APIとのネイティブ統合があり、TypeScriptとPythonをよくサポートしています。

VS Code + Continue.devはオープンソースで、Ollama経由でローカルモデルをサポートし、あらゆる言語エコシステムで動作します。オープンソース要件がある場合、またはプライバシーやコストの理由でモデルをローカルで実行する必要がある場合に使用します。

ローカルプロンプトテストループには4つのステップがあります：プロンプトを書く、3つの代表的な入力でテストする、ベースラインと比較する、合格したらコミットする。 このループは、Promptfooをローカルで設定した場合、30秒未満で完了するはずです。

ステップ1：IDEでプロンプトを書くか編集します。ステップ2：3つの代表的な入力に対してプロンプトを実行します — 典型的な入力、エッジケース、以前に障害を引き起こしたもの。ステップ3：最後にコミットされたバージョンとベースラインを比較します。ステップ4：品質が維持または改善された場合、conventional messageでコミットします。

Promptfooのローカルループ設定：`npm install -g promptfoo`でインストール、3つのテストケースとLLM-as-judge評価器を含む`promptfooconfig.yaml`をプロジェクトルートに作成、`promptfoo eval`を実行。既存のプロンプトのセットアップ時間は15分未満です。

プロンプトをリポジトリルートの`/prompts`ディレクトリに`.txt`または`.ts`ファイルとして保存します。 Gitでプロンプトをバージョニングすることはコードをバージョニングするのと同じ利点があります：完全な履歴、blame、ロールバック、PRベースのレビュー。

命名規則：`task-version.txt` — 例：`customer-support-v3.txt`、`email-draft-v1.txt`。日付ではなく連番のバージョン番号を使用します。廃止されたプロンプトは削除せず`/prompts/archive/`に移動します。

プロンプト変更のコミットメッセージ形式：conventional commitsを使用します。本番環境への各成功したデプロイ後、コミットに`prompts/task/version`タグを付けます。これらのタグは本番環境でプロンプト変更を元に戻す必要があるときのロールバックターゲットとして機能します。

すべてのプルリクエストでPromptfooまたはBraintrustを実行し、合格率がしきい値を下回った場合にビルドを失敗させるGitHub Actionsワークフローを追加します。 しきい値を85%から始め、3か月の安定したテストの後に95%に引き上げます。

GitHub Actionsワークフロー構造：`pull_request`でトリガーされ、Promptfooをインストールし、`promptfoo eval --config promptfooconfig.yaml`を実行し、終了コードが0以外の場合に失敗するジョブを含む`.github/workflows/prompt-test.yml`を作成します。

しきい値戦略：大きなリグレッションを検出しながら一部の変動を許容するために85%から始めます。誤った失敗なしに3か月の安定したテストの後、95%に引き上げます。リポジトリのブランチ保護設定にprompt-testジョブを必須のステータスチェックとして追加します。

プロンプト入力と出力をログに記録し、すべてのレスポンスで品質スコアラーを実行し、24時間のローリングウィンドウで10%を超える品質スコアの低下に対してアラートを設定します。 ユーザーデータを処理するすべてのプロンプトを監視します。

ログに記録するもの：プロンプト識別子とバージョン、モデル名、入力トークン数、出力トークン数、ミリ秒単位のレイテンシ、評価器からの品質スコア。個人データを処理するプロンプトの場合、生の入力ではなく入力のハッシュをログに記録します。

品質スコアリングオプション：Braintrustはレスポンスごとのスコアリングとダッシュボードを備えたクラウドベースの評価器を提供します。セルフホスト型アプローチの場合、レスポンスの10%のサンプルで軽量なLLM-as-judgeコールを実行します。品質スコアが7日間のローリング平均と比較して10%以上低下した場合にアラートをトリガーします。