ユースケース別ローカルLLMスタック2026：ライティング、コーディング、RAG、エージェント

ハードウェア別判断テーブル（2026年4月）

1. 1
   24 GB VRAMの場合：`ollama pull llama3.3:70b` — 最高品質、ライティングベンチマークでGPT-4（2023）等。
2. 2
   16 GB VRAMの場合：`ollama pull mistral-small3.1` — 128Kコンテキスト、24 GB以下で最高品質。
3. 3
   8 GB VRAMの場合：`ollama pull llama3.2:8b` — 良好なライティング品質、コンシューマーハードで高速。
4. 4
   OpenWebUIをDockerでインストール：`docker run -d -p 3000:8080 ghcr.io/open-webui/open-webui:latest`
5. 5
   文書の長さに応じてOpenWebUI設定でコンテキストウィンドウ（8K–32Kトークン）を設定。

1. 1
   vLLMをインストール：`pip install vllm`
2. 2
   Qwen2.5-Coder-7BでvLLMサーバーを起動：`python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen2.5-Coder-7B-Instruct --port 8000`
3. 3
   16+ GB VRAMの場合は14Bを使用：`--model Qwen/Qwen2.5-Coder-14B-Instruct`
4. 4
   IDE拡張（VS Code Continue.dev、Cursor等）を`http://localhost:8000/v1`に接続。
5. 5
   コードレビューのバッチ処理を有効化：1回のAPI呼び出しで最大8ファイルを並列処理（`vllm`はデフォルトでbatch=10対応）。

# Review 10 files in parallel using vLLM batch processing
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="not-needed")

code_files = [
    ("utils.py", open("utils.py").read()),
    ("models.py", open("models.py").read()),
    # ... up to 10 files
]

# vLLM processes all 10 in parallel (1 batch request)
reviews = []
for filename, code in code_files:
    prompt = f"Review this code for bugs, style, and performance:

{code}"
    response = client.chat.completions.create(
        model="Qwen2.5-Coder-7B-Instruct",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.2,  # Deterministic for review tasks
    )
    reviews.append((filename, response.choices[0].message.content))

for filename, review in reviews:
    print(f"=== {filename} ===
{review}
")

1. 1
   LlamaIndexをインストール：`pip install llama-index`
2. 2
   文書（PDF、TXT、markdown）をLlamaIndexに読み込み。
3. 3
   文書をチャンク分割（1024トークンデフォルト）し、ローカルモデルで埋め込みを作成。
4. 4
   QdrantベクトルDBに埋め込みを保存（Dockerでローカル動作）。
5. 5
   LlamaIndexでクエリ：最上K件の類似文書を取得し、コンテキストを付きでLLMにプロンプト。
6. 6
   FastAPIエンドポイントにラップしてウェブUIまたはIDE連携。

1. 1
   LangGraphをインストール：`pip install langchain langgraph`
2. 2
   ツール（ウェブ検索、計算機、ファイルI/O）を関数シグネチャとして定義。
3. 3
   エージェントグラフをLLMを判断ノード、ツールをアクションノードとして作成。
4. 4
   タイトなループ内で低レイテンシなLLM呼び出しにはvLLMバックエンドを使用。
5. 5
   エージェントループを実行：LLM → ツール選択 → 実行 → 完了まで繰り返し。

1. 1
   vLLMを`--served-model-name model-name`で固定ポートにデプロイ。
2. 2
   nginxを2+のvLLMインスタンス間で負荷分散するように設定（マルチGPUの場合はGPUごとに1インスタンス）。
3. 3
   クライアント互换性のためにOpenAI互换`/v1/chat/completions`エンドポイントを使用。
4. 4
   Prometheusスクレイプエンドポイントでモニタリング（vLLMはリクエストレイテンシ、スループットメトリクスをエクスポート）。
5. 5
   ユーザーごとのレート制限をトークンバケットアルゴリズムで設定。

1. 1
   `peft`ライブラリ（LoRA）でVRAMフットプリントを削減。
2. 2
   トレーニング：モデル VRAMの4倍必要（オプティマイザーステート、勧配）。推論と分離して実行。
3. 3
   LoRAアダプターをHuggingFace Hubまたはローカルファイルシステムにエクスポート。
4. 4
   ファインチューニング済みモデルをOllamaに読み込み：`ollama create mymodel -f Modelfile`
5. 5
   またはHuggingFace TRL（Transformers Reinforcement Learning）でRLHF。

1. 1
   Ollama：`/api/generate`を`stream: true`で呼び出し。トークンは改行区切りJSONで届く。
2. 2
   vLLM：`/v1/chat/completions`を`stream: true`で使用。OpenAI互换SSEストリームを返却。
3. 3
   フロントエンド：EventSource API（JavaScript）でストリームを受信しトークンごとにUIを更新。
4. 4
   最小レイテンシのためバッチ処理を無効化（batch=1）。

関連記事

• コーディング向きローカルLLM 2026 — Qwen2.5-Coder vs DeepSeek-CoderのHumanEvalランキング。
• ローカルRAG設定 2026 — LlamaIndex + Qdrant + Ollamaの完全実装ガイド。
• ローカルLLMエージェント（LangGraph） — ステップごとのエージェントワークフローフレームワーク。
• Ollama vs LM Studio — バックエンド比較：CLI vs GUI、速度、バッチ処理。
• Open WebUI vs SillyTavern — チャットUI比較：プロフェッショナル vs ロールプレイ。
• ローカルLLMに必要なVRAMは？ — モデルサイズとユースケース別ハードウェア要件。

LLMスタック選択時のよくある間違い

• vLLMなしでOllamaを本番環境APIに使用： Ollamaは<10 req/sが上限。10+同時ユーザーの本番環境ではvLLMが必須。デプロイ前に負荷下でスループットをテスト。
• vLLMバックエンドなしでLangGraphを実行： LangGraphエージェントは10+回の連続LLM呼び出し。Ollamaはレイテンシのボトルネックになりやすい。サブ秒の応答時間にはLangGraph + vLLMの組み合わせが必須。
• メモリ管理なしに同じGPUでOllama + vLLMを混在： 両ツールがVRAMに重みを読み込む。70Bモデルを2インスタンス実行するとVRAM 32 GB消費。GPUを分けるか、Q2高圧縮で充分なスペースを確保。
• ライティング用に不適切なコンテキストウィンドウを選択： デフォルトの4Kコンテキストはブレインストーミングセッションに制約。長文ライティングではOpenWebUIのコンテキストウィンドウをトークン16K–32Kに設定。トレードオフ：トークンごとの推論速度が2–3倍低下。
• すべてのバックエンドが同じ速度だと誤解： vLLMとOllamaは異なるカーネルを使用。同じハードウェアで、vLLMは推論速度が2–3倍高い。速度の違いはフロントエンド（OpenWebUI、LM StudioはUIに過ぎない）ではなくバックエンド。

参考資料

• Ollama GitHub — 公式ドキュメント、ストリーミングAPI仕様、モデルライブラリ。
• vLLM GitHub — OpenAI API互换性、バッチ処理、連続バッチングのドキュメント。
• Qwen2.5-Coder技術レポート — Alibaba Qwen。HumanEval 82％、コーディング特化。Apache 2.0ライセンス。
• LlamaIndexドキュメント — 文書インデックス、チャンク分割、RAG検索フレームワーク。
• LangGraphドキュメント — エージェントワークフロー、ステートマシン、ツール使用パターン。
• Qdrantドキュメント — ローカル埋め込み保存用ベクトルDB、Docker対応、Apache 2.0。
• Continue.devドキュメント — ローカルLLMバックエンドを使用するVS Code / JetBrains用IDE拡張。