重要なポイント
- 企業RAG=社内知識ベース。すべての企業ドキュメントをアップロードし、従業員が質問できるようにします。
- ユースケース:ポリシー検索、契約Q&A、研究発見、オンボーディング、コンプライアンス研修。
- スケール:10,000~100,000ドキュメント、100~500同時ユーザー、<2秒レイテンシ。
- ローカルの利点:所有権のあるドキュメントはネットワークを離れません。誰がいつ何にアクセスしたかの完全な監査証跡。
- 2026年4月時点で、企業RAGは従業員生産性により年間$500k~5M の節約をもたらします。
企業RAGが処理できるドキュメントの種類
| 文書タイプ | RAG利用 | 典型的なユーザー |
|---|---|---|
| 従業員ハンドブック | ポリシー検索(「休暇日数はいくつですか?」) | すべての従業員 |
| 契約書 | 条項検索(「解雇条項は何ですか?」) | 法務、調達 |
| 技術ドキュメント | API リファレンス、コード例 | エンジニア |
| 研究論文 | 知識発見(「量子MLについての論文?」) | R&D チーム |
| コンプライアンスドキュメント | 規制検索(「データ保持のGDPR要件?」) | コンプライアンス、法務 |
| 顧客ドキュメント | 製品ドキュメント、FAQ | サポート、営業 |
大規模での文書取り込み方法
取り込みパイプラインはドキュメントをEmbedding に変換し、ベクトルDBに保存します。
- 1ドキュメント抽出:ファイルサーバー、SharePoint、Jira、Confluence等から。
- 2解析:PDF、Word文書、HTMLをテキストに変換。テーブル、画像を処理。
- 3分割:500~1,000トークンチャンクに20%重複で分割。
- 4Embedding:ローカルEmbedding モデル(nomic-embed-text)を使用してチャンクをベクトルに変換。
- 5インデックス:ベクトルをメタデータ(ソース、日付、作成者)とともにQdrant、Milvus、またはWeaviate に保存。
- 6更新:更新をキャプチャするために週次または月次に再取り込み。
マルチユーザー企業RAGの設計方法
典型的なスタック:
- フロントエンド:Webインターフェースまたはslack bot。
- API:RAG クエリ用のREST エンドポイント。
- LLM:ローカルLlama 13B(品質)または7B(速度)。
- Embedding:ローカルnomic-embed-text(または速度向けクラウド)。
- ベクトルDB:10,000+ドキュメント用のQdrant(分散)。
- ドキュメント保存:PDF とソース用の暗号化ファイルサーバー。
- アクセス制御:ユーザーアクセス許可用のLDAP/AD 統合。
検索品質の確保方法
検索が悪い=答えが悪い。品質は以下に依存します:
- 分割戦略:セマンティックチャンク(トピック別)は固定サイズチャンクを上回ります。
- Embedding モデル:利用可能であればドメイン固有のEmbedding を使用。汎用Embedding はドメイン用語を見落とすかもしれません。
- 検索パラメータ:k=5~10(取得するチャンク数)。低すぎる=コンテキスト不足。高すぎる=ノイズ。
- 順位変更:クロスエンコーダを使用してチャンクを関連度で順位変更(小さな品質向上)。
- ユーザーフィードバック:回答の「フィードバック」ボタン。検索パラメータをチューニングするために使用。
ガバナンスとアクセス制御の実装
企業RAGはコンプライアンスのためのアクセスを追跡する必要があります。METIのAIガバナンス2024は、エンタープライズデプロイメントにおける日本のレギュラトリーフレームワークを定義しています。
- アクセスログ:誰がいつどこからどのドキュメントをクエリしたか。
- 保持:ログを3~7年間保持(規制要件)。
- アクセス制御:役割によってドキュメントを制限(例:法務のみ契約を表示)。
- 監査:異常なアクティビティについてアクセスログの四半期ごとのレビュー。
- データ分類:ドキュメントを公開、内部、機密、制限としてマーク。
企業RAGの一般的なエラー
- クリーニングなしの取り込み。古いドキュメント、重複、テストファイル=検索ノイズ。取り込み前にクリーニング。
- インテリジェント分割なし。固定サイズチャンクは文の途中でトピックを分割。セマンティック分割を使用。
- アクセス制御なし。すべてのドキュメントがすべての従業員に表示されると、機密情報が流出。
- 検索品質を無視。幅広いロールアウト前に実際の従業員でテスト。50%の問題=検索、生成ではなく。
- 更新の再取り込みなし。ドキュメントデータベースが古くなります。週次/月次の再取り込みをスケジュール。
企業RAGについてのよくある質問
企業RAGは何個のドキュメントを処理できますか?
平均ドキュメントサイズとレイテンシに依存。典型的範囲:10,000~100,000ドキュメント。検索レイテンシは<1秒であるべき。遅い場合は、分割またはEmbedding を最適化。実際のドキュメントセットでテスト。
どのEmbedding モデルを使用すればよいですか?
オープンソースオプション:all-MiniLM-L6-v2(高速、良好)、BAAI/bge-base-en-v1.5(品質向上)。独自:OpenAI text-embedding-3-small。ローカルデプロイメント用はオープンソースを使用。品質の違いが重要:より良いEmbedding =より良い検索。
チャット履歴を失わずにドキュメントを更新するにはどうすればよいですか?
チャット履歴をドキュメントEmbedding から分離して保存。スケジュール(週次/月次)に従ってEmbedding を更新。古いチャットはまだ古いドキュメントバージョンを参照しており、これは問題ありません。バージョン日付を文書化するだけ。
機密ドキュメントにRAGを使用できますか?
はい、ローカルRAGが理想的。ドキュメントはオンプレミスに残り、クエリは外部で記録されず、ロールベースのアクセス許可でアクセスを制御。HIPAAおよびGDPRを満たします。
セマンティック分割と固定サイズ分割とは何ですか?
固定サイズ(例:512トークン)はより簡単ですが、文の途中でトピックを分割。セマンティック分割は文/段落の境界を使用し、意味を保持。セマンティックはRAG品質に向いていますが、セットアップは遅い。
出典
- LlamaIndex ドキュメント -- docs.llamaindex.ai
- Qdrant ベクトルデータベース -- qdrant.tech
- 検索評価 -- arxiv.org(「RAG evaluation metrics」を検索)