PromptQuorumPromptQuorum
ホーム/Power Local LLM/ローカルAIアプリ(内蔵RAG対応):ファイルとチャット(セットアップ不要)
Easiest Desktop Apps

ローカルAIアプリ(内蔵RAG対応):ファイルとチャット(セットアップ不要)

·12分で読める·Hans Kuepper 著 · PromptQuorumの創設者、マルチモデルAIディスパッチツール · PromptQuorum

3つのデスクトップアプリなら、5分以内にPDFを読み込んで質問できます — ベクトルDB、Python、コマンドラインなし。AnythingLLM は最も高機能(10+ファイル形式、交換可能な埋め込みモデル、最高品質の引用)。LM Studio は最も簡単(シングルバイナリインストール、PDF + DOCX + TXT、会話スコープ)。Jan は最もプライベート(完全オープンソースAGPL、テレメトリゼロ、ローカルのみ)。3つすべてが1,000ページドキュメント対応、インストール後は完全オフライン動作。

重要なポイント

  • AnythingLLM が最高機能の内蔵RAG:10+ファイル形式(PDF、DOCX、TXT、MD、EPUB、ウェブサイト、音声トランスクリプト)、交換可能な埋め込みモデル、最高品質の引用、永続的なワークスペース。
  • LM Studio が最も摩擦が少ない:PDFをチャットにドラッグ、30秒で回答。会話スコープ、ワークスペース概念なし。
  • Jan + ドキュメント拡張 がオープンソース選択肢:AGPL、テレメトリゼロ、ローカルのみの埋め込み、法務/医療/規制ワークフロー向け。
  • 3つすべてが16GB RAM環境で1,000ページドキュメント、5分未満のインデックス時間で対応。
  • デフォルト埋め込みモデル(nomic-embed-text v1.5、all-MiniLM-L6-v2)はほぼすべてのワークロードに十分 — AnythingLLMだけがアプリを離れずに交換可能。
  • 3つすべて外部OCRなしスキャンPDF(画像のみ)は未対応 — 先にTesseractまたはPDFツールでテキスト抽出。
  • アップスケール基準: ~1,000ドキュメント超過、ワークスペース横断検索、高度なチャンキング需要時は、カスタムOllama + AnythingLLM DockerまたはPrivateGPTへ。

AnythingLLM、LM Studio、Jan + ドキュメント 2026年比較

Apple M5 MacBook Pro(16GB統合メモリ)および NVIDIA RTX 4070(12GB VRAM、32GB システムRAM)Windows 11デスクトップでテスト。ドキュメント同一セット:412ページリサーチPDF、38ページ契約DOCX、1,047ページ技術マニュアルPDF、25 markdown ノート(計600KB)。各アプリは Llama 3.3 8B Q4_K_M チャットモデル。

アプリファイル形式実用的な最大サイズ埋め込みモデル引用判定
AnythingLLMPDF、DOCX、TXT、MD、EPUB、HTML、CSV、JSON、ウェブサイト、音声(Whisper)~5,000文書 / ~50,000ページ内蔵(Native)またはOllama / OpenAI / LM Studio に交換チャンク単位の引用、ソースファイル名 + ページ最も高機能 — ライブラリには最初に選択
LM StudioPDF、DOCX、TXT、MD~30文書(チャット単位) / ~3,000ページnomic-embed-text v1.5(バンドル、交換不可)インライン記載、ページ番号なし最も簡単 — アドホックQ&A向け
Jan + ドキュメントPDF、DOCX、TXT、MD~200文書 / ~10,000ページall-MiniLM-L6-v2(バンドル、拡張を通じて交換可能)チャンク単位、ファイル名付き最もプライベート — AGPL / コンプライアンス向け

どれを選ぶべき?

正しい選択はドキュメントライブラリサイズ、ファイル形式、オープンソース重視度に依存します。 意思決定マトリックス:

シナリオ選択
1つのPDF、60秒で回答を得たいLM Studio
50~500 PDFフォルダ、定期的に照会AnythingLLM
同じワークスペースでEPUB、ウェブサイト、音声トランスクリプト必要AnythingLLM
法務・医療ドキュメント、オープンソース必須Jan + ドキュメント
埋め込みモデルを変更して取得品質をテストAnythingLLM
4年前のノートパソコン、8GB RAMLM Studio(最小インストール、最軽量)
アカデミック執筆用にページ番号付き引用が必要AnythingLLM
チャット履歴とドキュメントインデックスをプロジェクト別に分離AnythingLLM(ワークスペースはファーストクラス)
企業がネットワーク上の独占的バイナリをブロックJan + ドキュメント(AGPL、監査可能)

テスト方法

各アプリをクリーンインストール、同じドキュメント セット、同じ12クエリで評価。 RAG 品質をチャット品質から分離するため同じチャットモデル(Llama 3.3 8B Q4_K_M、≈ 4.9 GB)を使用。

  • ハードウェア: MacBook Pro M5(16GB 統合メモリ)macOS パス用;Windows 11 + RTX 4070(12GB VRAM、32GB システム RAM)。両方でテスト実行。
  • ドキュメント セット: 412ページリサーチペーパーPDF(図表数式付き)、38ページ契約DOCX(企業不動産賃貸、密集法的テキスト)、1,047ページ技術マニュアルPDF(産業制御システム)、25 markdown ノート(~600 KB 会議ノート、プロジェクト仕様)。
  • 埋め込み: 各アプリはデフォルト埋め込みモデル使用(明示的交換を除く)。AnythingLLM Native は all-MiniLM-L6-v2 品質に近い384次元;LM Studio は nomic-embed-text v1.5(768次元);Jan は all-MiniLM-L6-v2 デフォルト。
  • クエリ タイプ: ファクト検索(「賃貸契約解約予告期間」)、マルチホップ推論(「マニュアルの安全インターロック&緊急停止カバーセクション」)、引用精度(「トークンミキシング正確フレーズ引用」)、要約(「第4章を5つのポイントで要約」)、矛盾検出(「契約家賃指数付けで自己矛盾?」)。
  • 測定項目: ドキュメント投入後初回回答までの時間(インデックス + 初回応答)、12クエリ ゴールデンセット検索リコール、引用正確性(チャンクファイル名 + ページ該当時)、1,047ページマニュアルストレステスト動作。

📌Note: モデルダウンロード後は100%ローカル。このテスト中、プロンプト、ドキュメント チャンク、埋め込みベクトルは一切デバイスを離れません。各アプリでネットワーク無効化を途中で確認、オフライン動作確認。

AnythingLLM:最高機能の内蔵RAG

AnythingLLM はドキュメントチャットをファーストクラス機能として提供。 ワークスペースは永続的なドキュメントインデックスを保持;各ワークスペースは独立、「法務契約」と「リサーチペーパー」を分離保管。

  • インストール: anythingllm.com から署名済みインストーラー(macOS、Windows、Linux)。~430 MB。macOS、Linux では管理者権限不要。
  • ファイル形式: PDF、DOCX、TXT、MD、EPUB、HTML、CSV、JSON。音声ファイル(MP3、WAV、M4A)は Whisper で自動トランスクリプション。ウェブサイトはスクレーパー内蔵。
  • 埋め込みモデル: デフォルト「Native」(all-MiniLM-L6-v2 に近い小型モデル)。Ollama を通じて nomic-embed-text、LM Studio を通じて BAAI/bge-small、OpenAI text-embedding-3-small に 1クリックで交換。
  • チャンク制御: チャンクサイズ(デフォルト1,000文字)とオーバーラップ(デフォルト20)はワークスペース設定で公開。変更後、「すべて再埋め込み」ボタンでインデックス再構築。
  • 引用: 各回答はチャンク単位のフットノート付き、ファイル名 + ページ(PDF)、ファイル名 + セクション(MD)、またはファイル名のみ(TXT)。引用をクリックするとサイドパネルでソースチャンク開放。
  • パフォーマンス: 完全マニュアル + ペーパー + 契約 + マークダウンノート、RTX 4070 で 4分12秒でインデックス、M5 で 5分38秒。初回クエリ応答:両方で~3秒。
  • LLM バックエンド: デフォルトで Ollama バンドル、または LM Studio、llama.cpp サーバー、OpenAI 互換 URL、クラウドプロバイダーに指定。

💡Tip: プロジェクト単位で1ワークスペース作成(例:「Q3契約」「論文ソース」「オンボーディングマニュアル」)。各ワークスペースは独立チャット履歴とインデックス、プロジェクト間での文脈漏洩なし。

LM Studio:最も簡単なドキュメントチャット

LM Studio 2025 でチャット内ドキュメント添付を追加。 PDF をチャットウィンドウにドラッグ、数秒で質問開始 — ワークスペース、セットアップ、埋め込み設定なし。

  • インストール: lmstudio.ai から署名済みインストーラー(macOS、Windows、Linux)。~450 MB。チャット専用インストール、RAG プラグイン別途なし。
  • ファイル形式: PDF、DOCX、TXT、MD。EPUB、HTML、音声なし。
  • 埋め込みモデル: nomic-embed-text v1.5(768次元)バンドル。2026年5月時点で UI から交換不可 — 埋め込みモデル選択は AnythingLLM 使用。
  • チャンク制御: UI から隠蔽。チャンクサイズ、オーバーラップ、top-K はドキュメントサイズに基づき自動最適化。
  • 引用: モデルはチャンクをコンテキストとして受け取り、引用指示受け取り。引用品質はチャットモデル依存 — Llama 3.3 8B 以上は確実に引用、Phi-4 Mini は時折落とす。
  • パフォーマンス: シングルペーパー M5 で 38秒、RTX 4070 で 24秒でインデックス。初回クエリ:2~3秒。実用上限:ドキュメント ~30 件またはチャット ~3,000ページ。
  • LLM バックエンド: 会話選択と同じチャットモデル使用 — ドキュメント添付時に RAG 透過化。

📌Note: LM Studio ドキュメント添付は会話スコープ、ワークスペーススコープでなし。新チャット開始 = 前のドキュメント消失。アドホック Q&A 向け機能、継続的リサーチライブラリ向けは制限。

Jan + ドキュメント拡張:オープンソース選択肢

Jan は 3つの中で唯一、監査可能なオープンソースコード(AGPL)。 ドキュメント拡張は RAG 追加でテレメトリゼロ原則を侵害しない — 埋め込みはローカル実行、ドキュメントチャンクはデバイス離脱なし。

  • インストール: jan.ai (~380 MB)。次に、アプリ内 Hub タブからドキュメント拡張を有効化。拡張は Jan チーム署名、サードパーティでなし。
  • ファイル形式: PDF、DOCX、TXT、MD。新形式追加は 2026年5月時点で公開ロードマップ上。
  • 埋め込みモデル: all-MiniLM-L6-v2(384次元)バンドル。拡張設定を通じて BAAI/bge-small-en-v1.5 または任意 sentence-transformers GGUF に交換可能。
  • チャンク制御: チャンクサイズとオーバーラップは拡張設定で公開。再インデックスボタンでローカル LanceDB ストア再構築。
  • 引用: チャンク単位の引用、ファイル名付き。2026年5月版ではページ番号なし — Jan GitHub issue #1184 でこの機能をトラッキング。
  • パフォーマンス: テストコーパス全体、M5 で 6分04秒、RTX 4070 で 5分12秒でインデックス。初回クエリ:3~4秒。実用上限:~200文書。
  • LLM バックエンド: Jan 内蔵 llama.cpp ランタイム。チャット用にロードされた同じモデルを RAG 合成に使用。

💡Tip: EU GDPR コンプライアンス、規制対象業界、またはソースコード監査必須の環境では Jan が 3つ中唯一の選択。AnythingLLM は GitHub でオープンソース、公式ビルドはテレメトリ非公開;LM Studio は全面的に独占。

サンプルクエリと各アプリの回答

ドキュメント同一、チャットモデル同一(Llama 3.3 8B Q4_K_M)、プロンプト同一。 回答は必要に応じて短縮。各行は、アプリが正しいチャンク検索できたか、何を言ったかを表示。

クエリAnythingLLMLM StudioJan + ドキュメント
賃貸契約解約予告期間は?✅ 「60日間書面通知」[契約.docx、p.12]✅ 「60日間書面通知」 — 契約.docx✅ 「60日間書面通知」 — 契約.docx
ペーパーのトークンミキシングの正確フレーズを引用✅ 逐語引用 [research.pdf、p.4]✅ 逐語引用、research.pdf(ページなし)⚠️ 言い換え、research.pdf
マニュアルで安全インターロック&緊急停止をカバーするセクション?✅ 「セクション4.2、セクション7.1」引用⚠️ セクション4.2のみ — マルチホップ外す⚠️ セクション7.1のみ — マルチホップ外す
第4章を5つのポイントで要約✅ 5つの正確ポイント、各引用✅ 5つの正確ポイント、末尾引用ブロック✅ 5つの正確ポイント、初回ポイント引用
契約は家賃指数付けで自己矛盾?✅ 「はい、p.8は CPI リンク、p.14は固定3%」✅ 「はい、2つの異なる指数付けメソッド」⚠️ 「矛盾なし」 — p.14見落とし

📌Note: AnythingLLM は複数ホップと矛盾クエリで lead、デフォルト検索でもっとチャンク pull(top-K = 6)LM Studio/Jan より(top-K = 4)。シンプルファクト検索:3つすべてほぼ同等。

引用の正確性

引用品質は 3つのアプリの単一最大の差別化要因。 AnythingLLM だけが 2026年5月にチャンク単位のファイル名 + ページ。他は ファイル名のみ。

  • AnythingLLM: 各回答はチャンク使用をフットノート。形式は `[filename、page X] PDF、[filename、section]` markdown。パネルで開いてソース段落検証。
  • LM Studio: チャット回答内インラインメンション(「research.pdf による...」)。ページなし、検証パネルなし。引用信頼性はモデル依存 — Llama 3.3 8B 確実、Phi-4 Mini 時折落とす。
  • Jan + ドキュメント: チャンク単位の引用、ファイル名付き。ページなし。拡張パネルで引用チャンク可視。
  • 検証コスト: AnythingLLM 2クリック;LM Studio/Jan はソース PDF 開いて検索。1,000ページマニュアル対象、これ重要。
  • 幻想引用: 3つ全部たまに非検索チャンク で ファイル名引用。12クエリテスト頻度:AnythingLLM 0/12、LM Studio 1/12、Jan 1/12。ハイステークス主張は常に検証。

大規模ファイル(1,000+ページ)処理

1,047ページ技術マニュアル = ストレステスト。 3つすべてロード・インデックス可能、差異は取得時と ワークスペース人間工学に出現。

メトリックAnythingLLMLM StudioJan + ドキュメント
インデックス時間(M5)4分12秒2分47秒6分04秒
インデックス中 RAM~3.2 GB~2.4 GB~2.8 GB
インデックス ディスク~210 MB~95 MB~140 MB
初回クエリ遅延(コールド)3.1秒2.2秒3.8秒
実用的ドキュメント数上限~5,000~30(チャット単位)~200
マルチホップ取得(12クエリテスト)11/128/127/12

⚠️Warning: LM Studio は single-doc は高速、ライブラリはスケール不可。会話スコープインデックス = 新チャット ゼロ開始 — one-off ポジティブ、継続的リサーチは痛手。50+文書先は AnythingLLM に変更。

内蔵RAGから卒業する時期

内蔵RAGは正解、3つのいずれかが発生するまで: ライブラリ~1,000+文書超過、細かいチャンク戦略制御必要、またはワークスペース横断検索必要。その時点で escalate。

  • 文書数 > 1,000: AnythingLLM は~5,000/workspace 取得遅延目立つまで対応。超過時:カスタムOllama + AnythingLLM Docker + vector DB(Qdrant、Weaviate、Postgres+pgvector)へ移行。
  • カスタムチャンキング戦略必要: 内蔵アプリは固定チャンクサイズ(~1,000文字、~20オーバーラップ)。ドメイン特化チャンキング(セマンティック、階層、親子):LangChain/LlamaIndex の カスタムスタック。
  • ワークスペース横断・ソース横断検索必要: AnythingLLM ワークスペースは意図的に隔離。単一クエリ「契約+メール+Slack+Notion」スパン必要 → unified vector store カスタム RAG。
  • 細かいアクセス制御必要: 内蔵アプリはシングルユーザー想定。チーム RAG ロール別権限 → AnythingLLM Docker(マルチユーザー)または PrivateGPT 配置。
  • スキャン PDF の OCR 必要: 3つすべて未対応。Tesseract/pdf2image+Tesseract で前処理、または Unstructured.io 含むスタック へ移行。
  • 本番配置: 内蔵アプリはデスクトップアプリ、サーバーでなし。本番RAG API → AnythingLLM Docker、PrivateGPT、Open WebUI+RAG プラグイン。

💡Tip: escalate パスで作業保全:Desktop → Docker(データ同一形式)→ カスタムOllama+Qdrant+LlamaIndex スタック。各ステップは文書コーパス保全、再インデックス回避。

よくある質問

これらアプリで 1,000+ PDF チャット可能?

AnythingLLM は約 5,000文書/workspace まで(取得遅延目立つ前)。Jan + ドキュメント は約200文書。LM Studio は会話スコープで約30/チャット。1,000+文書ライブラリ:AnythingLLM が唯一の内蔵オプション(カスタムstack escalate なし)。

これらアプリは DOCX と Excel をサポート?

3つすべて DOCX(Microsoft Word)サポート。Excel(XLSX)は 2026年5月時点で 3つとも直接非対応 — CSV(AnythingLLM 原生対応)に先に変換するか markdown に コピペ。AnythingLLM はさらに EPUB、HTML、JSON、音声(Whisper トランスクリプション)、ウェブサイトをサポート。

ドキュメントはどこに保存?

ローカルディスク。AnythingLLM は ~/.anythingllm/(macOS/Linux)または %APPDATA%/AnythingLLM(Windows)。LM Studio は ~/.cache/lm-studio/ または %APPDATA%/LM Studio。Jan は ~/jan/。3つとも どこにもアップロード無し — 常にローカル推論とローカルインデックス。

アプリメモリからドキュメント削除可能?

はい 3つとも。AnythingLLM はワークスペース UI でドキュメント単位削除 + 再インデックス。LM Studio はチャットからドキュメント分離または削除。Jan は拡張パネルから削除 + 再インデックスボタン。削除後、埋め込みチャンク は次の再インデックスでローカル vector ストアから削除。

引用精度はどのくらい?

AnythingLLM はチャンク単位の引用、ファイル名 + ページ(PDF)— アカデミック執筆に適切(検証時)。LM Studio はファイル名のみ;信頼性はモデル依存(Llama 3.3 8B 確実、Phi-4 Mini 時折落とす)。Jan はチャンク単位ファイル名、ページなし。12クエリテスト:幻想引用稀少(AnythingLLM 0/12、LM Studio 1/12、Jan 1/12)— ハイステークス主張は常に検証。

内蔵 RAG はオフライン動作?

はい。アプリインストール + モデル最低1つ(チャットと埋め込み)ダウンロード後、100% オフライン。ドキュメント インデックスはローカル、クエリはローカル vector ストア + ローカル LLM 指向。ネットワーク無効化で各アプリでテスト済み、3つすべて通常通り応答。

複数デバイス間で ドキュメント DB 共有可能?

AnythingLLM はワークスペース ポータブルフォルダ(~/.anythingllm/storage/)で マシン間でコピー可能。LM Studio はドキュメント インデックス会話スコープ、同期設計なし。Jan は ~/jan/ に保存、LanceDB フォーマットはバージョン間感度高い。マルチデバイス:ホームサーバー AnythingLLM Docker が最良(全デバイスが同一インスタンス指向)。

内蔵 RAG はスキャン PDF(OCR)処理?

2026年5月時点で 3つとも、画像のみスキャン PDF は未対応。テキストレイヤー抽出 → スキャン(テキストレイヤー無し) = ゼロチャンク 返却。Tesseract OCR(無料)または ocrmypdf でテキストレイヤー先に追加、その後 PDF をアプリに投入。AnythingLLM は統合 Tesseract 向けの公開機能リクエスト提供。

内蔵 RAG 遅延化前の最大ドキュメント サイズは?

16GB RAM ハードウェア:AnythingLLM は~5,000文書または~50,000ページ/workspace レスポンシブ維持。LM Studio 実用上限は~30文書/チャット(~3,000ページ)。Jan + ドキュメント は~200文書確実。この上限超過:インデックス時間は線形増長、コールドクエリ取得遅延は 5~10秒に到達可能;カスタム RAG スタック escalate 信号。

これらアプリを 機密法務・医療ドキュメント に使用可能?

すべて インストール後 100% オフライン、ドキュメント内容伝送なし。規制ワークフロー(HIPAA、GDPR、弁護士-クライアント特権):Jan + ドキュメント が最強選択肢(スタック全体 AGPL 監査可能、デフォルト テレメトリゼロ)。AnythingLLM も監査環境内 オープンソース Docker ビルド使用なら防御可能(デスクトップ インストーラー テレメトリ回避)。LM Studio は完全独占的 — 規制データ前に コンプライアンスチーム確認必須。

← Power Local LLM に戻る

PDF対話内蔵RAGアプリ 2026:ベクトルDB不要、LM Studio・Jan・AnythingLLM実測