メインコンテンツへスキップ
PromptQuorum人のために設計。 AI向けに構造化。
ホーム/ローカルLLM活用
Overview & Reference

Shimmyレビュー:Ollamaの5MB代替となるRust製ツール

·10分で読めるHans Kuepper 著 · PromptQuorum創設者 · オープンウェイト／オープンソースAIの発見エンジン

Shimmyは、完全にRustで書かれた無料・オープンソースのシングルバイナリ推論サーバーで、Pythonランタイム、C++ツールチェーン、llama.cpp依存のいずれも不要のまま、OpenAI互換APIを通じてローカルのGGUF・SafeTensorsモデルを提供します。 Michael A. Kuykendall氏が個人でApache-2.0ライセンスの独立系オープンソースプロジェクトとして開発・保守しており、Shimmyは特にOllamaのはるかに大きいバイナリと遅いコールドスタート時間に対抗する位置づけです。自身のREADMEでは、Ollamaの数百MBに及ぶインストールに対し、数MBのバイナリであると主張しています。

重要なポイント

  • Shimmy(github.com/Michael-A-Kuykendall/shimmy)は無料・オープンソースのシングルバイナリ推論サーバーであり、IDEでもチャットアプリでもありません
  • Michael A. Kuykendall氏が独立して開発・保守しています — 自身のREADMEでは「free forever(永久無料)」と述べられており、企業や資金調達の証拠は見つかりませんでした
  • リポジトリ自身のLICENSEファイルによるとApache-2.0ライセンス
  • C++ツールチェーンやllama.cpp依存を完全に回避する、プロジェクト独自の純粋なRust製WebGPU(WGSL)トランスフォーマーエンジンAirframe上で動作
  • OpenAI互換APIを通じてGGUF・SafeTensorsモデルを提供。v2.6.2リリースでOllama互換・Anthropic互換ルートが追加されました
  • このレビュー時点でGitHubスター数5,890(github.com/Michael-A-Kuykendall/shimmy、GitHub API経由で確認)

📍 一文で説明

Shimmyは、完全にRustで書かれた無料・オープンソースのシングルバイナリのローカル推論サーバーで、Ollamaに代わる軽量で依存関係のない選択肢として、プロジェクト自身のREADMEによればPythonランタイム、C++ツールチェーン、llama.cpp依存のいずれも不要なまま、OpenAI互換APIを通じてGGUF・SafeTensorsモデルを提供します。

💬 簡潔に説明

Ollamaの数百MBに及ぶパッケージをインストールする代わりに、Shimmyはダウンロードするか、あるいはCargoでビルドする1つの小さな実行ファイル(数MB)です。ディスク上のGGUFモデルファイルを指定して実行するだけです。すでにOpenAI API形式に対応しているツールなら、コード変更なしにShimmyへ切り替えられます。

📌補足: このレビューは、ローカルLLMソフトウェアディレクトリにあるShimmyの項目を掘り下げた記事です。他の数十のローカルAIツールとの比較の全体像はそちらのページを参照してください。本レビューはShimmy自身のREADME、変更履歴、リリースノートに基づいており、PromptQuorumによる実機ベンチマークではありません。

言語を選択:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

Shimmy(github.com/Michael-A-Kuykendall/shimmy)は、完全にRustで書かれた無料・オープンソースのシングルバイナリ推論サーバーです。OpenAI互換APIを通じてローカルのGGUF・SafeTensorsモデルを提供する、Ollamaに代わる軽量で依存関係のない選択肢として位置づけられています。Pythonランタイム、C++ツールチェーン、llama.cpp依存のいずれも不要で、バイナリ自体は数百MBではなく数MBです。このレビューでは、Shimmyが実際に何をするか、OllamaやIlama.cppとどう比較されるか、インストール方法、そしてどのような人に向いているかを解説します。

Shimmyとは何か

Shimmyはコマンドラインの推論サーバーです。ローカルのGGUFまたはSafeTensorsモデルファイルを読み込み、OpenAI互換のHTTP APIとして公開する単一のバイナリです。 GitHub上の説明では「pure-Rust WebGPU inference engine — OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No llama.cpp. Single binary.」と説明されています。

  • 製品タイプ: コマンドライン・シングルバイナリのサーバー — GUIアプリでもIDE拡張機能でもありません
  • 開発者: Michael A. Kuykendall氏、独立系開発者。このレビューではプロジェクトの背後に企業、投資家、資金調達ラウンドが存在する証拠は見つかりませんでした
  • リポジトリ: github.com/Michael-A-Kuykendall/shimmy
  • ライセンス: リポジトリ自身のLICENSEファイルで確認済みのApache-2.0
  • 規模: このレビュー時点でGitHub API経由で確認されたGitHubスター数5,890
  • エンジン: Airframe。純粋なRust製WebGPU(WGSL)トランスフォーマーエンジンで、Shimmy自身のREADMEはこれによりC++ツールチェーンを完全に回避できるとしています

Shimmyのプロジェクト履歴とバージョンの節目

Shimmyは頻繁かつ段階的なリリースを重ねてきました。 自身のCHANGELOGには約200件のコミットが記録されており、2026年を通じて自己公開のモデル認証パイプラインとAirframe推論エンジンを中心とした一定のペースでポイントリリースが続いています。

  1. 1
    v2.5.0 — 2026年8月6日:Airframeエンジンを0.3.0に更新
    Why it matters: Shimmyが動作する基盤の純粋Rust製WebGPUトランスフォーマーエンジンを更新しました。
  2. 2
    v2.6.0 — 2026年8月27日:認証パイプラインを統合
    Why it matters: Shimmyの自己公開モデル認証を「3-box」MATH + INFERENCE + DETERMINISM体系に統合し、12のモデルファミリーにわたる26のモデル・量子化の組み合わせを認証。約1,600行のレガシーエンジンコードを削除しました。
  3. 3
    v2.6.1 — 2026年8月28日:チャットテンプレートの統一
    Why it matters: すべてのプロンプト整形を、Jinjaを介した実際のGGUFチャットテンプレートを使用する共通のprompt_renderモジュールに統一し、レガシーなGPUサーバーのコードパスを廃止しました(約1,847行削除)。
  4. 4
    v2.6.2 — 2026年8月28日:OpenAPIドキュメントと追加の互換ルート
    Why it matters: 機械可読なAPI契約(`GET /openapi.json`)とインタラクティブなSwagger UI(`GET /docs`)を追加し、既存のOpenAI互換APIに加えてOllama互換・Anthropic互換ルートを追加しました。
  5. 5
    v2.6.3 — 2026年8月29日:統合GPUでのモデル読み込みの修正
    Why it matters: Airframeエンジン依存を0.4.2に更新することで、統合GPUでのモデル読み込み(Intel Arc GPU向けの特定の修正を含む)を修正しました。
  6. 6
    v2.6.4 — 2026年8月30日:このレビュー時点の最新ポイントリリース
    Why it matters: このレビュー時点でプロジェクトのGitHubリリースページに見つかった最新のタグ付きリリースです。このレビューの公開日以降に出たものは[github.com/Michael-A-Kuykendall/shimmy/releases](https://github.com/Michael-A-Kuykendall/shimmy/releases)を直接確認してください。

Shimmyが実際に行うこと

Shimmyの機能セットは、Shimmy自身のREADMEによれば、バイナリ自体を最小限かつ依存関係のない状態に保ちながら、使い慣れたAPI表面を通じてローカルモデルを提供することに重点を置いています。

  • GGUFネイティブのモデル読み込み — プロジェクトのドキュメントによると、再コンパイルやモデルごとのハードコードされた定数なしにGGUFモデルファイルを直接読み込みます。SafeTensors形式もサポートしています
  • OpenAI互換API — OpenAI API形式に一致するチャットコンプリーション、テキストコンプリーション、ストリーミング応答、モデル一覧のエンドポイントを提供し、既存のOpenAIクライアントコードやツールを変更なしにShimmyへ向けられます
  • 追加の互換ルート — v2.6.2以降、ShimmyはOpenAI互換APIに加えてOllama互換・Anthropic互換ルートも公開しています
  • 自己公開のモデル認証 — Shimmyがサポート対象モデルに対して実行する「3-box」テスト体系(MATH、INFERENCE、DETERMINISM)。このレビュー時点で、12のモデルファミリーにわたる26のモデル・量子化の組み合わせがこの体系に合格していると、プロジェクトは述べています
  • TurboShimmy INT4 KVキャッシュ圧縮 — Shimmy自身のドキュメントでは、テスト済み構成でKVキャッシュメモリ使用量が約7分の1に低減されると説明されており、より大きなコンテキストウィンドウや小型GPUで所与のモデルを扱いやすくすることを狙っています
  • YaRN RoPEスケーリングによる拡張コンテキスト — プロジェクトのドキュメントによると、環境変数で設定可能です
  • 外部推論依存なし — Shimmyはllama.cppをラップしたりPython/CUDAツールチェーンを必要としたりせず、独自の純粋なRust製WebGPUエンジンであるAirframe上で動作します

利用例:Shimmyの3つの使い方

これらは上記で説明したShimmyのドキュメント化された機能から構築した具体的なワークフローであり、仮定的なユースケースではありません。

ローカルのGGUFモデルをOpenAI互換エンドポイントとして提供する

Cargoでshimmyをインストールし、shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435を実行して、そのモデルをローカルアドレスで公開します。OpenAI API形式を期待するツールやSDKは、api.openai.comの代わりにそのアドレスを指定するだけで、完全にローカルなモデルに対して既存のクライアントコードを再利用できます。

アプリケーションコードを変更せずにOllamaの代わりにShimmyを使う

ShimmyはV2.6.2以降Ollama互換ルートを公開しているため、すでにOllamaのAPIを呼び出すように作られたアプリケーションは、多くの場合そのままShimmyのアドレスを指定できます。これにより、移行に踏み切る前に、より小さく依存関係のないバイナリが、レイテンシやメモリの要件を満たすかどうかをテストできます。

統合前にOpenAPI契約を確認する

Shimmyを起動した状態で、ブラウザでGET /docsを開くとインタラクティブなSwagger UIが表示されます。あるいはGET /openapi.jsonを取得すると機械可読なAPI契約が得られます。新しい統合を組む前に、特定のShimmyバージョンがどのエンドポイントとパラメータをサポートしているかを正確に確認できます。

プラットフォーム、価格、ライセンス

プラットフォーム

Shimmyの記述内容:
コマンドライン・シングルバイナリのサーバー — macOS、Windows、Linuxで動作。GUIインストーラーはありません。

費用

Shimmyの記述内容:
無料・オープンソース。プロジェクト自身のREADMEでは「Shimmy will be free forever(永久無料)」と述べられています。有料プランはありません。

ライセンス

Shimmyの記述内容:
リポジトリ自身のLICENSEファイルで確認済みのApache-2.0。

資金

Shimmyの記述内容:
Michael A. Kuykendall氏が独立して保守。リポジトリには月5ドルから月500ドルのインフラパートナー枠までの任意スポンサープログラムが記載されていますが、資金調達ラウンドや企業ではありません。

コンプライアンスやベンダーリスクの判断にこの表を用いる前に、現在のライセンスと資金状況をgithub.com/Michael-A-Kuykendall/shimmyで直接確認してください。

Shimmy vs. Ollama

ShimmyはOllamaと直接対比する位置づけをしており、自身のREADMEでは「the 5MB alternative to Ollama」を自称しています。 両者とも似たようなHTTP APIを通じてローカルモデルを提供しますが、違いは主にバイナリサイズ、依存関係のフットプリント、それぞれの推論エンジンにあります。

バイナリサイズ

Shimmy:
Shimmy自身のREADMEの主張によると数MB
Ollama:
第三者の比較によると数百MB

推論エンジン

Shimmy:
Airframe — 独自の純粋なRust製WebGPU(WGSL)エンジン
Ollama:
llama.cpp上に構築

ランタイム依存

Shimmy:
なし — READMEによるとPythonもC++ツールチェーンも不要
Ollama:
独自のランタイムをバンドル。こちらも別途Pythonは不要

API互換性

Shimmy:
OpenAI互換に加え、Ollama・Anthropic互換ルート(v2.6.2以降)
Ollama:
独自のネイティブAPIとOpenAI互換レイヤーの両方を保有

モデル形式

Shimmy:
GGUFとSafeTensors
Ollama:
独自のモデルライブラリとModelfile形式によるGGUFベース

保守者

Shimmy:
独立系の個人開発者
Ollama:
資金調達済みの企業であるOllama Inc.

バイナリサイズ、コールドスタート時間、あるいはllama.cppを特に避けたいという点が決め手であれば、Shimmyは自身の位置づけ通り、まさにその軸で勝つように作られています。既存モデルライブラリの規模、コミュニティのツール群、そして長期保守を支える資金調達済みの企業を求めるなら、Ollamaの実績はより確立しています。全体的な比較はOllamaレビューを参照してください。いずれのプロジェクトのマーケティングも鵜呑みにせず、最新のベンチマークは自身で確認してください。

ディレクトリで比較する

Shimmyはどのような人に向いているか

Shimmyは、最小フットプリントで依存関係のない推論サーバーを特に求め、まだ若い個人保守のプロジェクトを使うことに抵抗のない開発者に向いています。

こんな人はShimmyを使いましょう

  • ローカル推論サーバーのインストールフットプリントを可能な限り小さくしたい人 — 数百MBのパッケージではなく数MBのバイナリを求める
  • Pythonランタイム、C++ツールチェーン、llama.cpp依存を完全に避けたい人
  • すでにOpenAI API形式向けのツールを構築しており、そのまま差し替えられるローカルバックエンドが欲しい人
  • 資金調達済みの企業に支えられたプロジェクトではなく、個人保守の独立系オープンソースプロジェクトを評価することに抵抗がない人
  • 既存のOllama向けコードを書き直さずに、より軽量なサーバー上でOllama互換ルートを試したい人

こんな人は他を検討しましょう

  • 最大級の既存モデルライブラリと、ホスト型レジストリからのワンコマンド取得を求める人 — Ollamaのモデルライブラリの方がより確立しています
  • コマンドラインのみのツールではなく、モデル管理用のGUIが必要な人 — Shimmyには組み込みのインターフェースがありません
  • 単独の独立した保守者ではなく、専任スタッフを抱える企業に支えられた長期保守の保証が必要な人
  • あらゆる量子化とモデルアーキテクチャに対する幅広く実戦で検証済みの互換性が必要な人 — Shimmyは現時点で26種類の特定のモデル・量子化の組み合わせのみを認証しており、存在するすべてのGGUFファイルではありません

競合・代替ツール

軽量なローカル推論サーバーの中で、Shimmyと最も直接比較できるのはOllama、そしてOllamaを含む多くのローカルツールが基盤とするエンジンであるllama.cppです。さらに、より高スループットな提供オプションを評価するチームにはLMDeployも比較対象になります。

Ollama

主な特徴:
資金調達済みの企業に支えられた、最も広く採用されているワンコマンドのローカルLLMランタイム
リンク:
Ollamaレビュー
Ollamaに関する記事（10件）

さらに332件（非表示）

LMDeploy

主な特徴:
本番ワークロード向けの高スループットLLM提供と量子化
リンク:
LMDeployレビュー
LMDeployに関する記事（2件）

その他の言及:

これはローカル推論サーバーの網羅的なリストではありません。Shimmy自身のディレクトリ項目を含む、定期的に更新される完全なカタログはローカルLLMソフトウェアディレクトリを参照してください。

ディレクトリで比較する

Shimmy評価時によくある誤解

Shimmyに関する混乱の多くは、無関係な同名プロジェクトと混同すること、またはOllamaと同規模のモデルライブラリを持っていると誤解することから生じます。

誤解1:同名の無関係なプロジェクトとShimmyを混同する

「shimmy」という名前は、他の無関係なオープンソースプロジェクト(テストモックやWindowsシムのユーティリティなど)でも使われています。インストール前に、github.com/Michael-A-Kuykendall/shimmyを見ていることを確認してください。

誤解2:Ollama並みのモデルライブラリ規模を期待する

このレビュー時点で、Shimmyは12のモデルファミリーにわたる26種類の特定のモデル・量子化の組み合わせを認証しており、オープンエンドのカタログではありません。Ollamaのように大規模なホスト型レジストリから取得するのではなく、GGUFファイルを直接読み込みます。

誤解3:Shimmyが企業に支えられていると思い込む

このレビューでは、Shimmyの背後に資金調達ラウンドや商業企業が存在する証拠は見つかりませんでした。個人の独立系開発者であるMichael A. Kuykendall氏が保守しており、任意のスポンサープログラムによって支えられています。

誤解4:他の多くの軽量サーバーと同様、Shimmyがllama.cppをラップしていると思い込む

Ollamaや同様の多くのツールとは異なり、Shimmyはllama.cppを使用していません。独自の純粋なRust製WebGPUトランスフォーマーエンジンであるAirframe上で動作しており、これがC++ツールチェーン依存を回避できる理由の一つです。

よくある質問

Shimmyとは何ですか?

Shimmy(github.com/Michael-A-Kuykendall/shimmy)は、完全にRustで書かれた無料・オープンソースのシングルバイナリ推論サーバーで、OpenAI互換APIを通じてローカルのGGUF・SafeTensorsモデルを提供します。

Shimmyは無料ですか?

はい。ShimmyはApache-2.0ライセンスの下で無料・オープンソースです。自身のREADMEでは「Shimmy will be free forever(永久無料)」と述べられており、有料プランはありません。

Shimmyのインストール方法は?

プロジェクト自身のREADMEによると、最も簡単な方法はcargo install shimmyです。ビルド済みのリリースバイナリとDocker構成もGitHubリポジトリで利用できます。

ShimmyはOllamaとどう違いますか?

Shimmy自身のREADMEでは「the 5MB alternative to Ollama」と説明されています。Pythonランタイムもc++ツールチェーンも不要な、はるかに小さいバイナリで、llama.cppではなく独自のAirframeエンジン上で動作します。Ollamaはより大きく確立されたモデルライブラリを持ち、資金調達済みの企業に支えられています。一方Shimmyは個人の独立系開発者によって保守されています。

Shimmyはllama.cppを使っていますか?

いいえ。Shimmyは独自の純粋なRust製WebGPU(WGSL)トランスフォーマーエンジンであるAirframe上で動作しており、これによりllama.cppやC++ツールチェーンへの依存を完全に回避できると、プロジェクトは述べています。

Shimmyはどのモデル形式をサポートしていますか?

プロジェクト自身のドキュメントによると、GGUFとSafeTensorsです。Shimmyは再コンパイルやモデルごとのハードコードされた定数なしに、GGUFファイルを直接読み込みます。

ShimmyのAPIはOpenAIツールと互換性がありますか?

はい。ShimmyはOpenAI互換API(チャットコンプリーション、テキストコンプリーション、ストリーミング、モデル一覧)を提供しています。v2.6.2リリース以降、Ollama互換・Anthropic互換ルートも追加されました。

Shimmyは誰が作りましたか?

Michael A. Kuykendall氏がShimmyを独立した個人オープンソースプロジェクトとして作成・保守しています。このレビューでは、その背後に企業や資金調達ラウンドが存在する証拠は見つかりませんでした。

Shimmyはいくつのモデルをサポートしていますか?

このレビュー時点で、Shimmyは独自の「MATH + INFERENCE + DETERMINISM」テスト体系を通じて、12のモデルファミリーにわたる26種類の特定のモデル・量子化の組み合わせを認証しています。最新のリストはプロジェクトのGitHubリポジトリで確認してください。

PromptQuorumはShimmyの性能に関する主張を独自に検証しましたか?

このレビューはShimmy自身のREADME、CHANGELOG、リリースノートに基づいており、起動時間、メモリフットプリント、KVキャッシュ圧縮についてPromptQuorumが実機ベンチマークを行ったものではありません。

Sources

← ローカルLLM活用 に戻る

MCP