Aller au contenu principal
PromptQuorumConçu pour les humains. Structuré pour l'IA.
Accueil/LLM locaux avancés
Overview & Reference

Shimmy Review: une alternative Rust de 5 Mo à Ollama

·10 min de lecturePar Hans Kuepper · Fondateur de PromptQuorum · Moteur de découverte de l'IA open-weight et open source

Shimmy est un serveur d'inférence gratuit, open source, en un seul binaire, entièrement écrit en Rust, qui sert des modèles GGUF et SafeTensors locaux via une API compatible OpenAI, sans runtime Python, sans chaîne d'outils C++ et sans dépendance à llama.cpp. Créé et maintenu par Michael A. Kuykendall en tant que projet open source indépendant, géré par une seule personne, sous licence Apache-2.0, Shimmy se positionne spécifiquement contre le binaire bien plus volumineux et le démarrage à froid plus lent d'Ollama — son propre README revendique un binaire de quelques mégaoctets contre une installation de plusieurs centaines de mégaoctets pour Ollama.

Points clés

  • Shimmy (github.com/Michael-A-Kuykendall/shimmy) est un serveur d'inférence gratuit, open source, en un seul binaire, pas un IDE ni une app de chat
  • Créé et maintenu par Michael A. Kuykendall en tant que projet géré de façon indépendante — son propre README indique « free forever » (gratuit pour toujours), sans preuve d'une entreprise ou d'un tour de financement derrière
  • Sous licence Apache-2.0, selon le fichier LICENSE du dépôt lui-même
  • Fonctionne sur Airframe, son propre moteur transformer WebGPU (WGSL) 100 % Rust, évitant ainsi entièrement une chaîne d'outils C++ ou une dépendance à llama.cpp
  • Sert des modèles GGUF et SafeTensors via une API compatible OpenAI ; la version v2.6.2 a ajouté des routes compatibles Ollama et Anthropic
  • 5 890 étoiles GitHub au moment de cette review (github.com/Michael-A-Kuykendall/shimmy, vérifié via l'API GitHub)

📍 En une phrase

Shimmy est un serveur d'inférence local gratuit, open source, en un seul binaire, entièrement écrit en Rust — une alternative légère et sans dépendances à Ollama — qui sert des modèles GGUF et SafeTensors via une API compatible OpenAI, sans runtime Python, sans chaîne d'outils C++ et sans dépendance à llama.cpp, selon le propre README du projet.

💬 En termes simples

Plutôt que d'installer le paquet de plusieurs centaines de mégaoctets d'Ollama, Shimmy est un seul petit fichier exécutable (quelques mégaoctets) que vous téléchargez ou compilez avec Cargo, que vous pointez vers un fichier de modèle GGUF sur votre disque, puis exécutez. Tout outil qui parle déjà le format de l'API OpenAI peut communiquer avec Shimmy à la place, sans modification de code.

📌Remarque: Cette review est le complément approfondi de l'entrée de Shimmy dans le Local LLM Software Directory — consultez cette page pour comparer Shimmy en un coup d'œil à des dizaines d'autres outils d'IA locale. Elle s'appuie sur le README, le changelog et les notes de version de Shimmy, pas sur un benchmark pratique réalisé par PromptQuorum.

Lire en:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

Shimmy (github.com/Michael-A-Kuykendall/shimmy) est un serveur d'inférence gratuit, open source, en un seul binaire, entièrement écrit en Rust, positionné comme une alternative légère et sans dépendances à Ollama pour servir des modèles GGUF et SafeTensors locaux via une API compatible OpenAI. Il ne nécessite ni runtime Python, ni chaîne d'outils C++, ni dépendance à llama.cpp — le binaire lui-même ne fait que quelques mégaoctets, contre plusieurs centaines pour Ollama. Cette review couvre ce que Shimmy fait réellement, comment il se compare à Ollama et llama.cpp, comment l'installer, et à qui il convient.

Qu'est-ce que Shimmy ?

Shimmy est un serveur d'inférence en ligne de commande : un binaire unique qui charge un fichier de modèle GGUF ou SafeTensors local et l'expose via une API HTTP compatible OpenAI. Sa propre description GitHub le qualifie de « pure-Rust WebGPU inference engine — OpenAI-API compatible, GGUF native, runs on any GPU. No Python. No llama.cpp. Single binary. »

  • Type de produit : un serveur en ligne de commande, en un seul binaire — ni application graphique, ni extension IDE
  • Créateur : Michael A. Kuykendall, développeur indépendant ; cette review n'a trouvé aucune preuve d'une entreprise, d'un investisseur ou d'un tour de financement derrière le projet
  • Dépôt : github.com/Michael-A-Kuykendall/shimmy
  • Licence : Apache-2.0, confirmée via le fichier LICENSE du dépôt lui-même
  • Ampleur : 5 890 étoiles GitHub au moment de cette review, selon l'API GitHub
  • Moteur : Airframe, un moteur transformer WebGPU (WGSL) 100 % Rust, auquel le propre README de Shimmy attribue le fait d'éviter entièrement une chaîne d'outils C++

Historique du projet et jalons de versions

Shimmy publie des versions fréquentes et incrémentales, son propre CHANGELOG documentant près de 200 commits et un rythme régulier de versions mineures tout au long de 2026, centrées sur son pipeline de certification de modèles auto-publié et son moteur d'inférence Airframe.

  1. 1
    v2.5.0 — 6 août 2026 : moteur Airframe mis à jour vers 0.3.0
    Why it matters: Mise à jour du moteur transformer WebGPU 100 % Rust sous-jacent sur lequel Shimmy fonctionne.
  2. 2
    v2.6.0 — 27 août 2026 : pipeline de certification consolidé
    Why it matters: Consolidation de la certification de modèles auto-publiée de Shimmy en un protocole « 3-box » MATH + INFERENCE + DETERMINISM, certifiant 26 combinaisons modèle/quantification à travers 12 familles de modèles, et suppression d'environ 1 600 lignes de code moteur hérité.
  3. 3
    v2.6.1 — 28 août 2026 : templating de chat unifié
    Why it matters: Regroupement de tout le formatage des prompts via un module partagé prompt_render utilisant de vrais templates de chat GGUF via Jinja, et retrait d'un chemin de code de serveur GPU hérité (environ 1 847 lignes supprimées).
  4. 4
    v2.6.2 — 28 août 2026 : documentation OpenAPI et routes compatibles supplémentaires
    Why it matters: Ajout d'un contrat d'API lisible par machine (`GET /openapi.json`) et d'une interface Swagger interactive (`GET /docs`), ainsi que de routes compatibles Ollama et Anthropic en plus de l'API compatible OpenAI existante.
  5. 5
    v2.6.3 — 29 août 2026 : correctif de chargement de modèle sur GPU intégré
    Why it matters: Correction du chargement de modèle sur les GPU intégrés, y compris un correctif spécifique pour les GPU Intel Arc, en mettant à jour la dépendance au moteur Airframe vers la version 0.4.2.
  6. 6
    v2.6.4 — 30 août 2026 : dernière version mineure au moment de cette review
    Why it matters: La version taguée la plus récente trouvée sur la page des releases GitHub du projet au moment de cette review — consultez directement [github.com/Michael-A-Kuykendall/shimmy/releases](https://github.com/Michael-A-Kuykendall/shimmy/releases) pour tout ce qui a été publié après la date de publication de cette review.

Que fait réellement Shimmy ?

L'ensemble des fonctionnalités de Shimmy se concentre sur le service de modèles locaux via une surface d'API familière, tout en gardant le binaire lui-même minimal et sans dépendances, selon le propre README de Shimmy.

  • Chargement de modèle natif GGUF — charge directement les fichiers de modèle GGUF, sans recompilation ni constantes codées en dur par modèle, selon la propre documentation du projet ; le format SafeTensors est également pris en charge
  • API compatible OpenAI — chat completions, text completions, réponses en streaming et endpoints de listing des modèles correspondant au format de l'API OpenAI, afin que le code client OpenAI existant et les outils puissent pointer vers Shimmy sans modification
  • Routes compatibles supplémentaires — depuis la v2.6.2, Shimmy expose aussi des routes compatibles Ollama et Anthropic en plus de son API compatible OpenAI
  • Certification de modèles auto-publiée — un protocole de test « 3-box » (MATH, INFERENCE, DETERMINISM) que Shimmy exécute sur les modèles pris en charge ; le projet indique que 26 combinaisons modèle/quantification à travers 12 familles de modèles réussissent ce protocole au moment de cette review
  • Compression du cache KV INT4 TurboShimmy — la propre documentation de Shimmy décrit une utilisation mémoire du cache KV environ 7 fois plus faible dans les configurations testées, destinée à permettre des fenêtres de contexte plus larges ou des GPU plus modestes pour un modèle donné
  • Contexte étendu via le scaling YaRN RoPE — configurable via des variables d'environnement, selon la documentation du projet
  • Aucune dépendance d'inférence externe — Shimmy fonctionne sur Airframe, son propre moteur WebGPU 100 % Rust, plutôt que d'encapsuler llama.cpp ou de nécessiter une chaîne d'outils Python/CUDA

Exemples d'utilisation : trois façons d'utiliser Shimmy

Il s'agit de workflows concrets construits à partir des fonctionnalités documentées de Shimmy ci-dessus — pas de cas d'usage hypothétiques.

Servir un modèle GGUF local comme endpoint compatible OpenAI

Installez Shimmy via Cargo, puis exécutez shimmy serve --model-path /absolute/path/to/model.gguf --bind 127.0.0.1:11435 pour exposer ce modèle à une adresse locale. Pointez tout outil ou SDK attendant le format de l'API OpenAI vers cette adresse à la place de api.openai.com, en réutilisant le code client existant contre un modèle entièrement local.

Substituer Shimmy à Ollama sans modifier le code applicatif

Parce que Shimmy expose des routes compatibles Ollama depuis la v2.6.2, une application déjà conçue pour appeler l'API d'Ollama peut souvent pointer vers l'adresse de Shimmy à la place, ce qui permet de tester si le binaire plus petit et sans dépendances répond à vos besoins de latence et de mémoire avant de s'engager dans une migration.

Vérifier le contrat OpenAPI avant l'intégration

Avec Shimmy en cours d'exécution, ouvrez GET /docs dans un navigateur pour l'interface Swagger interactive, ou récupérez GET /openapi.json pour le contrat d'API lisible par machine, afin de confirmer exactement quels endpoints et paramètres une version donnée de Shimmy prend en charge avant de câbler une nouvelle intégration.

Plateforme, tarification et licence

Plateforme

Ce que Shimmy indique:
Un serveur en ligne de commande, en un seul binaire — fonctionne sur macOS, Windows et Linux ; aucun installeur graphique.

Coût

Ce que Shimmy indique:
Gratuit et open source. Le propre README du projet indique « Shimmy will be free forever » (gratuit pour toujours). Aucun palier payant n'existe.

Licence

Ce que Shimmy indique:
Apache-2.0, confirmée via le fichier LICENSE du dépôt lui-même.

Financement

Ce que Shimmy indique:
Maintenu de façon indépendante par Michael A. Kuykendall ; le dépôt liste un programme de sponsoring volontaire (d'un palier à 5 $/mois jusqu'à un palier partenaire infrastructure à 500 $/mois), pas un tour de financement ni une entreprise.

Vérifiez le statut actuel de licence et de financement directement sur github.com/Michael-A-Kuykendall/shimmy avant de vous appuyer sur ce tableau pour une décision de conformité ou de risque fournisseur.

Shimmy vs. Ollama

Shimmy se positionne directement face à Ollama, son propre README se qualifiant de « the 5MB alternative to Ollama ». Les deux servent des modèles locaux via des API HTTP similaires ; la différence tient principalement à la taille du binaire, à l'empreinte des dépendances et au moteur d'inférence de chaque projet.

Taille du binaire

Shimmy:
Quelques Mo, selon la revendication du propre README de Shimmy
Ollama:
Plusieurs centaines de Mo, selon des comparatifs tiers

Moteur d'inférence

Shimmy:
Airframe — son propre moteur WebGPU (WGSL) 100 % Rust
Ollama:
Construit sur llama.cpp

Dépendances runtime

Shimmy:
Aucune — ni Python, ni chaîne d'outils C++, selon son README
Ollama:
Embarque son propre runtime ; aucun Python séparé requis non plus

Compatibilité API

Shimmy:
Compatible OpenAI, plus des routes compatibles Ollama et Anthropic (v2.6.2+)
Ollama:
Dispose de sa propre API native plus une couche compatible OpenAI

Format de modèle

Shimmy:
GGUF et SafeTensors
Ollama:
Basé sur GGUF, via sa propre bibliothèque de modèles et le format Modelfile

Mainteneur

Shimmy:
Développeur indépendant solo
Ollama:
Ollama Inc., une entreprise financée

Si la taille du binaire, le temps de démarrage à froid, ou le fait d'éviter spécifiquement llama.cpp sont les facteurs décisifs, Shimmy est conçu pour gagner précisément sur ces axes, selon son propre positionnement. Si vous voulez la plus grande bibliothèque de modèles existante, de l'outillage communautaire, et une entreprise financée derrière la maintenance à long terme, le parcours d'Ollama est plus établi — voir la Ollama Review pour une analyse complète. Vérifiez vous-même les benchmarks actuels plutôt que de vous fier au marketing de l'un ou l'autre projet.

Comparer dans l'annuaire

À qui s'adresse Shimmy ?

Shimmy convient aux développeurs qui veulent spécifiquement un serveur d'inférence à empreinte minimale et sans dépendances, et qui sont à l'aise avec un projet encore jeune, géré par une seule personne.

Utilisez Shimmy si vous

  • voulez la plus petite empreinte d'installation possible pour un serveur d'inférence local — un binaire de quelques mégaoctets plutôt qu'un paquet de plusieurs centaines de mégaoctets
  • voulez éviter entièrement un runtime Python, une chaîne d'outils C++ ou une dépendance à llama.cpp
  • avez déjà des outils construits sur le format de l'API OpenAI et voulez un backend local prêt à l'emploi
  • êtes à l'aise pour évaluer un projet open source indépendant, géré par une seule personne, plutôt qu'un projet soutenu par une entreprise financée
  • voulez essayer des routes compatibles Ollama sur un serveur plus léger sans réécrire le code existant ciblant Ollama

Cherchez ailleurs si vous

  • voulez la plus grande bibliothèque de modèles existante et des téléchargements en une commande depuis un registre hébergé — la bibliothèque de modèles d'Ollama est plus établie
  • avez besoin d'une interface graphique pour la gestion des modèles plutôt que d'un outil uniquement en ligne de commande — Shimmy n'a pas d'interface intégrée
  • exigez une maintenance à long terme garantie, soutenue par une entreprise avec du personnel dédié, plutôt que par un seul mainteneur indépendant
  • avez besoin d'une compatibilité large et éprouvée avec chaque quantification et architecture de modèle — Shimmy certifie actuellement 26 combinaisons modèle/quantification spécifiques, pas chaque fichier GGUF existant

Concurrents et alternatives

Parmi les serveurs d'inférence locale légers, Shimmy est le plus directement comparable à Ollama et llama.cpp — le moteur sur lequel s'appuient la plupart des outils locaux, y compris Ollama — ainsi qu'à LMDeploy pour les équipes évaluant des options de serving à plus haut débit.

LMDeploy

Connu pour:
Serving LLM à haut débit et quantification, destiné aux charges de production
Lien:
LMDeploy Review
Articles sur LMDeploy (2)

Également mentionné dans :

Ceci n'est pas une liste exhaustive des serveurs d'inférence locale — consultez le Local LLM Software Directory pour le catalogue complet, régulièrement mis à jour, incluant la propre fiche de Shimmy dans ce répertoire.

Comparer dans l'annuaire

Erreurs courantes lors de l'évaluation de Shimmy

La plupart des confusions autour de Shimmy viennent du fait de le confondre avec des projets homonymes sans rapport, ou de supposer qu'il a l'ampleur de la bibliothèque de modèles d'Ollama.

Erreur 1 : confondre Shimmy avec un projet homonyme sans rapport

Le nom « shimmy » est utilisé par d'autres projets open source sans rapport (par exemple des utilitaires de mock de test ou de shim Windows). Vérifiez que vous consultez spécifiquement github.com/Michael-A-Kuykendall/shimmy avant d'installer quoi que ce soit.

Erreur 2 : attendre l'ampleur de la bibliothèque de modèles d'Ollama

Shimmy certifie 26 combinaisons modèle/quantification spécifiques à travers 12 familles de modèles au moment de cette review, pas un catalogue ouvert. Il charge les fichiers GGUF directement plutôt que de les tirer d'un large registre hébergé comme le fait Ollama.

Erreur 3 : supposer que Shimmy est soutenu par une entreprise

Cette review n'a trouvé aucune preuve d'un tour de financement ou d'une entreprise commerciale derrière Shimmy — il est maintenu par un seul développeur indépendant, Michael A. Kuykendall, soutenu par un programme de sponsoring volontaire.

Erreur 4 : supposer que Shimmy encapsule llama.cpp comme la plupart des autres serveurs légers

Contrairement à Ollama et à de nombreux outils similaires, Shimmy n'utilise pas llama.cpp. Il fonctionne sur Airframe, son propre moteur transformer WebGPU 100 % Rust, ce qui contribue à éviter une dépendance à une chaîne d'outils C++.

Questions fréquemment posées

Qu'est-ce que Shimmy ?

Shimmy (github.com/Michael-A-Kuykendall/shimmy) est un serveur d'inférence gratuit, open source, en un seul binaire, entièrement écrit en Rust, qui sert des modèles GGUF et SafeTensors locaux via une API compatible OpenAI.

Shimmy est-il gratuit ?

Oui. Shimmy est gratuit et open source sous licence Apache-2.0. Son propre README indique « Shimmy will be free forever » (gratuit pour toujours), sans palier payant.

Comment installer Shimmy ?

La méthode la plus simple, selon le propre README du projet, est cargo install shimmy. Des binaires de version précompilés et une configuration Docker sont également disponibles sur le dépôt GitHub.

En quoi Shimmy diffère-t-il d'Ollama ?

Le propre README de Shimmy le décrit comme « the 5MB alternative to Ollama » — un binaire beaucoup plus petit, sans runtime Python ni chaîne d'outils C++, fonctionnant sur son propre moteur Airframe plutôt que sur llama.cpp. Ollama dispose d'une bibliothèque de modèles plus grande et plus établie et est soutenu par une entreprise financée ; Shimmy est maintenu par un seul développeur indépendant.

Shimmy utilise-t-il llama.cpp ?

Non. Shimmy fonctionne sur Airframe, son propre moteur transformer WebGPU (WGSL) 100 % Rust, ce qui, selon le projet, lui permet d'éviter entièrement une dépendance à llama.cpp ou à une chaîne d'outils C++.

Quels formats de modèle Shimmy prend-il en charge ?

GGUF et SafeTensors, selon la propre documentation du projet. Shimmy charge les fichiers GGUF directement, sans recompilation ni constantes codées en dur par modèle.

L'API de Shimmy est-elle compatible avec les outils OpenAI ?

Oui. Shimmy expose une API compatible OpenAI (chat completions, text completions, streaming, listing des modèles). Depuis la version v2.6.2, des routes compatibles Ollama et Anthropic ont également été ajoutées.

Qui a créé Shimmy ?

Michael A. Kuykendall a créé et maintient Shimmy en tant que projet open source indépendant, géré par une seule personne. Cette review n'a trouvé aucune preuve d'une entreprise ou d'un tour de financement derrière.

Combien de modèles Shimmy prend-il en charge ?

Au moment de cette review, Shimmy certifie 26 combinaisons modèle/quantification spécifiques à travers 12 familles de modèles via son propre protocole de test « MATH + INFERENCE + DETERMINISM » — consultez le dépôt GitHub du projet pour la liste actuelle, tenue à jour.

PromptQuorum a-t-il testé de manière indépendante les revendications de performance de Shimmy ?

Cette review s'appuie sur le propre README, CHANGELOG et notes de version de Shimmy, plutôt que sur un benchmark pratique du temps de démarrage, de l'empreinte mémoire ou de la compression du cache KV réalisé par PromptQuorum.

Sources

← Retour aux LLM locaux avancés

MCP