Open source et gratuit, oMLX AI est un serveur d’inférence pour macOS, nativement optimisé pour les Mac avec puces Apple Silicon. Développé pour contourner les limites de mémoire et de latence des solutions IA locales, il repose sur une architecture technique précise, à savoir la persistance du cache KV sur SSD et le traitement continu par lots. Vous allez ainsi pouvoir exécuter des modèles de langage (LLM) et des agents IA avec des temps de réponse nettement réduits, tout en restant compatible avec les environnements de développement et les API standard.
oMLX AI Mac – Serveur IA d’Inférence Open Source (gratuit)
Disponible gratuitement en open source pour macOS – Silicon uniquement – sans publicité ni option d’achat, oMLX AI, développé par Jun Kim, est un logiciel qui traite l’inférence locale sous un angle différent. En effet, il est centré sur un problème récurrent à savoir l’invalidation répétée du cache KV par les agents de codage. Sa réponse technique, une mise en cache paginée sur SSD, ce qui de fait modifie les performances observables sur Apple Silicon.
Architecture et gestion du cache
Lors de l’utilisation d’agents de codage, le contexte change fréquemment, ce qui invalide habituellement le cache KV en mémoire vive. oMLX contourne ce problème en déplaçant les blocs de cache inactifs (froids) vers le stockage SSD, tout en conservant les blocs actifs (chauds) en RAM. Cette architecture à deux niveaux permet de restaurer les préfixes de contexte en quelques millisecondes, y compris après un redémarrage du serveur, évitant ainsi un recalcul complet à partir de zéro.
Données de performance
Les benchmarks fournis sur une configuration M3 Ultra (512 Go) illustrent ce mécanisme. Par exemple avec le modèle Qwen3.5-122B en 4 bits, le traitement du prompt atteint 941 tokens/secondes avec un contexte de 8k, et la génération se maintient à 54 tokens/secondes. Quant au temps jusqu’au premier token (TTFT) à partir de la deuxième interaction, il passe sous la barre des 5 secondes. Le « continuous batching » permet de gérer plusieurs requêtes simultanées via le `BatchGenerator` de mlx-lm, avec un gain de débit allant jusqu’à 3,36× pour une concurrence de 8 requêtes sur ce même modèle.
Intégration, Compatibilité et Configuration
Concrètement, cet outil IA fonctionne comme une application macOS native (icône dans la barre des menus, tableau de bord web), sans frameworks lourds comme Electron. Il expose des points de terminaison d’API compatibles avec les standards OpenAI (`/v1/chat/completions`) et Anthropic (`/v1/messages`). Cela en fait un backend direct pour des outils comme Cursor, Claude Code ou OpenClaw. Il se sert également du cache Hugging Face local existant, vous évitant ainsi de retélécharger les modèles d’IA.
Enfin, il prend en charge les formats LLM et VLM, ainsi que les modèles de raisonnement avec gestion automatique des balises. Son serveur gère les appels d’outils (*tool calling*) pour les formats JSON, Qwen, Gemma, GLM et MiniMax, ainsi que l’intégration MCP avec un ajustement automatique des sorties trop volumineuses. Cependant, il nécessite macOS 15 ou ultérieur et une puce Apple Silicon pour fonctionner. Si 16 Go de mémoire constituent le minimum, une configuration de 64 Go ou plus est recommandée pour exploiter les modèles de grande taille dans des conditions stables.
La dernière version du logiciel open source oMLX AI, développé par Jun Kim pour macOS 15 et ultérieur sur Mac dotés d’un processeur Apple Silicon M1 au minimum, est à télécharger via son site dédié par ici ou son dépôt GitHub par là.
