LLM en local : comparatif des outils IA (6)

À quoi servent les outils « LLM en local »

Les outils de LLM en local permettent de télécharger un modèle de langage et de l’exécuter sur votre ordinateur. Ils intéressent les personnes qui souhaitent travailler hors ligne, expérimenter avec différents modèles ou garder certains traitements sur leur machine. Selon l’application, vous pouvez discuter avec le modèle, interroger des documents ou l’appeler depuis un autre logiciel. Avant, vous pouviez copier des passages d’un dossier dans un service distant pour préparer une synthèse. Avec une configuration locale adaptée, vous sélectionnez vos fichiers, posez votre question et vérifiez la réponse sans envoyer ces documents à un modèle distant. GPT4All permet notamment de discuter sans service cloud et d’interroger des documents locaux. Le résultat dépend du modèle choisi, de votre matériel et des réglages. Une installation locale demande aussi de vérifier les composants qui utilisent encore une connexion.

Exemples d'usages :

• Vous préparez une synthèse de documents locaux, puis comparez les réponses aux passages réellement présents dans les fichiers.
• Vous rédigez un brouillon hors ligne à partir de notes que vous souhaitez conserver sur votre ordinateur.
• Vous testez différents modèles sur vos propres questions pour comparer leur compréhension du français et leurs erreurs.
• Vous appelez un modèle local depuis votre application pour expérimenter une fonction sans dépendre d’une API distante.
• Vous comparez plusieurs réponses à une même demande afin de repérer les divergences qui nécessitent une vérification.

Nos choix selon votre besoin

Ces choix découlent de règles simples appliquées aux données vérifiées, sans partenariat ni lien affilié :

• Le mieux noté : LM Studio. 90/100 sur notre grille d'accès et de transparence.
• Le moins cher des payants : Msty. Première formule à 149 $US par an.
• Pour garder ses données en Europe : PyGPT. Traitement sur votre appareil.

Les principaux outils en bref

LM Studio 90/100

LM Studio permet de télécharger des modèles de langage et de discuter avec eux sur son ordinateur. Il s’adresse aux personnes souhaitant interroger des documents hors ligne ou utiliser une API locale. Fonctions : Télécharger des modèles de langage ; Discuter avec un modèle sur son ordinateur ; Interroger des documents hors ligne. Prix d'entrée : 20 $US par mois, avec une offre gratuite. S'utilise depuis : Windows, macOS, Linux et API. Hébergement des données : Plusieurs régions.

PyGPT 73/100

PyGPT permet de discuter avec des modèles locaux ou distants et d’interroger ses fichiers sur Windows, macOS et Linux. Il s’adresse aussi aux utilisateurs souhaitant créer des agents, générer des images ou vidéos et utiliser la voix. Fonctions : Discuter avec des modèles locaux ou distants ; Interroger ses fichiers ; Créer des agents utilisant des outils. Offre gratuite disponible. S'utilise depuis : Windows, macOS et Linux. Hébergement des données : Sur l'appareil.

Ollama 71/100

Ollama permet aux personnes qui utilisent des modèles de les télécharger et de les exécuter sur leur ordinateur. Il propose une application de discussion, une API et l’accès à des modèles hébergés à distance. Fonctions : Télécharger et exécuter des modèles sur son ordinateur ; Discuter avec des modèles dans une application ; Appeler les modèles depuis une API. Prix d'entrée : 20 $US par mois, avec une offre gratuite. S'utilise depuis : Windows, macOS, Linux et API. Hébergement des données : Plusieurs régions.

Jan 68/100

Jan s’adresse aux personnes qui souhaitent exécuter des modèles sur leur ordinateur et discuter avec des modèles locaux ou distants. Il propose un catalogue et un serveur compatible avec l’API OpenAI. Fonctions : Exécuter des modèles sur son ordinateur ; Discuter avec des modèles locaux ou distants ; Télécharger des modèles depuis un catalogue. Offre gratuite disponible. S'utilise depuis : Windows, macOS, Linux et API. Hébergement des données : Sur l'appareil.

GPT4All 65/100

GPT4All s’adresse aux personnes qui souhaitent exécuter des modèles sur leur ordinateur et discuter sans service cloud. Il permet d’interroger des documents locaux, de régler les modèles et d’exposer un serveur API local. Fonctions : Télécharger et exécuter des modèles sur son ordinateur ; Discuter sans service cloud ; Interroger des documents locaux. Offre gratuite disponible. S'utilise depuis : Windows, macOS, Linux et API. Hébergement des données : Sur l'appareil.

Msty 63/100

Msty permet aux personnes qui utilisent des modèles locaux ou distants de discuter avec eux et d’interroger leurs documents. Il propose aussi la comparaison des réponses et l’organisation des conversations. Fonctions : Discuter avec des modèles locaux ou distants ; Interroger ses documents ; Comparer plusieurs réponses. Prix d'entrée : 149 $US par an, avec une offre gratuite. S'utilise depuis : navigateur web, Windows, macOS et Linux. Hébergement des données : Sur l'appareil.

La catégorie en chiffres

Sur les 6 outils de la catégorie, 6 (100 %) proposent une offre gratuite, 67 % ont une API publique et 3 ont une interface en français. Le prix d'entrée médian, ramené au mois, est de 20 $US (sur 3 outils au prix publié). 6 déclarent où sont hébergées les données, dont 4 en Europe ou sur l'appareil.

Également utiles

Ces outils appartiennent à une autre catégorie mais couvrent aussi ce besoin :

• LMQL LMQL permet aux développeurs d’écrire des requêtes pour des modèles de langage et d’imposer des contraintes au
• Unsloth Unsloth s’adresse aux personnes qui exécutent et adaptent des modèles sur leur ordinateur. Il propose une prép
• Continue Continue permet aux personnes qui programment de poser des questions sur un projet et de modifier du code. Il
• HammerAI HammerAI s'adresse aux personnes qui souhaitent discuter avec des personnages personnalisés ou écrire des hist
• DiffusionBee DiffusionBee est un outil open source sur macOS pour les personnes qui créent et modifient des images. Il perm
• LLM LLM permet aux développeurs d'interroger des modèles locaux ou distants depuis le terminal. Il conserve les éc
• Falcon Falcon permet aux utilisateurs de dialoguer avec les modèles Falcon pour rédiger, résumer des textes et poser
• BrainSoup BrainSoup permet aux utilisateurs de Windows de créer des agents spécialisés et de les faire travailler ensemb

Bien choisir et éviter les pièges

Commencez par vérifier la compatibilité avec votre système, la mémoire disponible et l’espace nécessaire aux modèles. Testez une tâche représentative plutôt qu’une conversation générale. Comparez la qualité du français, la longueur des documents acceptés et la réactivité sur votre machine. Examinez les formats de modèles, les possibilités d’API et l’export des conversations. Si vous interrogez des fichiers, vérifiez leur lecture et la restitution des passages utiles. Distinguez clairement les fonctions locales des connexions distantes. Lisez enfin les licences des modèles et les conditions des fonctions payantes, sans oublier les ressources matérielles nécessaires.

Exécuter un modèle sur votre machine ne rend pas ses réponses exactes. Il peut inventer une référence ou mal interpréter un document. Vérifiez les affirmations dans les fichiers sources et conservez une revue humaine. Une application locale peut aussi proposer des modèles distants ou des fonctions connectées. Contrôlez la configuration et les échanges réseau si la confidentialité est déterminante. Téléchargez les modèles depuis des sources identifiées, examinez leurs licences et limitez les accès aux dossiers. Surveillez également l’espace disque et la consommation des ressources.

Pour comparer avec le coût d'un modèle d'IA utilisé directement, voyez le calculateur de prix des API.

Gratuit ou payant ?

Certaines applications et certains modèles peuvent être utilisés sans abonnement, selon leurs licences. Vous restez tributaire des capacités de votre ordinateur et des conditions propres à chaque composant. Payer peut être utile pour une interface, un accompagnement ou des fonctions supplémentaires. Un changement de matériel peut aussi être nécessaire si vos tâches dépassent les ressources disponibles.

Outils de la catégorie avec une offre gratuite : LM Studio, PyGPT, Ollama, Jan, GPT4All et Msty.

Pour quels métiers ?

Les profils qui utilisent le plus ces outils, d'après les cas d'usage documentés par les éditeurs : développeurs, chercheurs, étudiants, freelances et data analysts.