Modèles d'IA open source : le classement et le test de votre machine

Open source ou « poids ouverts » : une nuance importante

On parle souvent de « modèles open source » pour désigner les modèles d’IA que l’on peut télécharger et faire tourner soi-même. L’expression est pratique mais imprécise. Un modèle open source au sens strict publie ses poids, son code et idéalement des informations sur ses données d’entraînement, sous une licence qui autorise l’usage, la modification et la redistribution, y compris commerciale. Beaucoup de modèles sont en réalité à poids ouverts (open weights) : leurs paramètres sont téléchargeables, mais la licence peut restreindre certains usages, fixer des conditions pour les grandes entreprises ou interdire d’utiliser les réponses pour entraîner un autre modèle.

La colonne « licence » du tableau ci-dessus reprend la licence déclarée sur Hugging Face, la plateforme de référence pour partager ces modèles. Avant tout usage professionnel, lisez la licence complète de chaque modèle : c’est elle qui fait foi, pas l’étiquette « open source ».

Comment lire le tableau

Le tableau liste les modèles de génération de texte les plus téléchargés sur le Hugging Face Hub, avec leur licence, leur taille en paramètres, leurs téléchargements et leurs likes. Les téléchargements reflètent l’usage réel, les likes l’intérêt de la communauté. Un modèle très téléchargé n’est pas forcément le meilleur pour votre tâche : croisez avec les scores du classement des IA et les fiches des modèles.

Qu’est-ce qu’un paramètre ?

Un paramètre est un nombre ajusté pendant l’entraînement du modèle. Ensemble, ils encodent ce que le modèle a appris. La taille d’un modèle s’exprime en milliards de paramètres, d’où le « B » (billion en anglais) dans des noms comme « 8B ». Plus un modèle en compte, plus il est en général capable, mais plus il réclame de mémoire et de puissance de calcul.

La quantification, expliquée simplement

Chaque paramètre est stocké avec une certaine précision. En 16 bits, il occupe 2 octets ; en 8 bits, 1 octet ; en 4 bits, un demi-octet. La quantification consiste à réduire cette précision pour alléger le modèle, un peu comme on compresse une photo : le fichier devient beaucoup plus léger, au prix d’une perte de qualité souvent discrète en 8 bits et plus perceptible en 4 bits, selon les modèles et les tâches.

La formule du calculateur

Le calculateur « tourne-t-il sur mon ordinateur ? » applique la formule suivante :

mémoire nécessaire (Go) ≈ milliards de paramètres × octets par paramètre × 1,2

Le facteur 1,2 ajoute une marge pour ce qui s’ajoute aux poids pendant l’exécution, notamment le contexte de la conversation et les besoins du logiciel. Exemple de calcul : un modèle de 8 milliards de paramètres en 4 bits demande 8 × 0,5 octet × 1,2 ≈ 4,8 Go.

Le résultat est comparé à la RAM ou à la VRAM que vous saisissez. Vert : la mémoire suffit. Orange : c’est juste, le modèle risque d’être lent ou limité. Rouge : la mémoire ne suffit pas, essayez une quantification plus forte ou un modèle plus petit.

RAM ou VRAM ?

La RAM est la mémoire vive de l’ordinateur ; la VRAM est la mémoire de la carte graphique. Un modèle chargé en VRAM tourne bien plus vite, car les cartes graphiques excellent dans les calculs en parallèle dont les modèles ont besoin. Sans assez de VRAM, un modèle peut tourner sur le processeur avec la RAM, ou être réparti entre les deux, mais la génération ralentit. Sur les ordinateurs à mémoire unifiée, comme certains Mac récents, processeur et puce graphique partagent la même mémoire : indiquez la mémoire totale en gardant une part pour le système.

Les outils pour faire tourner un modèle en local

• Ollama : un outil qui télécharge et lance un modèle en une commande.
• LM Studio : une application avec interface graphique, pratique pour chercher un modèle, choisir sa quantification et discuter sans passer par le terminal.
• llama.cpp : le moteur open source sur lequel s’appuient de nombreux outils, pour ceux qui veulent régler finement les performances.

Avantages et limites

Le principal avantage est la confidentialité : vos textes ne quittent pas votre machine, ce qui compte pour des documents personnels ou professionnels. S’y ajoutent l’absence de facturation au token et le fonctionnement hors ligne. Les limites sont réelles : les modèles qui tiennent sur un ordinateur personnel restent souvent moins performants que les plus grands modèles en ligne, la vitesse dépend de votre matériel, et les mises à jour, la sécurité et la consommation électrique sont à votre charge.

Pour comparer avec un modèle en ligne, utilisez le calculateur de coût d’un agent. Pour bâtir votre propre agent sur un modèle local, consultez le parcours Construire et les frameworks d’agents.