Llama 3.2 1B Instruct : prix, contexte et benchmarks

Ce qu'il faut savoir sur Llama 3.2 1B Instruct

C'est Meta, éditeur basé en États-Unis, qui a mis Llama 3.2 1B Instruct en ligne le 25 septembre 2024. Il accepte du texte en entrée et produit du texte. Sa fenêtre de contexte atteint 60 000 tokens, plus que 9 % des modèles du registre, et il peut écrire jusqu'à 54 000 tokens d'une traite.

Sorti il y a plus de 2 ans, il appartient à une génération déjà dépassée par des modèles plus récents de la plupart des éditeurs.

Prix de Llama 3.2 1B Instruct

Sur OpenRouter, Llama 3.2 1B Instruct coûte 0,03 $US par million de tokens en entrée et 0,2 $US en sortie. En comptant trois tokens lus pour un token écrit, son prix moyen est de 0,071 $US par million, plus cher que 5 % des modèles payants (10,7 fois moins que la médiane de 0,76 $US).

Exemple concret : une tâche qui envoie 2 000 tokens (environ 1 500 mots) et reçoit 500 tokens de réponse coûte 0,0002 $US. À 1 000 tâches par jour, comptez 5 $US par mois. Le calculateur de prix refait ce calcul avec vos propres volumes.

Performance et benchmarks

Epoch AI ne publie pas encore d'indice de capacités pour Llama 3.2 1B Instruct. Nous n'affichons donc aucune note de performance inventée : seuls le prix, le contexte et les fonctions entrent dans sa note.

Scores publiés par Epoch AI sur les benchmarks suivis par le site :

Fonctions, confidentialité et usage local

• Il ne gère pas l'appel d'outils : il ne convient pas pour piloter un agent IA qui doit agir.
• Ses connaissances s'arrêtent à décembre 2023.

Ses poids sont ouverts et téléchargeables sur Hugging Face (licence llama3.2) : vous pouvez le faire tourner sur vos propres machines, sans envoyer vos données à un tiers. Avec 1 235 814 400 milliards de paramètres, il demande environ 690 565 109 Go de mémoire en quantification 4 bits. Vérifier avec le calculateur VRAM. Il a été téléchargé 3 708 648 fois sur Hugging Face le mois dernier.

Les autres modèles de Meta