Llama 3.1 8B Instruct : prix, contexte et benchmarks

Ce qu'il faut savoir sur Llama 3.1 8B Instruct

C'est Meta, éditeur basé en États-Unis, qui a mis Llama 3.1 8B Instruct en ligne le 23 juillet 2024. Il accepte du texte en entrée et produit du texte. Sa fenêtre de contexte atteint 131 072 tokens, plus que 29 % des modèles du registre, et il peut écrire jusqu'à 117 964 tokens d'une traite.

Sorti il y a plus de 2 ans, il appartient à une génération déjà dépassée par des modèles plus récents de la plupart des éditeurs.

Prix de Llama 3.1 8B Instruct

Sur OpenRouter, Llama 3.1 8B Instruct coûte 0,05 $US par million de tokens en entrée et 0,08 $US en sortie. En comptant trois tokens lus pour un token écrit, son prix moyen est de 0,058 $US par million, plus cher que 3 % des modèles payants (13,1 fois moins que la médiane de 0,76 $US).

Exemple concret : une tâche qui envoie 2 000 tokens (environ 1 500 mots) et reçoit 500 tokens de réponse coûte 0,0001 $US. À 1 000 tâches par jour, comptez 4 $US par mois. Le calculateur de prix refait ce calcul avec vos propres volumes.

Les tokens déjà envoyés et mis en cache sont facturés 0,025 $US par million.

Performance et benchmarks

Epoch AI ne publie pas encore d'indice de capacités pour Llama 3.1 8B Instruct. Nous n'affichons donc aucune note de performance inventée : seuls le prix, le contexte et les fonctions entrent dans sa note.

Scores publiés par Epoch AI sur les benchmarks suivis par le site :

Fonctions, confidentialité et usage local

• Il gère l'appel d'outils : il peut donc piloter un agent IA, appeler des API ou des serveurs MCP.
• Il sait répondre dans un format JSON imposé (sorties structurées).
• Ses connaissances s'arrêtent à décembre 2023.

Ses poids sont ouverts et téléchargeables sur Hugging Face : vous pouvez le faire tourner sur vos propres machines, sans envoyer vos données à un tiers.

Les autres modèles de Meta