Test de niveau en IA : où en êtes-vous ?

Bonne réponse : C'est peut-être inventé : il faut vérifier dans une source officielle.

• Faux C'est fiable : l'assistant a vérifié ses sources avant de répondre. Non : un assistant produit le texte le plus plausible. Même quand il cherche sur le web, il peut mal lire ou mal recopier une source.
• Juste C'est peut-être inventé : il faut vérifier dans une source officielle. Exact. Un assistant peut produire une information fausse mais très convaincante, avec un numéro ou une référence qui n'existe pas : c'est ce qu'on appelle une hallucination. Pour une information importante, on vérifie à la source.
• Faux C'est forcément faux : une IA ne connaît rien au droit. Non : la réponse est souvent juste. Le problème est qu'on ne peut pas savoir si elle l'est sans vérifier.
• Faux C'est fiable si la réponse est longue et détaillée. Non : le niveau de détail et le ton assuré ne prouvent rien. Une hallucination peut être très précise.

Fiche du glossaire : Hallucination

Bonne réponse : La demande ou la consigne que vous écrivez à l'IA.

• Juste La demande ou la consigne que vous écrivez à l'IA. Exact. Le prompt, c'est votre message : une question, une consigne, éventuellement avec du contexte et des exemples. Plus il est clair, meilleure est la réponse.
• Faux La réponse rédigée par l'IA. Non : la réponse est ce que l'IA produit à partir du prompt, pas le prompt lui-même.
• Faux La version payante d'un assistant. Non : le prompt n'a rien à voir avec l'abonnement. On écrit des prompts dans les versions gratuites comme payantes.
• Faux Un logiciel à installer sur son ordinateur. Non : un prompt est un simple texte, on le tape directement dans la zone de saisie de l'assistant.

Fiche du glossaire : Prompt (consigne)

Bonne réponse : Parce que ses connaissances s'arrêtent à une date : celle de la fin de son entraînement.

• Faux Parce que les assistants refusent de parler de sport. Non : rien n'empêche un assistant de parler de sport. Le problème vient de ce qu'il a pu apprendre.
• Faux Parce qu'il oublie tout à la fin de chaque conversation. Non : la mémoire d'une conversation à l'autre est une autre question. Même avec une bonne mémoire, il ne peut pas connaître un fait qu'il n'a jamais vu.
• Juste Parce que ses connaissances s'arrêtent à une date : celle de la fin de son entraînement. Exact. Un modèle apprend sur des textes réunis jusqu'à une certaine date, appelée date limite des connaissances. Sans accès au web, il ignore ce qui s'est passé ensuite et peut inventer une réponse.

Fiche du glossaire : Date de coupure des connaissances

Bonne réponse : Le mot de passe de votre banque ou votre numéro de carte.

• Faux Une recette de cuisine à adapter pour quatre personnes. Aucun risque : une recette ne contient rien de personnel.
• Faux Une question de grammaire ou d'orthographe. Aucun risque : la question ne révèle rien sur vous.
• Juste Le mot de passe de votre banque ou votre numéro de carte. Exact. Selon le service et vos réglages, les conversations peuvent être conservées, relues ou servir à améliorer les modèles. Aucun assistant n'a besoin de vos mots de passe ou numéros de carte : ne les donnez jamais.
• Faux Le texte d'un article public que vous voulez résumer. Peu de risque : le texte est déjà public. Évitez seulement d'y joindre des informations personnelles.

Fiche du glossaire : RGPD et IA

Bonne réponse : L'agent peut agir pour atteindre un objectif : naviguer, remplir un formulaire, utiliser des outils, étape par étape.

• Faux L'agent est toujours plus intelligent. Non : un agent peut reposer sur le même modèle qu'un chatbot. Ce qui change, c'est ce qu'on lui permet de faire.
• Faux L'agent fonctionne sans connexion internet. Non : la plupart des agents ont au contraire besoin d'internet pour agir sur des sites et des services.
• Faux L'agent est une personne réelle qui répond à votre place. Non : un agent IA est un programme, pas un opérateur humain.
• Juste L'agent peut agir pour atteindre un objectif : naviguer, remplir un formulaire, utiliser des outils, étape par étape. Exact. Un chatbot répond par du texte ; un agent enchaîne des actions pour accomplir une tâche. C'est plus pratique, mais une erreur a aussi plus de conséquences, d'où l'importance de garder la validation des actions sensibles.

Fiche du glossaire : Agent IA

Bonne réponse : Un morceau de texte (mot, partie de mot, signe de ponctuation) que le modèle traite.

• Faux Un mot de passe qui protège votre compte. Non : en IA, le mot désigne autre chose. Ne confondez pas avec les « jetons » d'authentification utilisés en informatique.
• Faux Une phrase complète. Non : une phrase compte en général plusieurs tokens.
• Juste Un morceau de texte (mot, partie de mot, signe de ponctuation) que le modèle traite. Exact. Le modèle découpe le texte en tokens avant de le lire et produit sa réponse token par token. La longueur des échanges et la facturation des API se comptent en tokens.
• Faux Une cryptomonnaie qui sert à payer l'assistant. Non : malgré le même mot en anglais, rien à voir avec les jetons des cryptomonnaies.

Fiche du glossaire : Token

Bonne réponse : La conversation approche ou dépasse sa fenêtre de contexte : la quantité de texte qu'il peut prendre en compte à la fois.

• Faux Il se fatigue après un certain nombre de messages. Non : un modèle ne se fatigue pas. Il traite chaque réponse de la même manière.
• Faux Sa température est réglée trop haut. Non : la température joue sur la variété des réponses, pas sur la quantité de texte que le modèle peut prendre en compte.
• Faux Le service a supprimé vos premiers messages pour faire de la place sur ses serveurs. Non : vos messages restent affichés. C'est ce que le modèle peut lire en une fois qui est limité.
• Juste La conversation approche ou dépasse sa fenêtre de contexte : la quantité de texte qu'il peut prendre en compte à la fois. Exact. Au-delà de cette limite, les passages les plus anciens peuvent être coupés ou résumés, et même avant, les consignes noyées dans un long échange sont parfois moins bien suivies. Solution : rappeler les consignes ou démarrer une nouvelle conversation avec un résumé.

Fiche du glossaire : Fenêtre de contexte

Bonne réponse : La part de hasard dans le choix des mots : basse, des réponses plus prévisibles ; haute, des réponses plus variées.

• Juste La part de hasard dans le choix des mots : basse, des réponses plus prévisibles ; haute, des réponses plus variées. Exact. Une température basse convient à l'extraction de données ou au code, une température plus haute au brainstorming ou à l'écriture créative. Elle se règle surtout via les API et certains outils avancés.
• Faux La vitesse à laquelle le modèle répond. Non : la vitesse dépend du modèle, de la longueur de la réponse et de la charge des serveurs, pas de la température.
• Faux L'exactitude des faits : plus elle est haute, plus le modèle est fiable. Non : c'est plutôt l'inverse. Une température élevée augmente la variété, ce qui peut augmenter les erreurs.
• Faux La chaleur des serveurs qui font tourner le modèle. Non : malgré son nom, ce réglage n'a rien de physique. C'est un paramètre mathématique du choix des mots.

Fiche du glossaire : Température

Bonne réponse : Que ses poids, les paramètres appris pendant l'entraînement, peuvent être téléchargés et utilisés sur ses propres machines, selon une licence.

• Faux Qu'il est entièrement open source, données et code d'entraînement compris. Non : la plupart des modèles à poids ouverts ne publient pas leurs données d'entraînement. « Poids ouverts » ne veut pas dire « entièrement open source ».
• Faux Qu'on peut l'utiliser pour n'importe quel usage, sans aucune condition. Non : chaque modèle a sa licence, et certaines imposent des conditions (usage commercial, mention, restrictions d'usage). Il faut la lire.
• Juste Que ses poids, les paramètres appris pendant l'entraînement, peuvent être téléchargés et utilisés sur ses propres machines, selon une licence. Exact. On peut alors faire tourner le modèle chez soi ou sur ses serveurs, l'adapter, et garder ses données en interne, dans le respect de la licence.
• Faux Que c'est un modèle léger, conçu pour les petits ordinateurs. Non : « poids » désigne les paramètres du modèle, pas sa taille. Il existe des modèles à poids ouverts de toutes tailles, dont certains très lourds.

Fiche du glossaire : Modèle à poids ouverts

Bonne réponse : Rien de certain : le score mesure un jeu de tests précis, parfois gonflé si les questions se sont retrouvées dans les données d'entraînement.

• Faux Qu'il sera le meilleur pour tout ce que vous lui demanderez. Non : un benchmark ne couvre qu'un type d'exercices. Un modèle peut briller sur des maths et être moins bon pour rédiger dans votre langue.
• Juste Rien de certain : le score mesure un jeu de tests précis, parfois gonflé si les questions se sont retrouvées dans les données d'entraînement. Exact. Un benchmark est un indice utile pour comparer, pas une garantie. Il peut aussi être faussé par la contamination (le modèle a déjà vu les questions). Le meilleur test reste d'essayer sur vos propres cas.
• Faux Qu'il ne fait plus d'erreurs factuelles. Non : aucun score ne garantit l'absence d'erreurs. Même les meilleurs modèles hallucinent parfois.
• Faux Qu'il a été certifié par une autorité indépendante. Non : un benchmark est un ensemble de tests, pas une certification. Les scores sont souvent publiés par l'éditeur du modèle lui-même.

Fiche du glossaire : Benchmark

Bonne réponse : Rechercher les passages utiles dans une base de documents et les fournir au modèle avec la question, pour qu'il réponde en s'appuyant dessus.

• Faux Réentraîner le modèle sur vos documents pour qu'il les apprenne. Non : ça, c'est le fine-tuning. La RAG ne modifie pas le modèle.
• Faux Une technique qui supprime totalement les hallucinations. Non : la RAG les réduit, mais le modèle peut encore mal lire un passage, ou recevoir un passage hors sujet. On vérifie toujours les sources citées.
• Faux Un format de compression qui réduit la taille d'un modèle. Non : réduire la taille d'un modèle relève d'autres techniques, comme la quantification.
• Juste Rechercher les passages utiles dans une base de documents et les fournir au modèle avec la question, pour qu'il réponde en s'appuyant dessus. Exact. Le modèle reste le même ; on lui donne, au moment de la question, les extraits pertinents (souvent trouvés grâce aux embeddings). Il peut ainsi répondre sur des documents récents ou internes, et citer ses sources.

Fiche du glossaire : RAG (génération augmentée par récupération)

Bonne réponse : Relier l'assistant à une base documentaire à jour, consultée à chaque question (RAG).

• Juste Relier l'assistant à une base documentaire à jour, consultée à chaque question (RAG). Exact. Il suffit de mettre à jour les documents pour que les réponses suivent, et l'assistant peut indiquer d'où vient l'information.
• Faux Faire un fine-tuning du modèle chaque mois avec les nouvelles procédures. Non : le fine-tuning sert surtout à ajuster un style, un format ou un comportement. Il est plus lent et coûteux à refaire, et ne garantit pas que le modèle restitue fidèlement des faits précis qui changent.
• Faux Augmenter la température pour que l'assistant soit plus inventif. Non : une température plus haute rendrait les réponses plus variées, donc moins fidèles aux procédures.
• Faux Choisir le modèle le mieux classé dans les benchmarks. Non : aucun modèle, même très bien classé, ne connaît les documents internes d'une entreprise.

Fiche du glossaire : Fine-tuning (affinage)

Bonne réponse : Une liste de nombres (un vecteur) qui représente le sens d'un texte : deux textes de sens proche ont des vecteurs proches.

• Faux L'intégration d'une vidéo ou d'un widget dans une page web. Non : c'est le sens du mot « embed » en développement web, mais en IA le terme désigne autre chose.
• Faux Une méthode de chiffrement qui protège les données envoyées au modèle. Non : un embedding ne chiffre rien. Il ne protège pas les données et ne doit pas être considéré comme une forme d'anonymisation.
• Juste Une liste de nombres (un vecteur) qui représente le sens d'un texte : deux textes de sens proche ont des vecteurs proches. Exact. C'est ce qui permet la recherche par le sens, et non par mots-clés : on retrouve un passage qui parle de « congés » quand on cherche « vacances ». C'est la base de nombreux systèmes de RAG.
• Faux Un résumé du texte rédigé par l'IA. Non : un embedding n'est pas lisible par un humain. C'est une suite de nombres, pas une phrase.

Fiche du glossaire : Embedding (plongement)

Bonne réponse : C'est un standard ouvert pour connecter les applications d'IA à des outils et à des sources de données (fichiers, logiciels, bases de données) de manière commune.

• Faux C'est un modèle de langage spécialisé dans le code. Non : le MCP n'est pas un modèle. C'est une façon standard de connecter des outils à des applications d'IA.
• Juste C'est un standard ouvert pour connecter les applications d'IA à des outils et à des sources de données (fichiers, logiciels, bases de données) de manière commune. Exact. Publié par Anthropic fin 2024 comme standard ouvert, il permet d'écrire un connecteur (un « serveur MCP ») une seule fois et de l'utiliser dans toutes les applications compatibles. Attention : chaque connecteur donne des accès, à choisir avec soin.
• Faux C'est un règlement européen qui encadre l'IA. Non : le texte européen qui encadre l'IA est le règlement sur l'IA (AI Act). Le MCP est un protocole technique.
• Faux C'est un benchmark qui mesure la mémoire des modèles. Non : le MCP ne mesure rien. Il définit comment une application d'IA dialogue avec des outils.

Fiche du glossaire : Model Context Protocol (MCP)

Bonne réponse : Le modèle rédige une demande structurée (nom de l'outil et paramètres) ; l'application l'exécute et lui renvoie le résultat, qu'il utilise pour continuer.

• Faux Le modèle exécute lui-même du code sur internet. Non : le modèle ne fait que produire du texte. C'est le programme autour de lui qui exécute (ou non) l'action.
• Faux Une personne prend le relais pour faire l'action. Non : l'appel d'outil est automatique. Une validation humaine peut être ajoutée, mais ce n'est pas ce qui définit le mécanisme.
• Faux Le modèle télécharge une nouvelle version de lui-même pour acquérir la compétence. Non : le modèle ne change pas. Les outils disponibles lui sont décrits dans la requête.
• Juste Le modèle rédige une demande structurée (nom de l'outil et paramètres) ; l'application l'exécute et lui renvoie le résultat, qu'il utilise pour continuer. Exact. C'est l'application qui décide d'exécuter l'action : c'est donc là qu'on place les contrôles (permissions, confirmation, limites). C'est le mécanisme de base des agents.

Fiche du glossaire : Appel d'outils (function calling)