FRENES

Glossaire · Modèles de langage

Embedding

Un embedding est une représentation numérique d'un contenu, généralement sous la forme d'une liste de nombres appelée vecteur. Il permet à un système de comparer des textes, des images ou d'autres éléments selon des caractéristiques apprises, par exemple pour retrouver des documents proches d'une question.

Embedding : l'explication

Un modèle transforme votre contenu en un vecteur dont les valeurs résultent de son apprentissage. Un outil peut ensuite comparer ce vecteur à ceux d'autres contenus grâce à une mesure de proximité. Pour du texte, l'objectif peut être de rapprocher des formulations de sens voisin, même sans mots identiques. Ces nombres ne sont pas une traduction lisible de chaque idée. Leur utilité apparaît surtout dans les comparaisons effectuées avec un modèle et une méthode compatibles.

Les embeddings servent notamment à la recherche sémantique, au regroupement de documents et à certaines recommandations. Un agent peut transformer votre question en vecteur, retrouver des passages proches dans une base, puis les transmettre à un modèle qui rédigera la réponse. L'embedding intervient alors dans la sélection des informations. Il ne constitue pas à lui seul la réponse finale et ne vérifie pas automatiquement la véracité, l'actualité ou les droits d'accès des documents ainsi retrouvés.

La proximité numérique dépend du modèle choisi et de ce pour quoi il a été entraîné. Deux textes proches peuvent se contredire, parler d'époques différentes ou employer des termes semblables dans des métiers distincts. Des vecteurs issus de modèles différents ne se comparent généralement pas directement. Enfin, transformer un document en embedding ne le rend pas automatiquement anonyme. Ces représentations doivent être gérées avec des protections adaptées lorsque leurs contenus d'origine sont sensibles ou confidentiels.

Un exemple concret

Vous cherchez les modalités de remboursement dans les documents d'une association. Votre question parle de récupérer une cotisation, alors que la page pertinente utilise le terme restitution. Un outil de recherche fondé sur des embeddings peut rapprocher ces formulations et proposer le bon passage. Vous vérifiez ensuite que ce passage concerne votre type d'adhésion et la version actuelle du règlement avant de vous appuyer sur la réponse.

Pourquoi c'est important

La qualité des embeddings influence les documents qu'un agent retrouve et, par conséquent, les informations sur lesquelles il s'appuie. Pour choisir un outil, testez votre vocabulaire, vos langues et les formulations réellement utilisées par votre équipe. Vérifiez aussi les règles d'accès aux documents et le traitement des vecteurs. Une recherche qui semble pertinente peut encore sélectionner une source ancienne, incomplète ou inadaptée à votre situation.

Idées reçues

  • Un embedding n'est pas un résumé directement lisible, car il représente un contenu par des nombres dont l'intérêt repose sur des comparaisons, et non sur une phrase qui en restituerait clairement tous les éléments importants.
  • Deux documents proches par leurs embeddings ne disent pas forcément la même chose, car une proximité thématique peut réunir des affirmations opposées, des versions anciennes ou des contenus dont les conditions d'application sont différentes.

Autres termes : modèles de langage

hallucination
L’hallucination est une réponse produite par une IA qui présente comme fiable une information fausse, inventée ou insuffisamment fondée.
Transformer
Un Transformer est une architecture de réseau de neurones qui traite des éléments, comme les fragments d'un texte, en calculant leurs relations grâce à l'attention.
token
Un token est une unité utilisée par un modèle pour représenter et traiter une partie de son entrée ou de sa sortie.
fenêtre de contexte
La fenêtre de contexte est la quantité maximale de contenu qu'un modèle peut prendre en compte dans un traitement donné, généralement mesurée en tokens.
poids ouverts
Les poids ouverts désignent la mise à disposition des valeurs apprises d'un modèle, afin que d'autres puissent les télécharger et les utiliser selon les conditions applicables.
IA open source
L'IA open source désigne une IA mise à disposition avec des libertés d'utilisation, d'étude, de modification et de partage, ainsi que les éléments nécessaires pour les exercer.
quantification
La quantification est une technique qui représente certains nombres utilisés par un modèle avec moins de précision.
GGUF
GGUF est un format de fichier utilisé pour distribuer des modèles destinés à des logiciels d'inférence compatibles.

Où le site en parle

Le terme apparaît dans 37 pages du site. Quelques-unes :

Dans la même famille

Pour aller plus loin

Questions fréquentes

Est-ce la même chose qu'un mot-clé ?

Non. Un mot-clé recherche généralement une correspondance explicite, tandis qu'un embedding permet une comparaison numérique apprise. Les outils peuvent combiner ces approches pour retrouver à la fois des formulations voisines et des références exactes.

Peut-on changer de modèle d'embedding ?

Oui, mais il faut généralement recalculer les vecteurs des documents avec le nouveau modèle. Comparer une question encodée par un modèle aux documents encodés par un autre produit souvent des résultats incohérents ou inutilisables.

Un embedding protège-t-il un document ?

Il ne constitue pas une garantie de confidentialité. Une représentation numérique peut révéler des informations sur son contenu d'origine. Vous devez donc contrôler son stockage, ses accès et ses transferts selon la sensibilité des documents concernés.

Neutralité. Aucun lien d'affiliation. Aucun éditeur ne paie pour être évalué, noté ou classé. Les évaluations sont dirigées par François Chollet, neutres et factuelles, et chaque donnée est datée et sourcée. Comment nous notons