Niveau : Intermédiaire
IA multimodale : quand l'IA voit, entend et parle
Par La rédaction d'Info Agent IA ·
Une IA multimodale traite plusieurs types de contenus dans une même conversation : du texte, mais aussi des images, des documents, de la voix et parfois de la vidéo. Comprendre comment elle relie ces formats vous aide à en tirer le meilleur et à repérer ses erreurs les plus typiques.
Ce que « multimodal » veut dire concrètement
En informatique, une modalité est une forme d’information : le texte, l’image, le son, la vidéo. Une IA multimodale en gère au moins deux. Elle peut les accepter en entrée (vous lui montrez une photo), en sortie (elle vous répond à voix haute ou crée une image), ou les deux.
Cette distinction entre entrée et sortie est essentielle, car les assistants ne sont pas multimodaux au même degré. Voici les combinaisons les plus courantes.
| Vous envoyez | L’assistant renvoie | Exemple d’usage | Brique technique |
|---|---|---|---|
| Une photo ou une capture | Du texte | Expliquer un message d’erreur à l’écran | Vision par ordinateur |
| Un PDF scanné | Du texte | Résumer un contrat ou une facture | Vision et lecture de texte |
| Votre voix | De la voix | Discuter en marchant | Reconnaissance et synthèse vocales |
| Du texte | Une image | Illustrer une invitation | Génération d’images |
| Du texte ou une image | Une vidéo | Animer une scène courte | Génération vidéo |
Pour replacer ces briques dans l’ensemble du domaine, notre guide l’intelligence artificielle, c’est quoi présente les grandes familles de l’IA.
Comment une IA « voit » une image
Transformer les pixels en éléments que le modèle sait traiter
Un grand modèle de langage travaille sur des tokens, des morceaux de texte convertis en nombres. Pour lui faire lire une image, on ajoute un module de vision par ordinateur, souvent appelé encodeur visuel. Il découpe l’image en petites zones et convertit chacune en une liste de nombres, un embedding, qui résume ce qu’elle contient.
Ces représentations sont ensuite projetées dans le même espace que les tokens de texte. Pour le modèle, votre photo devient une suite d’éléments placée à côté de votre question, et il produit sa réponse comme d’habitude, token après token. Le principe de cette prédiction est détaillé dans comment fonctionne ChatGPT.
Conséquence pratique : une image occupe de la place dans la mémoire de travail de la conversation, comme un long texte. Plus vous envoyez de captures ou de pages scannées, plus vous vous rapprochez de la limite.
Relier les images aux mots
Encore faut-il que ces nombres « parlent » au modèle de langage. L’étape clé consiste à apprendre à un système qu’une photo de chat et la phrase « un chat dort sur un canapé » désignent la même chose.
Et le son ?
Pour la voix, deux approches coexistent. La première enchaîne trois étapes : la reconnaissance vocale transcrit votre parole en texte, le modèle répond par écrit, puis la synthèse vocale lit la réponse. La seconde fait traiter le son plus directement par le modèle, ce qui lui permet en principe de percevoir l’intonation et de répondre avec moins de délai. Du côté de la création, l’image et la vidéo relèvent surtout de l’IA générative, avec des modèles spécialisés souvent branchés sur l’assistant.
Ce que proposent les principaux assistants
Selon le relevé des pages officielles des éditeurs effectué par le site au 22 octobre 2026, ChatGPT, Gemini, Le Chat (renommé Mistral Vibe en 2026) et Meta AI annoncent tous la génération d’images et un mode vocal. Pour Claude, ces deux capacités ne sont pas précisées par l’éditeur, ce qui ne veut pas dire qu’elles sont absentes. Notre fiche Gemini détaille l’offre de Google.
| Assistant | Gratuit | Payant dès | Recherche web | Mode agent | Voix | Images |
|---|---|---|---|---|---|---|
| ChatGPT | Limité | 8 $US/mois | Oui | Oui | Oui | Oui |
| Gemini | Limité | 4,99 €/mois | Oui | — | Oui | Oui |
| Claude | Limité | 20 $US/mois | Oui | Oui | — | — |
| Le Chat (Mistral Vibe) | Limité | 5,99 $US/mois | Oui | Oui | Oui | Oui |
| Meta AI | Limité | 7,99 $US/mois | — | — | Oui | Oui |
D’autres acteurs vont plus loin sur la vidéo : Qwen Chat annonce la génération de vidéos et la compréhension multimodale, et Grok propose la création d’images et de vidéos ainsi qu’un mode vocal. Pour comparer les formats acceptés outil par outil, utilisez notre comparateur d’assistants IA.
Des usages qui vont au-delà du gadget
- Débloquer un problème technique : une capture d’écran d’un message d’erreur, d’un tableur ou d’un réglage de box internet vaut souvent mieux qu’une longue description.
- Traiter des papiers : faire résumer un courrier, extraire les dates clés d’un contrat ou transformer un ticket de caisse en ligne de tableau.
- Accessibilité : décrire une photo ou un panneau pour une personne malvoyante, ou piloter l’assistant à la voix quand taper est difficile.
- Apprendre : photographier un exercice et demander une explication pas à pas plutôt que la solution.
- Concevoir : partir d’un croquis sur papier pour obtenir une première maquette de page ou une liste de tâches.
Bien formuler une demande avec une image
Une photo seule laisse le modèle deviner ce que vous attendez. Quelques réflexes améliorent nettement les réponses :
- Dites ce qu’il faut regarder. « Lis le montant en bas à droite » vaut mieux que « que vois-tu ? ».
- Donnez le contexte. Précisez s’il s’agit d’une facture d’électricité, d’un relevé de notes ou d’un schéma de montage.
- Soignez la prise de vue. Une image nette, bien éclairée, cadrée sur l’essentiel réduit les erreurs de lecture.
- Demandez de signaler les doutes. Invitez l’assistant à indiquer les zones illisibles plutôt qu’à les compléter.
Les limites propres à la multimodalité
Les hallucinations visuelles. Le modèle peut décrire un objet absent de l’image ou mal lire un chiffre flou, avec la même assurance que pour un détail exact. C’est une forme d’hallucination, particulièrement piégeuse sur les montants et les dates.
Le comptage et la position des objets. Dénombrer des éléments nombreux, lire un graphique dense ou dire précisément ce qui se trouve à gauche de quoi reste un point faible fréquent.
Les instructions cachées dans une image. Un texte peu visible inséré dans une image ou un document peut être lu par le modèle comme une consigne. Si vous utilisez un assistant capable d’agir, par exemple d’envoyer des messages, méfiez-vous des fichiers d’origine inconnue.
La confidentialité. Une photo transporte souvent plus d’informations qu’on ne le pense : un visage, une adresse sur une enveloppe, un écran en arrière-plan. Elle part sur les serveurs du fournisseur comme n’importe quel message.
Vérifiez-vous Pourquoi un assistant peut-il se tromper en lisant le total d'une facture photographiée ?
Parce qu’il convertit l’image en représentations numériques, puis génère la réponse la plus plausible. Si un chiffre est flou ou coupé, il peut produire une valeur crédible mais fausse, sans le signaler. Comparez toujours les montants importants avec le document original.
Questions fréquentes
Quelle différence entre comprendre une image et en générer une ?
Comprendre une image, c'est la décrire, en lire le texte ou répondre à une question à son sujet. En générer une, c'est produire une nouvelle image à partir d'une description. Ce sont deux capacités distinctes : un assistant peut maîtriser l'une sans proposer l'autre.
Une image consomme-t-elle de la place dans la conversation ?
Oui. Une image envoyée à l'assistant est convertie en une série d'éléments que le modèle traite comme des tokens. Elle occupe donc une partie de la fenêtre de contexte, comme un texte, ce qui compte quand vous envoyez beaucoup de pages ou de captures.
Le mode vocal d'un assistant est-il forcément multimodal ?
Pas toujours au même degré. Certains systèmes transcrivent votre voix en texte, font répondre le modèle par écrit, puis lisent la réponse avec une voix de synthèse. D'autres traitent le son plus directement. Les éditeurs détaillent rarement cette architecture.
Peut-on se fier à une IA pour lire un document scanné ?
Pour un premier tri ou un résumé, souvent. Pour des montants, des dates ou des références précises, vérifiez sur l'original : une IA multimodale peut mal lire un chiffre flou ou compléter une case vide avec une valeur plausible mais inventée.