On a testé Le Chat (Mistral) : que vaut vraiment le ChatGPT à la française ?

ChatGPT n'a qu'à bien se tenir, un nouveau chatbot basé sur un grand modèle de langage très performant est désormais accessible. Il s'agit de Le Chat, développé par les Français de Mistral.

Le 26 février 2024, la jeune startup française spécialisée dans l'intelligence artificielle Mistral multipliait les annonces d'envergure. D'abord, un partenariat pluriannuel avec Microsoft, qui investit et entre au capital de la société, avec à la clé l'accès à l'infrastructure Azure. Ensuite, le lancement de La Plateforme, un outil destiné aux développeurs désirant créer des applications et services basés sur les technologies de Mistral. Et enfin, la disponibilité de Le Chat, un agent conversationnel de type ChatGPT basé sur les modèles de langage d'IA générative maison.

Dans sa communication, Mistral explique que son grand modèle de langage (LLM) le plus avancé, Mistral Large, est le deuxième plus performant du marché « sur les benchmarks standards ». Il se positionne juste derrière GPT-4, et devant Claude 2 d'Anthropic, Gemini Pro de Google et LLaMA 2 70B de Meta.

Nous avons donc testé Le Chat pour se rendre compte plus concrètement de ses performances. Notez qu'il s'agit pour l'heure d'une version encore en bêta. La plateforme propose l'accès à trois modèles : Large, Next et Small. Pour les besoins de cette prise en main, nous nous sommes concentrés sur Mistral Large, le modèle le plus efficace de l'entreprise.

Comment accéder à Le Chat ?

Le Chat est disponible gratuitement depuis un navigateur web à l'adresse https://chat.mistral.ai/. Il n'existe à ce jour pas d'application officielle desktop ou mobile. Il faut créer un compte pour en profiter. L'inscription est rapide : elle peut s'effectuer par adresse email ou par authentification avec un compte Google ou Microsoft.

Le Chat parle-t-il français ?

Non seulement Le Chat comprend et génère du texte en français, mais en plus, il le fait bien. Mistral Large surpasse par exemple le modèle LLaMA 2 70B de meta sur les benchmarks HellaSwag, Arc Challenge et MMLU en français. Il supporte aussi nativement l'allemand, l'espagnol et l'italien, là encore à un niveau de performances élevé d'après les benchmarks.

Sur le papier, Le Chat se veut donc être une alternative aux plateformes américaines, qui se concentrent avant tout sur l'anglais, pour les utilisateurs européens. Avec ses centres de données localisés au sein de l'Union européenne, Mistral s'attire de plus les faveurs des autorités européennes.

Quand on lui pose la question des langues prises en charge, Le Chat la joue par contre modeste. Il explique être « entraîné sur un large corpus de textes en anglais », mais qu'il peut « traiter des requêtes simples dans d'autres langues, telles que le français, l'espagnol, l'allemand, l'italien, le portugais, le néerlandais et le suédois ». Dans notre cas, nous n'avons échangé avec l'agent conversationnel qu'en français pour éprouver ses capacités dans notre langue.

Pas d'accès en direct à internet

L'une des fonctionnalités permettant à un chatbot de passer un cap et de faire partie des meilleures solutions est la possibilité de consulter le web en direct pour chercher une information récente. Pour l'instant, Le Chat est dépourvu d'une telle option. Lorsqu'on lui demande le score du dernier match de son équipe ou un renseignement sur une actualité, Le Chat explique qu'il n'est pas capable « d'accéder à des informations à jour […] en temps réel ».

À l'utilisation, Le Chat nous a paru assez lent en termes de génération de réponse. Pour vérifier s'il s'agit d'une simple impression ou d'une réalité, nous avons réalisé une comparaison entre Mistral Large et GPT-3.5. Dans Le Chat et ChatGPT, nous avons, avec la même invite, demandé le résumé d'une œuvre, l'Iliade d'Homère, en 300 mots. Nous avons lancé la commande au même moment, et ChatGPT a effectivement terminé sa rédaction plusieurs secondes avant Le Chat.

Dans le contenu de la réponse, on observe que Le Chat préfère se concentrer sur le récit conté dans l'Iliad. ChatGPT n'y consacre lui que deux paragraphes, réservant plus de la moitié de sa réponse à une analyse de l'œuvre. On constate une différence d'interprétation d'un même prompt entre les deux plateformes.

Pour les questions plus factuelles et terre-à-terre, les réponses se rapprochent bien plus. Quand on leur demande les règles de la pétanque, Le Chat comme ChatGPT font le choix d'une liste à puce numérotée facilitant la lecture. Il est intéressant que Le Chat renvoie au « règlement officiel de la Fédération Internationale de Pétanque et de Jeu Provençal (FIPJP) » pour plus d'informations sur les règles détaillées, ce que ne propose pas ChatGPT.

Avec une fenêtre de contexte de 32 000 tokens, Mistral Large dispose de capacités similaires à celles de GPT-3.5 en la matière, lui permettant d'analyser et d'identifier des informations cachées dans une très grande quantité de texte.

Le Chat est capable de traduire du texte vers et depuis le français. Même des langues qui ne sont pas officiellement prises en charge sont accessibles, comme le japonais. Le chatbot précise toutefois que dans ce cas, « la traduction est fournie à titre indicatif et pourrait ne pas être parfaitement précise ».

Comme sur d'autres outils de ce type, il est possible de donner des instructions précises pour personnaliser la réponse désirée : demander un récapitulatif sous forme de tableau, une longueur précise, un style de langage spécifique… Le Chat s'adapte avec brio à la plupart des exigences.

Le Chat se montre également pertinent pour donner la bonne formule Excel et expliquer clairement comment l'utiliser selon la situation qui lui est décrite.

Il peut aussi générer du code dans plus d'une quinzaine de langages de programmation, dont Python, JavaScript, HTML, CSS, PHP, SQL, Rust, C++…

Mis à part l'absence de connexion au web, Le Chat n'a pas grand-chose à envier à un ChatGPT ou un Gemini en ce qui concerne la génération textuelle. Mistral ne l'a par contre pas doté de fonction de génération d'image, et il n'est pas possible non plus d'intégrer un visuel à une invite.

Une interface banale

Pour les habitués de ChatGPT, l'interface de Le Chat ne fait pas dans l'originalité. Une colonne à gauche (qui peut être masquée) recense les différentes discussions qui ont été menées par ordre chronologique, avec une barre de recherche pour retrouver plus rapidement le contenu qui nous intéresse.

L'écran principal affiche les invites et les réponses, avec des boutons permettant de copier ou régénérer une réponse. Pa barre de champ pour taper les prompts est située en bas. Une icône en haut à gauche laisse la possibilité d'ouvrir une nouvelle discussion. En haut à droite, l'utilisateur peut choisir son modèle de langage entre les trois options disponibles.

Mis à part le thème sombre ou clair, on ne peut pas personnaliser l'UI de la plateforme. Les quelques paramètres de compte mis à disposition renvoient vers La Plateforme et concernent surtout les développeurs qui ont besoin d'utiliser les API de Mistral.

Le Chat, une alternative crédible à ChatGPT ?

Très proche de ChatGPT en termes d'interface et de capacités de génération de texte, Le Chat souffre encore de la comparaison avec le leader du marché. Plus lent, sans accès direct à internet, incapable de gérer de l'image, il ressemble en fait à ce qu'était ChatGPT à ses débuts.

Mais n'oublions pas que Mistral est une société très jeune, crée il y a moins d'un an (avril 2023), et qui progresse à une vitesse fulgurante. Grâce au partenariat avec Microsoft, elle devrait continuer de se développer rapidement. Il n'est toutefois pas certain qu'un éventuel succès passe par Le Chat, mais plutôt pas ses modèles de langage et ses API, ses technologies alimentant alors d'autres plateformes.