TextGen permet d’exécuter des modèles de langage en local et de leur donner accès à des outils comme la recherche web ou la consultation de pages Internet. L’interface propose également un historique des conversations et des options pour ajuster le comportement des modèles. © oobabooga

Pourquoi utiliser TextGen ?

Dialoguer ou générer du texte libre

TextGen réunit plusieurs façons d’utiliser un modèle de langage. Les modes instruct, chat et chat-instruct servent à dialoguer avec un modèle, tandis que l’onglet Notebook permet de générer du texte libre. Vous pouvez donc choisir un mode de conversation pour échanger avec le modèle, ou passer à Notebook lorsque vous souhaitez produire du texte sans rester dans un dialogue par messages. L’application est conçue pour utiliser des LLM localement et son interface s’ouvre dans un navigateur à une adresse locale. Les différents modes se trouvent ainsi dans la même interface, avec une distinction entre conversation et génération libre. TextGen couvre aussi bien l’échange avec un modèle que la rédaction de texte à partir d’une demande.

Interroger des documents et des images

TextGen permet de questionner un modèle à partir de documents ajoutés à l’interface : vous pouvez joindre des fichiers texte, PDF et .docx afin d’interroger leur contenu. Les fichiers deviennent ainsi le support d’une demande adressée au modèle. Une image peut également accompagner un message pour demander au modèle d’en interpréter le contenu, à condition d’utiliser un modèle compatible. Les deux modalités sont distinctes : les fichiers texte, PDF et .docx servent à interroger leur contenu, tandis que l’image est jointe au message pour solliciter son interprétation. La fonction d’analyse d’image dépend du modèle utilisé ; elle n’est donc pas disponible sans condition avec tous les modèles. Dans les deux cas, le contenu est fourni au modèle depuis l’interface de TextGen.

Faire appel à des outils ou à l’API

TextGen peut faire intervenir des outils au cours d’une conversation, à condition d’utiliser un modèle compatible. Parmi les actions possibles figurent la recherche sur le Web, la récupération d’une page et le calcul : le modèle peut ainsi s’appuyer sur ces outils pendant l’échange. En parallèle, le logiciel expose une API locale compatible avec les API OpenAI et Anthropic. Ses endpoints couvrent les modes Chat, Completions et Messages, ce qui permet de s’appuyer sur ces points d’accès plutôt que sur la seule interface de chat. L’appel d’outils et l’API correspondent à deux usages complémentaires : mobiliser des fonctions au cours d’une conversation, ou accéder au logiciel par des requêtes API.

TextGen intègre un outil de génération d’images par intelligence artificielle à partir de descriptions textuelles. Les utilisateurs peuvent régler la résolution, le nombre d’images générées et différents paramètres pour personnaliser les résultats. © oobabooga

TextGen : toutes les réponses à vos questions

Avec quel OS est compatible TextGen ?

TextGen propose des builds pour Windows, macOS et Linux. Son interface est également accessible dans un navigateur à l’adresse locale 127.0.0.1:7860 ; il ne s’agit pas d’un service Web hébergé.

Quels modes de génération TextGen propose-t-il ?

TextGen permet de discuter avec des modèles en modes instruct, chat et chat-instruct, ainsi que de générer du texte libre dans l’onglet Notebook.

Quels fichiers peut-on soumettre à un modèle ?

Vous pouvez joindre à l’interface des fichiers texte, PDF et .docx pour interroger un modèle sur leur contenu. Une image peut aussi être jointe à un message pour demander son interprétation, avec un modèle compatible.

TextGen peut-il appeler des outils pendant une conversation ?

Oui, avec un modèle compatible, TextGen peut appeler des outils pendant une conversation, notamment pour rechercher sur le Web, récupérer une page ou effectuer un calcul.

TextGen peut-il générer des images ?

Oui. TextGen peut générer des images avec des modèles Diffusers depuis son interface web. Cette fonction nécessite une installation complète et n’est pas incluse dans les builds portables ZIP.

Peut-on entraîner des LoRA dans TextGen ?

Oui. L’onglet Training permet d’entraîner des LoRA à partir de jeux de données, notamment des conversations multi-tours, puis de reprendre un entraînement depuis un checkpoint.

TextGen propose-t-il une API ?

Oui. Une API locale compatible avec les API OpenAI et Anthropic fournit des endpoints Chat, Completions et Messages.