Pourquoi utiliser Lunary ?
Monitoring LLM et observabilité pour suivre vos applications IA
Lunary met à disposition un ensemble d'outils consacrés au monitoring LLM et à l'observabilité LLM. La plateforme enregistre automatiquement les appels adressés aux modèles de langage dès l'intégration de son SDK. Vous disposez ainsi d'une vue complète sur le fonctionnement de votre application IA. Chaque requête, chaque réponse et chaque interaction peuvent être consultées afin de comprendre le comportement de votre chatbot IA ou de votre agent IA en production.
L'interface regroupe plusieurs indicateurs utiles, vous pouvez suivre le volume d'utilisation, le nombre de tokens consommés, les coûts associés aux modèles, les temps de réponse ainsi que les erreurs détectées. Ces informations facilitent l'identification des ralentissements, des appels défaillants ou des usages inhabituels. Des outils de recherche et de filtrage permettent aussi de retrouver rapidement une conversation ou une exécution particulière.
Pour les applications plus complexes, Lunary intègre un système de traces capable de suivre le parcours complet d'un agent IA. Cette approche simplifie le débogage des chaînes d'exécution et aide à comprendre l'origine d'un comportement inattendu. Les journaux d'activité restent accessibles afin d'analyser chaque étape d'un traitement. La plateforme propose également des tableaux de bord personnalisables pour que les équipes puissent suivre les indicateurs qui correspondent à leurs besoins et observer l'évolution de leurs projets IA dans le temps. Lunary propose aussi des alertes afin d'être prévenu lorsqu'un agent ne se comporte plus comme prévu.
Prompt management et collaboration autour des prompts
Le prompt management occupe une place importante dans Lunary. La plateforme permet de centraliser tous les prompts utilisés par une application IA afin d'éviter leur dispersion dans le code source. Cette organisation facilite le travail des équipes et simplifie les évolutions des projets. Chaque prompt peut être enregistré sous forme de modèle réutilisable. Les versions successives sont conservées afin de suivre les modifications réalisées au fil du temps, ce qui aide à revenir rapidement sur une configuration précédente lorsqu'un changement produit des résultats moins satisfaisants.
Lunary favorise aussi la collaboration entre profils techniques et non techniques. Les équipes produit, les responsables métiers ou les spécialistes du contenu peuvent participer à la création et à l'amélioration des prompts sans intervenir directement dans le code de l'application. Cela accélère les échanges et limite les erreurs lors des mises à jour.
La plateforme intègre également des fonctions d'A/B testing, plusieurs variantes d'un même prompt peuvent être comparées afin d'identifier celle qui produit les réponses les plus pertinentes. Les résultats observés servent ensuite à améliorer progressivement la qualité des interactions proposées aux utilisateurs. Les prompts peuvent ensuite être associés aux conversations enregistrées, aux journaux d'exécution et aux évaluations disponibles dans Lunary. Les équipes disposent ainsi d'un historique complet reliant un prompt à ses performances réelles.
Évaluation LLM et analyses pour améliorer les performances
Lunary complète ses outils d'observabilité par un système d'évaluation LLM destiné à mesurer la qualité des modèles et des prompts. La plateforme permet de comparer différentes configurations afin de déterminer laquelle répond le mieux aux objectifs d'un projet. Les équipes peuvent créer leurs propres critères d'évaluation ou utiliser des indicateurs proposés par Lunary. Les résultats obtenus servent à mesurer la pertinence des réponses, leur cohérence ainsi que leur conformité aux attentes. Cette approche facilite les choix avant une mise en production ou après une évolution importante du système.
La plateforme prend également en charge les benchmarks entre plusieurs modèles, plusieurs paramètres ou plusieurs versions d'un prompt. Les comparaisons reposent sur des métriques identiques, ce qui simplifie l'identification des solutions les plus adaptées à chaque cas d'usage. Les données issues du monitoring IA viennent compléter ces évaluations. Les conversations des utilisateurs, les retours laissés par ces derniers, les sujets les plus fréquents et les coûts d'utilisation peuvent être rapprochés des résultats obtenus lors des tests. Les équipes disposent ainsi d'une vision plus complète de la qualité de leur application.
Enfin, Lunary intègre ces évaluations dans les processus de développement grâce à des SDK et à une compatibilité avec les pipelines CI/CD. Les contrôles peuvent être exécutés régulièrement afin de vérifier qu'une nouvelle version d'un modèle ou d'un prompt ne dégrade pas les performances observées auparavant. Cette démarche contribue à maintenir un niveau de qualité constant tout au long du cycle de vie des applications d'intelligence artificielle.
Lunary : toutes les réponses à vos questions
Avec quels OS est compatible Lunary ?
Lunary est avant tout une plateforme accessible depuis un navigateur web. Vous pouvez donc l'utiliser sur Windows, macOS et Linux sans installer de logiciel.
Faut-il créer un compte pour utiliser Lunary ?
Oui, il faut créer un compte pour accéder au tableau de bord et récupérer les identifiants de suivi utilisés lors de l'intégration des SDK. Une fois inscrit, vous pouvez créer un projet, connecter votre application IA et commencer à enregistrer les appels adressés aux modèles de langage. Le compte permet également d'accéder aux outils de monitoring IA, aux tableaux de bord, aux évaluations LLM, aux journaux d'exécution, au prompt management et aux fonctions collaboratives.
Lunary est-il gratuit ou payant ?
Lunary fonctionne selon un modèle freemium. Une offre gratuite permet de découvrir la plateforme et de développer des projets personnels. Elle inclut un volume mensuel d'événements, plusieurs projets et une durée de conservation limitée des journaux. Les utilisateurs qui souhaitent aller plus loin peuvent passer à une offre Team, qui ajoute davantage de ressources, un historique plus long, un nombre supérieur de projets ainsi que plusieurs fonctionnalités avancées destinées aux équipes. Enfin, les grandes organisations disposent d'une offre Enterprise, qui met l'accent sur le self-hosting, la sécurité, le SSO, le contrôle d'accès, le masquage des données personnelles, les connecteurs vers les entrepôts de données, le support renforcé et d'autres services adaptés aux environnements professionnels.
