Avec Olala mini 7A1B, OVHcloud fait son entrée sur le marché des modèles de langage. Entraînée de zéro grâce à des supercalculateurs européens, cette nouvelle IA française mise sur une architecture économe en ressources, et a déjà trouvé sa place chez Qwant.

OVHcloud lance Olala, son premier modèle d'IA maison entraîné sur des supercalculateurs européens. © Ninotnan / Shutterstock
OVHcloud lance Olala, son premier modèle d'IA maison entraîné sur des supercalculateurs européens. © Ninotnan / Shutterstock

L'Europe veut réduire sa dépendance aux géants américains de l'intelligence artificielle, et OVHcloud compte bien prendre part à l'effort. Alors que le groupe français mettait jusqu'ici ses infrastructures cloud à la disposition de ses clients pour entraîner et faire tourner leurs modèles d'IA, il passe désormais de l'autre côté du miroir en concevant le sien. Dévoilé ce mardi 17 novembre, Olala mini 7A1B inaugure une famille de LLM maison qui entend offrir aux entreprises européennes une alternative aux modèles d'OpenAI, de Google ou de Meta.

Un modèle compact, capable de fonctionner sans carte graphique

Pour son premier LLM, OVHcloud a misé sur une architecture conçue pour limiter les ressources nécessaires à son fonctionnement et faciliter son déploiement sur des machines moins puissantes. Olala mini compte ainsi sept milliards de paramètres, mais n'en mobilise qu'un milliard à la fois, grâce à une architecture dite Mixture of Experts (MoE), ou mélange d'experts, dont le principe consiste à répartir le traitement des requêtes entre des groupes de paramètres spécialisés, au lieu de solliciter l'ensemble du modèle pour chaque réponse.

Dans le détail, Olala mini dispose de 256 experts par couche (chaque couche correspondant à une étape successive du traitement des informations par le modèle) et s'appuie sur une architecture hybride combinant Differential-TPA et Mamba-3. La première technologie permet au modèle d'identifier les éléments du texte pertinents pour produire sa réponse, tandis que la seconde conserve une représentation compacte des informations déjà traitées, sans avoir à réexaminer tout ce qui précède. Un choix technique qui vise à limiter les besoins en calcul et en mémoire pour produire du texte.

Selon OVHcloud, son LLM peut ainsi fonctionner sur une carte graphique équipée de seulement 8 Go de mémoire vidéo et atteindre une vitesse de génération de 160 tokens par seconde sur une RTX A4500. Le modèle serait par ailleurs capable de tourner sans GPU dédié, sur un simple processeur, à raison de 50 tokens par seconde. Il pourrait donc être exécuté localement, directement sur les ordinateurs des utilisateurs, sans avoir à solliciter des serveurs distants.

Pour l'heure, sa fenêtre de contexte atteint 32 000 tokens, soit la quantité de texte qu'il peut prendre en compte au cours d'une même interaction. Olala mini sera proposé sur Hugging Face sous licence Apache 2.0, autorisant sa réutilisation et sa modification, y compris à des fins commerciales. OVHcloud prévoit également de publier ses poids, son modèle de base pré-entraîné, son rapport technique et sa documentation de conformité à l'AI Act. Son lancement officiel est prévu le 19 novembre, à l'occasion de l'OVHcloud AI Summit.

Des supercalculateurs européens à Qwant, la souveraineté passe à la pratique

Outre ses caractéristiques techniques, Olala mini marque une étape importante dans les ambitions européennes d'OVHcloud. Plutôt que de partir d'un modèle existant pour l'adapter à ses besoins, le groupe français a entraîné le sien à partir de zéro, grâce aux ressources de trois supercalculateurs publics européens : Jupiter, en Allemagne, MeluXina, au Luxembourg, et Jean Zay, en France. Un soutien public estimé à l'équivalent de 7 millions d'euros en heures de calcul, qui a également permis à OVHcloud de créer son laboratoire spécialisé, OVHai LLM.

Une première réalisation qui n'en est déjà plus au stade de la démonstration technologique, puisque le moteur de recherche français Qwant exploite Olala mini pour sa fonctionnalité de réponse flash, qui génère des réponses synthétiques aux recherches des internautes. D'après OVHcloud, l'adoption de son modèle a ainsi permis d'accélérer la génération des réponses de 20 %, tout en divisant par trois les coûts de fonctionnement par rapport à la solution précédemment utilisée.

Le groupe prépare déjà la suite, avec une version 1.1 attendue avant la fin de l'année. Elle doit porter la fenêtre de contexte de 32 000 à 128 000 tokens, permettant au modèle de traiter des volumes de texte plus importants, et améliorer ses capacités de raisonnement mathématique. À plus long terme, Olala 2.0 devrait dépasser les 100 milliards de paramètres et donner naissance à des modèles spécialisés dans trois domaines : le développement et l'administration des infrastructures cloud, la cybersécurité, aussi bien défensive qu'offensive, et les agents IA pour les entreprises.

Du côté de l'IA agentique, Olala doit par ailleurs alimenter à terme OVHai Workspace, l'environnement de travail intelligent développé par OVHcloud, dont une future version chiffrée reposera sur des modèles capables de fonctionner directement sur les postes de travail.

Clubic
OVHCloud
  • money_offRemboursement 30 jours
  • securityCertificat SSL inclus
  • install_desktopCompatible WordPress
8 / 10

OVH ne propose que 10 Mo de stockage gratuit avec un nom de domaine et c'est probablement pour vous inviter à prendre son offre d'entrée de gamme au prix attractif. Cet hébergeur dispose de centres de données en France et cela se traduit par de bonnes performances

Les plus
  • Tarif d'entrée de gamme agressif
  • Centres de données localisés en France
  • Offre exhaustive
  • Bonnes performances
Les moins
  • Stockage gratuit très limité avec nom de domaine
  • Taille de la base de données limitée sur les offres Web
  • Interface d'administration peu pratique