Olala mini est le premier modèle d'intelligence artificielle d'OVHcloud, le fournisseur de cloud français basé à Roubaix, qui l'a dévoilé mardi sous le nom exact d'« Olala mini 7A1B ». Il ouvre la gamme Olala et correspond au premier LLM de l'entreprise.

Cette annonce intervient après plusieurs mois pendant lesquels OVHcloud laissait entendre qu'il préparait ses propres modèles. Elle s'ajoute aux nombreux modèles d'IA qui arrivent sur le marché, dont ceux des grands acteurs américains comme Google, qui a récemment séparé l'historique des chats de Gemini et l'entraînement de l'IA. OVHcloud se présente comme le premier fournisseur de cloud européen, avec plus de 500 000 serveurs répartis dans 46 centres de données sur 4 continents.

Olala mini 7A1B : l'architecture du modèle d'OVHcloud

Le modèle Olala mini 7A1B compte 7 milliards de paramètres, dont un milliard est activé à chaque traitement. Cette activation partielle repose sur 256 experts par couche, selon les caractéristiques annoncées. Le modèle est proposé au format BF16.

Sa fenêtre de contexte est de 32 000 tokens. Cela correspond à la quantité de texte que le modèle peut garder en mémoire dans une même conversation ou un même document.

Olala mini : un entraînement sur des supercalculateurs européens

Pour entraîner Olala mini, OVHcloud affirme avoir utilisé trois supercalculateurs publics européens : Jupiter, MeluXina et Jean Zay. Ces machines sont équipées de GPU GH200, A100 et H100.

Ce choix s'appuie donc sur des infrastructures de calcul publiques du continent, et non sur les seuls serveurs de l'entreprise.

Ce qu'OVHcloud publie avec Olala mini

OVHcloud annonce que le modèle est publié avec plusieurs éléments en plus du modèle final. La liste ci-dessous reprend ce que l'entreprise met à disposition :

  • Les poids du modèle;
  • Le modèle de base pré-entraîné;
  • Le rapport technique;
  • La documentation de conformité à l'AI Act.

Cette documentation de conformité vise le règlement européen sur l'intelligence artificielle. Elle accompagne le modèle dès sa sortie.

Ce qu'Octave Klaba avait annoncé avant le lancement d'Olala mini

Environ trois semaines avant l'annonce, Octave Klaba, fondateur et PDG d'OVHcloud, déclarait : « Nous pensons le publier en open source fin novembre ». Le lancement d'Olala mini s'inscrit dans ce calendrier de novembre.

Octave Klaba promettait aussi une architecture taillée pour la cybersécurité, le code et les agents, trois usages que l'entreprise associe à sa gamme de modèles.